Введение к работе
Актуальность темы.
Преимущественное развитие визуальной культуры привело к ведущей роли зрительного анализатора в любой сфере деятельности человека: от бытовой до ориентирования и манипулирования виртуальными объектами программной среды. Вероятность утраты одной или нескольких физиологических модальностей рассматривается как реальная угроза жизнедеятельности только в специальном разделе авиационной медицины, связанном с влиянием гравитационной перегрузки на зрительную и слуховую системы пилота. Слепоту очень легко моделировать, для этого пользователю компьютера достаточно закрыть глаза и попробовать продолжить выполнение операций, например, с помощью мыши или джойстика. Имеется много задач, включающих текущий контроль или управление физической средой, которые требуют, чтобы зрительное внимание оператора постоянно переключалось или было сфокусировано на другом объекте, чем дисплей компьютера. Чем шире область распространения графического интерфейса, тем больше проблем возникает при его эксплуатации не только в случае индивидуальных физиологических ограничений у определенного контингента пользователей. Перегрузка зрительного поля при отображении динамически изменяющихся многомерных массивов данных в реальном масштабе времени может вызвать информационно-психологическое блокирование, что существенно ограничивает возможности визуализации и оперативного контроля. Не обсуждая надежность оптических средств отображения, становится ясно, что тенденция развития мультимодального интерфейса - проблема более чем актуальная во многих аспектах ее приложения.
Мультимодальность становится основным . критерием доступности информации при проектировании средств и систем отображения, а использование альтернативных средств ввода - непременным атрибутом графического интерфейса систем виртуальной реальности, носимых компьютеров и мобильных средств связи.
Опыт пользователей и усилия экспертов уже привели ко многим усовершенствованиям в разработке элементов невизуального интерфейса, акустических и тактильных устройств ввода-вывода. Однако, проектирование такого типа специализированных интерфейсов должно учитывать не только общие тенденции развития человеко-машинного взаимодействия, но и концептуальные особенности интеграции естественных механизмов сенсорных процессов в случае замещения отсутствующей модальности.
К сожалению, разрабатываемые в последнее время средства и системы преобразования многопараметрических данных в параметры звуковых сигналов недостаточно используют пространственные характеристики слухового
пространства. Исследование восприятия динамических акустических источников, в том числе виртуальных и в ближнем поле, показало незначительное преимущество стерео систем, имеющих встроенную HRTF-фильтрацию сигналов. Эти системы получили распространение в непрофессиональном музыкальном синтезе, но для научной визуализации (озвучивания данных) оказались малоэффективными.
С появлением DS-процессоров появились системы пространственного озвучивания, обслуживающие сотни акустических излучателей. Компания NXT (UK) выпускает матричные пьезоакустические панели. Таким образом, проблема изоморфного пространственного озвучивания и отображения виртуальных объектов с помощью аудио дисплея имеет реальные перспективы развития.
Проблеме восприятия человеком сложных акустических сигналов в нашей стране посвящена большая литература: разбираются вопросы моно- и бинауральных признаков, формирующих те или иные слуховые образы, роль интенсивности и спектральных характеристик, влияние речевого опыта на слуховую оценку сигнала. Но вопрос о возможности использования акустического канала для синтеза виртуальных акустических объектов и, тем более, реализации таких объектов в структуре графического интерфейса до сих пор не обсуждался.
Цель и задачи работы. Основной целью диссертационной работы является разработка комплексного решения проблемы организации невизуального интерфейса поддержки мультимодального человеко-машинного взаимодействия с применением альтернативных устройств ввода-вывода. Достижение этой цели дает возможность повысить надежность человеко-машинного взаимодействия в экстремальных ситуациях и биотехнических систем в целом, обеспечить широкий доступ к источникам информации в электронной форме для пользователей компьютеров с ограниченными физиологическими возможностями.
В соответствии с поставленной целью решаются следующие задачи:
- теоретически и экспериментально обосновать возможность реализации
эффективной обратной связи в отсутствие визуальной системы отображения
графической информации;
- разработать эффективную методику формирования виртуальных акустических
объектов;
разработать алгоритмы озвучивания графической информации;
разработать эффективные средства и методы манипуляции виртуальными объектами в отсутствие визуальной обратной связи;
исследование некоторых проблем, связанных с инвариантностью интермодальных преобразований информационных сообщений (изоморфное преобразование графических объектов и некоторых абстрактно-логических представлений);
- исследование эффективности применения разработанных аппаратно-
программных средств для решения задачи реабилитации операторов с ограниченными сенсорными возможностями.
Методы исследования. Для решения поставленных задач используются методы прикладного и объектно-ориентированного программирования, акустического синтеза сложных сигналов и конструирования радиоэлектронной аппаратуры.
Основные положения, выносимые на защиту. На защиту выносятся следующие положения и результаты:
функциональная схема реализации невизуального интерфейса;
структура и программная реализация интерфейса системы озвучивания графических изображений;
алгоритмы управления пространственно-временными параметрами виртуальных звуковых источников в условиях свободного звукового поля;
методика изоморфного озвучивания двумерных графических объектов, проектируемых согласно правилам построения стереометрических проекций.
Научная новизна работы состоит в разработке комплекса алгоритмов, методов и структурных решений, использованных при проектировании альтернативных средств отображения и ввода графической информации на основе естественных механизмов сенсорного замещения и межсенсорной интеграции.
Основные научные результаты:
предложена функциональная схема реализации невизуального интерфейса;
разработана структура и осуществлена программная реализация интерфейса системы озвучивания графических изображений;
созданы базовые алгоритмы управления пространственно-временными параметрами виртуальных звуковых источников в условиях свободного звукового поля;
предложены общие методы преобразования графической информации в звуковые параметры акустических субъективных образов;
обоснована возможность и разработана методика изоморфного озвучивания двумерных графических объектов, проектируемых согласно правилам построения стереометрических проекций.
Практическую значимость работы представляют:
базовые алгоритмы управления пространственно-временными параметрами виртуальных акустических источников в условиях свободного звукового поля;
методика изоморфного озвучивания двумерных графических объектов, проектируемых согласно правилам построения стереометрических проекций;
- структурные и технологические решения аппаратных средств альтернативного
ввода-вывода графической информации: виртуальный аудио монитор, и
манипуляторы, обеспечивающие обратную связь в отсутствие зрительной
информации;
система меню PadGraph и графического редактора для инвалидов, имеющих ограниченные сенсорные возможности (слепые пользователи компьютеров) и проблемы при эксплуатации стандартных манипуляторов (отсутствие рук).
Предложенные методы и структурные решения представляет определенный интерес при проектировании перспективных систем отображения информации и оптимизации структуры управления информационным потоком в биотехнических системах.
Использование результатов работы. Материалы диссертационной работы использованы при проведении следующих научно-исследовательских и опытно-конструкторских работ:
- Федеральная целевая научно-техническая программа на 1996-2000 годы
«Исследования и разработки по приоритетным направлениям развития науки и
техники гражданского назначения» приоритетное направление
((Информационные технологии и электроника» подпрограмма «Информатизация
России»,
проект - «Пакет прикладных программ преобразования графического изображения в структурированное звуковое поле для слепых пользователей ПЭВМ» № гос. регистрации 02.9.80004520;
проект - "Разработка программного обеспечения для преобразования визуальных текстурных изображений в виртуальные звуковые объекты" № гос. регистрации 01.9.80004534;
- Научно-техническая программа «Конверсия и высокие технологии 1997-
2000 годы", проект - «Исследование и разработка графического интерфейса
пользователя виртуального аудио дисплея в отсутствие зрительного контроля»
№ гос. регистрации 02.9.80002264.
Использование результатов диссертационной работы подтверждено актами внедрения, которые приводятся в приложениях.
Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на:
XI Международной научной конференции по нейрокибернетике 20-23 сент. 1995 г.. Ростов-на-Дону; 5th Int. Conf. ICCHP'96 Interdisciplinary Aspects in Computers Helping People with Special Needs. Linz, Austria, July 1996; Int. Conf. "New technologies in the education of the visually handicaped", Paris 10-11 Juin 1996; Fouth Int. Congress on Sound and Vibration, St. Petersburg 24-27 June 1996; ICDED'96 The Second International Conference on Distance Education in Russia Moscow 2-5 July, 1996; New Media for Education and Training in Computer Science. 2. Russian-German Symposium Moscow, Russian Federation, November, 23rd-28th 1996; Всероссийской конференции: Состояние и перспективы развития медицинского приборостроения. 26-28 Ноября, Махачкала, 1997; Рабочем заседании группы "Проектирования инструментальных средств
озвучивания" NSF Workshop on Sonification, Demo and Poster session of ICAD'97;
Международной научно-технической конференции "Интеллектуальная
робототехника - 98" 14-16 апреля 1998 г., Санкт-Петербург; III Всероссийской
научно-практической конференции с международным участием «Новое в
экологии и безопасности жизнедеятельности», 16-18 июня 1998 г. Санкт-
Петербург; XV IFIP World Computer Congress Vienna/Austria and
Budapest/Hungary, 31 August - 4 September 1998. Computers and Assistive
Technology ICCHP'98; Всероссийской научно-технической конференции
Медицинские информационные системы, МИС-98, Таганрог, 15-17 сентября
1998 г; World Conference on Higher Education: Higher Education in the Twenty-first
Century UNESCO, Paris 5-9 Oct. 1998.
По материалам диссертации опубликовано 16 печатных работ. Значительная часть практических результатов изложена в отчетах о выполнении НИР.
Структура работы. Диссертационная работа состоит из введения, четырех разделов и заключения, изложенных на 122 страницах, содержит 48 рисунков, 3 таблицы, 110 наименований библиографии и 4 приложения (44 страницы), всего 166 страниц.
