Содержание к диссертации
ВВЕДЕНИЕ 7
БЛАГОДАРНОСТИ 27
ГЛАВА 1. КОНЦЕПЦИЯ СИСТЕМЫ ЗБ-ВИЗУАЛИЗАЦИИ
ИНДУЦИРОВАННОЙ ВИРТУАЛЬНОЙ СРЕДЫ 28
1.1. Понятие индуцированной виртуальной среды (ИВС), назначение и
возможные области применения систем визуализации ИВС (СВ ИВС) 29
1.2. Возможности технологии «Виртуальная реальность», являющиеся
ключевыми для систем управления и наблюдения на основе альтернативных
принципов слежения за состоянием объектов 32
Отсутствие ограничений для точек и ракурсов наблюдения 32
Ослабление физических ограничений для непосредственной
видимости объектов 32
1.2.3. Использование альтернативных (неоптических) методов слежения
за состоянием объектов 32
Визуализация ненаблюдаемых объектов 33
Синхронное моделирование визуализации в различных областях
спектра ЭМК 33
1.2.6. Распределенная синхронная многоракурсная визуализация 34
1.3. Проблемы ЗБ-визуализации, характерные для СВ ИВС 34
Адекватность бинокулярного восприятия ЗБ-среды по стереопаре 2Б-изображений 35
Реалистичность и производительность алгоритмов ЗБ-визуализации 39
Реконструкции поведения ЗО-объектов в виртуальной
среде по данным о поведении реальных объектов 41
1.4. Подходы к решению проблем ЗБ-визуализации, применяемые в наиболее
распространенных системах виртуальной реальности 42
Анимационные системы (изолированное погружение) 43
Игровые системы (изолированное погружение) 44
Тренажерные системы (совмещенное погружение) , 46
Имитационные системы (совмещенное погружение) 47
Системы погружения с точным совмещением систем координат (технологии семейства «Augmented/Mixed Reality») 48
Системы телеуправления (технологии семейства «Remote Control») 51
Системы телеприсутствия (совмещенное мультимедийное погружение)... 51
1.5. Математические задачи, связанные с проблемами ЗБ-визуализации ИВС 52
1.5.1. Описание и управление поведением ЗБ-моделей объектов
с динамической структурой 52
1.5.2. Интерфейс высокоточной стереоскопической визуализации 54
1.5.3. Алгоритмы синтеза изображений с расширенной моделью
проецирования (обратная трассировка для картинных поверхностей
сложной формы) 57
1.5.4. Модели данных и поведения объектов ИВС для распределенной
системы ЗО-визуализации 60
ГЛАВА 2. ОПИСАНИЕ 3D-OBbEKTOB С ДИНАМИЧЕСКОЙ СТРУКТУРОЙ
И МОДЕЛИРОВАНИЕ ИХ ПОВЕДЕНИЯ 63
2.1. Функция и роль иерархической структуры в описании формы
ЗБ-носителя поверхности и её изменений 64
2.2. Иерархические структуры с переменным отношением порядка
(RTR-деревья) 67
2.2.1. Пример структуры с изменением отношения порядка при
сохранении связности 67
Формальное описание RTR-дерева 10
Преобразования систем координат в вершинах RTR-дерева 73
2.3. Связанные RTR-списки 75
Описание обычного связанного списка 75
Описание связанного RTR-списка 77
Двухуровневый полиморфизм концевых элементов RTR-деревьев структуры объектов ИВС 82
2.4. Проектирование программных средств для RTR-деревьев 85
Модель данных для управления состоянием RTR-дерева 85
Паттерны развертывания RTR-дерева 86
Паттерны управления поведением RTR-дерева 90
Паттерны управления взаимодействием RTR-деревьев 92
ГЛАВА 3. ИНТЕРФЕЙС ВЫСОКОТОЧНОЙ СТЕРЕОСКОПИЧЕСКОЙ
ВИЗУАЛИЗАЦИИ 97
3.1. Постановка задачи стереоскопической визуализации 97
Оптико-геометрическая модель бинокулярной зрительной системы 98
Начальные условия формирования стереопары 101
Условия наблюдения сформированной стереопары 102
3.2. Развитие математической модели бинокулярного интерфейса 103
Введение дополнительных степеней свободы для объектов виртуальной 6БОР-стереоголовы 103
Введение описания формы носителя изображения 106
Использование данных о взаимном положении центров
вращения и проецирования ПО
3.3. Объектная модель человеко-машинного интерфейса высокоточной
стереоскопической визуализации 114
3.3.1. Абстракция интерфейса стерескопической визуализации
(пост визуализации) 115
Структура поста визуализации 117
Статическая декомпозиция картинной поверхности 119
Классификация объектов поста визуализации 120
3.4. Управления поведением виртуального поста визуализации 121
Модель состояния 121
Сценарии поведения 122
Динамическая декомпозиция картинной поверхности 123
Перенос состояния при перекрестном наблюдении 124
ГЛАВА 4. МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
ЗАДАЧИ ОБРАТНОЙ ТРАССИРОВКИ ЛУЧЕЙ В РАСШИРЕННОЙ
ПОСТАНОВКЕ 126
4.1. Обобщение задачи обратной трассировки на основе параметрического
описания луча 127
4.2. Подходы к обратной трассировке лучей для поверхностей
свободной формы 132
Обратная трассировка лучей на основе явного решения систем уравнений, описывающих поверхность 138
Программные средства описания и формирования составной полиморфной поверхности (СПП) со структурой RTR-дерева 143
Семантика полиморфизма примитивов СПП 143
Хранимое описание СПП и его обработка 146
Паттерны развертывания СПП в оперативной памяти 147
4.5. Особенности выполнения CSG-операций с узлами RTR-дерева 150
4.5.1. Нарушение корректности суперпозиции CSG-операций в цепях
с изменением отношения порядка 151
4.5.2. Сохранение корректности путем инкапсуляции CSG-операций
в кластерах узлов 154
4.5.3. Сохранение корректности путем инкапсуляции CSG-операций
в примитивах 154
4.6. Управление вычислительным процессом при обратной трассировке
составных полиморфных поверхностей 155
Особенности структуры потока вычислений 156
Спектры вычислительной нагрузки 157
4.6.3. Подход к созданию модели адаптируемой вычислительной архитектуры
(виртуальная машина обратной трассировки) 159
ГЛАВА 5. ОСОБЕННОСТИ РАЗРАБОТКИ ПРОГРАММНОГО
ОБЕСПЕЧЕНИЯ РАСПРЕДЕЛЕННЫХ СВ ИВС 162
5.1. Современное состояние методологии создания распределенных систем
и ее возможности в контексте создания распределенной СВ ИВС 163
Основные задачи сетевого ПО распределенной СВ ИВС с архитектурой «клиент-сервер» 164
Возможности подходов к созданию ПО Middleware
распределенной СВ ИВС в реализациях CORBA, J2EE, 166
5.1.3. Перспективы использования технологии MDA OMG для
создания ПО распределенной СВ ИВС 168
5.2. Представление о СВ ИВС как о распределенной системе 170
Основные компоненты и сценарии функционирования распределенной СВ ИВС 170
Задачи и логика функционирования серверного слоя 175
Задачи и логика функционирования клиентского слоя 176
Задачи и логика функционирования промежуточного слоя 179
Сетевая топология и виды контента 179
5.3. Модели данных и поведения объектов, учитывающие негарантированную
доставку данных о состоянии 181
5.3.1. Основные виды нарушения поведения ЗБ-объектов при сбоях
доставки данных о состоянии 181
5.3.2. Модели данных и управление поведением ЗБ-объектов при
потерях данных о состоянии 184
5.3.3. Возможные подходы к моделированию взаимодействия
ЗБ-объектов в клиентском слое 188
5.3.4. Адаптеры данных о состоянии для независимых объектов 190
5.4. Описание данных в распределенной системе ЗБ-визуализации ИВС 194
Виды контента в системе ЗБ-визуализации ИВС 195
Эволюция доминирующей модели языка для ЗБ-визуализации 196
Ограничения семантики языка X3D, существенные для распределенных СВ ИВС 196
Модель метаданных OMG и возможности развития языка X3D
для СВ ИВС 198
ЗАКЛЮЧЕНИЕ 202
БИБЛИОГРАФИЯ 204
Введение к работе
Сфера применения систем виртуальной реальности (ВР) в настоящее время достаточно обширна - от игровых систем до систем специального назначения. В последние годы все более востребованными становятся возможности систем виртуальной реальности, позволяющие воспроизводить в виртуальной среде объекты (их структуру, вид, поведение и взаимодействие), которые в режиме реального времени могут копировать поведение своих реальных прототипов, находящихся и функционирующих в реальной среде. Эти возможности можно кратко охарактеризовать метафорой «увидеть невидимое» (точнее, получить изображение объектов наблюдения без использования средств прямого оптического наблюдения). Появление и развитие этих возможностей тесно связано с появлением и интенсивным развитием в конце ХХ-го и начале ХХ1-го веков различных средств регистрации ЗБ-координат объектов (средств 3D-позиционирования), а также развитием геоинформационных систем (ГИС) и 3D-моделей земного ландшафта (ЗБ-карт высокого разрешения, содержащих помимо рельефа данные о застройке и т.п.).
Общая характеристика систем визуализации индуцированной виртуальной среды (СВ ИВС). Если внешний вид реальных объектов, их строение, структура воспроизводятся с высокой точностью, а также, если данные об этих объектах позволяют в реальном времени достоверно воспроизводить их поведение в виртуальной среде, то виртуальную среду можно рассматривать как средство наблюдения за реальными объектами и реальными событиями, не требующее нахождения в самой реальной среде. В начале ХХ-го века такая возможность появилась, благодаря открытию телевидения (термин «телевидение» как раз и отражает возможность «видения на расстоянии» ). В то же время, имея сходство с системой телевидения, система виртуальной реальности, в которой воспроизводятся реальные объекты и реальные события, имеет ряд принципиальных отличий от телевизионных систем.
Первое отличие (может быть, главное) заключается в принципиальном отсутствии ограничений на свободу передвижения наблюдателя и выбора им точки и ракурса для наблюдения в виртуальном пространстве. Второе отличие -расширение доступного набора средств получения информации о поведении объектов наблюдения. В оптико-телевизионных системах для этой цели используется спектр ЭМК оптического и субоптического (инфракрасного и частично ультрафиолетового) диапазонов. В системах виртуальной реальности для регистрации состояния могут быть использованы любые доступные источники данных, принцип действия которых не обязательно должен быть оптическим. Более того, работа таких источников данных может быть даже не
связана с регистрацией ЭМК, - они могут быть акустическими, механическими, инерциальными и т.п. Таким образом, можно говорить о визуализации в том числе и на основе альтернативных (неоптических) физических принципов, когда становится возможной визуализация объектов, являющихся «невидимыми» в обычном понимании.
Общий подход к наблюдению за поведением «невидимых в оптическом смысле» объектов строится на использовании двух видов данных об этих объектах - априорных (консервативных) и апостериорных (оперативных). Эти данные образуют информационную основу реконструкции поведения (временной последовательности состояний) реальной среды, которое моделируется в виртуальной среде в режиме реального времени параллельно с равзвитием с событий в реальной среде.
В состав априорных данных могут входить данные, которые относительно мало подвержены изменениям в процессе наблюдения и описывают относительно стабильные структуру, форму объектов, оптические (и другие физические) характеристики «наблюдаемых» объектов и окружающей среды (естественный и техногенный ландшафт и т.п.). Оперативные данные описывают систематические изменения состояния объектов и образуют вектор состояния - набор данных, в который входят данные, регистрируемые сенсорными системами (пространственное положение и ориентация объектов и их структурных элементов, параметры, связанные с изменениями формы и т.п.).
Из двух указанных выше разновидностей данных для реконструкции требуется систематическая регистрация и передача лишь оперативных данных (вектор состояния наблюдаемой среды), причем, эти данные не являются описанием изображения (точнее, растра изображения, как в телевизионных системах). Они имеют принципиально иную природу, и объем их существенно меньше по сравнению с объемами растра, транспортируемого в системах теленаблюдения. В этом заключается третье принципиальное отличие систем виртуальной реальности, используемых для наблюдения за состоянием реальной среды (далее СВ ИВС), от телевизионных систем.
СВ ИВС как отдельный класс систем виртуальной реальности. Системы виртуальной реальности с описанными выше возможностями целесообразно выделить в отдельный класс, поскольку эти системы имеют ярко выраженные функциональные особенности, возможности и области применения. В таких системах реальные объекты фактически управляют своими «виртуальными двойниками», - то есть, в определенном смысле, поведение виртуальных объектов индуцируется поведением реальных объектов, - поэтому такую виртуальную среду было решено назвать индуцированной виртуальной средой .
Следует заметить, что в результате визуализации ИВС в разных ракурсах может быть получена информация, принципиально отсутствующая в данных, передаваемых в векторе состояния, и отсутствующая в явном виде в априроных данных. В качестве примера, демонстрирующего эту возможность, можно привести визуализацию взаимодействия механизмов стыковочных агрегатов космических аппаратов. Телеметрические данные могут не содержать всей информации, характеризующей поведение механизмов стыковочных узлов. Однако наличие в априорных данных информации о структурных связях в конечном итоге позволяет реконструировать поведение узлов по ограниченным
данным, содержащимся в векторе состояния. Развитие событий в ходе стыковочной операции можно визуализировать в любом ракурсе и с любой точки наблюдения, что также далеко не всегда возможно в естественных условиях. Такая возможность появляется благодаря наличию информации, в частности, о структурных связях которая содержится в априорных данных в неявном виде. В данном случае имеет место аналогия с кодированием и/или сжатием данных - из передаваемых сообщений удаляются избыточные данные, которыми заранее располагают обе стороны, участвующие в обмене данными (априорная информация, в том числе в неявном виде). В данном примере демонстрируется также и дополнительная возможность СВ ИВС, трактуемая как «визуализация невидимого» - функционирование стыковочных механизмов в принципе невозможно наблюдать в естественных условиях (на орбите), так как они скрыты непроницаемой оболочкой.
СВ ИВС как новый этап развития систем виртуальной реальности.
Большие потенциальные возможности систем виртуальной реальности, которые оказали и продолжают оказывать сильное влияние на парадигму управления человеко-машинными системами, были замечены сразу же после проведения первых экспериментов по ЗО-визуализации еще в 60-е годы. Решающую роль в этих экспериментах сыграло введение обратной связи между подсистемой формирования изображения и подсистемой, регистрирующей положение и ориентацию головы оператора, которая в сущности и превратила системы 3D-визуализации в системы виртуальной реальности в нынешнем их понимании. Возможности технологии ВР оказались востребованными в первую очередь в тренажерных системах, в которых виртуальная среда частично может трактоваться как индуцированная (в тренажерных системах основным источником данных об окружающей среде является имитационная модель).
В 80-90-е годы, благодаря развитию компактных автономных средств позиционирования (инерциальных и полевых систем трекинга, GPS, DGPS и других), началось интенсивное развитие систем ВР для сенсорного погружения в смешанные ЗБ-среды (естественные и искусственные). Появляется целое семейство систем ВР для такого погружения, в том числе системы, известные под наваниями Augmented Reality («Усиленной реальности»), Mixed Reality («Смешанной реальности»), Telepresence («Телеприсутствия»), Remote Media Immersion (погружение в удаленную среду), Mixed Media Immersion (погружения в смешанную среду) и другие, [90,115,120,121,133].
Общим, что объединяет эти системы, является совмещение систем координат реальной и виртуальной сред (и объектов этих сред). Однако само «смешивание» объектов разных сред на самом деле представляет собой смешивание их изображений на некотором промежуточном носителе, при котором используется общая сенсорная среда, воспринимаемая через один сенсорный канал - зрительный. С точки этой точки зрения концепцию СВ ИВС можно считать обобщением концепции погружения в виртуальную среду, для иллюстрации которого можно привести следущий пример.
Оператор системы ВР находится в реальной среде, но его зрительный канал полностью изолирован от этой среды, с помощью HMS-дисплея, на экраны которого подается стерео-изображение виртуальной среды, моделирующей реальную. Оператор может действовать (в частности, передвигаться) в реальной
среде, руководствуясь изображением искусственой среды, причем все остальные сенсорные системы оператора кроме зрительной (в частности, тактильная и акустическая) взаимодействуют с реальной средой. Таким образом, на зрительную систему оператора воздействуют только искусственные раздражители, а на остальные - естественные (реальная среда не видна). При воспроизведения условий визуализации виртуальной среды, обеспечивающей высокую точность совпадения зрительного и кинестетического образов реальной и виртуальной сред, подобная система ВР могла бы использоваться для поддержки деятельности при нарушениях или даже полном отсутствии оптической видимости (например, при сильном задымлении, в тумане и т.п.).
К какому классу систем погружения с совмещением систем координат следует отнести систему виртуальной реальности, описанную в данном примере, не ясно, так как концепция существующих систем смешанного погружения (в том числе Augmented/Mixed Reality и т.п.), подразумевает смешанное воздействие раздражителей в одном канале (зрительном). Ближе всех к приведенному примеру находится концепция тренажерных систем. Однако заметим, что все существующие концепции систем погружения в смешанные сенсорные среды, вне зависимости от их вида (включая и тренажерные системы, и системы Augmented/Mixed Reality во всех разновидностях и т.п.) объединяет особенность виртуальной среды, которая как раз и является индуцированнной. Эту среду можно рассматривать как некоторое ядро системы виртуальной реальности, на основе которого можно создавать (что, вообще говоря, не является обязательным) сенсорные образы для разных сенсорных каналов человека, включая зрительный, тактильный, акустический и т.д., при необходимости смешивая естественные и искусственые раздражители в разных каналах (даже во всех каналах одновременно). Насколько удачным в этом контексте является термин «Индуцированная виртуальная среда» и производные от него, покажет время. В данной работе этот термин и его аббревиатура ИВС будет в дальнейшем использоваться для краткости и определенности.
Следует подчеркнуть, что ИВС вовсе не обязательно должна быть визуализирована (в более общем случае, преобразована в сенсорный образ, природа которого определяется соответствующим каналом восприятия) - она может быть использована для других целей, например, для управления. Такой подход, в частности, применяется в современных системах управления летательными аппаратами с использованием высокоточной модели рельефа местности (GIS-модели, связываемой с системой координат аппарата при помощи системы GPS). Если ставится задача получения сенсорного образа ИВС, в частности, зрительного, то может возникать и задача визуализации ИВС, но сама ИВС при этом существует независимо от системы визуализации («живет по своим законам»). Вместе с тем эта независимость может быть и относительной, так как, вообще говоря, для получения адекватного сенсорного образа в виртуальную среду необходимо «погрузить» модель сенсорной системы соответствующего вида, подчинив ее поведение поведению оператора (и его зрительной системы). Такое погружение является отдельным предметом исследований, объектом которых является интерфейс взаимодействия с виртуальной средой. В зависимости от функциональных особенностей этого интерфейса система визуализации ИВС может рассматриваться либо как «полноценная» система
виртуальной реальности, либо лишь как система «обычной» стереовизуализации (например, система показа стерео-кинофильмов, в которых поведение зрителя не оказывает влияния на процесс визуализации).
Развитие подходов к ЗБ-визуализации в СВ ИВС. Важной особенностью проблемной области визуализации ИВС является сильная взаимная связь между задачами моделирования поведения в виртуальной среде двух принципиально различных типов объектов - объектов наблюдения и наблюдающих объектов. В настоящее время эти объекты, как правило, рассматриваются «по разные стороны» интерфейса системы виртуальной реальности, что часто приводит к игнорированию важных закономерностей, в частности, при использовании модели так называемой «стереоголовы с 6-ю степенями свободы» (6-DOF Stereo-Head). В этой, широко распространенной модели, реализуется простейшая оптическая система стереоскопа, которая фактически является лишь суррогатом того объекта, который в действительности должен использоватьс для определения начальных условий формирования стереопары. Игнорируются важнейшие факторы бинокулярного восприятия, которые проявляются на близких расстояниях (не более 5-6 метров), что приводит к необходимости их нейтрализации (в частности для ослабления действия связи между вергенцией и аккомодацией [60, 62-65]). В результате большинство существующих систем стереовизуализации, строго говоря, обеспечивают адекватное воприятие лишь бесконечно удаленных сцен (во всяком случае расположенных на значительном удалении, когда аккомодация перестает действовать).
Для создания адекватных условий бинокулярной визуализации в ближней зоне необходима более сложная модель зрительной системы, помещаемой внутрь виртуальной среды, позволяющая учитывать расширенный набор факторов, в том числе факторы, которые обычно не учитываются - угол вергенции зрительных осей, ожидаемое положение плоскости аккомодации и смещение оптического центра глаза при саккадных движениях. Обеспечение таких условий является важнейшей ключевой задачей изуализации ИВС, но далеко не единственной - с ней очень тесно связана задача формирования самого изображения («рендеринга» на профессиональном сленге). Для высокоточной ЗБ-визуализации ИВС необходима расширенная постановка этой задачи, в которой учитывались бы особенности строения анатомического отдела зрительного анализатора и его взаимодействия с носителем изображения. Для реализации этой модели непосредственно применим алгоритм обратной трассировки, причем постановка задачи обратной трассировки также должна рассматриваться в более общем виде. В частности, могут быть сняты ограничения на форму картинной поверхности и описание трассирующего множества (картинная плоскость и прямолинейный луч, выходящий из центра проекции относятся к простейшему частному случаю).
Алгоритм формирования изображения и метод описания изображаемой поверхности взаимосвязаны. Сейчас для описания поверхностей чаще всего используется полигональная модель (практически всегда триангулянт). Причиной этого является ситуация, сложившаяся на рынке устройств аппаратной поддержки геометрических вычислений для ЗО-визуализации, - в них используется в основном алгоритм буфера глубины. Эту ситуацию можно охарактеризовать как безграничный диктат систем ЗБ-графики, в которых аппаратно реализован
алгоритм буфера глубины, требующий, во-первых, представления любой поверхности в виде триангулянта и, во-вторых, использования простейшей модели проецирования в виде пирамидальной виртуальной камеры (один из базовых объектов в составе API OpenGL и API DirectX).
Вынужденное применение (в стандартных API) пирамидальной модели сильно ограничивает возможности построения модели высокоточного формирования иозбражения, особенно, если физический носитель изображения принципиально имеет неплоскую форму (например, поверхность сетчатки глаза, стекло гермошлема и т.п.). Другим недостатком алгоритмов ЗБ-визуализации с буфером глубины является большой объем исходных данных в сложных 3D-сценах, причем высокая размерность триангулянта далеко не всегда позволяет скрыть слишком грубое приближение поверхностей сложной формы. В этой связи сохраняет актуальность поиск новых методов представления поверхностей, и в данной работе показаны возможные подходы к решению проблемы описания носителей сложных поверхностей в параметрической форме. Важно, что параметрическое описание носителя поверхности позволяет не только изобразить поверхность в «первозданном» виде, не прибегая к ее полигональному приближению, но и радикально понизить объем данных, описывающих сложные пространственные формы.
Особеностью процесса обратной трассировки полиморфной поверхности является сильная зависимость трудоемкость обработки примитивов от вида 3D-примитива, причем для ЗБ-объекта (и для ЗО-сцены) конкретного вида трудно заранее предсказать распределение множества ЗБ-примитивов по видам. Неоднородное и трудно предсказуемое распределение вычислительных затрат является одним из факторов, тормозящих развитие аппаратурной поддержки алгоритмов обратной трассировки. Вычислительная архитектура для поддержки этих алгоритмов должна иметь большую избыточность, причем даже избыточность не всегда способна гарантировать эффективную обработку поверхностей любого вида. Одним из перспективных подходов к обратной трассировке поверхностей свободной формы в реальном времени является использование адаптируемых вычислительных архитектур. В этой связи необходимо упомянуть процессор S5000 (содержит блок Instruction Set Fabric, управляемый компилятором C++, позволяющий изменить специализацию вычислений [134]). Это процессор можно рассматривать как возможную основу для создания подходов к решению проблемы неоднородности вычислений на базе вычислительных архитектур, адаптируемых к виду конкретной поверхности или ЗБ-сцены. Во всяком случае, появление вычислителей с адаптируемой архитектурой делает актуальной разработку объектных моделей полиморфных поверхностей сложной формы (образуемых CSG-композицией ЗБ-примитивов свободной формы), моделей данных для описания таких поверхностей и алгоритмов обратной трассировки в расширенной постановке, рассматриваемых в данной работе.
Моделирование поведения объектов наблюдения в СВ ИВС. Описанные выше проблемы (кроме высокоточной бинокулярной визуализации) связаны, в основном, с созданием реалистичных изображений, по-прежнему остаются и будут еще долго оставаться в центре внимания разработчиков систем виртуальной реальности. В то же время визуализация именно индуцированной виртуальной
среды требует рассмотрения целого ряда дополнительных задач, важных при моделировании поведения объектов, подчиненных не имитационной системе (как в «обычных» системах ВР), а системе, следящей за реальными событиями и поведением реальных объектов.
Одной их таких задач является задача управления поведением и взаимодействием объектов со сложной структурой, которая может существенно изменяться в ходе моделирования. Сущность, возникающих проблем (и причины их возникновения), заключаются в том, что при построении моделей объектов приходится руководствоваться абстрагированным представлением о реальном объекте, связанным с идеализированной моделью структуры и связанной с ней моделью данных. Доступные данные о состоянии, которые на практике поступают не от имитационной модели, а от сенсорных систем, регистрирующих состояние реальных объектов, почти всегда имеют семантику, не соответствующую семантике данных, описывающих поведение модели - имеет место неполная релевантность данных о состоянии объекта и его модели.
Неполная релевантность проявляется, например, в том, что могут по-разному интерпретироваться координатные данные, описывающие поведение структурных звеньев модели, и данные, регистрируемые непосредственно сенсорной системой реального объекта (например, инерциальной или GPS-системой). Более того, данные, необходимые для управлению некоторыми звеньями модели могут даже полность отсутствовать (из-за отсутствия или отказа датчиков).
Другая проблема связана с описанием поведения и управленим взаимодействующих объектов. При взаимодействии реальных объектов часто происходит изменение их структуры, в то время как модели структур объектов ИВС являются более консервативными. Данные о состоянии реальных объектов изменяют семантику после наступления событий реорганизации структуры, в результате чего структуры объектов ИВС могут стать непригодными для управления. Например, при стыковке и расстыковке модулей КА, при работе манипуляторов, андроидных механизмов и т.д. структурные связи могут разрываться, восстанавливаться, менять направление, могут появляться новые связи и т.п. Некоторые виды объектов, в частности, «шагающие» манипуляторы могут изменять свою структуру «на ходу», что приводит к частым преобразованиям дерева кинематической системы (здесь при сохранении связности в дереве систематически перемещается корневой узел).
Существующие подходы к описанию структур (в том числе деревьев) и связанные с ними модели данных создают трудности при использовании их для описания поведения взаимодействующих объектов - их приходится уничтожать и создавать заново, причем систематически. Создание и уничтожения объектов в свою очередь связано с реорганизацией памяти, что усложняет управление системой. Однако еще хуже то, что в некоторых случаях («массивные» объекты) такая реорганизация приводит недопустимо большим временным задержкам моделирования и визуализации, причем их трудно избежать.
Особенности создания распределенных СВ ИВС. Проблемы описания и управления взаимодействующими объектами могут проявиться также и при создании распределенных систем визуализации ИВС, особенно в тех случаях, когда в таких системах приходится использовать ненадежные потоколы
транспортировки. Характерный пример - массовая рассылка дейтаграмм без установления соединения (протокол UDP), в которых должны содержаться данные о поведении в реальном времени наблюдаемых реальных объектов и наблюдателей. Одна из основных сложностей использования такого протокола для передачи вектора состояния ИВС связана с нарушением хронологии поступления данных и потерей данных. Для сохранения управляемости объектов ИВС в таких условиях необходимо создание специальных моделей поведения и данных, описывающих состояние объектов управления. Такие модели (даже при потере некоторой доли данных о состоянии) могли бы обеспечивать работоспособность распределенных СВ ИВС при широковещательной рассылке.
Создание модели данных для транспортировки вектора состояния ИВС непосредственно связано с другой проблемой - стандартизацией сетевого формата данных для ЗБ-визуализации. В конце 2004 года было объявлено о выходе в свет очередного формата ЗБ-данных базирующегося на концепции XML и одновременно являющегося наследником языков семейства VRML.
Формат X3D, с точки зрения проблематики задач управления поведением ИВС в распределенной системе, как и VRML не позволяет непосредственно использовать его для транспортировки данных о состоянии ИВС. Средствами X3D эта задача решается лишь частично, и для распределенной системы визуализации ИВС необходимо расширение X3D. Необходимость расширения касается, в частности, двух аспектов - введение модели дерева с перемещаемым корнем и введение модели метаданных для описания состояния. Это модель, в частности, должна давать возможность по-разному описывать поведение объектов в промежуточном и клиентском слоях. Учитывая возможные сбои доставки данных о состоянии, в клиентского слоя должна быть изменены схемы моделирования поведения (нельзя накапливать предысторию изменения состояний, использовать механизм событий и т.п.).
В настоящее время методология создания распределенных систем развивается по трем преобладащющим технологическим направлениям, поддерживаемым разными сообществами разработчиков - CORBA (Object Management Group, J2EE (Sun) и DOT-NET (Microsoft), [52, 54, 76, 77]. Эти три направления объединяет общий подход к рассмотрению распределенной системы как бизнес-системы (со всеми вытекающими отсюда последствиями). Вместе с тем, достаточно очевидно, что логика функционирования системы визуализации ИВС принципиально отличается от логики фукнционирования бизнес-систем. Однако, специализированной технологии, предназначенной для создания распределенных систем, не относимых либо к «бизнес-классу», либо к классу систем «с нулевой эффективностью» (так в последнее время стали называть игровые системы), пока не существует. В такой ситуации одним из возможных подходов к созданию распределенной системы визуализации ИВС мог бы стать подход, базирующийся на концепциях метамоделей и метаданных, предложенный Object Management Group, и называемый Model Driven Architecture (MDA), [76].
Основное достоинство концпеции MDA - абстрагирование от разработки средств поддержки операционно-сетевых задач, и концентрация усилий на разработке средств реализации логики функционирования распределенной системы. Основным инструментальным средством разработки распределенной системы по идеологии MDA-OMG является UML в сочетании с репозитариями
моделей данных [76]. В идеальном случае описание системы на UML должно преобразовываться в исходный код, который в дальнейшем должен использоваться как основа для дальнейшей детальной проработки программистами.
Другим достоинством концепции MDA является принципиальная приверженность OMG идеологии Open Source - стандарты OMG (в том числе и для MDA) полностью открыты. Это может оказаться немаловажным с точки зрения обеспечения независимости разработки от сторонних производителей (использование операционных систем с открытым кодом).
Цель и задачи работы.
Целью работы является разработка теоретических основ создания математического и программного обеспечения систем визуализации индуцированной виртуальной среды - специальной разновидности систем виртуальной реальности, позволяющих вести наблюдение за реальными объектами без использования средств прямого оптического наблюдения (при этом объекты наблюдения могут быть невидимыми ).
Такие системы визуализации предназначены в первую очередь для использовании при управлении сложными человеко-машинными системами, функционирующими в экстремальных условиях, когда использование обычных оптических и/или телевизионных средств наблюдения невозможно, затруднено или неэффективно.
Для достижения поставленной цели в работе решаются следующие задачи:
о Разработка методов описания поведения виртуальных ЗБ-объектов,
имеющих динамическую иерархическую структуру, и алгоритмов
выполнения рекурсивных ЗБ-преобразований для структурных звеньев
таких объектов. о Разработка оптико-геометрической и объектной моделей программного
интерфейса системы высокоточной стереоскопической визуализации с
большим числом степеней свободы, о Разработка методов и алгоритмов синтеза изображений составных
полиморфных ЗБ-объектов на картинных поверхностях сложной формы, о Создание методологии разработки программного обеспечения
распределенных систем ЗБ-визуализации ИВС.
Актуальность работы.
Существующие и перспективные человеко-машинные системы (в частности, предназначенные для использования в космосе) характеризуются высоким уровнем сложности, а условия их применения связаны с высоким уровнем риска и цены риска ошибочных действий. Опыт управления такими системами показывает, что для поддержки принятия решений в условиях, которые зачастую
"Понятие «невидимый объект» в контексте работы означает сочетание факторов, неблагоприятных для прямого оптического наблюдения: объект переизлучает свет в невидимом спектре, находится в плохих оптических условиях (недостаточная освещенность, пыль, туман, дым и т.п.), за светонепроницаемой преградой, на большом удалении, вне поля зрения и т.д.
являются экстремальными (как с точки зрения времени, отводимого на принятие решения, так и условий, в которых разворачиваются события) требует привлечения принципиально новых подходов и информационных технологий.
Одним из наиболее эффективных способов интерпретации потоков данных высокой интенсивности является использование интерфейсных средств, подключаемых непосредственно к сенсорной системе человека-оператора, -систем виртуальной реальности. Системы виртуальной реальности позволяют преобразовывать большие объемы числовых данных в сенсорные (как минимум, визуальные) образы синтезируемой компьютером трехмерной виртуальной среды. Это позволяет на качественно новом уровне решать проблемы интерпретации данных поведении, о положении и ориентации сложных объектов и их составных частей в пространстве, преобразуя числовые данные в форму, легко и быстро воспринимаемую экспертами.
Для эффективного использования интерефейса ВР при управлении сложной технической системой необходимо соответствующее информационное обеспечение модели управляемой системы. В этой связи следует отметить, что современные технические системы, как правило, оснащаются большим количеством устройств, регистрирующих различные параметры (пространственные координаты системы и ее структурных единиц, температуру, давление и т.п.), характеризующие их состояние. В качестве характерного примера можно привести сложившуюся за несколько десятков лет в Центре управления полетами (ЦУП) Роскосмоса информационную инфраструктуру - это десятки и сотни тысяч каналов приема в реальном времени больших объемов телеметрических и траекторных данных. Однако, возможности приема и обработки больших потоков информации теряют смысл, если они не обеспечены средствами интерпретации этой информации в той форме, которая позволяла бы оперативно анализировать ситуацию и принимать адекватные решения.
Об актуальности исследований в данном направлении ярко свидетельствует лишь один пример из опыта эксплуатации долговременной орбитальной станции. После столкновения грузового корабля с модулем станции только 3D-реконструкция развитая событий, предшествоваших столкновению, позволила получить адекватную картину взаимного движения конструкций корабля и станции и обнаружить наиболее вероятное место повреждения конструкции станции. Оказалось, что без анализа поведения виртуальных ЗБ-моделей (только лишь на основе имеющейся телеметрической и траекторной информации) сделать это чрезвычайно сложно (если вообще возможно). Однако оперативное проведение такого анализа оказалось сложной проблемой, поскольку отсутствовала необходимая инфраструктура получения релевантных данных, методика их обработки и преобразование в форму, позволяющую воспроизвести адекватную картину событий в виртуальной среде. Для обработки данных и получения результатов понадобилось несколько недель. В то же время при наличии соответствующей инфраструктуры и математического обеспечения можно было бы не только проследить развитие событий в реальном времени, но и, вероятно, даже предотвратить столкновение.
Для долговременных орбитальных станций нового поколения - в том числе, Международной космичпской станции (МКС) - характерно растущее усложнение пространственной конфигурации с расположением крупногабаритных
протяженных фрагментов вдоль нескольких пространственных осей (такие конструкции можно назвать сильно разветвленными). Движение и управление движением вблизи центра масс сильно разветвленных космических аппаратов (КА) сопряжено с еще большим риском и ценой риска столкновений фрагментов конструкций КА, и использование здесь систем виртуальной реальности (точнее, СВ ИВС) является чрезвычайно актуальным.
Характерным примером использования возможностей технологии ВР, является экспедиция «Марс-Спирит», в ходе которой неоднократно возникали критические ситуации, требующие детального анализа пространственной обстановки, складывавшейся вокруг марсохода, в котором средства виртуальной реальности оказались незаменимыми. По мнению автора, можно утверждать, что в будущем при освоении космоса (в частности, планет без атмосферы или планет, имеющих атмосферу из агрессивных химических соединений и несовместимые с жизнью температурные условия) средства ВР, использующие концепцию индуцированной виртуальной среды, будут играть ключевую роль.
Вместе с тем в своем существующем виде технология ВР предназначена, в основном, для визуализации искусственных (синтезированных компьютером) объектов и сцен, моделирование и управление которыми принципиально отличается от моделирования и управления объектами в индуцированной виртуальной среде - они существенно проще, в частности, благодаря высокой релевантности доступных данных о состоянии моделируемых объектов. Ближе всего по функциональному назначению к системам визуализации ИВС находятся системы усиленной и смешанной реальности. Однако подход к бинокулярной визуализации, используемый в этих системах в настояще время, слишком ограничен, и принципиально не позволяет обеспечить адекватное восприятие среды в ближней зоне. Подход к созданию еще одной распространенной разновидности систем ВР - систем телеприсутствия - как правило, базируется на представлении об этих системах как о мультимедийных, в результате чего основное внимание уделяется аудиторной экранной (хотя и стереоскопической) визуализации ЗБ-среды.
В целом анализ возможностей технологии виртуальной реальности (во всех существующих ее разновидностях) в контексте требований, которым должна удовлетворять эта технология, для использовании ее при управлении сложными человеко-машинными системами, позволяет сделать вывод об актуальности разработки методологии создания систем визуализации индуцированной виртуальной среды, которая должна существенно отличаться от подходов к созданию систем виртуальной реальности «обычного» назначения.
Новизна работы.
Рассмотренные в работе системы ЗБ-визуализации индуцированной виртуальной среды являются новой разновидностью систем визуализации, в которых используются альтернативные (неоптические) подходы к получению информации о состоянии объектов наблюдения. Распределенные системы СВ ИВС можно отнести к новой разновидности распределенных систем, имеющих ряд существенных отличий от обычных распределенных систем, включая функциональную специализацию звеньев, задачи, логику функционирования и взаимодействия звеньев, виды контента, циркулирующего в этих системах.
Расширено представление о свойствах иерархических структур, введено понятие RTR-структуры (иерархической структуры с переменным отношением порядка), программной реализацией которой является связанный список нового вида - связанный RTR-список. Разработаны методы выполнения 3D-преобразований для систем координат звеньев RTR-структур, позволяющих описывать поведение ЗБ-объектов, в иерархических структурах которых может изменяться направление внутренних связей.
Предложена новая геометрическая модель интерфейса стереоскопической визуализации виртуальной среды, включающая описание независимого движения оптических осей и изменения оптической силы бинокулярной зрительной системы человека. Новая модель позволяет формировать не только более полный (по сравнению с общепринятой моделью 6DOF-CTepeonwiOBbi) набор начальных условий для синтеза стереопары изображений виртуальной среды, но и описывает условия вывода стереопар избражений через оптическую систему стереодисплея.
В новой постановке решена задача обратной трассировки. Отличия от существущей постановки затрагивают два аспекта: используется более общая модель проецирования, в которой изображение строится на картинной поверхности сложной формы (в том числе и на плоскости); поверхность 3D-объекта рассматривается как объединение фрагментов поверхностей сложной формы, имеющих разное математическое описание (в том числе полигональных фрагментов).
Предложен новый подход к решению задачи обратной трассировки, основанный на поиске экстремума функционала в виде скалярного произведения вектора сканирования картинной поверхности и радиус-вектора трассируемой поверхности, описываемых в одной системе координат. Это подход позволяет, в частности, построить алгоритм непосредственной трассировки поверхностей, описываемых параметрически, и вообще любых поверхностей, для которых может быть построен функционал, экстремум которого отыскивается на множестве элементов растра картинной поверхности и/или множестве значений параметров, описывающих ЗБ-носитель поверхности.
Научное и практическое значение работы.
Предложенные в данной работе концепция индуцированной виртуальной среды и концепция системы визуализации индуцированной виртуальной среды расширяют представления о системах виртуальной реальности, возможностях этих систем, а также областях их применения.
Построение ИВС и систем визуализации ИВС можно рассматривать как один из первых шагов создания методологии визуализации, использующей методы слежения за поведением объектов, основанные, в первую очередь, на альтернативных (неоптических) принципах. Реализация такого подхода к визуализации позволит расширить возможности оптических (в том числе телевизионных) систем слежения, а также получить принципиально новые возможности, недоступные при использовании обычных систем оптического телевизионного наблюдения, - в частности, возможности «виртуального» или «телеприсутствия».
Большие практические перспективы могло бы иметь применение СВ ИВС в системах навигации с использованием 3DTHC, в системах дистанционного пилотирования и вождения.
Возможности визуализации ИВС меняют существующее (достаточно узкое) представление о системах телеприсутствия, которые в нынешнем понимании рассматриваются, в основном, как мультимедийные системы. Визуализация ИВС дает возможность реализовать «виртуальное присутствие» в фактически недоступной среде, например, находящейся на большом удалении, или имеющей условия и параметры, несовместимые с жизнью. Наиболее характерным примером таких сред и соответствующей области применения системы можно считать, в частности, космическое пространство и развертывание и/или эксплуатация больших орбитальных станций, а также исследования планет с помощью автоматов и т.д. Вообще говоря, системы, реализующие концепцию телеприсутствия, могут найти применение во всех областях деятельности, связанных с высоким риском и высокой ценой риска, а также в условиях, при которых оказывается невозможным или затруднительным использование оптических и телевизионных средств наблюдения (либо их использование дает сильно ограниченные возможности наблюдения).
Необходимо также отметить, что предложенные в данной работе методы описания, реконструкции, моделирования поведения и визуализации виртуальных ЗО-объектов относятся в том числе и к предметным областям, имеющим общенаучное значение (в частности, теория графов, моделирование поведения, модели данных, теория распределенных систем, теория перцептивной перспективы и др.). Поэтому результаты, полученные в данной работе, и относящиейся к этим областям, могут представлять научный и практический интерес не только для систем виртуальной реальности и ЗБ-визуализации, но и для гораздо более широкого круга применений.
Основные результаты.
1. Разработана концепция индуцированной виртуальной среды и системы
трехмерной визуализации индуцированной виртуальной среды, являющейся
системой визуализации нового поколения, использующей альтернативные
(неоптические) данные об объектах наблюдения, и применяемой в условиях, в
которых использование обычных оптико-телевизионных средств наблюдения
невозможно, затруднено или неэффективно.
Исследованы и решены наиболее важные математические задачи описания и обработки данных, описывающих поведение объектов наблюдения, задачи реконструкции поведения и синтеза стереоскопических изображений этих объектов в виртуальной среде, которые образуют математическую основу программного обеспечения систем интерактивной трехмерной визуализации индуцированной виртуальной среды.
Создана методология проектирования, разработки и сопровождения программного обеспечения систем трехмерной визуализации индуцированной виртуальной среды, необходимая при разработке человеко-машинных систем для
дистанционного слежения, управления, пилотирования, навигации и других систем аналогичного назначения.
4. На основе созданных математических методов и технологии разработки программного обеспечения в ЦУП-ЦНИИМаш разработан и функционирует программный комплекс трехмерной визуализации на коллективных и индивидуальных средствах отображения динамических орбитальных операций по данным систем траекторных измерений и телеметрии реального времени. Комплекс используется при выполнении различных космических программ, в том числе программ «Мир» (до марта 2001 года), Международной космической станции и программ освоения космоса с использованием автоматических космических аппаратов различного научного и социально-экономического назначения.
Структура и содержание диссертации.
Диссертация состоит из введения, пяти глав, заключения и библиографического списка. Содержание работы изложено на 211 страницах, библиография включает 134 наименования; в работе содержится 106 рисунков и 2
таблицы.
Во введении даны общий обзор проблематики работы и ее ретроспектива, показана актуальность работы, изложены цель и задачи проводимых исследований; представлены новые научные результаты, полученные в ходе иследований, показана их новизна, научное и практическое значение работы; сформулированы основные результаты, выносимые на защиту.
В 1-й главе излагается общее представление о концепции индуцированной виртуальной среды и распределенной системы визуализации этой среды; описывается проблемная область и основные классы математических задач, возникающих при разработке программного обеспечения СВ ИВС, описаны возможные области применения этих систем.
В первом разделе главы дано определение понятия «Индуцированная виртуальная среда», показаны основное назначение и области применения систем визуализации индуцированной виртуальной среды, дана обобщенная схема и принципы информационного взаимодействия реальной и виртуальной сред в этих системах.
Во втором разделе показаны основные возможности технологии «Виртуальная реальность», позволяющие использовать ее наблюдения за поведением объектов и систем на основе альтернативных принципов визуализации - отсутствие ограничений на выбор точек и ракурсов наблюдения, снятие многих физических ограничений для наблюдения (перемещение в пространстве, прямая оптическая видимость, спектр ЭМК и т.п.). Показано, что использование технологии «Виртуальная реальность» дает целый ряд новых возможностей визуализации объектов, в том числе, возможность «увидеть» принципиально невидимые объекты (в понимании этого термина, подразумевающем рассеяние энергии ЭМК в оптическом и субоптическом диапазонах спектра), осуществлять синхронное наблюдение поведения объектов в
нескольких ракурсах, в том числе принципиально недоступных при использовании обычных оптических и телевизионных систем.
В третьем разделе описываются основные проблемы возникающие при использовании возможностей ЗБ-визуализации для сенсорного погружения одновременно в реальную и виртуальную среды с совмещаемыми системами координат. Дано описание содержания наиболее важных проблем, в число которых входят: создание моделей визуализации, обеспечивающих условия для адекватного бинокулярного восприятия 2Б-изображений ЗБ-среды; разработка алгоритмов синтеза реалистичных изображений ЗБ-среды; обеспечение адекватности и релевантности доступных данных, используемых для реконструкции состояния объектов в виртуальной среде (в частности данных позиционирования, получаемых при помощи систем GPS, инерциальных, фидуциальных и гибридных систем).
В четвертом разделе дан развернутый анализ существующих и перспективных подходов к решению проблем ЗБ-визуализации в наиболее распространенных системах сенсорного погрухения в виртуальную среду, включая анимационные и игровые системы, в которых реализуется автономное (не связанное с реальное средой) погружение, а также тренажерные и имитационные системы, предназначенные для одновременного погружения в две среды (реальную и виртуальную), системы координат которых могут совмещаться. Показано, что возможности известных в настоящее время технологий, используемых для точного совмещенного сенсорного погружения (в частности, Augmented/Mixed Reality - «Усиленной/Смешанной Реальности») являются слишком ограниченными в контексте требований к СВ ИВС, и системы Augmented/Mixed Reality в их существующем виде следует рассматривать как частные случаи реализации СВ ИВС для более простых применений.
В пятом разделе представлены основные классы и даны обобщенные постановки математических задач, возникающих при создании программного обеспечения системы высокоточной визуализации ИВС, которые можно разделить на три группы: создание моделей данных и моделей структур для описания поведения и взаимодействия ЗБ-объектов, имеющих динамическую струтуру; создание многоуровневой модели высокоточной стереовизуализации с большим числом степеней свободы, в которой должны учитываться особенности бинокулярного восприятия в ближней зоне (в зоне действия аккомодации); создание алгоритмов формирования изображений для носителей сложной (неплоской) формы с использованием расширенной модели проецирования, которая в системе высокоточной визуализации должна использоваться вместо общепринятой модели пирамидальной виртуальной камеры.
Отдельно рассмотрена проблема создания моделей поведения и моделей данных, обусловленная особенностями СВ ИВС как распределенной системы (в частности, с негарантированной доставкой данных о состоянии). Отмечено, что наиболее перспективным подходом к ее решению для систем ЗБ-визуализации является использование методологии Model Бгіуєп Architecture, базирующейся на открытых стандартах OMG, а в качестве концептуальной основы для модели протокола передачи данных о состоянии может быть использована модель XML (реализованная в виде формата ХЗБ, но требующая некоторой доработки).
Во 2-й главе рассматривается задача описания и управления поведением моделей ЗБ-объектов, имеющих динамическую структуру, которая может существенно изменяться в ходе моделирования ИВС по данным о состоянии объектов реальной среды.
В первом разделе анализируется подход к построению модели древовидной структуры на основе декомпозиции объекта, в результате которого образуется ориентированное дерево иерархической структуры, содержащее информацию о связности и первичное отношение порядка, соответствующее направлению декомпозиции. Показано, что при назначении функций корня разным вершинам происходят изменения ориентации ребер, данные о которых (совместно с данными о первичной ориентации) можно использовать для переназначения функций «дочерний» и «родительский» соответствующим узлам дерева «на ходу», не прибегая к операциям создания-уничтожения деревьев. Для реализации таких преобразований необходимо модернизировать существующий подход к описанию древовидных структур на основе описания переменного отношения порядка (деревья с таким описанием названы RTR-деревьями).
Во втором разделе представлен подход к описанию движения объектов и их структурных единиц, представляемых в виде RTR-деревьев. Описан метод выполнения рекурсивных ЗБ-преобразований систем координат звеньев RTR-деревьев (движение статичных объектов и объектов с кинематикой), в которых используется информация об изменении ориентации ребер дерева. При помощи RTR-деревьев и ЗБ-преобразований систем координат вершин RTR-деревьев облегчается описание структуры и моделирование поведения шагающих объектов (андроиды, манипуляторы), гибких объектов (шланги, провода, волосы, одежда и т.п.).
В третьем разделе рассматривается подход к построению описания программных объектов, представляющих RTR-деревья. Показано, что для этой цели может быть использована модель связанного списка, из которой необходимо удалить «прошивку» первичного отношения порядка, ввести описание переменного отношения порядка и делегировать функции хранения данных (матриц ЗБ-преобразований) объектам, непосредственно реагирующим на изменение отношения порядка (дугам). Связанный список с новыми свойствами назван RTR-списком. Описана объектная модель связанного RTR-списка, используемая для программной реализации RTR-дерева, и её особенности при описании объектов ИВС (двухуровневый полиморфизм элементов кроны).
В четвертом разделе описывается подход к построению программных средств развертывания и управления поведением ЗБ-объектов со структурой RTR-дерева. Рассмотрены паттерны создания RTR-деревьев, для разных видов объектов ИВС (фабрики объектов ИВС), паттернов сопровождения структуры (доступ, обход, ЗБ-преобразования и т.п. ) и управления ее поведением (связанным движением структурных звеньев).
Рассмотрено построение паттернов поддержки взаимодействия RTR-деревьев, в результате которого образуются временные объекты с новой структурой. Предложены подходы к описанию взаимодействия, позволяющие избежать применения операций создания-уничтожения объектов при объединении и разбиении их структур, на основе использования априорной
информацию о потенциально возможных структурных связях между разными объектами (модели контактного фрейма и посредников взаимодействия).
В 3-й главе описывается развитие геометрической модели стереоскопической визуализации, в которую введены дополнительные факторы, влияющие на адекватность бинокулярного восприятия ЗБ-среды.
В первом разделе дана общая постановка задачи стереовизуализации. Изложены основные положения современного представления о функционировании бинокулярной зрительной системы человека, на основании которых построена геометрическая модель бинокулярной зрительной системы. Для этой модели построен набор факторов, влияющих на формирование объемного восприятия ЗБ-сцены по стереопаре 2Б-изображений ЗБ-сцены. Факторы разделены на две группы; на основе первой группы формируются начальные условия синтеза стереопары изображений сцены, на основе второй - условия вывода изображений (оптическая сила окуляров, соответствующая удалению точки прицеливания зрительных осей).
Во втором разделе представлено развитие математической модели бинокулярного интерфейса, которая должна использоваться в качестве основы для разработки программно-математического обеспечения интерфейса стерео-визуализации. Описана геометрическая модель стереоинтерфейса с дополнительными степенями свободы (по сравнению с «6DOF-CTepeonwioBofi») и модель данных для описания состояния виртуального зрителя.
Приведены результаты анализа степени влияния вергентных смещений оптического центра сенсора на угловую невязку изображений предметных точек. На основе расчётов, проведенных для геометрической модели редуцированного глаза, показано, что это влияние необходимо учитывать при задании начальных условий построения изображения. Сделано предположение о связи между вергентными смещениями оптического центра и феноменом обратной перспективы.
В третьем разделе описана объектная модель программного интерфейса для устройства высокоточной стереовизуализации, в которую должны быть включены факторы, действующие на воприятие объема в ближней зоне наблюдения. Вводятся понятие «Пост визуализации», представляющее объект с большим числом степеней свободы, выполняющий функции определения параметров, образующих набор начальных условий для алгоритма синтеза изображения стереопары. Показано, что как самостоятельный объект должна рассматриваться картинная поверхность, которая может быть сложно структурирована и образована сегментами разной геометрической формы с автономным поведением.
В четвертом разделе рассматриваются вопросы, связанные с описанием и управлением поведением поста визуализации. Описана модель данных для состояния поста, на основе которой строится модель его поведения. Рассмотрены основные сценарии поведения, в том числе группового, который может использоваться для визуализации ИВС, совмещенной с непосредственной визуализацией реальной среды, Такие сценарии могут применяться для информационной подержки таких операций как выход в открытый космос, десантирование на планеты и т.п. (реализуется синхронная визуализация реальной и виртуальной сред для экипажей и групп центров управления).
В 4-й главе рассматриваются вычислительные методы и алгоритмы синтеза изображений ЗБ-сцен, ипользующие расширенную постановку задачи обратной трассировки лучей (ОТЛ). Отличия от обычной постановки задачи ОТЛ затрагивают два аспекта. Во-первых используется более сложная модель проецирования, в которой форма картинной поверхности может быть произвольной; показано, что трассирующие лучи не обязательно должны быть прямыми и могут и начинаться в разных точках пространства. Во-вторых, в качестве примитивов, образующих поверхность ЗБ-объекта, могут использоваться не только плоские полигоны (например, треугольники), но и фрагменты поверхностей разной формы (вводится понятие составной полиморфной поверхности, которая может содержать в том числе и фрагменты триангулянтов).
В первом разделе показано, что свойства геометрических объектов в модели обратной трассировки позволяют снять ограничения на форму картинной поверхности и представление трассирующего луча. Вводится понятие уравнения встречи, описывающего факт пересечения луча, сканирующего картинную поверхность, с поверностью изображаемого ЗБ-объекта. Описывается общий подход к построению вычислительных методов получения растра изображения ЗБ-объекта на картинной поверхности произвольной формы.
Во втором разделе приводится анализ возможных подходов к трассировке поверхностей свободной формы, и описывается метод построения изображений таких поверхностей, использующий свойства экстремума скалярного произведения номированного вектора сканирования картинной и номированного радиус-вектора трассируемой поверхностей. Показано, что такой подход позволяет построить алгоритм трассировки любой параметрической поверхностей без ее полигональной аппроксимации. Приведены примеры изображений параметрической поверхности, которые были получены непосредственной трассировкой.
В третьм разделе рассматриваются вычислительные методы для явного решения систем уравнений, описывающих поверхность и трассирующий луч. Приведены примеры поверхностей, представляемых в алгебраической форме, для которых даны явные решения уравнения встречи (поверхности вращения, плоские области разной связности).
В четвертом разделе даётся описание объектной модели составной полиморфной поверхности (СПП) со структурой RTR-дерева, а также средств обработки хранимых описаний СПП. Показаны схемы основных абстракций, представляющих СПП на разных стадиях жизеннного цикла ЗБ-объекта; показано строение решёток классов, при помощи которых описывается СПП; представлены основные схемы проектирования программных средств обработки описания, развертывания поверхностей в оперативной памяти и управления их состоянием.
В пятом разделе описаны особенности выполнения CSG-операций над полиморфными поверхностями, имеющими структуру RTR-деревьев. Показано, что перемещения корня дерева в общем случае может приводить к нарушению корректности выполнения композиции CSG-операций; описаны возможные подходы к организации выполнения композиции CSG-операций на RTR-деревьях, сохраняющие их корректность (инкапсуляция операций в кластерах и в примитивах).
В шестом разделе рассмотрена модель геометрических вычислений для алгоритма обратной трассировки составных полиморфных поверхностей.
Отмечено, что основная трудность обеспечения аппаратурной поддержки алгоритмов обратной трассировки полиморфных поверхностей обусловлена неоднородным и трудно предсказуемым распределением вычислительных затрат по элементам картинной поверхности и объектам сцены. Введено понятие спектра вычислительной нагрузки, анализ которого на типичных примерах ЗБ-объектов показывает, что алгоритмы обратной трассировки имеют многократный резерв производительности, который может быть реализован в параллельных адаптируемых архитектурах. Предложена идея модели виртуальной машины обратной трассировки для платформно-независимого моделирования алгоритмов обратной трассировки.
В 5-й главе описана концепция разработки программного обеспечения, предназначенного для клиентского и промежуточного слоев распределенной СВ ИВС с многослойной архитектурой.
В первом разделе дан развернутый анализ современного состояния методологии создания распределенных систем и ее возможностей с точки зрения применения для разработки программного обеспечения распределенной СВ ИВС. Рассмотрены доминирующие технологии разработки ПО промежуточного слоя -CORBA, J2EE и DOT-NET; показаны их основные возможности и недостатки в контексте создания распределенной СВ ИВС. Показана перспективность и основные мотивы использования для этой цели технологии Model Driven Architecture, предложенной Object Management Group, и основанной на открытых стандартах.
Во втором разделе описано представление о системе визуализации ИВС как о распределенной системе, логика функционирования которой существенно отличается от логики функционирования бизнес-систем. Описаны основные компоненты и сценарии функционирования распределенной СВ ИВС; показаны особенности функционирования серверного, промежуточного и клиентского слоев системы, возможные варианты сетевой топологии системы и основные виды циркулирующего в ней контента.
В третьм разделе описывается подход к построению моделей данных и поведения объектов промежуточного и клиентского слоев, расчитанных на условия негарантированной доставки клиентам данных о состоянии объектов ИВС. Рассмотрены основные виды нарушения поведения объектов ИВС при потерях и нарушениях хронологии данных о состоянии; рассмотрены особенности моделей данных и описания поведения в промежуточном и клиентском слоях. Предложен подход к описанию поведения объектов ИВС, позволяющий максимально упростить обработку сбоев на стороне клиента (устранение накопления предыстории состояния объектов ИВС, введение избыточности данных о состоянии на основе параметризации событий и т.п.).
В четвертом разделе рассмотрена сохраняющая до настоящего времени свою актуальность проблема создания прикладного протокола для распределенных систем ЗО-визуализации. Показаны основные виды контента, циркулирующего между звеньями системы и связанные с этими видами подмножества прикладного протокола. Дан общий анализ развития модели данных для ЗО-визуализации, используемой в эволюционирующей модели
VRML-X3D. Показаны основные концептуальные ограничения моделей данных, представляемых в формате X3D, существенные для распределенной СВ ИВС. Рассмотрены возможности пути развития моделей данных X3D, делающего возможным применение формата X3D в распределенных СВ ИВС.
В заключении сформулированы основные результаты работы.
Апробация результатов.
Результаты исследований и материалы диссертации непосредственно используются, начиная с 1998 года, по программам «Мир» и «Международная космическая станция» (система ЗР-визуализации «Гипервизор» в составе программно-математических средств службы Моделирования и информационного обеспечения полетов) в ЦУП ЦНИИМаш Федерального космического агентства, с 2003 года при создании центра отображения в Институте космических исследований РАН, с 2005 года при создании центра отображения в НИЦЭВТ.
Исследования в рамках работ по созданию системы «Гипервизор», методологии создания систем виртуального присутствия и визуализаци индуцированной виртуальной среды, в которых автор принимал и принимает непосредственное участие, были неоднократно поддержаны Российским фондом фундаментальных исследований (гранты №№ 93-01-00445, 96-01-01274, 99-01-00202, 04-07-90423,04-07-90039,04-07-97211,05-07-90345).
Основные результаты диссертации опубликованы в научной печати, докладывались и обсуждались на семинарах в ЦУП ЦНИИМаш, РГНИИ ЦПК им.Ю.А.Гагарина, НИВЦ МГУ им. М.В. Ломоносова, на научном семинаре «Автоматизация программирования» под руководством проф. М.Р. Шура-Бура на факультете ВМиК МГУ им. М.В.Ломоносова; семинарах кафедры системной интеграции Факультета общей и прикладной физики МФТИ, Институте микропроцессорных вычислительных систем РАН; докладывались на конференциях: Международной конференции «MHVR-94. Мультимедиа, гипермедиа и виртуальная реальность» (г.Москва, 1994), Международной конференции «Индустрия программирования» (г.Москва, 1996), 2-й Международной научно-техническая конференции «Космонавтика, радиоэлектроника, геоинформатика» (г.Рязань, 1998), 49-м Международном астронавтическом конгрессе (г.Мельбурн, 1998), 3-й Международной конференции «Системы вирутального окружения на кластерах персональных компьютеров» (г. Ханты-Мансийск,, 2003), 14-й и 16-й Международных конференциях по компьютерной графике и машинному зрению «Графикой» (г.Москва, 2004, 2005), 5-м Научно-техническом семинаре "Технические средства и технологии для построения тренажеров" (Звездный городок, 2004); 6-й Международной научно-практической конференции «Пилотируемые полеты в космос» (Звездный городок, 2005); Международных конференциях IEEE Computer Society «Cyber Worlds 2005» (Сингапур) и «Cyber Worlds 2006» (Лозанна); 2-й и 3-й научных конференциях Кафедры СИМ ФОПФ МФТИ (Москва, 2005, 2006); представлены в СМИ: в журнале «Наука и жизнь» (№ 2, 1999), обсуждались в телевизионной дискуссии «Технологии виртуальной реальности» (телекомпания НТВ, программа «Гордон», 2003).
