Содержание к диссертации
Введение
Глава-1. Создание виртуального окружения в стерео,режиме 13
1.1. Обзор существующих методов создания визуальной обстановки и анализ их использования в тренажерных системах 14
1.2. Технология формирования стереопары для адекватного восприятия виртуального пространства 26
1.2.1. Геометрическая модель человеческого зрения 26
1.2.2. Стереопара и принцип моделирования объемного видения 28
1.2.3. Параметры виртуальных камер для моделирования стерео режима 31
1.2.4. Вычисление параметров виртуальных камер 32
1.3. Реализация стерео режима в подсистеме визуализации тренажерного комплекса...33
1.4. Мультиэкранная визуализация и синхронизация работы компонентов подсистемы визуализации 36
1.4.1. Концепция управления выводом 38
1.4.2. Механизм передачи данных и синхронного вывода 39
Глава 2. Методы определения положения оператора в трехмерном пространстве 42
2.1. Обзор основных типов систем трекинга и анализ их использования в тренажерных системах 42
2.2. Методы оптического трекинга 49
2.2.1. Восстановление положения объекта по изображениям от видеокамер 52
2.2.2. Методы идентификации маркеров на изображении 66
2.3. Реализация подсистемы трекинга для тренажерного комплекса 69
2.3.1. Определение параметров видеокамеры 70
2.3.2. Поиск маркеров на изображении и нахождение групп маркеров 73
Глава 3. Ошибки определения положения оператора и методы их уменьшения 79
3.1. Оценка точности реконструкции трех маркеров, расположенных на отрезке 80
3.2. Визуальные искажения при ошибках определения положения оператора 90
3.3. Уменьшение ошибок при определении положения маркеров на изображении 95
Глава 4. Взаимодействие оператора с виртуальными пультами управления 102
4.1. Технология взаимодействия человека с виртуальными объектами 103
4.1.1. Общая схема взаимодействия человека с виртуальными объектами 103
4.1.2. Определение положения человека в виртуальном окружении тренажера 105
4.1.3. Воздействие на виртуальные объекты и последующая динамика их движения. 109 4.2. Взаимодействие с элементами виртуальных пультов управления 111
4.2.1. Нажатие на виртуальные кнопки 111
4.2.2. Переключение тумблеров 116
4.2.3. Вращение переключателей 122
4.2.4. Вращение регуляторов 125
Глава 5. Реализация разработанных компонентов виртуального окружения для тренажерных комплексов 128
5.1. Структура и функционирование системы виртуального окружения 128
5.2. Тренажерный комплекс "Выход-2" системы обеспечения выхода в космос 135
Заключение 139
Библиография 140
- Обзор существующих методов создания визуальной обстановки и анализ их использования в тренажерных системах
- Обзор основных типов систем трекинга и анализ их использования в тренажерных системах
- Оценка точности реконструкции трех маркеров, расположенных на отрезке
- Технология взаимодействия человека с виртуальными объектами
Введение к работе
Человечество постоянно расширяет свою область деятельности - пробирается в глубины океана, отправляет космические аппараты на другие планеты и т.п. Зачастую человеку и технике приходится работать в сложных и экстремальных условиях, где особенно важна четкость и точность выполнения любых операций. Это приводит к повышению требований к уровню знаний специалистов, работающих в таких условиях. Обучение и тренировка специалистов (операторов) сложных систем на реальных установках и в реальных условиях слишком дорога, а часто и очень опасна. Альтернативой этому является создание тренажерных комплексов, которые в максимально возможной степени приближены к реальным установкам и позволяют тренирующимся приобрести правильные и устойчивые навыки. При достаточно полной имитации реальных устройств они, тем не менее, безопасны и при совершении ошибок стажером тренажер только информирует его об этом. Особое значение применение тренажерных технологий имеет в подготовке операторов систем управления сложными динамическими процессами. Для их обучения и повышения навыков используются специальные имитационно-тренажерные системы (комплексы).
Эффективность функционирования тренажерных систем зависит от трех основных показателей: показателя качества полученных знаний оператором, показателя скорости обучения и показателя формирования лоншых навыков у оператора. Задача повышения эффективности системы решается путем увеличения значений первых двух показателей и снижения значения последнего. Особенно опасным может быть формирование ложных навыков, т.к. эти навыки могут привести к неправильным действиям в реальной обстановке. Для повышения эффективности тренажерных комплексов важно знать, какие основные параметры тренажера влияют на показатели его эффективности. Эти параметры можно определить, зная структуру и особенности функционирования тренажерной системы.
Имитационно-тренажерный комплекс системы управления представляет собой сложный аппаратно-программный комплекс, включающий центр управления, контрольно-управляющую систему (моделирующий комплекс), систему имитации визуальной обстановки (систему визуализации) и систему имитации акустических шумов. Центр управления обычно представляет макет системы управления, содержащий элементы управления, приборы, датчики, и т.п. Таким образом, он воссоздает реальную обстановку вокруг оператора. Моделирующий комплекс управляет работой всех компонентов тренажера и обеспечивает логику функционирования имитируемой системы управления. Он определяет текущее состояние системы, вычисляет параметры визуализации и звукового сопровождения и т.п. Эту информацию он передает другим системам тренажера. Система визуализации создает и визуализирует виртуальные модели и элементы обстановки, окружающей имитируемую систему управления, которые в реальности воспроизвести достаточно сложно. Например, в космическом тренажере по стыковке очень сложно воссоздать международную космическую станцию и ее стыковочные узлы, к которым отрабатывается стыковка. Часто эти узлы или даже модули еще не существуют (не сделаны) в реальности, а тренировка по работе с ними может производиться с использованием виртуальных моделей системы-визуализации. В частности, так проводилась тренировка на виртуальной модели ATV в Европейском космическом агентстве. Система имитации акустических шумов воспроизводит звуки, происходящие в процессе работы системы управления. Информация, получаемая оператором от визуализирующей и аудио систем, а также от индикаторов и измерительных приборов центра управления, отражает реакцию всего тренажерного комплекса на действия. оператора. Таким образом, управление имитируемыми динамическими процессами оператор осуществляет на основе анализа видео и аудио информации, получаемой от соответствующих систем тренажера, и путем воздействия на элементы управления, расположенные в центре управления, такие как кнопки, переключатели и т.п. Устройства фиксируют действия оператора и передают свое состояние в виде сигналов управления моделирующему комплексу, который анализирует эти сигналы и вносит изменения в состояние модели системы управления. Выполнив все необходимые изменения; комплекс передает новую информацию другим системам тренажера, которые интерпретируют ее и выводят оператору.
Система визуализации имитационно-тренажерного комплекса является одной из основных. Она производит синтез изображения трехмерного пространства на специальных экранах, которые в окружающей обстановке представляются окнами в кабине, или телевизорами, выводящими видеоизображение от внешних средств наблюдения. Для создания изображения система использует виртуальную трехмерную модель пространства (виртуальную 3D сцену), которая описывает параметры объектов (положение, ориентацию, форму и т.д.), источников освещения, камер, анимационных треков и других составляющих этого пространства. Для полноценной работы тренажера визуализация виртуальной сцены должна происходить в режиме реального времени и обеспечивать эффект непрерывного движения динамических объектов, что соответствует выводу изображения на экраны с частотой, не менее 30 раз в секунду.
Анализ имитационно-тренажерных систем показал, что, чем более качественна представляемая тренажерной системой информация и выше скорость реакции системы на действия оператора, тем лучше качество и выше скорость обучения оператора. Поэтому одним из вариантов повышения эффективности таких систем является повышение качества выводимой информации. Среди всей этой информации особо следует выделить визуальную, поскольку человек в наибольшей степени получает представление об окружающей обстановке от органов зрении, и качество этой информации играет большую роль в обучении оператора. Анализ существующих тренажерных систем показал, что при имитации пространственной обстановки подсистема визуализации создает изображение, во многом несоответствующее реальному пространству, поэтому важным направлением повышения эффективности тренажерных систем является увеличение степени адекватности видеоинформации, представляемой подсистемой визуализации. Одним из решений такой задачи является использование технологий виртуальной реальности.
Человек способен воспринимать и анализировать окружающее его пространство благодаря мозгу и сенсорным рецепторам. Мозг интегрирует получаемые им сигналы от всех рецепторов и формирует общее представление об окружающем пространстве. Задача создания виртуальной реальности состоит в искусственном формировании у человека ощущений пространства и расположенных в нем объектов. Для этого необходимо сформировать адекватное изображение виртуального пространства, направить его в органы зрения наблюдателя так, чтобы создать у человека правильное объемное видение, обеспечить динамическое изменение изображения?при перемещении человека относительно объектов виртуальной сцены, обеспечить адекватную реакцию (движение, изменение формы и т.д.) виртуальных объектов при воздействии на них человека, смоделировать обратное воздействие объектов на человека (сопротивление воздействию) и т.д. Короче говоря, сделать все, чтобы виртуальное пространство формировало в мозге те же ощущения, что и реальное и, в этом смысле, замена реального пространства на виртуальное не была заметна.
Френсис Хэмит писал [78], что виртуальная реальность - это соединение компьютерной графики с взаимодействием «компьютер-человек». Он брал в основу создания киберпространства графические возможности компьютера, т.е. создание такого изображения компьютером, которое бы формировало ощущение действительной картины. По некоторым данным, термин "виртуальная реальность" был придуман в Массачусетском Технологическом Институте (МТИ) в конце 1970-х годов, чтобы выразить идею присутствия человека в создаваемом компьютером пространстве: идея интерактивности уже была в фокусе многих экспериментов в МТИ. Затем она перешла в Лаборатории Атари, где в начале 1980-х работали многие выпускники МТИ, а дальше получила распространение в индустрии компьютерных игр. В мире уже активно идет внедрение технологий виртуальной реальности в тренажерные системы [1, 50, 51]. Появились лаборатории (НАСА, Военно-морская исследовательская лаборатория; Военно-воздушный институт технологий, лаборатория виртуального окружения; Лаборатория прикладных технологий; Лаборатория применения виртуальной реальности в аэрокосмических тренировках и т.д.), которые непосредственно занимаются разработкой тренажеров с применением технологий виртуальной реальности. Сначала лабораториями создавались тренажеры (например, Merchant ship simulation at Warsash), обеспечивающие оператора только объемным видением виртуального пространства без возможности взаимодействия с объектами этого пространства. Причем объемное видение в этих тренажерах не в полной мере соответствовало видению реального пространства. Дальнейшим развитием тренажеров было использование специальных механических средств для реализации воздействия оператора на виртуальные объекты (UNC nanoManipulator). Современные тренажерные системы (NASA "Charlotte" Virtual weightless mass), кроме обеспечения объемного видения и воздействия на виртуальные объекты, позволяют оператору перемещаться внутри виртуальной обстановки. Технологии и методы виртуальной реальности, которые сейчас активно внедряются в имитационно-тренажерные системы, далеко не совершенны и не позволяют создать вокруг оператора обстановку, полностью соответствующую реальной. Поскольку качество и эффективность функционирования тренажера напрямую зависит от степени реалистичности имитируемой им обстановки, то развитие этих технологий является важной задачей для совершенствования тренажерных систем. Исследованием данного вопроса занимается много ученых всего мира [51,104-107], в том числе и российских [2, 3, 27, 61, 95-99 102-103].
Для повышения эффективности работы имитационно-тренажерных комплексов и входящих в них подсистем можно использовать методы исследований, разработанные в системном анализе. Эти методы позволяют разбить систему на составные части, исследовать закономерности их функционирования, установить и исследовать системные и информационные связи между ними, разработать информационные потоки и оптимизировать их обработку. В настоящей работе концепции и методы системного анализа применяются для исследований имитационно-тренажерных комплексов и их подсистем, в частности, подсистемы виртуального окружения. Разработаны также новые методы, технологии и алгоритмы обработки информации, позволяющие повысить эффективность работы систем виртуального окружения и их связей с остальными подсистемами и, тем самым эффективность функционирования всего тренажерного комплекса. В частности, разработана технология формирования стереопары для создания адекватного объемного видения, созданы новые методы оптического трекинга, позволяющего отслеживать перемещение оператора в пространстве, разработаны алгоритмы передачи информации между подсистемами, а также новые алгоритмы обработки изображений и выделения на них специальных реперных точек, используемых в оптическом трекинге. Разработанные технологии, методы и алгоритмы прошли апробацию в Российском Государственном Научно-исследовательском испытательном Центре подготовки космонавтов им. Ю.А.Гагарина и показали свою эффективность при работе в тренажерных комплексах.
Актуальность темы
Использование технологий виртуальной реальности в тренажерах - это новый шаг в развитии и повышении эффективности имитационно-тренажерных систем. Технологии виртуальной реальности могут существенно повысить качество представляемой визуальной информации за счет обеспечения-оператора адекватным объемным видением окружающей виртуальной обстановки. Это позволит ему визуально оценивать удаленность виртуальных объектов и легче ориентироваться в окружающем пространстве, что будет способствовать повышению эффективности процесса обучения. Кроме того, в тренажерных комплексах систем управления эти технологии позволяют улучшить человеко-машинный интерфейс тренажера за счет обеспечения взаимодействия оператора с виртуальными объектами (в частности, с виртуальными пультами управления) имитируемого пространства. С помощью технологий виртуального окружения можно создать среду с произвольными параметрами, которая имитирует различные среды и условия работы оператора тренажера. Большим достоинством этих технологий является возможность замены реального оборудования, используемого операторами при тренировке, на виртуальные аналоги, делая тем самым тренажерный комплекс не только менее громоздким И легко переносимым, но и более универсальным. Таким образом, исследования и развитие новых технологий, методов и алгоритмов создания виртуального окружения для имитационно-тренажерных комплексов является важной и актуальной научно-технической задачей.
Цели и задачи работы
Целью данной работы является разработка новых алгоритмов, методов и технологий обработки визуальной информации для создания виртуального окружения тренажерных комплексов управления сложными динамическими системами.
Достижение поставленной цели осуществляется за счет решения следующих задач:
• обеспечение оператора адекватным объемным восприятием виртуального пространства, позволяющим ему видеть в стерео режиме виртуальную обстановку, в наибольшей степени соответствующую реальной;
• определение положения оператора в реальном пространстве для предоставления ему адекватной визуальной информации об окружающей виртуальной обстановке и для правильной реализации взаимодействия его с объектами этой обстановки;
• обеспечение воздействия оператора на основные элементы виртуальных пультов управления и моделирование динамики движения этих элементов после воздействия;
• создание программных модулей системы виртуального окружения для имитационно-тренажерных комплексов на основе разработанных технологий, методов и алгоритмов;
Основные научные положения и их новизна заключаются в следующем:
Разработан новый метод создания стереопары для адекватного объемного видения виртуального пространства;
Предложена технология синхронизации обмена информацией между компонентами подсистемы визуализации и тренажерной системы.
Разработаны новые методы реконструкции положения и ориентации объектов в трехмерном пространстве из двумерного изображения с использованием светящихся маркеров.
Разработаны новые методы и алгоритмы поиска, выделения и идентификации маркеров на изображении.
Предложены методы и алгоритмы работы оператора с элементами виртуальных пультов управления (кнопками, тумблерами, переключателями и регуляторами).
Научная значимость работы заключается в разработке новых технологий, методов и алгоритмов обеспечения человека адекватным объемным видением виртуального пространства, определения положения объектов в реальном пространстве, реализации взаимодействия человека с системами управления в виртуальном пространстве.
Достоверность научных положений, сформулированных в диссертации, подтверждается корректным использованием методов системного анализа, сопоставимостью теоретических и экспериментальных результатов обработки видеоинформации, а также удовлетворительными результатами апробации и тестирования технологий, методов и алгоритмов на реальном тренажере.
Методы исследований
В данной работе использовались методы системного анализа, аналитической геометрии, компьютерной графики и системотехники.
Практическая ценность работы
Разработанные в диссертации технологии, методы и алгоритмы создания виртуального окружения в стерео режиме и обеспечения взаимодействия оператора с виртуальными пультами реализованы в программных модулях, позволяющих создать систему виртуального окружения тренажерного комплекса. Эта система может быть использована в имитационно-тренажерных комплексах управления сложными динамическими системами.
Апробация работы
Результаты диссертации и материалы.исследований докладывались, обсуждались и получили одобрение специалистов на: - а 2-ой международной конференции "Системный анализ и информационные технологии" (г. Обнинск, 2007); а VI и VII международных научно-технических конференциях "Пилотируемые полеты в космос" (Звездный городок, 2005, 2007); а научных семинарах Центра визуализации и спутниковых информационных технологий НИИСИ РАН..
Разработанные программные модули прошли апробацию в Государственном Научно-исследовательском испытательном Центре подготовки космонавтов им. Ю.А.Гагарина и показали свое соответствие требованиям, предъявляемым в настоящее время к системам виртуального окружения тренажерных комплексов.
Реализация результатов работы.
На основе разработанных программных модулей создана система виртуального окружения для тренажерного комплекса обеспечения выхода в космос "Выход-2" Российского государственного научно-исследовательского испытательного Центра подготовки космонавтов им. Ю.А.Гагарина.
Публикации.
По теме диссертации опубликовано 12 статей, из них 5 по перечню ВАК Минобрнауки России.
Структура работы
Работа состоит из введения, пяти глав, заключения и списка литературы. В работе содержится 68 рисунков и 5 таблиц. Список литературы включает 78 наименований.
Первая глава посвящена созданию виртуального окружения в тренажерных комплексах. Вначале в ней проводится анализ основных существующих методов обеспечения объемного видения человеком виртуального пространства. На основе этого анализа выбираются методы, пригодные для использования в тренажерных комплексах систем управления сложными динамическими процессами. Для этих методов предлагается новая технология создания стереопары, включающая вычисление параметров соответствующих виртуальных камер и обеспечивающая адекватное (не искаженное) объемное видение виртуального пространства. Далее, рассматриваются особенности реализации выбранных методов и этой технологии в подсистеме визуализации тренажерного Тсомплёкса7 Последнйй раздел посвящен разработанной технологии усовершенствования обменасинформацией между подсистемой "визуализации и "другими компонентами системы. 5? Эта технология обеспечивает синхронность вывода изображений на нескольких экранах, что повышает качество функционирования подсистемы визуализации в много канальном режиме.
Вторая глава посвящена технологиям определения положения и ориентации в пространстве оператора тренажерного комплекса. В главе проводится анализ основных типов существующих систем трекинга. Этот анализ позволяет выбрать тип систем, наиболее подходящих для использования в тренажерных комплексах систем управления. Из них наиболее эффективным представляется класс оптических систем трекинга с использованием специальных светящихся маркеров. Для повышения эффективности работы этого типа систем необходимо найти такие конфигурации, которые содержали бы минимально возможное число маркеров, но позволяли, тем не менее, однозначно определять положение и ориентацию отслеживаемых объектов. В данной главе показывается, что одного и двух маркеров недостаточно для решения поставленной задачи, а также доказываются теоремы об однозначном определении положения и ориентации определенных конфигураций из трех и четырех маркеров и определяются условия, при которых эта реконструкция невозможна. Кроме того, предлагаются новые методы и алгоритмы идентификации маркеров на изображении. С целью повышения эффективности разрабатываемой системы трекинга найдено минимальное количество цветов, необходимое для однозначной идентификации маркеров рассматриваемых конфигураций на изображении. Последний раздел посвящен реализации подсистемы трекинга для тренажерных систем.
В третьей главе производится оценка погрешности реконструкции положения конфигурации из трех маркеров, расположенных на отрезке, в зависимости от ее удаленности и ориентации в пространстве. Доказанные теоремы устанавливают верхние и нижние оценки такой погрешности. Для уменьшения погрешности реконструкции предлагаются новые методы корректировки положения маркеров на изображении, основанные на построении наиболее вероятной прямой, содержащей заданное множество точек. Кроме того, в главе рассматривается влияние ошибок системы трекинга на качество работы системы визуализации и доказывается теорема, определяющая зависимость смещения видимого положения виртуальных объектов от смещения положения наблюдателя.
В четвертой главе разрабатывается общая концепция и технология взаимодействия человека с виртуальными объектами. В рамках технологии предлагаются методы создания виртуального образа человеческого тела и его частей (рук, кистей, пальцев и т.д.) и преобразования информации о нем из системы трекинга в систему визуализации. Кроме этого, созданы динамические модели взаимодействия оператора тренажера в виртуальном пространстве со стандартными элементами пультов управления, такими как виртуальные кнопки, тумблеры, переключатели и регуляторы. Данные модели позволяют выполнять высокореалистичную визуализацию движения виртуальных элементов управления при воздействии на них оператора.
В пятой главе представлена реализация системы виртуального окружения для тренажерных комплексов. В главе описывается структура разработанной системы виртуального окружения тренажерного комплекса и системные связи между ее компонентами, рассматриваются схемы функционирования этой системы, а также описываются особенности реализации разработанных компонентов для использования их в тренажерных комплексах. В последнем разделе главы представлено описание тренажерного комплекса обеспечения выхода в космос «Выход-2», на котором были апробированы разработанные в данной работе технологии, методы и алгоритмы.
Обзор существующих методов создания визуальной обстановки и анализ их использования в тренажерных системах
Создание визуальной обстановки подсистемой визуализации тренажера управления динамическими процессами включает решение двух задач: формирование изображения виртуального пространства и визуализация трехмерного изображения в стереорежиме.
Синтез изображения трехмерного пространства осуществляется с помощью технологий компьютерной графики. Современные графические библиотеки (такие как OpenGL) позволяют создавать виртуальные миры, описывая их с помощью множества примитивов (полигонов, источников света и т.п.). Двумерное изображение такого пространства получается с помощью Дальняя виртуальной камеры. Исходя из ее плоскость положения, ориентации и объема видимости Объем видимости камеры (рис. 1.1) формируется перспективная проекция виртуального пространства на Камера картинную плоскость, и полученное изображение передается для вывода Ближняя плоскость устройству визуализации. Методы компьютерной графики производят трансформацию информации, содержащей Изображение на экране Рис. 1.1 описание трехмерного пространства, в видеоинформацию, более удобную для человеческого восприятия.
Имитация трехмерного пространства. Основные способы создания трехмерных пространств в тренажерных системах можно разделить на две большие группы. Первая группа объединяет способы, основанные на принципах объективного физического построения пространственных картин. Вторая включает методы, основанные на принципах субъективного психофизиологического пространственного восприятия [5].
Способы первой группы включают методы физической имитации воспроизводимых пространственных объектов (макеты, декорации и т.п.) и оптической имитации изображаемых пространственных объектов (воспроизведение объемных изображений в зеркалах, воспроизведение оптических изображений в линзовых системах). Все эти методы требуют создания или использования реального физического макета имитируемого пространства. Их использование позволяет наблюдателю увидеть натуральную визуальную картину. Тем не менее, они обладают рядом недостатков: построение макета требует больших материальных и временных затрат; нельзя имитировать пространства с неземными физическими условиями (эмуляция объектов в невесомости и т.п.).
Вторая группа способов основывается на физиологических особенностях зрительного восприятия человека. Ее методы не стремятся к физическому построению реальной копии объектов, а формируют пространственное восприятие, используя одно. или. несколько двумерных изображений воспроизводимого трехмерного пространства. Они включают методы, основанные на монокулярном стереоэффекте, эффекте бинокулярного видения и последовательно-временном стереоэффекте. Эти методы представляют видеоинформацию в таком виде, который позволяет человеку воспринимать ее как объемную.
Методы, основанные на монокулярном стереоэффекте, заключаются в создании изображения, соответствующего монокулярным особенностям зрения человека. Как правило, для задач восприятия виртуального пространства в тренажерных комплексах они используются совместно с другими методами из этой группы (например, основанными на бинокулярном видении). Методы, основанные на последовательно-временном стереоэффекте, используют технологию попеременной смены изображений с разным фокусным расстоянием или ракурсом съемки.
В современных технологиях создания зрительного восприятия трехмерного пространства применяются методы второй группы. Средства, реализующие эти технологии, можно условно разделить на три категории: средства, формирующие стереопару экранными средствами отображения; средства, использующие технологию создания голограмм; объемные дисплеи.
Технология визуализации на основе стереопары заключается в создании пары изображений на одном или двух экранах. Каждое из них предназначается для соответствующего глаза и представляет собой двумерное изображение трехмерного пространства, созданного из определенного ракурса (рис. 1.2). Оба ракурса задаются исходя из расположения глаз относительно экрана(ов). Мозг человека анализирует оба изображения и синтезирует общую пространственную картину. Основным недостатком данной технологии является отсутствие аккомодационного процесса. Поскольку изображения выводятся на экран, все предметы кажутся четкими только в плоскости экрана, однако присутствие параллакса у изображений все же формирует в мозге пространственную картину и позволяет направлять взгляд в точки, расположенные вне плоскости экрана. Таким образом, в процессах аккомодации и конвергенции происходит рассинхронизация, что создает у человека зрительный дискомфорт.
Наиболее известным воплощением трехмерного пространства являются голограммы. Голограмма - это запись на специальной фотопластинке двух световых полей: отраженного света от реального объекта и специального света от лазерного источника. Соответственно, если поле записи осветить таким же светом от лазера, но с лучами света, идущими в обратном направлении, мы получаем световое поле, подобное реальному изображению.
Объемные дисплеи выводят изображения в виде вокселов (объемных пикселов) или векторов, реально разнесенных в рабочем объеме дисплея, четко ограниченном его конструкцией. Наблюдение пространственной картины не имеет расхождения в процессе аккомодации и конвергенции глаз, что создает естественное ощущение объема. Недостатком такой технологии является то, что наблюдатель не может проникать в зону воспроизведения, а значит и не может непосредственно взаимодействовать с объектами.
Рассмотрим теперь основные методы визуализации, создающие объемное видение, которые основаны на описанных технологиях, и выделим из них наиболее предпочтительные для использования в тренажерных системах.
Методы визуализации, формирующие стереопару Обтюраторный метод. В данном методе на один экран поочередно выводятся оба изображения стереопары. Перед каждым глазом помещается независимо нимое изображение управляемая жидкокристаллическая (ЖК) шторка. Правая ЖК-шторка закрывается, когда на мониторе появляется изображение для левого глаза, и наоборот. Идея метода состоит в том, что изображения, сформированные отдельно для каждого глаза, выводятся на экран поочередно и синхронно с выводом изображения открывается шторка на очках, соответствующая нужному глазу (рис. 1.2). Современные дисплеи, обладают частотой вертикальной- развертки более 120 Гц при достаточном для визуализации разрешении. Поскольку изображение выводится для каждого глаза черезкадр, то результирующая частота приема превышает 60Гц, что достаточно для восприятия, поскольку такая частота делает процесс смены кадров незаметным.
Обзор основных типов систем трекинга и анализ их использования в тренажерных системах
Расположение объекта в пространстве однозначно определяется положением некоторой точки объекта Р(х, у, z) в заданной системе координат и ориентацией объекта относительно этой точки. Существуют разные способы задания ориентации в пространстве, например, с помощью кватернионов или двух векторов, но в системах трекинга наиболее часто используются углы Эйлера. Эти углы определяют поворот объекта вокруг трех осей, проходящих через точку Р и параллельных координатным осям. Для того чтобы сориентировать объект, его сначала поворачивают вокруг оси ОХ, потом вокруг оси OY и в последнюю очередь задают курс - поворот вокруг оси OZ. Большинство систем трекинга выдают именно эти параметры положения отслеживаемого объекта.
Одной из основных характеристик систем является количество определяемых параметров положения и ориентации (степеней свободы) объекта (DOF). Эти параметры выступают результатом анализа и обработки информации, получаемой системой от внешних источников. Некоторые типы систем ограничиваются только тремя определяемыми параметрами (3DOF) - координатами положения одной из точек объекта, или пятью (5DOF) - тремя координатами и двумя углами поворота. Для систем виртуальной реальности требуются в основном все шесть параметров, но для некоторых задач, таких, например, как определение положения виртуальной указки, достаточно пяти.
Основные характеристики систем трекинга
Сферы деятельности, где применяются системы слежения, выдвигают разные требования к таким системам. Существует много типов систем трекинга для решения весьма разнообразного круга задач [80, 69, 112]. Анализ систем позволяет выделить основные характеристики (параметры), оценка которых существенно влияет на выбор системы для решения задачи. К этим параметрам относятся: Количество определяемых степеней свободы (DOF). Как правило, этот параметр зависит от физической реализации системы. Точность определения положения. Параметр, указывающий на максимальную допустимую ошибку в выдаваемых значениях координат. Точность определения ориентации. Параметр, указывающий на максимальную допустимую ошибку по каждому из выдаваемых значений углов ориентации. Диапазон действия - область, в переделах которой система дает результат с заданной точностью. Частота обновления — количество обновлений информации о положении в секунду. Время запаздывания - время между моментом измерения положения и моментом передачи результата внешним устройствам.
Важной особенностью систем трекинга является то, как задается система координат (СК), в которой определяется объект. Это зависит от технологии работы трекинговой системы. Существуют системы с фиксированной СК и с задаваемой (относительной) СК. В первом случае СК жестко связана с сенсором, а во втором пользователь может сам задать начало СК и менять его в процессе работы, причем направление осей остается неизменным.
Системы с фиксированной СК определяют положение объекта относительно сенсора, а значения координат определяют путем замера удаленности объекта от сенсора. В системах с относительной СК определение положения объекта происходит путем регистрации изменения положения объекта, а само положение определяется суммированием смещения и предыдущего положения. В таком методе определения велика вероятность накопления ошибки, поэтому он требует постоянной калибровки (переопределения положения СК).
Исходя из технологий и физических законов, применяемых для обнаружения объекта, можно произвести классификацию всех систем трекинга. При такой классификации однотипные системы обладают близкими значениями вышеопределенных параметров, что обусловлено спецификой" технологий, применяемых для их реализации. Это означает, что каждый класс систем обладает определенными характеристиками, а это облегчает выбор системы при решении конкретной задачи. Рассмотрим основные типы систем и выделим их достоинства и недостатки.
Классификация систем трекинга Механические системы трекинга Эти системы, как правило, конструируются в виде механической руки, которая одним концом крепится к отслеживаемому предмету, а другим к точке, координаты которой фиксированы. Эта рука может состоять из нескольких шарнирно связанных сочленений, что обеспечивает возможность перемещения отслеживаемого предмета в любую точку в пределах области действия системы локации. На шарнирах руки устанавливаются приборы (гониометры), измеряющие углы между смежными сочленениями. Использование в качестве исходных данных значений длин сочленений (жестко фиксированных) и текущих значений углов между ними позволяет вычислить текущие линейные и угловые координаты отслеживаемого предмета относительно координат точки крепления руки.
Такие системы обладают рядом существенных недостатков: ограниченная зона действия, которая определяется длиной механического устройства, присоединенного к предмету слежения; физическая привязанность к объекту слежения, влияющая на его динамические параметры; значительные габариты и стационарность; большое время реакции на изменение положения предмета. Инерционные системы тренинга
Этот метод локации основан на использовании инерционных сил, возникающих в гироскопической системе при изменении пространственной ориентации этой системы. Для ориентационной локации используются системы слежения, имеющие в своей основе три гироскопа, оси вращения которых взаимно перпендикулярны, что позволяет вычислять пространственную ориентацию отслеживаемого предмета по курсу, крену и тангажу. С помощью акселерометров определяется значение ускорения предмета и, затем, вычисляется текущее значение вектора скорости. С некоторой периодичностью система определяет положение предмета относительно исходного (положения в начале процесса слежения), путем суммирования исходного положения с приращениями, рассчитанными исходя из текущего значения вектора скорости и времени, прошедшего с момента последнего обновления.
Оценка точности реконструкции трех маркеров, расположенных на отрезке
Значения полученных координат точек маркеров при анализе видеоинформации будут содержать ошибку (Ах , Ау ) (рис. 3.1), которая по модулю будет ограничена некоторой величиной (Ах, Ау) с положительными значениями Ах и Ау. Для любого Ах и Ау будут выполняться неравенства Дх Дх и Ау Ау. Поэтому координаты ( Х І , у і ) средней точки области изображения і-ого маркера будут находиться в пределах: Х І є [х і-Ах, Х І+ Ах] У і є [у і-Ду, у і+Ау], где (Х І, у і) - координаты действительной точки маркера на изображении. " " АТГТЖ:: Ау А, Ах Yv Рис. 3.1
Представленные методы реконструкции положения и ориентации конфигураций маркеров основываются на методе восстановления положения трех маркеров, лежащих на отрезке. Рассмотрим точность реконструкции этой конфигурации для оценки ошибки определения положения объектов. Как отмечалось выше, точность реконструкции определяет качество 3 трансформации видеоинформации. При реконструкции положения точек по формуле (2.13) значение zi выражается через функцию где Де,- nfzyi - частные производные при значениях ( x i , y i , х 2 , у г , х з , у з ). Для того, чтобы оценить Azi, необходимо найти эти частные производные, а именно, выразить производные через положение и ориентацию конфигурации маркеров в пространстве. Пусть первый маркер расположен в точке P=(xj, у і, zi), а направление прямой, на которой располагаются маркеры, определяется единичным вектором К={кх, ку, kz). Проанализируем значение погрешности, исходя из положения наблюдаемого объекта в пространстве, и определим область действия трекинга при заданной точности. Из уравнений (2.7) и (2.13) получаем:
Функция Azi(r) в зависимости от параметров векторов р и К будет иметь различный вид и однозначно определить ее поведение затруднительно, поэтому определим, в каких границах будет изменяться погрешность Azi при изменении величины г в некотором диапазоне R . Для этого зафиксируем какое-либо положение конфигурации (с ДЕЦ) И будем ее двигать вдоль вектора р (на рисунке 3.3.а пунктирной линией показана траектория такого движения). При этом будет меняться только значение г, а остальные параметры (векторы р и К) будут неизменны.
Доказательство. Для оценки нижней границы функции Azi(r) покажем, что сумма под знаком корня формулы (3.7) никогда не обращается и не стремится к нулю при reR . Заметим, что все слагаемые этой суммы являются неотрицательными величинами. Если параметр ку не равен 0, то слагаемое (4) всегда положительно и сумма при любых reR не будет ниже величины kyky2.
Рассмотрим случай, когда ку = 0. В этом случае слагаемые (4) и (5) принимают нулевое значение. Слагаемое (3) обращается в 0 в случаях: либо при /V=0, либо при r= -Lkz /pz. Для второго случая величина г принимает значение, не превышающее L/pz, т.е. в этом случае r0R , что противоречит условию леммы. Согласно замечанию 1 в области R величина /Сможет равняться нулю только в двух точках / и г/. Видно, что rjgR . Рассмотрим точку го. Слагаемые (1) и (2) в точке г0 (т.е. при V=0) могут принять нулевое значение только при кх = 0. В этом случае, подставляя такие значения кх и ку в выражение для V, получим следующее значение г0 Это выражение будет стремиться к нулю, если в квадратных скобках сумма слагаемых (1), (2) и (3) при любом г равна нулю. Так как pz 0, то для выполнения этого условия первый множитель первого слагаемого должен быть равен 0, в таком случае и второе слагаемое будет равно нулю. Однако третье слагаемое всегда положительно, поэтому сумма первых трех слагаемых нулю не равняется. Это говорит о том, что сумма под знаком корня выражения (3.7) к нулю никогда не стремится при reR , т.е при reR всегда найдется такая положительная константа, ниже которой эта сумма не опускается.
Итак, нижняя оценка зависимости Azi(r) выражается следующим неравенством Az,(r) Cfer2VrGfl\ где Chz - некоторое положительное число. Теперь определим верхнюю границу этой зависимости. Вынесем из под знака корня формулы (3.7) переменную г. .3 _2 Az,= - l[JVpz{L-l)-kJrfAx2+[kxS/r-UV(p.+k,l/r)f Ax2+ fl V С) (2) + [JVI(PZ + kzLI r)]2 Ax2+k;Ay21 r+k;S2ky21 r2 № (4) (5)
Согласно замечаниям (1) и (2) функции JV(r) и S(r) являются ограниченными в области R , поэтому все подкоренное выражение будет в этой области ограничено сверху некоторой константой. Отсюда следует, что для некоторой положительной константы Qlz будет выполняться неравенство AZ!(r) Cte/-3 Vrei? Таким образом, лемма 1 доказана.
Теперь проанализируем, как будет меняться погрешность Azi при изменении угла Д Для этого определим границы изменения значений функции Az\(J3).
Технология взаимодействия человека с виртуальными объектами
Взаимодействие с объектами виртуального окружения? в тренажерной системе: представляет процесс обмена информацией между оператором и этой системой; Связь» оператора с системой осуществляется посредством устройств виртуальной реальности, таких как устройства визуализации в стерео режиме; системы трекинга, джойстики [72], устройства для перемещения, экзоскелеты[43] и т.п. Подсистемы трекинга, компьютерные перчатки, устройства для перемещения являются компонентами; системы, обладающими внешними связями, через которые поступает информация в систему, а такие компоненты; как устройства визуализации и обратного воздействия! обладают внешними, связями, через которые система передает информацию оператору. Задача обеспечения; взаимодействия состоит в обработке входной информации и в выводе адекватной выходной информации.
Процесс взаимодействиях виртуальным пространством состоит из нескольких этапов: 1. Определение положения; человека в: реальном пространстве (получение информации от внешних источников). 2. Определение положения виртуального образа человека в виртуальной среде (трансформация информации): 3. Проверка и определение области пересечения (взаимодействия) образа человека с виртуальными объектами (анализ информации). 4. Изменение динамических и геометрических свойств взаимодействующих объектов (обработка и визуализация информации). 5. Формирование тактильных и силовых ощущений у человека (вывод информации).
На рисунке 4.1 представлена технологическая схема взаимодействия человека с виртуальными объектами. На первом этапе подсистема трекинга определяет положение человека в пространстве, тем самым она осуществляет ввод информации в систему. Эта информация передается вычислительному комплексу. Вычислительный комплекс по известному положению человека определяет положение его виртуального образа, который представляет геометрическое тело, состоящее из примитивных элементов, описывающих форму человека. Положение образа в виртуальном пространстве определяется путем преобразования данных о положении человека из системы координат трекинга в систему координат виртуальной реальности. Таким образом, вычислительный комплекс обрабатывает и трансформирует информацию.
Далее проверяется столкновение (пересечение) образа с виртуальными объектами. В случае столкновения определяется область их пересечения. При столкновении каждый объект получает импульс, который зависит от масс столкнувшихся объектов и скорости движения точек столкновения. Импульс влияет на направление и скорость движения- и деформирует объект. Эти параметры меняются исходя из величины переданного импульса и физических параметров объекта, таких как масса, жесткость, расположения центра масс и др. Таким образом, информация о положении виртуального образа трансформируется в информацию, содержащую динамические параметры виртуальных объектов. Со стороны образа человека определяется участок поверхности, который должен подвергнутьсяі тактильному воздействию, и плотность распределения воздействующего импульса на этом участке. Исходя из полученное информации о столкновении, устройству тактильного воздействия передаются управляющие команды об активизации элементов, расположенных на соответствующем участке кожи, и о величине передаваемого ими импульса нервным тканям кожаного покрова. Кроме этого, определяется также и силовое воздействие на человека. Импульс, равный по величине импульсу, передаваемому объекту, и противоположный по направлению получает образ человека в точке соприкосновения. Это влияет на движение и положение образа в виртуальном пространстве, а значит и на человека в реальном пространстве. В соответствии с изменениями образа управляющие команды передаются устройству силового воздействия, которые либо затормаживают движение человека, либо изменяют его положение. На этом этапе информация о положении виртуального образа приобретает вид физического воздействия на человека.
Следует отметить, что для естественного восприятия взаимодействиях виртуальным пространством обработка и трансформация информации в системе при воздействии на виртуальный объект должна быть очень быстрой. Поэтому каждая операция процесса должна быть достаточно быстрой, чтобы суммарное время цикла не превышало заданного ограничения.
Далее будут рассмотрены более подробно некоторые этапы описанного процесса. Человеческое тело является достаточно сложным и обладает огромным числом степеней свободы движения (более 100). Чтобы определить его положение в пространстве можно фиксировать положение каждой точки поверхности тела, например, методами фотограмметрии и 3D реконструкции [52-56, 63, 100]. Получение такого большого объема информации требует много времени для ее обработки, что недопустимо для тренажерных комплексов из-за режима реального времени их работы.
Для уменьшения числа замеров необходимо использовать костную структуру тела человека. Тело человека состоит из множества геометрически неизменимых частей -сочленений. Фиксированная геометрическая форма сочленения позволяет окружить его примитивными фигурами, такими как цилиндры и параллелепипеды. Положение тела меняется в основном за счет сгиба суставов, при этом происходит поворот одного сочленения относительного другого. По известным углам сгиба суставов можно определить положение всех сочленений и всего тела в целом, а, используя геометрические описания сочленений, можно получить геометрическое тело, окружающее тело человека. Адекватную информацию о положении сочленений и углах сгиба суставов можно получить с помощью системы трекинга и маркеров установленных на суставах. Подобный метод использовался для создания реалистичной имитации движения руки человека [25]. Итак, определение положения тела человека в пространстве состоит в определении следующей информации: геометрического описания сочленений тела человека; определения положения и ориентации одного из сочленений в пространстве; определения углов сгиба суставов.
