Содержание к диссертации
Введение
1 Анализ технологий виртуальной реальности 21
1.1 Основные элементы систем виртуального окружения 21
1.2 Как можно получить эффект пространственного погружения 23
1.3 Крупномасштабные системы виртуального окружения 25
1.4 Аппаратные конфигурации 28
1.4.1 CyberStage 28
1.4.2 i-CONE 29
1.4.3 Responsive Workbench 29
1.4.4 Teleport , 30
1.4.5 VEonPC 31
1.5 Программная среда Аванго 32
1.5.1 Основные принципы 34
1.5.2 Распределённые приложения 40
2 Системы тренинга 44
2.1 Что такое система трекинга (описание, требования) 44
2.2 Анализ существующих систем трекинга 49
2.3 Система оптического трекинга реального времени 53
2.3.1 Аппаратное обеспечение и схема установки 54
2.3.2 Программное обеспечение 57
2.3.3 Модели камер, реконструкция и компенсация искажений 60
3 Использование системы трекинга 73
3.1 Калибровка системы 73
3.1.1 Метод прямого линейного преобразования 74
3.1.2 Метод Р. Цая 75
3.1.3 Вычисление калибровочной матрицы 76
3.2 Оценка рабочих параметров системы 78
3.3 Интегрирование системы в программную среду Аванго . 85
4 Создание точных ЗБ-моделей 88
4.1 Введение 88
4.2 Краткий обзор существующих технологий ЗБ-сканирования . 90
4.3 Реконструкция: активный сенсор 93
4.4 Описание процесса сканирования 95
4.5 Обработка результатов сканирования для визуализации и анимации 99
4.6 Альтернативный метод реконструкции точек 100
4.7 Результаты 102
Заключение 104
Благодарности 106
Литература
- Как можно получить эффект пространственного погружения
- Анализ существующих систем трекинга
- Вычисление калибровочной матрицы
- Краткий обзор существующих технологий ЗБ-сканирования
Введение к работе
Актуальность проблемы. Данный момент времени характеризуется быстром ростом производительности компьютеров. Это позволяет использовать компьютеры для совершения быстрых логико-операционных действий и оптимизировать так называемую операционную деятельность человека. Тем не менее, больших успехов в компьютерном оперировании на уровне образов до сих пор достичь не удалось. Но компьютеры могут помочь в этом человеку. Существенно повысить эффективность визуального анализа данных могут системы виртуальной реальности (ВР); называемые также системами виртуального окружения (ВО). Задача таких систем — погрузить исследователя в искусственный мир анализируемой модели и предоставить естественный интуитивный интерфейс для взаимодействия с её элементами. Это становится особенно актуальным сейчас, при быстром росте производимой человеком информации.
В настоящее время в мире существует более пятисот крупномасштабных установок виртуальной реальности, которые используются в самых различных областях науки и техники для решения задач как фундаментальных научных дисциплин, так и в узко специализированных прикладных направлениях. Разработку технологий виртуального окружения в силу высокой стоимости компонент до последнего времени могли себе позволить только крупные институты, богатые университеты или лаборатории ведущих мировых компаний. Прогресс в создании доступных компьютеров, графических ускорителей и обычных офисных проекторов позволяет разрабатывать доступные установки ВР. Естественный интуитивный интерфейс является важной частью любой системы виртуальной реальности. Для создания ощущения полного погружения в виртуальную реальность важной компонентой является система слежения за положением пользователя в установке ВР, а точнее — система слежения за направлением его взгляда. Такие системы, отслеживающие перемещения и действия пользователя внутри установки ВР и. как правило, позволяющие ему манипулировать данными, называются системами трекинга. Существуют большое разнообразие таких систем, основанных на разных принципах: механические, электромагнитные, оптические, ультразвуковые. Стоимость самой простой системы трекинга довольно велика, т.к. большинство таких систем разрабатывалось для сложных и дорогостоящих установок ВР.
Появление доступных систем виртуальной реальности требует разработки также и доступных систем трекинга, которые удовлетворили бы требованиям пользователей таких установок. Использование современных недорогих аппаратных компонент позволяет это сделать. Оптические технологии сегодня являются и недорогими, и удовлетворяют требованиям пользователей, но требуют разработки новых методов анализа данных. Кроме того, оптическая система может быть более удобна в использовании, т.к. она не имеет длинных проводов, часто мешающих работе. В настоящее время широкое применение нашли системы трекинга на основе двух камер. Однако такие системы обладают рядом недостатков, таких как невысокая точность и большая вероятность отказа, связанная с проблемой совпадения образов отслеживаемых объектов в одной из камер или невозможностью их разделения. В настоящей работе предложено использовать три камеры для решения этих проблем. Система трекинга фактически реконструирует в пространстве положение пользователя. В этом смысле к системам трекинга близки системы реконструкции геометрии сложных объектов, называемых 3D сканеры. Классическое моделирование с помощью измерительных устройств является очень трудоёмким процессом и имеет ограниченную точность, что усугубляется сложной формой измеряемого объекта.
Поэтому задача автоматизации реконструкции сложных объектов является актуальной. Как и в случае с установками ВР, такие сканеры не являются доступными широкому кругу пользователей, поэтому появилась необходимость улучшения качества работы наиболее доступных устройств и реализующих их программных комплексов.
Главная цель диссертационной работы — разработка и исследование оптической системы трекинга реального времени и устройства манипулирования данными для установок виртуального окружения. В рамках данной работы ставятся следующие задачи:
• разработать аппаратную платформу системы трекинга, включающую устройства интерактивного манипулирования данными;
• разработать метод реконструкции трехмерных координат многих источников света по их изображениям в нескольких камерах;
• создать алгоритмы на основе вышеуказанного метода и реализовать их в виде программного обеспечения;
• исследовать параметры созданной системы трекинга, провести её сравнение с другими аналогичными системами и интегрировать с системой виртуальной реальности;
Кроме того, в работе было дополнительно приведено исследование доступного метода реконструкции геометрии сложных трёхмерных объектов для использования в приложениях виртуальной реальности. Для достижения этой цели ставилась следующая задача:
• проанализировать доступные методы реконструкции геометрии сложных объектов, применить один из таких методов и улучшить качество его работы.
Научная новизна. Представленные в диссертации результаты являются оригинальными. Разработанная методика реконструкции положения и ориентации объектов в виртуальном окружении отличается от аналогичных методик тем, что применение улучшенных математических моделей позволяет системе иметь лучшие характеристики, чем аналогичные системы, базирующиеся на тех же аппаратных конфигурациях. Разработан критерий оценки надёжности системы. Созданы оригинальные устройства для трекинга. Разработаны оригинальные алгоритмы графической обработки, позволяющие быстро выделять и реконструировать требуемые объекты на изображении. Некоторые методы были использованы для улучшения методики восстановления геометрии мраморных статуй, на основе технологии "структурированного света", ранее считавшейся неподходящей для этой задачи. В частности, учёт оптических искажений камеры и предварительная графическая обработка изображений позволила повысить точность реконструкции.
Практическая ценность. Созданная автором система трекинга была интегрирована с установкой виртуального окружения VEonPC, установленной в Институте физико-технической информатики в г. Москве, а также с установкой типа CAVE Фраунгоферовского Института медиакоммуникации в г.Бонне. Данная система трекинга может быть использована многими лабораториями виртуального окружения в разных установках и конфигурациях. Применение доступного оборудования для создания системы позволяет использовать её даже в недорогих установках, что существенно расширяет круг потенциальных пользователей системы. Кроме того, полученные результаты могут быть полезны разработчикам установок виртуального окружения для создания собственных систем трекинга и для их технического анализа с целью сравнения.
Автор защищает.
• Метод реконструкции трёхмерных координат с помощью нескольких камер на основе модели проективного преобразования декартовых координат.
• Алгоритмы, созданные на основе вышеуказанного метода реконструкции, позволяющие одновременно реконструировать и передавать трёхмерные координаты нескольких источников света, реализованные в программном комплексе "Трекинг".
• Методика исследования параметров оптических систем трекинга; методика анализа и критерий надёжности системы.
• Метод улучшения оптической технологии реконструкции "структурированного света; на основе модели стерео реконструкции и компенсации оптических искажений.
Апробация работы. Материал диссертации опубликован в работах [1 13], а также докладывался и обсуждался на научных семинарах в Институте физико-технической информатики (Протвино), в Научно-исследовательском вычислительном центре МГУ (Москва), в Институте медиакоммуникаций (Санкт Августин, Германия) и следующих международных конференциях: "Системы виртуального окружения на кластерах персональных компьютеров" VEonPC 2002 (сентябрь 2001, Протвино - Санкт Петербург, Россия) и VEonPC 2003 (сентябрь 2002, Москва - Ханты-Мансийск, Россия), "Пространство виртуальной реальности и её приложения в промышленности" VRCAI 2004, (июнь 2004, Сингапур). Разработанная система трекинга была продемонстрирована на европейской конференции по компьютерному видению ECCV2004, (май 2004, Прага, Чехия). Некоторые результаты упоминались в учебном курсе «Введение в обработку изображений и компьютерное видение» ("Introduction to the Image Processing and Computer Vision"), читавшемся в международном центре информационных технологий BIT (Bonn-Aachen Information Center), а также использовались в европейском проекте HUMODAN.
Личный вклад автора. Автором исследована и разработана система трекинга реального времени, функционирующая на основе созданных автором алгоритмов реконструкции трёхмерных координат многих источников света по их изображениям, сделанным несколькими камерами и алгоритмов быстрого анализа изображений для поиска «световых пятен»; разработаны устройства интерактивного взаимодействия со средой виртуальной реальности; разработана методика анализа работы оптической системы трекинга, включающая анализ надёжности системы; улучшено качество работы оптической технологии «структурированного света» при восстановлении геометрии сложных объектов. На базе разработанных алгоритмов и методик созданы соответствующие программные модули. Структура диссертации. Диссертационная работа изложена на 115 страницах, состоит из введения, четырёх глав и заключения, содержит 57 рисунков, 6 таблиц и список цитируемой литературы, содержащий 11G наименований.
СОДЕРЖАНИЕ РАБОТЫ
В первой главе дано описание стереоэффекта, на котором основана работа систем виртуального окружения. Представлены существующие технологии получения стереоэффекта и крупномасштабные системы виртуального окружения, в том числе система, в создании которой автор принимал участие. Описана программная среда, необходимая для создания приложений виртуальных окружений. Показана актуальность разработки новой системы трекинга.
В первой части представлены задачи систем виртуального окружения и дано описание их основных элементов. Предназначение виртуальных окружений заключается в том, чтобы обеспечить пользователей или группу пользователей — учёных, инженеров, дизайнеров — виртуальным рабочим пространством, в котором они могут наблюдать, исследовать и создавать в реальном времени необходимые им виртуальные данные. Большинство виртуальных окружений имеют сходную аппаратурную конфигурацию. Прежде всего это графический обработчик, то есть специально разработанное для создания стереоскопических изображений программное обеспечение. Следующим обязательным элементом является проекционная система, которая отображает просчитанную сцену на экран. Многоканальная аудио система может способствовать погружению пользователя в виртуальный мир модели. Устройство слежения (или тренинга), измеряющее положение и ориентацию головы пользователя, а также возможно руки или указки, позволяет графическому обработчику вычислять перспективно правильное изображение для любой точки зрения пользователя, а пользователю предоставляет возможность интерактивной работы с данными. Обязательным элементом являются и специальные очки, необходимые пользователю для восприятия трёхмерного изображения.
Во второй части рассмотрен эффект стерео-восприятия, дано определение электроскопического формата и описаны разные технологии для его создания.
В третьей части произведено детальное описание, сравнение и анализ преимуществ и недостатков различных конфигураций крупнохмасштабных систем виртуального окружения. Описаны основные проблемы, возникающие при создании таких систем.
В четвертой части описаны конкретные установки и приведены их технические и функциональные характеристики. В числе прочих систем, описана установка VEonPC, в создании которой автор принимал участие. Это доступная, но весьма эффективная мобильная система виртуального окружения, состоящая из проекционной системы, включающей два LCD или DLP проектора, снабжённых поляризационными фильтрами, специального экрана, обладающего наименьшими деполяризующими свойствами, поляризационных очков, двух графических станции, а также вспомогательного компьютера, используемого для синтеза звуковых эффектов.
Описывается также установка Cyberstage, в создании приложений для ю торой автор принимал участие. В качестве штатной системы трекинга установкой использовалась электромагнитная система Polhemus Fasttrack. Надо заметить, что система была не очень удобна в использовании, из-за проводов, идущих от очков и от указки и из-за погрешностей работы системы, усиливающихся по мере удаления передатчика от приёмника.
Опыт работы с этими системами позволил автору сформулировать требования и концепцию новой системы трекинга, описанной в следующей главе.
В пятой части описана программная среда Аванго, обеспечивающая разработчиков приложений виртуального окружения специальными функциональными возможностями и концепцией обобществлённого графа сцены, доступного всем процессам, образующим распределённое приложение. Каждый процесс в этой системе обладает локальной копией графа сцены и содержащейся в нем информации о состоянии, которая поддерживается синхронизованной. Разработка таких распределённых приложений особенно необходима для реализации виртуальных окружений на кластерах Linux PC.
Во второй главе введено определение системы трекинга, описаны основные параметры систем, рассмотрены существующие системы трекинга и принципы их работы. Подробно описана разработанная автором система трекинга. В рамках этого описания рассказано о математических моделях, использованных автором для реконструкции, моделировании камеры, компенсации искажений и т.д. Дано описание алгоритмов, с помощью которых удалось осуществить быструю реконструкцию положений источников света, а также их поиск на изображении. Показана структура созданного автором программного обеспечения. Описаны разработанные автором аппаратные системы — устройство для трекинга, монтируемое на очки, и указка — используемые в работе системы трекинга. Эти устройства инфракрасные излучающие диоды, и именно их позиции реконструирует программное обеспечение.
В первой части представлено понятие "системы трекинга" как системы слежения за положением и ориентацией объектов в пространстве. Описаны основные цели таких систем и требования к ним. Такие системы позволяют установке ВО рассчитывать перспективно правильную проекции в зависимости от положения пользователя, распределять звук по каналам аудио систе; мы, осуществлять навигацию в виртуальном окружении и т.д. Основными параметрами, с помощью которых можно оценить качество работы системы трекинга, являются точность, разрешающая способность и скорость реакции системы.
Во второй части приведена классификация существующих систем трекинга. Прежде всего они подразделяются на механические, магнитные, неинерционные, оптические, акустические, инерционные. Представляются слабые и сильные места этих технологий. Указаны производители некоторых популярных коммерческих систем трекинга и их технические характеристики.
В третьей части говорится о разработанной автором системе трекинга. Сначала представляются этапы создания системы: прежде всего это выбор и конфигурирование согласовано работающего аппаратного обеспечения; затем — подготовка модели камеры и математического аппарата, на котором будет базироваться ядро программного обеспечения - реконструкция и компенсация искажений; далее идёт разработка собственно программного обеспечения. Следующие этапы — калибровка камер, создание интерфейса к среде разработки приложений виртуальной реальности и измерение параметров созданной системы — рассматриваются в следующей главе. Чтобы избежать влияния работы синхронизаторов проекционной системы на камеры, был выбран инфракрасный канал и камеры, чувствительные в инфракрасном диапазоне.
Оптическая система базируется на трёх камерах, снабжённых фильтрами, уменьшающими поток видимого света. Камеры подключены через мультиплексор к компьютеру. Камеры работают в монохромном чересстрочном синхронизованном режиме. Программное обеспечение получает одно изображение сразу с "трёх камер, закодированные по каналам RGB. В качестве излучателей были выбраны диоды с длинной волны около 860 нм. На базе диодов автором были созданы устройства для трекинга, а именно триггер (устройство с одним диодом); конструкция для крепления к стерео-очкам, состоящая из трёх диодов; указка, содержащая три диода и телескопическую трубу — для лучшей реконструкции направления. Источником тока для этих устройств служит 9В батарейка, диоды питаются постоянным током, который может варьироваться от 5 до 50 мА в зависимости от условий освещённости. Система трекинга отслеживает перемещения шести диодов одновременно.
Последовательность операций программного обеспечения (ПО), разработанного автором, следующая:
1. прежде всего ПО производит поиск ярких пятен (эллипсов), созданных инфракрасными устройствами;
2. далее вычисляются неискажённые камерой координаты центров эллип сов;
3. затем производится поиск соответствующих друг другу центров на изображениях с трёх камер;
4. если соответствующие точки найдены хотя бы на двух камерах, производится реконструкция 3D координат этой точки;
5. если реконструировано положение всех диодов на очках и указке, то система рассчитывает параметры смещения и вращения этих объектов и передаёт их управляющей программе установки виртуальной реальности.
Тот факт, что камеры работают в чересстрочном режиме в разных условиях освещённости, приводит к тому, что пятна — образы диодов, могут быть размыты или видны нечётко. Поэтому автором был разработан алгоритм, основанный на предсказании положения пятна (что позволяет ускорить поиск, начав его в месте наиболее вероятного появления пятна) и на различных ограничениях, выявленных экспериментальным путём.
Чтобы понять, как работает вычисление неискажённых координат, поиск соответствующих точек и реконструкция, рассмотрим соответствующие математические модели. Автор использовал модель камеры с точечной диафрагмой и искажениями. Проективное преобразование в гомогенных координатах записывается следующим образом: т = РМ, где М — координаты точки в мировой системе координат, т — координаты образа точки в плоскости изображения камеры, а Р — матрица проективного преобразования. В работе показано, что в модели камеры без искажений, где первая матрица отвечает за внутренние параметры камеры: аи и av — масштабирующие коэффициенты, помноженные на фокусное расстояние камеры, щ и VQ — оптический центр камеры, в — угол между сторонами ячеек камеры. Вторая матрица содержит следующие элементы: t — вектор смещения камеры относительно центра координат и R — матрицу вращения камеры. Основными источниками искажений изображения, получаемого камерой, являются геометрические аберрации (дисторсии): радиальные искажения, тангенциальные искажения и искажения тонкой призмы. Наличие искажений приводит к тому, что изображение объекта выглядит неправильно и каждая точка снимаемого объекта более или менее смещена. Расчёты показали, что в нашем случае тангенциальными искажениями и искажениями тонкой призмы можно пренебречь, поэтому в расчёты было введено только радиальное искажение. Поправка радиального искажения описывается следующим уравнением:
Это решение верно, если ранг матрицы А - полный. Теоретически иногда это решение может быть плохо обусловленным, однако в силу геометрии установки таких проблем не возникало. В случае наличия соответствующих точек на изображениях с нескольких камер, можно провести реконструкцию их координат по всем парам камер, после чего усреднить получившийся результат с учётом коэффициента доверия, определяемого точностью калибровки.
Для того, что найти точки, соответствующие друг другу на разных камерах, нужно вычислить так называемые эпиполярные линии. Эпиполярная линия камеры С\ — это проекция луча, соединяющего точку М с её образом гп\ на плоскости изображения камеры Сі, на плоскость изображения камеры Сг. Образ точки М на камере Сч теоретически должен лежать на этой линии, однако фактические погрешности приводят к тому, что она лежит рядом с этой линией, но это все равно помогает в поиске. Уравнение этой линии имеет вид:
Найдя все точки, программа приписывает их соответствующему устройству (очкам или указке) и, поскольку положение диодов на этих устройствах фиксировано и известно, вычисляет параметры вращения и смещения этих устройств в системе координат установки виртуального окружения и передаёт их приложению.
В третьей главе представлена методика калибровки камер. Описаны основные методы оценки работы системы трекинга, представлены разработанные автором методики оценки надёжности и определения задержки оптической системы трекинга. Также приведено описание разработанных автором процедур интеграции системы трекинга с программным комплексом Аванго, описанным в первой главе.
В первой части формулируется задача калибровки камеры, состоящая в вычислении внутренних и внешних параметров камеры в зависимости от модели. Рассказывается о различных методах калибровки. Подробно рассказывается о методе прямого линейного преобразования и методе Р.Цая, которые использовались автором.
Калибровка камер проводилась в два этапа с помощью калибровочной цели, которая представляла из себя куб с распределёнными внутри него на специальных рёбрах точками с известными координатами. На первом этапе вычислялись внутренние параметры камеры, а именно фокусное расстояние, коэффициент радиального искажения, центр радиального искажения, масштабные коэффициенты. На втором этапе вычислялись внешние параметры камеры — параметры смещения и вращения. Дело в том, что при каждом изменении положения камеры требуется калибровать камеру заново, хотя меняются только внешние параметры. Но первый этап калибровки не требует повторения при изменении положения камеры и является более сложным и долгим процессом в силу его нелинейности. Поэтому проделав первый этап калибровки только один раз, при изменении положения камеры можно применять только калибровку по второму методу, сохраняя высокую точность реконструкции.
Во второй части говорится о методах технического анализа системы тре-кинга. Наиболее важными параметрами, характеризующими саму систему трекинга являются точность, разрешающая способность, скорость реакции системы и рабочая область. Кроме того, важно сравнить работоспособность системы, основанной на трёх камерах и системой, основанной на двух камерах
Точность реконструкции и рабочая область были измерены автором непосредственно. Зависимость точности реконструкции от расстояния между камерами и светодиодами — квадратичная. Зависимость точности реконструкции от фокусного расстояния — линейная. Увеличение расстояния между камерами способствует повышению точности реконструкции. На большом расстоянии от камер увеличиваются ошибки реконструкции и уменьшается сигнал светодиодов, поэтому комфортным является расстояние пользователя от камер, составляющее от одного до двух с половиной метров.
Частота обновления системы определялась частотой обновления мультиплексора и составляла около 25 Гц.
Использование трёх камер вместо двух позволяет повысить вероятность безотказной работы системы, т.е. её надёжность. Путём анализа и реконструкции некоторых характерных движений пользователя, было установлено, что вероятность сбоя реконструкции у системы, основанной на трёх камерах, на 10% меньше, чем у системы, основанной на двух камерах.
Запаздывание системы показывает, насколько быстро система трекинга реагирует на действия пользователя. Допустимым значением запаздывания являются величины менее 500 мс, комфортным — менее 100 мс. Запаздывание, как правило, измеряется при отсутствии фильтрации, так как последнее увеличивает запаздывание, но уменьшает шумы. Общее запаздывание системы складывается из следующих задержек: задержка регистрации сигнала от излучателей камерами; задержка при передаче изображений с камер мультиплексором программе; задержка при обработке изображений и реконструкции позиции и ориентации; задержка данных при передаче их но сети приложению-пользователю. Для измерения задержки автором использовался специально разработанный алгоритм. Триггер со светодиодом соединялся с одним из входов осциллографа через усилитель. С другим входом осциллографа соединялся последовательный порт сервера трекинга, который был запрограммирован на генерацию сигнала при получении реконструированных данных. По разнице между импульсами о определялась общая задержка системы, составившая 60 мс. Основной вклад в задержку вносит аппаратная часть: скорость работы затвора камеры (1/100 с 10 мс) и частота обновления мультиплексора (1/25 с 40 мс).
Показателем точности калибровки системы является нормализованная ошибка калибровки (НОК или NCSE): где au иа„- масштабирующие коэффициенты, помноженные на фокусное расстояние, {xri,yri,zri} — реконструированные, a {xi,yi,Zi} реальные 3-D координаты і-ой точки. Значения НОК трактуются следующим образом: НОК С 1 говорит о том, что ошибка реконструкции значительно меньше оцифровывающего шума на данном расстоянии; НОК 1 говорит о хорошей калибровке, где остаточные искажения пренебрежимо малы; НОК 1 говорит о плохой калибровке. НОК в наших калибровках равнялся 1-2, что являлось показателем довольно точной калибровки системы. При росте количества калибровочных точек значение НОК растёт, так как каждая точка вносит дополнительную ошибку. Если определить точки, вносящие наибольшую ошибку в калибровку и исключить их из неё, то можно улучшить точность калибровки. Кроме НОК, являющегося интегральной характеристикой, можно вычислить локальные ошибки обратного проеци рования. Обратное проецирование — это вычисление с помощью матрицы проективного преобразования 2D координат изображений точек на камере по их известным 3D координатам. Эту ошибку можно вычислить для точек, использованных при калибровке, чтобы убедиться в её качественности. Для хорошей калибровки такая ошибка должна быть существенно меньше одного пикселя. НОК может быть использована для вычисления коэффициентов доверия пары камер, которые придают больший вес результатам реконструкции, полученным с помощью наиболее точно откалиброванных камер.
В третьей части говорится о разработанном автором модуле передачи данных от системы трекинга, системе управляющей виртуальным окружением, Аванго.
В четвёртой главе обсуждаются проблемы созданий точных 3D моделей сложных реальных объектов, описывается дополнительная задача, стоящая перед автором. Приводится обзор существующих технологий так называемого ЗО-сканирования. Рассказывается об одной из таких технологий. Описывается её математическая модель. Рассказывается о применении данной технологии и о проблемах, возникающих при этом. Далее описывается методика, разработанная автором, позволяющая улучшить качество работы данного метода.
В первой части формулируется задача, стоящая перед автором, а именно: с помощью доступного метода реконструкции реконструировать мраморные статуи, созданные скульптором Бернини и установленные в Риме, и создать их модели для использования в установках виртуального окружения.
Далее рассказывается о различных методах трёхмерного сканирования, приводится классификация таких методов. Подробно рассказывается об оптических методах реконструкции, как наиболее простых и доступных в использовании. Рассказывается об аналогичных проектах и о технологиях, ксь торые там использовались.
В следующей части рассматривается математическая модель "активного сенсора", на которой основан принцип работы большинства оптических систем сканирования.
Далее говорится о выбранной методике сканирования, о применении ее и о проблемах, возникающих при этом. В качестве базового продукта исполь зовался продукт ShapeCam от компании Eyetronics. Этот продукт состоит из камеры и специальной вспышки, установленных, на рамке на расстоянии нескольких десятков сантиметров. Вспышка проецирует специальную сетку, по искажениям которой и производится реконструкция. Процесс сканирования объектов состоит из следующих элементов: установка параметров; калибровка; фотографирование объектов; реконструкция; наложение текстуры; объединение участков объекта в единое целое. Работа продукта ShapeCam была неудовлетворительной, поэтому некоторые её элементы потребовали улучшения, а именно: качество большинства изображений потребовало улучшений для лучшего распознавания сетки; автоматическая реконструкция не принимала во внимание оптических искажений камеры, что приводило к накоплению ошибок и невозможности создать замкнутую реконструированную модель; различие поверхностей статуй требовало провести классификацию тесктур.
Для классификации текстур и улучшения качества изображений были созданы специальные программы на базе графической обработки и анализа изображений, позволяющие оптимизировать этот процесс. Для учёта искажений пришлось вычислить зависимость искажений камеры от фокусного расстояния и учесть их при калибровке и реконструкции. Для этого, с помощью метода Р.Цая, проводилась независимая калибровка камеры, где в качестве 3D координат калибровочной цели использовались её центры эллипсов, а в качестве 2D координат — образы центров эллипсов, найденных на изображении. После того, как камера была откалибрована, требовалось откалибровать вспышку. Для этого, по известным 2D координатам узлов сетки и известной калибровочной матрице камеры вычислялись 3D координаты узлов сетки. Эти координаты, а так же внутренние 2D координаты узлов сетки вспышки использовались для калибровки вспышки. После этого, по двум известным матрицам проективного преобразования и осуществлялась реконструкция аналогично формуле (8) с использованием калибровочных матриц камеры и вспышки.
Далее в работе приводятся результаты, снабжённые иллюстрациями.
В заключении представлены результаты, основные идеи и выводы диссертационной работы. Автором решены следующие задачи: • Разработан оригинальный метод реконструкции трёхмерных координат с помощью нескольких камер на основе модели проективного преобразования декартовых координат.
• Созданы алгоритмы, сделанные на основе вышеуказанного метода реконструкции, позволяющие одновременно реконструировать и передавать трёхмерные координаты нескольких источников света и реализованные в программном комплексе "Трекинг".
• Разработана методика исследования параметров оптических систем тре-кинга; методика анализа и критерий надёжности системы.
• Разработан метод улучшения оптической технологии реконструкции "структурированного света" на основе модели стерео реконструкции и компенсации оптических искажений.
Как можно получить эффект пространственного погружения
Существует несколько форматов стерео-видения. Их можно по-разному классифицировать, однако сначала надо определить, что мы подразумеваем под термином "формат стерео-видения".
В основе пространственно восприятия таких изображений лежит бинокулярный параллакс (binocular stereopsis) — построение объёмного зрительного образа на основе различий проекций трёхмерного пространства на сетчатку левого и правого глаза [17]. Принципы реализации проекционного воспроизведения стерео-изображений весьма различны, но восприятие трёхмерности объектов во всех случаях происходит из-за того, что в каждый данный момент зритель рассматривает предъявляемый ему объект правым и левым глазом в разных ракурсах. Изображения, видимые правым и левым глазом, несколько отличаются друг от друга, а вместе они составляют стерео-пару. Слияние изображений стерео-пары в единый пространственный образ происходит в мозгу совершенно автоматически. Технически эти изображения можно кодировать следующими способами (голографические проекционные методы не рассматриваются): страничный режим (рис. 1.2) — каждый глаз получает только одно, предназначенное ему изображение — то есть проекционной системе переда ются два изображения; наиболее распространённый и качественный способ; через-строчпый режим (рис.1.3) -- проекционной системе передаётся одно изображение, чётиые строки которого несут информацию для правого глаза, нечётные — для левого; это способ требует меньших вычислительных мощностей, чем предыдущий, но создаёт изображения с худшим разрешением; режим один-над-другим (рис. 1.4): изображение для правого глаза помещается в верхней половине картинки, передаваемой проекционной системе, для левого — в нижней половине; аналог предыдущего способа; режим с цветовым разделением (anaglyph, рис. 1.5) — проекционной системе передаётся одно изображение, на котором красным цветом изображается картинка для левого глаза, синим — для правого; пользователь должен носить очки с соответствующими цветными фильтрами; это довольно интересный способ, однако добиться естественного цветовоспри-ятия и хорошей чёткости очень трудно.
Однако, кроме способа кодирования надо выбрать и способ представления изображений — это можно сделать следующими способами: с помощью двух маленьких дисплеев, которые монтируются в "виртуальный шлем"(head mounted display) и формируют изображения для левого и правого глаза; это довольно дорогой способ и в то же время качественных дисплеев без мерцания и с достаточно высоким разрешением пока нет; с помощью стерео-очков, оборудованных жидкокристаллическим прерывателем (shutter glasses) и синхронизированных с ними проекционной системой — то есть, проекционная система проецирует изображение для правого глаза, в то время как левый глаз закрыт и наоборот; это наиболее распространённый способ, сочетающий качество и доступность; с помощью очков с линейной или круговой поляризацией — проекционная система и очки оборудуются поляризационными фильтрами с ортогональной поляризацией; это наиболее доступный и в то же время качественный способ; с помощью очков с цветными фильтрами, если используется режим с цветовым разделением. Рассмотрим теперь реально существующие установки виртуального окружения и проблемы, с ними связанные.
Многопользовательские, ориентированные на большие аудитории виртуальные окружения создаются на основе крупномасштабных проекционных систем. Это отличает их от установок индивидуального пользования, таких как "виртуальные шлемы". В настоящее время разработаны три основных типа проекционных систем. CRT-проекторы используют три электроннолучевые трубки, производящие красную, синюю и зелёную компоненты изображения, сведённые вместе и сфокусированные на экране. LCD-проекторы имеют три жидкокристаллических панели и яркий источник, свет которого разделяется на красную, синюю и зелёную компоненты, пропускается через соответствующие панели, затем вновь объединяется и проецируется на экран. DLP-проекторы используют специальную плату, состоящую из множества микроскопических зеркал, каждое из которых имеет два положения: отражающее свет в линзу с дальнейшим попаданием на экран, и отклоняющее его от линзы. Зеркала могут переключаться в течении микросекунд (десятки тысяч раз за кадр), что позволяет модулировать сигнал для получения непрерывных переходов яркости для каждого пикселя. Переключение цветовых компонент обычно производится с помощью быстро вращающегося колеса с тремя светофильтрами.
В современных установках ВО различают два типа передачи стереоизображения: Активная, или последовательная схема использует поочередную проекцию изображения для левого и правого глаза на экран (страничный режим) и вышеупомянутые стерео-очки с жидкокристаллическим прерыва телем, синхронизованные с изображением с помощью инфракрасного излучателя. В данной схеме необходимо использовать проекторы с большой частотой вертикальной развёртки, обычно 120 Гц (60 кадров в секунду для каждого глаза).
В пассивной схеме разделение изображений обычно производится с помощью поляризации света. Используются два проектора, снабжённые поляризационными фильтрами, ориентированными ортогонально друг относительно друга. Оба изображения одновременно проецируются на экран из специального материала, обладающего минимальной степенью деполяризации. Материалы разного типа используются для прямой проекции, при которой зрители и проекторы находятся по одну сторону экрана, и обратной проекции, при которой они находятся по разные стороны. Используются очки (широко применяемые в стерео-кинотеатрах) с поляризационными фильтрами, ориентированными параллельно соответствующим фильтрам проекторов, вследствие чего каждый глаз получает предназначенное для него изображение. Пассивные стерео-системы обычно устанавливаются для больших аудиторий, т.к. пассивные стерео-очки просты в изготовлении и легко доступны.
Основной проблемой стерео-проекционных систем являются побочные изображения, известные также как "тени" или "духи . Эта проблема существует как для активных, так и для пассивных систем, но причины её возникновения для каждого типа — разные. Для активных стерео-проекционных систем, обычно использующих CRT-проекторы, причина состоит в большом времени послесвечения зелёного люминофора, изготовленного на основе сульфида цинка. Вследствие послесвечения, часть изображения, предназначенного для одного глаза, становится видимой для другого; пользователь при этом видит зелёные тени от ярких объектов. Проблема уменьшается, но не исчезает полностью, при использовании CRT-проекторов со специальным зелёным люминофором, который содержит редкоземельные элемен; ты и обладает малым временем послесвечения. Стандартные LCD- и DLP-проекторы не могут использоваться для активных стерео-проекций, т.к. они не могут обеспечить высокую частоту смены изображения, необходимую для активного стерео.
Имеются экспериментальные разработки [25] компании FakeSpace (США) по использованию для этой цели специальным образом перестроенных DLP-нроекторов. Для пассивных стерео-систем время послесвечения люминофора не играет решающей роли, причина удвоения изображения состоит в деполяризующих свойствах экрана, которые могут быть уменьшены, но не устранены полностью. Имеются экспериментальные разработки компании TAN (Германия) по использованию недавно изобретённой технологии, называемой цветовым сдвигом [26]. В таких пассивных стерео-проекционных системах не требуется специальный экран, удвоение изображения отсутствует, но имеются отклонения в цветопередаче. Существуют решения на уровне программного обеспечения [37], применимые как для активных, так и для пассивных систем, компенсирующие удвоение и другие проблемы с помощью дополнительной обработки изображений перед передачей их для проекции на экран.
Анализ существующих систем трекинга
Механическая Меряет изменения положения с помощью механической связи, соединяющей пользователя с точкой отсчёта Точная. Запаздывание — минимальное. Не требует линии видимости. Не чувствительна к электромагнитным помехам. Хороша для точного отслеживания в небольшом объёме. Неудобна в использовании из-за жёсткой связи. Подвержена механическому износу.
Магнитная Для создания магнитного поля передатчиком используются электромагнитные катушки. Датчики приёмника определяют напряжённость поля и соответствующие углы, Поле может быть как постоянным так и переменным Обычно недорогая, довольна точная система. Не требует линии видимости. Работоспособна в объёме небольшой комнаты Ферромагнитные и металлические поверхности искажают поле. Чувствительна к электромагнитным помехам. Точность уменьшается с расстоянием. Относительно большое запазды вание из-за фильтрования.
Неинерционная Используются пассивные магнитные сенсоры, ориентированные на магнитное поле Земли. Способны определять углы и, соответственно, угловую скорость. Не требует передатчика. Компактна. Имеет невысокую цену. Измеряет всего три степени свободы.
Оптическая Использует различные способы детектирования света, обычно простые видеокамеры. Анализирует отражённый свет или свет испускаемый источником. Часто используется инфракрасный свет для избежания пересечений с видимым спектром. Может работать быстро и в большом объёме. Не чувствительна к электромагнитным помехам. Обычно точна. Требует, чтобы источник света был в прямой видимости приёмника. Ограничена интенсивностью источников света. Некоторые системы имеют большой вес — источнику или приёмнику требуются аккумуляторы. Высокая цена.
Акустическая Использует микрофоны и источники звука, чтобы путём триангуляции найти их взаимное расположение. Использует ультразвуковые частоты { 20 кГц), чтобы источник не был слышен. Недорогая. Лёгкая. Не чувствительна к магнитным помехам. Низкая точность из-за изменения скорости звука в воздухе. Проблема отражённого света и ультразвуковой интерференции. Требует прямую видимость.
Инерционная Использует акселерометры и гироскопы. Ориентация объекта вычисляется интегрированием выходных значений гироскопов, которые пропорциональны угловым скоростям вокруг соответствующих осей. Двойным интегрированием показаний акселерометров можно вычислить изменение положения, если известна их ориентация. Работает в большом объёме и быстро. Не требует линии видимости. Не чувствительна к помехам. Небольшой размер и маленькая цена. Не точна — плохо отслеживает медленные изменения. Показання ухудшаются со временем. Как правило, имеет только три степени свободы.
Задачей автора было исследовать и разработать систему инфракрасного трекинга реального времени, удовлетворяющей вышеперечисленным требованиям и способную отслеживать перемещения головы пользователя и перемещения указки. Требуемая точность была оценена в один сантиметр, а скорость обработки изображений — в 25 кадров в секунду.
Система трекинга [1-3,5.7.10 была интегрирована с установками VEonPC [2 Института физико-технической информатики и CyberStage [38]. Фраунго-феровского Института медиакоммуникации (см. главу 1). В этих установках обычно использовалась магнитная система трекинга Polhemus Fastrak (см. предыдущий раздел), однако наличие проводов, тянущихся к очкам и указке делали её использование неудобным. Более того, магнитное поле, генерируемое источником в непосредственной близости от пользователя, может негативно воздействовать на его здоровье, если он проводит в этом поле много времени.
Задачу по разработке аналогичной системы трекинга ставили перед собой К.Дорфмюллер и Х.Вирт из Дармштадтского центра компьютерной графики [46]. Их система базировалась на двух камерах и использовалась в других условиях. Им удалось достичь точности реконструкции положения около 2 см и частоты обновления 23 кадра в секунду.
Для того, чтобы избежать влияния проекционной системы на камеры, было решено использовать камеры, имеющие повышенную чувствительность в инфракрасном диапазоне (рис.2.6), красные фильтры, подавляющие длины волн ниже 600 нм почти полностью. В качестве объектов для отслеживания были выбраны инфракрасные диоды с пиком излучения около 850 нм (рис.2.6). Так как проекционная система синхронизуется со стерео-очками по инфракрасному каналу (в очках установлен приемник ик-излучения), были проведены эксперименты, проверяющие влияние диодов на очки. Выяснилось, что очки чувствительны к диодам только если последние находятся в непосредственной близости от приёмника ик-излучения очков (несколько сантиметров) и светят прямо в приемник - в действительности этого не случается, поэтому взаимного влияния между системами синхронизации и трекинга нет.
Итак, наша система включает три камеры JAI-M501R — для покрытия большего пространства и для более точной реконструкции объектов, находящихся в пределах видимости всех трёх камер. В камерах используются 6мм линзы и фильтры. Эти камеры подключены к мультиплексору [frame grabber) PC-RGB, который создаёт на выходе одно изображение размером 769x570, содержащее в полях R. G к В синхронизованные изображения со всех трёх камер. Скорость обработки изображений мультиплексора — 25 кадров в секунду. Далее это изображение обрабатывается специально созданным программным обеспечением на рабочей станции Pentium 4 2.2 ГГц (рис.2.7). мультиплексор pQ
В данный момент в качестве устройств для трекинга у нас есть один триггер (устройство с одним инфракрасным диодом), стерео-очки, оборудованные тремя диодами и указка, содержащая три диода и телескопическую трубу — для лучшей реконструкции направления (рис.2.8). Два диода, закреплённые на очках справа и слева, позволяют реконструировать пять степеней свободы, т.к. обычно в приложениях не требуется отслеживать движения головы пользователя вверх-вниз. В случае если такое движение требуется отслеживать, можно подключить третий диод (закреплён в центре на очках). Точно так же, два диода на указке не позволяют отслеживать вращение луча, создаваемого указкой, вокруг своей оси. Однако, принципиальных ограничений для увеличения количества диодов нет. Третий диод на указке загорается только когда пользователь давит на кнопку, чтобы работать в точности так же, как указка системы Polhemus.
Вычисление калибровочной матрицы
Нами использовалась калибровочная цель, показанная на рис.3.1. Координаты 34 точек, соответствующих белым кружкам на калибровочной цели, были измерены в некоторой, неизвестной нам системе координат (UCS) с помощью теодолита специалистами Joanneum Research [36].
Однако, нам нужно было откалибровать систему трекинга в системе координат установки CAVE (CCS) Для этого была создана модель калибровочной цели, воспроизведена в установке CAVE и совмещена с реальноц целью. Таким образом, нам были известны как точно измеренные координаты опорных точек в UCS, так и их координаты в CCS, и мы смогли создать требуемый нам для калибровки список 3-D координат опорных точек и их 2-D образов для каждой камеры. Откалибровав систему по методу Р. Цая, мы смогли восстановить изображение цели без искажений: рис.3.2. Изображение, однако, содержит множество точек, значение цвета в которых не может быть восстановлено. Применив интерполяцию, получаем: рис.3.3. Получив неискаженные координаты опорных точек в системе CCS, мы применяем метод прямого линейного преобразования. Результаты его применения показаны на рис.3.4. Красными линиями показана ошибка обратного проецирования опорных точек (то есть вычисление их 2-D координат с помощью найденного проективного преобразования), увеличенная в сто раз. Как видно, она составляет не более 0.5 пикселей, что является показателем хорошей калибровки.
Итак, мы шпили матрицу проективного преобразования и теперь можем вычислять 3-D координаты реальных точек зная их 2-D образы на нескольких камерах но уравнению (2.13). а также эн и полярные линии (2.16). и можем проанализировать работу системы.
Как уже говорилось, наиболее важными параметрами, характеризующими саму систему тренинга являются точность, разрешающая способность, скорость реакции системы и рабочая область. Точность реконструкции (3.5) и рабочая область были измерены автором непосредственно. Ошибка реконструкции складывается из продольной и поперечной ошибок. Вторая обычно составляет не более 20% от первой, в силу того, что большие смещения объекта в поперечном направлении приводят к большим смещениям его образа, при движении же в продольном же направлении, образ объекта смещается не сильно.
Зависимость точности реконструкции от расстояния между камерами и светодиодами — квадратичная. Зависимость точности реконструкции от фокусного расстояния — линейная. Увеличение расстояния между камерами способствует повышению точности реконструкции. Ошибки реконструкции приводят к тому, что на расстоянии двух метров угловая погрешность определения ориентации очков составляет около 3. Комфортным является расстояние пользователя от камер, составляющее от одного до двух с половиной метров — в этом случае ошибки реконструкции не превышают 1 см. Разрешающая способность системы определяется точностью и зависит от расстояния между пользователем и камерами. Эксперименты показали, что такая точность является достаточной для работы с установкой CAVE, но не достаточной для приложений смешанной реальности, использующих "виртуальные шлемы" [72].
Рабочая область показана на рисунке (3.6). Если отслеживаемые излучатели (диоды) находятся в области перекрытия хотя бы двух камер, система способна реконструировать их координаты. На большом расстоянии от камер увеличиваются ошибки реконструкции и уменьшается сигнал светоч-диодов, поэтому комфортным является расстояние пользователя от камер, составляющее от одного до двух с половиной метров. Основой точной работы системы является хорошая калибровка. Показателем точности калибровки системы является нормализованная ошибка калибровки (НОК) (normalized calibration error) [54]. «CSE=l-±[ - 11 - , (3.9) где au и a0 — масштабирующие коэффициенты, помноженные на фокусное расстояние из формулы (2.3), {х ,у„,гн} - реконструированные, а {щ, yi, zi} реальные 3-D координаты і-ой точки.
С ростом количества калибровочных точек ошибка возрастает, т.к. каждая точка вносит свой вклад в её рост — либо в силу ошибок измерения оригинальных данных, либо в силу погрешностей камеры-мультиплексора и погрешностей поиска образов точек на изображениях. Некоторые точки вносят значительно больший вклад в общую ошибку, такие точки определялись и исключались из калибровки. Для конечной стадии калибровки обычно использовалось около 15 наиболее надёжных точек.
Существенное увеличение количества точек приводит к некоторому уменьшению НОК [55]. Для характеристики калибровки помимо НОК можно посчитать вышеупомянутую ошибку обратного проецирования (backpr ejection error) и ошибку реконструкции для опорных точек. Первая в нашем случае составляла 0.5 пикселей, вторая — 0.2 см.
Разработанная система трекинга базируется на трёх камерах, однако сохраняет свою работоспособность и при наличии только двух камер. Оценка работы системы в режиме двух и трёх камер позволяет выявить разницу в функционировании в этих режимах и оценить её количественно.
Надёжность — это способность технического объекта выполнять заданные функции, сохраняя свои основные характеристики в определённых пределах. Прежде чем оценить надёжность работы, рассмотрим все преимущества использования дополнительных камер: 1. система становится более робастной, то есть более устойчивой к редким ошибкам, появляющимся, например, в результате ошибок сенсоров или ошибок определения центров эллипсов; 2. увеличивается устойчивость системы к ошибкам определения соответствующих точек; например, при сильном расхождении результатов реконструкции по трём парам камер можно либо выбрать другую точку на камере, дающей ошибочное значение, либо вовсе исключить такую точку из реконструкции; 3. увеличивается устойчивость системы по отношению к сложным движениям: в некоторых случаях проекции светодиодов на плоскость изображения одной камеры могут совпасть (если они оказываются на одном луче), в то время как в плоскостях изображений других двух камер они различимы. Поэтому в случае двух камер реконструкция оказывается невозможной, а в случае трёх — возможной; 4. увеличивается рабочая область системы. Три первых пункта показывают, что трёхкамерпая система является более надёжной, чем двухкамерная, в силу того, что первая является более устойчивой к ошибкам. Оценить это увеличение устойчивости можно следующим образом. Изображения со всех трёх камер могут быть записаны в видеофайл. После этого система трекинга может обработать видео и записать результаты реконструкции в режимах трёх и двух камер. Таким образом были записаны и обработаны несколько 30-сскундных видеозаписей (750 кадров}, содержащих движения светодиодов при нормальной работе пользователя с системой в режиме двух (камеры R и В на рис.3.б) и трёх камер (камеры R, В и G). Для каждого кадра осуществлялась реконструкция. Невозможность реконструкции и наличия грубых ошибок (изменения положения реконструированных координат на расстояние более 50 см) фиксировались. Результаты обработки показаны в табл. 3.1. 3 камеры 2 камеры реконструкция невозможна 1% 5% грубая ошибка реконструкции 2% 6%
Естественно, вышеприведённые результаты сильно зависят от конфигурации системы и от записываемых движений. Для этой конкретной системы можно считать, что в среднем при обычной работе пользователя, вероятность отказа трёхкамерной системы примерно на 10% ниже, чем двухкамерной. Рабочая область системы, где осуществлялась реконструкция по трём камерам, составляла примерно 60% всей рабочей области системы (см. рис.3.6). Общая рабочая область трёхкамерной системы увеличилась примерно на 40% (см. рис.3.6). Измерение запаздывания системы Измерение запаздывания системы было произведено аналогично измерению запаздывания акустической системы в виртуальном окружении [73]. В нашем случае общая задержка системы на действия пользователя складывалась из следующих задержек (см. рис.2.2): аппаратная задержка регистрации сигнала от излучателей камерами; аппаратная задержка при передаче изображений с камер мультиплексором программе; программная задержка при обработке изображений и реконструкции позиции и ориентации;" ..". .. программная задержка при графической визуализации (при необходимости); программная задержка данных при передаче их по сети приложению-пользователю.
Краткий обзор существующих технологий ЗБ-сканирования
Классификация технологий получения формы объектов Прежде всего технологии эти разделяются на контактные и бесконтактные. Первые подразумевают наличие механического устройства — "щупа". при помощи которого в компьютер передаются координаты выбранных оператором точек. Система позиционирования и координатоисчислештя таких приборов построена на основе работы механических датчиков, аналогичных тем, что используются в оптико-механических манипуляторах "мышь". Последние закреплены в каждом шарнире крепления "щупа", и именно от точности этих датчиков и зависит точность работы прибора пространственного сканирования в целом.
Бесконтактные SD-сканеры являются значительно более сложными приборами, в которых заложены довольно сложные алгоритмы создания пространственных каркасов. Так, во многих из них используется двойная система ввода координат тела. Некоторые устройства совмещают лазерные датчики (заменяющие механический "щуп"контактных ЗБ-сканеров) и цифровой фотоаппарат, который используют для большей точности сканирования, что позволяет получить модели объектов с наложенными текстурами.
Вместо лазерных датчиков пространства могут применяться и более сложные системы. Например, в последнее время начали появляться системы 3D-сканирования на базе ультразвуковых установок, преимуществом которых перед конкурентами является режим сканирования тел с внутренней структурой или тел, погруженных в однородную среду.
Активно ведутся разработки магнитных сканеров, использующих для определения пространственных координат объекта изменение его пространственного магнитного поля. Однако, аналогично системам трекинга, ультразвуковые и магнитные сканеры крайне чувствительны к различного рода шумам. Так, первые могут реагировать на погодные явления, звуковые волны, создаваемые другим оборудованием, кондиционерами или флюоресцентными лампами; источником помех для вторых могут быть металлические объекты в помещении и электропроводка.
Оптические скнанеры подразделяются на активные и пассивные. Пассивные — это устройства основанные на двух камерах, устройства, использующие для реконструкции тени, силуэты объекта и т.д. Такие устройства могут помочь качественно захватить форму, однако особой точностью они не обладают. Активные системы обязательно имеют согласованные источник света и приёмник изображения. В качестве источника может быть лазер или кодированный по форме или цвету пучок, проецируемый на объект, приёмником — обычная CCD-камера. снимающая объект с отражённым от его поверхности сигналом от источника ( [111,112]).
Наиболее доступными ЗО-сканерами на рынке являются контактные модели. Лидер рынка подобных устройств — компания Immersion [113], разрабатывающая как контактные сканеров, так и системы с обратной связью (force feedback) для игровых манипуляторов. Основу сканеров Immersion MicroScribe-3D составляет прецизионный щуп на трёх-шарнирном рычаге, в суставах которого находятся механические микродатчики. Принцип работы устройства достаточно прост: щупы отображают сканируемые поверхности как массивы трёхмерных точек.
Точность контактных устройств составляет 0,4-0,2 мм, что менее точно, чвхМ при использовании лазерных щупов, но больше, чем у магнитных и ультразвуковых образцов. Среди неконтактных лазерных сканеров можно отметить VI-910 3D Laser Digitizer корпорации "Konica Minolta"(Япония-Германия) [114], GS200 французской фирмы MENSI [108], ЗО-сканеры LPX-1200 японской фирмы Roland [116], ЗЭ-сканер Callidus немецкой компании "Callidus Precision Systems GmbH- [115], атакже компании Leica [102], Inspeck [101], Steinbichler [99], Breuckmann [96] и многие другие.
ЗО-сканеры в основном используют организации, обладающие достаточными финансовыми средствами: группы промышленного дизайна крупных компаний, подразделения машиностроительных компаний, кинематографические и анимационные студии, а также крупные фирмы-разработчики игр. На сайтах производителей трёхмерных сканеров цены как правило установлены только на самые простые модели. Цены эти колеблются в интервале от полутора до трёх тысяч долларов. Что касается более совершенных устройств, то их цены определяются производителем с учётом того, что предлагаемое решение носит эксклюзивный характер. Поэтому стоимость современных полнофункциональных ЗО-сканеров может достигать нескольких десятков тысяч долларов.
Проекты, в которых стояли аналогичные задачи и для их решения были использованы оптические сканеры — Digital Michelangelo [80, 81] и Pieta Project [82,83]. Первый проект длился в Стенфордском университете несколько лет, главной его целью была оцифровка пятиметровой статуи Давида и других статуй с очень высокой точностью (0.3 мм), что было сделано с помощью лазерного сканера высокой точности. В проекте было задействовано несколько десятков человек и его бюджет составил несколько сот тысяч долларов. Фаза сканирования одной только статуи Давида длилась один месяц, было сделано более 7000 фотографий, реконструированная модель содержала более 2 млн полигонов. Второй проект был осуществлён исследовательской лабораторией IBM, целью проекта была оцифровка скульптурной группы Pieta, установленной в соборе Святого Петра в Риме. В проекте была использована система структурированного света, было сделано 770 фотографий, фаза сканирования длилась 90 часов. Точность сканирования составила 2 мм, количество полигонов — около 10 млн.
Тот факт, что к статуям нельзя прикасаться, сразу же исключает возможность использования контактных методов сканирования. В то же время из-за ограниченности в ресурсах мы не могли разработать качественно новое решение или приобрести устройство подобное тому, что использовалось в Digital Michelangelo Project. Поэтому, аналогично Pieta Project, нами была выбрана технология структурированного света, дающая приемлемую точность реконструкции (менее 1 мм) и оставляющая возможность к улучшению — система Eyetronics ShapeCam [84].
В следующем параграфе мы рассмотрим самую простую схему реконструкции, а затем перейдем к процессу сканирования с помощью устройства Eyetronics ShapeCam [84] и рассмотрим методику улучшения точности его работы.
