Электронная библиотека диссертаций и авторефератов России
dslib.net
Библиотека диссертаций
Навигация
Каталог диссертаций России
Англоязычные диссертации
Диссертации бесплатно
Предстоящие защиты
Рецензии на автореферат
Отчисления авторам
Мой кабинет
Заказы: забрать, оплатить
Мой личный счет
Мой профиль
Мой авторский профиль
Подписки на рассылки



расширенный поиск

Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Толкачев Данил Сергеевич

Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер
<
Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер
>

Диссертация - 480 руб., доставка 10 минут, круглосуточно, без выходных и праздников

Автореферат - бесплатно, доставка 10 минут, круглосуточно, без выходных и праздников

Толкачев Данил Сергеевич. Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер: диссертация ... кандидата технических наук: 05.12.04 / Толкачев Данил Сергеевич;[Место защиты: Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Южный федеральный университет"].- Ростов-на-Дону, 2014.- 136 с.

Содержание к диссертации

Введение

1 Системы и алгоритмы формирования панорамного видео изображения 16

1.1 Системы формирования панорамного видеоизображения 18

1.2 Алгоритмы формирования панорамного изображения в системе из нескольких камер 22

1.3 Прямые методы оценки параметров совмещения 26

1.3.1 Выбор метрики 26

1.3.2 Использование гауссовой пирамиды 28

1.4 Методы оценки параметров совмещения на основе точечных особенностей 30

1.4.1 Поиск и сопоставление особых точек на изображении 30

1.4.2 Модели совмещения изображений 33

1.4.3 Оценка параметров модели 37

1.5 Совмещение изображений с использованием многомасштабного представления 41

Выводы 43

2 Модель формирования панорамного изображения с учетом параллакса 45

2.1 Модель камеры 45

2.1.1 Проективная модель камеры 45

2.1.2 Внешние и внутренние параметры камеры 46

2.1.3 Геометрические искажения камеры 50

2.2 Модель системы кругового обзора 53

2.3 Панорамные проекции 57

2.3.1 Азимутальные проекции 58

2.3.2 Цилиндрические проекции 61

2.4 Представление ориентации камеры 63

2.5 Геометрическое преобразование изображений 68

2.5.1 Функция прямого обратного отображения 69

2.5.2 Функция прямого отображения 70

Выводы 72

3 Калибровка системы кругового обзора 74

3.1 Калибровка внутренних параметров камеры 74

3.2 Калибровка системы из двух камер 83

3.3 Калибровка системы из п камер 87

3.4 Привязка к абсолютным значениям 89

Выводы 91

4 Экспериментальное определение параметров системы кругового обзора 93

4.1 Повышение точности калибровки внешних параметров камеры 93

4.2 Экспериментальная проверка алгоритма калибровки системы камер 97

4.3 Формирование панорамного изображения 102

4.4 Построение и отображение траектории движения 106

4.5 Аппроксимация таблиц геометрических преобразований с помощью полиномов 113

Выводы 119

Заключение 120

Условные обозначения и определения 121

Библиографический список

Введение к работе

Актуальность работы

Развитие и распространение средств регистрации, обработки и хранения изображений формирует широкий интерес к системам автоматического построения панорамных изображений. Благодаря возможности полностью отобразить пространство вокруг наблюдателя, панорамное изображение позволяет обеспечить убедительный эффект присутствия.

В связи с тем, что техника представления окружающего мира в виде панорамы имеет широкое применение и долгую историю, множество научных и технических направлений пересекается в этой области: фотография, оптика и фотограмметрия изначально, обработка изображений и техническое зрение позднее. Среди ученых, оказавших заметное влияние на развитие алгоритмов формирования панорамных изображений, можно назвать Лукаса и Канаде (B.D. Lucas, T. Kanade), сформировавших идеи оптического потока; Д. Лоуи (D. Lowe), развившего их идеи и разработавшего алгоритм поиска и описания локальных особенностей изображения SIFT; Р. Зелински (R. Szelinski), систематизировавшего и дополнившего имеющиеся знания по формированию панорамных изображений; Р. Хартли и А. Зиссермана (R. Hartley, A. Zisserman), описавших геометрические зависимости между сценой и ее изображением.

Благодаря преимуществам панорамного представления целесообразной является установка систем кругового панорамного обзора на мобильные платформы (автомобили, роботизированные платформы) для облегчения задач вождения или осуществления удаленного управления транспортным средством. Вместе с тем, имеются определенные технические трудности, ограничивающие применение подобных систем.

Во-первых, существующие алгоритмы формирования панорамных изображений в основном рассчитаны на работу со статическими изображениями, а не видеопоследовательностями. Следовательно, без доработки имеющиеся алгоритмы не позволяют формировать панорамное изображение в режиме реального времени. Во-вторых, существующие алгоритмы показывают хорошие результаты при заметном пересечении полей зрения смежных камер, что означает нежелательное увеличения числа камер в видеосистеме. В-третьих, существующие алгоритмы не учитывают влияние параллакса (различие углового положения объекта для различных дальностей), что вынуждает размещать систему кругового обзора сверху, где обзор не закрывается элементами конструкции. Такое расположение может быть нежелательным, т.к. нарушает другие требования к конструкции системы.

Таким образом, представляются необходимыми и актуальными дальнейшие исследования в данной области и разработка алгоритмов формирования панорамного изображения, отвечающих дополнительным требованиям.

Объектом исследования являются видеоизображения, полученные

от видеосистемы кругового обзора.

Целью диссертационной работы является повышение качества формирования панорамного изображения за счет учета структуры сцены и пространственного расположения камер, а также обеспечение возможности работы в реальном времени и решение сопутствующих прикладных задач.

Основными задачами, которые необходимо решить для достижения поставленной цели, являются:

  1. Разработка алгоритма формирования панорамного изображения с учетом разнесенного расположения камер в системе и с возможностью работы в реальном масштабе времени;

  2. Разработка метода и алгоритмов определения параметров расположения камер в системе;

  3. Формирование методики повышения точности определяемых параметров системы в рамках разработанного метода;

  4. Разработка алгоритма формирования и отображения траектории движения транспортного средства;

  5. Разработка метода аппроксимации характеристик геометрического преобразования изображения.

В работе получены следующие новые научные результаты:

  1. Разработан алгоритм формирования панорамного изображения в реальном масштабе времени на основе предложенной математической модели системы кругового обзора, учитывающей взаимное расположение камер, их внутренние параметры и геометрические характеристики внешней среды;

  2. Разработаны метод и алгоритмы определения параметров расположения камер в системе с помощью двух плоских калибровочных щитов с нанесенными тестовыми изображениями;

  3. Предложена методика повышения точности определяемых параметров системы, задающая конфигурацию щитов, вид тестовых изображений и порядок действий при калибровке;

  4. Разработан алгоритм формирования и отображения траектории движения транспортного средства на панорамном изображении;

  5. Предложен метод аппроксимации таблиц геометрического преобразования изображений, снижающий требования по объему к долговременной и кратковременной памяти системы.

Практическая значимость работы состоит в следующем:

  1. Предложенная модель системы кругового обзора позволяет учесть влияние взаимного расположения камер и геометрические особенностей внешней среды, а также формировать на панорамном изображении прогнозируемую траекторию движения транспортного средства;

  2. Разработанный на основе предложенной модели алгоритм позволяет формировать панорамное изображение в реальном масштабе времени;

  3. Разработанная методика нахождения параметров расположения камер позволяет с помощью доступного оборудования определить с необ-

ходимой точностью углы ориентации и координаты расположения камеры (со среднеквадратической погрешность 0,3 и с относительной среднеквад-ратической погрешностью 7% соответственно);

4. Разработанный алгоритм аппроксимации функций геометрического преобразования изображений позволяет значительно снизить требования к долговременной памяти системы (на четыре порядка для изображения 720 576), эффективно распаковать данные, используя только операции сложения, и имеет достаточную точность (максимальная ошибка менее 0,1 пикселя, что превышает погрешность калибровки).

Методы исследования основаны на математическом моделировании эффектов геометрической оптики, численных методах минимизации многопараметрических функций, статистической обработке результатов эксперимента, методах цифровой обработки изображений и методах технического зрения. Моделирование производилось как с помощью готовых математических программных библиотек и пакетов создания трехмерной компьютерной графики, так и с помощью разработанных алгоритмов.

Апробация работы

Основные результаты работы докладывались и обсуждались на:

Всероссийской научной конференции «Инновационные процессы в гуманитарных, естественных и технических системах», Таганрог, 2012;

Выступлениях и научных семинарах кафедры теоретических основ радиотехники, Таганрог, 2012–2013;

Всероссийской научной конференции «Основные тенденции развития в гуманитарных, естественных и технических системах», Таганрог, 2013.

Внедрение результатов работы

Результаты диссертационной работы внедрены на предприятии ОАО «Научно-конструкторскою бюро вычислительных систем» г. Таганрога, а также в учебном процессе кафедры теоретических основ радиотехники.

Публикации

Основные результаты по теме диссертации изложены в 5 печатных изданиях, в том числе: 2 статьи изданы в журналах, рекомендованных ВАК РФ для публикации материалов кандидатских диссертаций, 1 статья в ежемесячном научном журнале, 2 статьи в материалах Всероссийских конференций.

Основные положения, выносимые на защиту:

  1. Формирование панорамы возможно на основе модели, включающей внутренние характеристики камер и их расположение, а также особенности внешней среды;

  2. Для калибровки системы камер целесообразно использовать калибровочный объект в виде двух плоских щитов;

  3. Повышение точности калибровки системы достигается расположением калибровочного объекта на различных расстояниях и под различными углами относительно калибруемых камер;

  1. Функции геометрического преобразования изображений возможно эффективно аппроксимировать с помощью степенных многочленов.

  2. Решение задачи построения и отображения траектории движения транспортного средства целесообразно выполнять на основе разработанной модели видеосистемы кругового обзора.

Объем и структура работы

Прямые методы оценки параметров совмещения

Основные результаты работы докладывались и обсуждались на: — Всероссийской научной конференции «Инновационные процессы в гуманитарных, естественных и технических системах», Таганрог, 2012; — Выступлениях и научных семинарах кафедры теоретических основ радиотехники, Таганрог, 2012-2013; — Всероссийской научной конференции «Основные тенденции развития в гуманитарных, естественных и технических системах», Таганрог, 2013.

Внедрение результатов работы

Результаты диссертационной работы внедрены на предприятии ОАО «Научно-конструкторскою бюро вычислительных систем» г. Таганрога, а также в учебном процессе кафедры теоретических основ радиотехники. Внедрение и использование результатов работы подтверждено соответствующими актами.

Публикации

Основные результаты по теме диссертации изложены в 5 печатных изданиях, в том числе: 2 статьи изданы в журналах, рекомендованных ВАК РФ для публикации материалов кандидатских диссертаций, 1 статья в ежемесячном научном журнале, 2 статьи в материалах Всероссийских конференций.

Основные положения, выносимые на защиту: 1. Формирование панорамы возможно на основе модели, включающей внутренние характеристики камер и их расположение, а также особенности внешней среды; 2. Для калибровки системы камер целесообразно использовать калибровочный объект в виде двух плоских щитов; 3. Повышение точности калибровки системы достигается расположением калибровочного объекта на различных расстояниях и под различными углами относительно калибруемых камер; 4. Функции геометрического преобразования изображений возможно эффективно аппроксимировать с помощью степенных многочленов. 5. Решение задачи построения и отображения траектории движения транспортного средства целесообразно выполнять на основе разработанной модели видеосистемы кругового обзора.

Объем и структура работы

Диссертация состоит из введения, четырех глав, заключения, списка условных обозначений, списка использованных источников. Полный объем диссертации составляет 136 страниц текста, включая 33 иллюстрации и 9 таблиц. Список литературы содержит 96 наименований.

Во введении обосновывается актуальность исследований, формулируется цель, ставятся задачи, отражаются научная новизна и практическая значимость представляемой работы, формулируются основные положения, выносимые на защиту.

В первой главе производится обзор существующих систем и алгоритмов формирования панорамных изображений, которые можно условно классифицировать следующим образом:

— системы построения панорамных изображений с помощью специальных сверхширокоугольных оптических устройств (широкоугольных объективов типа «рыбий глаз» или катадиоптрических систем с использованием зеркала сложной формы);

— панорамные системы сканирующего типа (механические или оптико-механические) ; — панорамные системы, состоящие из нескольких широкоугольных камер; полученные от камер изображения совмещаются в единое изображение при помощи специальных алгоритмов формирования панорамного изображения.

Основные недостатки систем, использующих сверхширокоугольную оптику, заключаются в невысоком и неравномерном разрешение итогового панорамного изображения, а также в наличии на панорамном изображении «слепых» зон в случае использования катадиоптрических систем, связанных с конструктивными особенностями крепления зеркала.

Сканирующие панорамные системы имеют такие недостатки, как наличие в конструкции движущихся частей и невозможность одновременного обзора всего окружающего пространства.

Панорамные системы, состоящие из нескольких широкоугольных камер, лишены подобных недостатков, что объясняет их широкое распространение. Алгоритмы формирования панорамного изображения в таких состоят из двух основных этапов: оценка параметров совмещения изображений и непосредственно совмещение изображений.

На первом этапе алгоритмов формирования панорамного изображения в системе из нескольких широкоугольных камер для смежных входных изображений оцениваются параметры совмещения согласно определенной модели, затем найденные параметры могут уточняться с помощью процедуры глобальной оптимизации.

На втором этапе алгоритмов формирования панорамного изображения производится совмещение исходных изображений с целью получения итогового панорамного изображения. Согласно оцененным параметрам осуществляются геометрические преобразования входных изображений: устранение дисторсии (геометрических искажений объектива камеры), применение выбранного совмещающего преобразования, переход к выбранной панорамной проекции. Далее производится устранение видимых переходов от одного изображения к другому: формируются маски наложения этих изображений на формируемую панораму, производится выравнивание экспозиций преобразованных изображений. Наконец, полученные изображения совмещаются в итоговое панорамное изображение.

Геометрические искажения камеры

Следующим шагом производится поиск особых точек. Точка считается особой, если она является локальным максимумом или минимумом в окрестности 3x3 текущего и двух соседних уровней разностей гауссианов. Координаты найденных точек субпиксельно уточняются с помощью разложения в ряд Тейлора второй степени в окрестности найденного экстремума. После того как вычислено положение точки, проверяется значение разности гауссианов в этой точке, если оно меньше определенного порога, точка отбрасывается как недостаточно контрастная. Далее с помощью матрицы 4 Jl

Для окрестности найденной точки радиусом в 1,5 раза больше масштаба на соответствующем масштабном уровне рассчитывается гистограмма направленных градиентов с шагом 10 (всего 36 ячеек для 360), и определяется доминирующее направление, которое принимается в качестве направления ключевой точки. Если в гистограмме направлений есть компоненты с направлением не меньше 0,8 доминантного направления, создаются новые точки с тем же масштабом и координатами, но другой ориентацией. Нахождение доминантного направления обеспечивает инвариантность особой точки к повороту.

На этом этап поиска особых точек заканчивается. Каждая особая точка таким образом характеризуется: координатами на изображении, масштабом и ориентацией.

Формирование дескрипторов

Следующий этап — формирование дескрипторов — осуществляется следующим образом (рисунок 1.6). В окрестности особой точки для текущего масштабного уровня с помощью субпиксельной интерполяции формируется окно с соответствующим центром и углом поворота. Авторы алгоритма используют окно размером 16 х 16 (на рисунке 8x8). Это окно разбивается на 16 областей размера 4x4 (на рисунке показано 4 области). Для каждой области как и ранее рассчитывается гистограмма направленных градиентов, только число ячеек гистограммы теперь всего 8. Полученные гистограммы формируют дескриптор особой точки, представляющий собой вектор в пространстве размерности 4x4x8 = 128. Перед использованием дескриптор нормализуют, все его компоненты, которые больше 0,2, приравнивают к 0,2 и снова нормализуют.

Сопоставление особых точек

Поиск особых точек и формирование дескрипторов производится для всех изображений. Затем производится сопоставление найденных точек на двух изображениях (если известен порядок съемки панорамы, достаточно сопоставить точки двух смежных изображений, если же порядок неизвестен, производится сопоставление для всех пар изображений). При сопоставлении необходимо особой точке на одном изображении найти ближайшую в некотором смысле точку на другом изображении. В алгоритме SIFT определяется Евклидово расстояние для дескрипторов: где р и q — дескрипторы некоторой точки на одном изображении и сопоставляемой ей точки на другом, N = 128 — длина дескриптора.

Зачастую сопоставление точек производится в двустороннем порядке: для точки pi находится наиболее близкая точка q другого изображения, а для точки су находится ближайшая точка р первого изображения. Если і = к: считается, что точки сопоставлены правильно.

Перебор всех возможных точек для поиска ближайшего соседа в многомерном пространстве является ресурсоемкой задачей. Уменьшить время вычисления можно с помощью так называемых -мерных деревьев [60], являющихся разновидностью двоичных деревьев поиска. Применяются также приближенные методы поиска ближайшего соседа [61].

При формировании панорамы могут использоваться различные модели совмещения изображений: двумерные преобразования, например аффинные или перспективные, а также трехмерные преобразования, учитывающие ориентацию камеры в пространстве (рисунок 1.7).

Двумерные преобразования

В ряде случаев построение панорамного изображения возможно с помощью двумерных преобразований. Например, если входные изображения получены с помощью длиннофокусных камер, для совмещения изображений бывает достаточно простого переноса или переноса и вращения. В более общем случае бывает достаточно афинного или проективного преобразования. Рассмотрим виды двумерных преобразований.

Введем следующие обозначения. Исходные координаты точки обозначим как х = (ж,у), а координаты точки после преобразования обозначим как х = (х\у ). Часто при записи преобразований в матричном виде будут использоваться однородные координаты, обладающие тем свойством, что определяемый ими объект не меняется при умножении всех координат на одно и то же число [62, с. 63]. В общем виде однородные координаты двумерной точки х записываются в следующем виде:

Калибровка системы из п камер

Для того чтобы восстановить дальностную координату z в первом пункте воспользуемся уже описанной моделью окружающего пространства в виде поверхности вокруг точки S с известной функцией расстояния (2.39). Для этого можно воспользоваться следующим итерационным алгоритмом (известным как метод секущих):

1. Задаться начальным значением дальности ZQ.

2. Для текущей дальности рассчитать координаты точки к х. в системе координат камеры по формуле (2.40).

3. Рассчитать координаты точки sx в наблюдательной системе координат с помощью действий 2-3 прямого преобразования.

4. Найти сферические координаты А, ср и р по формулам (2.16) и вычислить для них расстояние до поверхности г = f(A, ср) по формуле (2.39).

5. Если модуль разности полученных расстояний не соответствует заданной точности \г — р\ є, текущая дальность пересчитывается по формуле Zi+\ = Zi — i (г — р) и производится переход к пункту 2 алгоритма. Здесь 7 — постоянная со знаком, совпадающим с производной функции (г — р), и не зависящая от номера итерации. Выводы

Во второй главе предложена и описана математическая модель видеосистемы кругового обзора, позволяющая при формировании панорамного изображения учитывать взаимное расположение камер, их внутренние параметры и геометрические характеристики внешней среды. Модель описывается следующими параметрами: — набором внутренних параметров каждой камеры, описывающих проекционные свойства камеры: фокусные расстояния камеры, координаты точки пересечения оптической оси камеры и плоскости изображения, коэффициенты дисторсии; — набором внешних параметры для каждой камеры, которые описывают ориентацию и положение центра камеры. — положением и ориентацией системы координат наблюдателя, в которой производится построение панорамы; — моделью окружающего мира в виде функции угловых координат.

Представление на плоскости окружающего пространства осуществимо только допущении определенных искажений: углов, размеров или площадей. Существующие способы отображения панорамного изображения классифицируются по типу вносимых искажений (углов, расстояний или площадей) и поверхности на которую происходит проецирование (плоскость, цилиндр, конус).

Ориентация камеры и наблюдательной системы координат может быть описана несколькими способами: в виде матрицы поворота, в виде вектора вращения, с помощью единичного кватерниона, с помощью углов Эйлера (в работе предложена последовательность поворотов на углы азимута, высоты и крена). Каждое представление имеет свои преимущества и недостатки: матрица поворота имеет наименее компактную и удобную форму, но позволяет эффективно осуществлять поворот в пространстве; вектор вращения имеет самую компактную форму и удобен в использовании в задачах минимизации; кватернионное представление позволяет легко комбинировать несколько вращений; запись ориентации камеры в виде углов Эйлера как правило нагляднее, хотя и имеет некоторые ограничения.

При формировании панорамного изображения исходные изображения подвергаются геометрическим преобразованиям, которые удобно представ лять в виде функции обратного отображения, связывающей координаты панорамного изображения и координаты входных изображений. Согласно представленной модели эта связь осуществляется с помощью последовательности преобразований:

1. Переход от координат панорамного изображения к координатам наблюдательной системы координат, осуществимый на основе информации о геометрии окружающего мира, а также свойствах панорамной проекции.

2. Переход от наблюдательной системы координат к основной системе координат, определенный положением и ориентацией наблюдательной системы координат.

3. Переход от основной системы координат к одной из систем координат камеры, выполняемый с учетом их расположения в системе.

4. Переход к координатам входных изображений, учитывающий проективные свойства камеры, которые заданы набором внутренних параметров камеры.

Окружающий мир представляется с помощью аппроксимированной модели в виде сферической или полусферической поверхности с различными радиусами. Функции обратного отображения можно рассчитать заранее и сохранить в нескольких конфигурациях соответственно выбранным моделям окружающего мира. Недостатки такого подхода, связанные с грубым приближением геометрии окружающего пространства, в данном случае перевешивают следующие преимущества: — низкая вычислительная сложность алгоритма формирования панорамного изображения позволяет осуществлять построение в реальном времени; — учет расположения камер позволяет формировать панорамное изображение в системе разнесенных камер; точность построения, однако, ограничена тем, насколько удачно модель окружающего мира описывает реальные условия; — благодаря тому что, положения и характеристики камер известны, приемлемые результаты могут быть получены в случае плохой освещенности или в условиях ограниченной видимости. 3 Калибровка системы кругового обзора

Формирование панорамного изображения

Для проверки работоспособности и анализа погрешностей методики калибровки системы камер было произведено несколько экспериментов. В виду того что, для реальной системы точные положения камер не известны, важным вопросом является выбор показателей, позволяющих оценить состоятельность методов и алгоритмов калибровки. Основным таким показателем является вектор невязки еп(р), представляющий разность координат точек йп, найденных на изображении калибровочного объекта, и координат точек un, полученных в результате проецирования точек калибровочного объекта на изображения согласно оцениваемым параметрам р. Другими словами, вектор невязки представляет собой ошибку репроекции на изображение координат калибровочного объекта:

Ошибка репроекции е(р) является векторной величиной, поэтому зачастую удобнее вместо ошибки репроекции использовать среднеквадратиче-ское отклонение расстояний между точками un и йп. Среднеквадратическое значение ошибки репроекции для числа точек N вычисляется таким образом как:

Результаты экспериментов по калибровке оценивались с помощью следующих показателей, основанных на ошибке репроекции: — значение среднеквадратической ошибки репроекции е(р) в зависимости от текущей итерации алгоритма оптимизации; — распределение ошибки репроекции — график, позволяющий судить о двумерной плотности вероятности ошибки репроекции; — разброс оцениваемых параметров, полученный с помощью ковариационной матрицы; — разброс оцениваемых параметров, полученный по серии экспериментов.

Приближенное значение ковариационной матрицы Е может быть получено в результате инвертирования матрицы Гессе (3.7), которая использовалась в итерационном алгоритме Левенберга-Марквардта (с. 78):

В эксперименте производилась калибровки системы из четырех видеокамер с разрешением 800 х 600 пикселей и величиной поля зрения по горизонтали около 50. Калибровка каждой пары камер осуществлялась по 20 парам изображений калибровочного объекта в виде шахматного поля размера 10 х 7 (таким образом, 2 х 20 х 4 = 160 изображений при калибровке всей системы, и в общей сложности 10 х 7 х 160 = 11200 точек). Области полей зрения камер не перекрывались, но разработанная методика позволяет найти параметры расположения камер и для этого случая.

В таблице 4.3 приведены значения ошибки репроекции е и длины вектора приращения параметров \\Ар\\ в зависимости от номера итерации алгоритма оптимизации. Можно отметить, что уже первый шаг алгоритма значительно уменьшает ошибку репроекции. В дальнейшем зависимость ошибки репроекции меняется незначительно: начиная с седьмого шага изменения е лежат за пределами десятого знака после запятой. Приращение Ар также быстро уменьшается до девятой итерации, после чего остается неизменным.

Распределение ошибки репроекции позволяет определить насколько удачно прошла процедура нелинейной оптимизации. После оптимизации ошибка репроекции должна распределяться вблизи нуля как на рисунке 4.1 (б). Если после оптимизации наблюдаются выбросы подобные изображенным на рисунке 4.1 (а), то вероятно, что в результате оптимизации определился не глобальный минимум функции, а локальный. Такое возможно при наличии выбросов в исходных данных или изменении параметров эксперимента (например, камеры могут переместиться друг относительно друга в процессе калибровки). Вид распределения ошибки репроекции позволяет заметить такого рода ошибки. 60 20

В таблице 4.4 приведены параметры расположения камер и среднеквадратическое отклонение этих параметров, вычисленное с помощью ковариационной матрицы. Параметры приведены для трех камер: одна из камер не участвует в калибровке, расположение других камер вычисляется относительно нее. Обозначения аг и crt соответствуют среднеквадратнческому отклонению каждой из составляющей векторов г и t. Результаты проще интерпретировать, если свести три измерения координат к одному и выразить погрешность измерения положения через относительную величину (столбцы 3 7г и 3 7t/ t в таблице). Среднеквадратические отклонения приведены утроенными, что соответствует 99,7-процентному доверительному интервалу. Из приведенных данных следует, что погрешность определения угла

100

не превышает 0,5, а относительная погрешность определения положения не превышает 3%. Следует отметить, что приведенные в таблице 4.4 значения среднеквадратических отклонений являются несколько заниженными. Подобный эффект предположительно объясняется тем что, среднеквадратичные отклонения получены в результате квадратичной аппроксимации целевой функции в области некоторого локального минимума функции, который из-за наличия шума в исходных данных может не совпадать с глобальным и иметь большую крутизну. расположения камер. Для выяснения этого вопроса был дополнительно произведены вычисления расположения камер при различных данных о расположении калибровочных щитов. Погрешности определения положения и ориентации щитов были определены в ходе эксперимента и составили 9,5% и 0,9 соответственно (для доверительной вероятности 99,7%). Результаты эксперимента приведены в таблице 4.6. Естественно, что погрешности определения положения и ориентации камер увеличились и составили 20,4% и 0,8 для наихудших случаев. Таким образом, неточность определения расположения калибровочных щитов в большей степени повлияла на погрешность определения пространственных координат камер, и в меньшей — на погрешность угловых координат.

Таким образом, предложенная методика калибровки системы видеокамер позволяет получить точность около 0,6 градуса по углу ориентации камер и относительную погрешность около 10% по положению камеры для точно заданных параметров калибровочных щитов. На практике, положение щитов также может определяться с ошибкой. В этом случае погрешности определения параметров камер будут выше: погрешность определения угла составила 0,8, а относительная погрешность определения положения камер составила 21%.

Похожие диссертации на Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер