Содержание к диссертации
Введение
Глава 1: Современное состояние систем видеослежения и постановка задачи исследования 14
1.1. Информационно-измерительные системы видео сопровождения 14
1.1.1. Общие этапы системы видеосопровождения 15
1.1.2. Области применения и трудности систем видеослежения 17
1.1.3. Классификация систем видеосопровождения 19
1.1.4. Общая структурная схема системы видеосопровождения 21
1.2. Требования и характеристики ИИС видеослежения 23
1.2.1. Параметры объекта слежения 23
1.2.2. Характеристики сцены наблюдения 25
1.2.3. Требования к системам видеослежения 26
1.3. Системы координат в области компьютерного зрения 27
1.3.1. Основные системы координат 27
1.3.2. Трехмерное геометрическое преобразование
1.3.3. Двумерное геометрическое преобразование 28
1.4. Формирование изображения и видеокамера 30
1.4.1. Общие характеристики видеокамеры 30
1.4.2. Поворотные видеокамеры типа PTZ 34
1.4.3. Модель формирования изображения в видеокамерах 35
1.5. Обработка измерительной информации 36
1.5.1. Представление и модель объекта 37
1.5.2. Выбор признаков объекта для видеослежения 39
1.5.3. Методы обнаружения объекта 39
1.5.4. Видеослежение и измерение координат объекта на изображении
1.6. Анализ аппаратных платформ вычисления 56
1.7. Заключение первой главы и постановка задачи исследования 58
Глава 2: Математическое моделирование процесса измерения координат объекта видеосопровождения 62
2.1. Математические модели определения координат объекта
слежения 62
2.1.1. Математическая модель задачи сопоставления изображений 63
2.1.2. Математическая модель определения координат объекта в плоскости изображения 64
2.1.3. Математическая модель вычисления угловых координат 65
2.1.4. Математическая модель погрешностей вычисления угловых координат объекта 68
2.2. Математическая модель движения объекта 71
2.2.1. Модель движения в плоскости изображения 72
2.2.2. Преобразование модели движения 72
2.2.3. Модель прямолинейного движения с равномерной скоростью 73
2.2.4. Модель углового движения с равномерной скоростью
2.3. Модель измерения дальности объекта 75
2.4. Расчет параметров видеокамеры 79
2.5. Оценка производительности системы слежения
2.5.1. Проверка сопоставления изображений 81
2.5.2. Методы оценивания производительности видеослежения 84
2.5.3. Критерии качества видеослежения 84
2.6. Этапы разработки программных обеспечений 86
2.7. Заключение второй главы 88
3. Глава 3: Разработка системы видеослежения 89
3.1. Структурно-функциональная схема системы видеосопровождения 89
3.2. Предобработка изображения 90
3.3. Разработка метода сопоставления изображения на основе пространственного дескриптора 3.3.1. Замечания о SIFT-алгоритме 91
3.3.2. Построение пространственного дескриптора 93
3.3.3. Вычислительная сложность пространственного дескриптора 97
3.3.4. Сопоставление КТ и критерия качества 98
3.3.5. Производительность пространственного дескриптора в задаче сопоставления изображений 102
3.3.6. Осуществление задачи сопоставления на графическом процессоре107
3.3.7. Измерение параметров геометрического преобразования 109
3.3.8. Достоинства и недостатки пространственного дескриптора 114
3.4. Разработка метода выделения областей изображения на основе пирамиды DoG 116
3.4.1. Сокращение числа ключевых точек 118
3.4.2. Нормализация участков изображения 118
3.4.3. Анализ производительности метода выделения областей изображения на основе пирамиды DoG 120
3.5. Методика видеослежения за движущимися объектами 121
3.5.1. Требования к применению SIFT-KT в задаче видеослежения 122
3.5.2. Построение модели объекта слежения 123
3.5.3. Определение координат объекта в плоскости изображения 124
3.5.4. Адаптация и корректировка модели объекта 130
3.5.5. Экспериментальное исследование видеослежения
3.6. Фильтрация по фильтру Калмана в плоскости изображения 136
3.7. Программное обеспечение видеослежения 137
3.7.1. Программное обеспечение сопоставления изображений 137
3.7.2. Программное обеспечение видеослежения в среде Matlab 138
3.7.3. Программное обеспечение видеослежения в среде MSVS 139
3.8. Заключение третьей главы 139
Глава 4: Разработка системы сопровождения и измерения координат объекта 141
4.1. Компоненты разработанной системы видеосопровождения 142
4.1.1. Персональный компьютер 142
4.1.2. Поворотная видеокамера SONY EVI-D100P 143
4.1.3. Программные утилиты 144
4.2. Моделирование видеокамеры SONY EVI-D100P 144
4.2.1. Команды скоростей вращения видеокамеры 145
4.2.2. Переходная характеристика отклика скорости 146
4.3. Система автоматического управления для сопровождения 147
4.3.1. Компьютерное моделирование системы сопровождения 149
4.3.2. Контроллер системы видеосопровождения 152
4.3.3. Моделирование системы сопровождения с видеокамерой в цикле управления 154
4.3.4. Экспериментальное исследование 156
4.4. Измерение координат объекта в мировой СК 156
4.4.1. Фильтрация местоположения с использованием фильтра Калмана 158
4.5. Заключение четвертой главы 161
Заключение 162
Список использованной литературы
- Системы координат в области компьютерного зрения
- Математическая модель погрешностей вычисления угловых координат объекта
- Анализ производительности метода выделения областей изображения на основе пирамиды DoG
- Команды скоростей вращения видеокамеры
Введение к работе
Актуальность темы. В настоящее время построение информационно- измерительных систем видеослежения, обрабатывающих визуальную информацию видеокамер (ВК) для измерения угловых координат и местоположения подвижных объектов имеет большой интерес в широком спектре деятельности человека таких, как медицина, машиностроение, аэрокосмическая область, в сфере игровых развлечений и т.п.
Сложность и многоаспектность данной задачи возрастет из-за непрерывного повышения требований к динамике объекта, к точности измерения и инвариантности от внешних факторов, и подтверждается наличием значительного количества научных работ, центров и лабораторий, занимающих разработкой систем компьютерного зрения для различных применений. Среди работ, посвященных вопросам видеослежения и оценке параметров подвижных объектов, выделяются работы таких ученых, как Б.А. Алпатов, А.М. Бочкарев, Д.А Форсайт, В.А. Сойфер, С.А. Прохоров, D. Comaniciu, S. Wang, W. Pratt. Среди предприятий на территории Российской федерации, занимающих вопросами компьютерного зрения и видеослежения, перечисляются компании ЗАО «Институт информационных технологий» и ЗАО «Научно-технический центр» «Модуль». Среди научных учреждений: кафедра автоматики и информационных технологий в управлении Рязанского государственного радиотехнического университета и кафедра технической кибернетики Самарского государственного аэрокосмического университета им. С.П. Королева (национальный исследовательский университет).
Одна из наиболее сложных и актуальных задач в области компьютерного зрения заключается в автоматическом обнаружении наличия объекта интереса на изображениях видеопоследовательности со сложной динамической сценой, и оценка таких параметров объекта, как местоположение, скорость, направление, в реальном масштабе времени. Сложность этих задач значительно увеличивается при рассмотрении объектов, движущихся в значительном пространстве наблюдения, вынуждающих автоматическое слежение за ними по изображениям видеопоследовательностей (видеослежение) и в пространстве перемещения (сопровождение).
Среди причин сложности задач автоматического видеослежения за движущимися объектами встречаются: проективное преобразование; изменение освещенности сцены наблюдения; отсутствие априорной информации о модели объекта и о модели его движения. Несмотря на наличие чрезвычайно большого количества работ, посвященного задачам области компьютерного зрения таким, как обнаружение наличия объектов, и их распознавание, большинство известных методов рассматривают неподвижные объекты на статических изображениях и показывают высокую вычислительную сложность и недостаточную робастность к геометрическим преобразованиям. Исследование возможности применения таких методов для обнаружения подвижных объектов на изображениях видеопоследовательности является актуальной задачей при разработке систем видеослежения.
В последнее десятилетие были разработаны методы обнаружения и распознавания на основе внешности объектов (appearance-based), использующие для описания объектов их локальные ключевые точки (КТ) в аналогии с подходами распознавания, встроенными в системе человеческого восприятии. Эти методы показали беспрецедентно удовлетворительные робастность и инвариантность к геометрическим преобразованиям и изменению освещенности. Однако основным недостатком этих методов является их вычислительная сложность, что мешает их применение в задачах слежения за объектами в реальном масштабе времени.
Вследствие выше рассмотренных обстоятельств разработка эффективных методов обнаружения объектов на изображениях видеопоследовательности и увеличение робастности существующих методов с целью проектирования информационно-измерительных систем видеослежения за движущимися объектами являются важными и необходимыми задачами для развития человеческого общества, и представляют собой актуальные научно- исследовательские задачи.
Объект исследования - автоматизированные системы сопровождения и видеослежения за движущимися объектами с использованием поворотной видеокамеры.
Предмет исследования - методы и алгоритмы обнаружения, видеослежения и измерения параметров движущихся объектов на изображениях видеопоследовательности, показывающие инвариантность и робастность к геометрическим преобразованиям.
Целью диссертационной работы является разработка методов, моделей и алгоритмов видеослежения за движущимися объектами с повышенными быстродействием и робастностью к геометрическим преобразованиям.
Научная задача диссертации - совершенствование существующих и разработка новых элементов информационно-измерительной системы видеослежения за подвижными объектами, функционирующей в реальном масштабе времени, улучшение ее метрологических, эксплуатационных и экономических характеристик.
Поставленная научная задача исследования решается в следующих основных направлениях:
^ Анализ существующих методов обнаружения и определения параметров
движущихся объектов на изображениях. ^ Исследование и разработка инвариантных и робастных к аффинному преобразованию методов и алгоритмов, позволяющих устойчиво обнаружить объекты и оценивать их параметры на статических изображениях и в кадрах видеопоследовательности; ^ Исследование способов осуществления этих алгоритмов в режиме реального времени;
^ Разработка алгоритмов управления движением наклонно-поворотной платформы, обеспечивающих автоматическое слежение за движущимся объектом;
> Компьютерное моделирование процесса обнаружения и слежения за
движущимся объектом и процесса вычисления его параметров; ^ Разработка инструментальных средств построения автоматизированной системы слежения, работающей в реальном масштабе времени.
Методы исследования. Для достижения поставленной цели в диссертационной работе используются теория вероятностей, теория случайных процессов, теория распознавания образов, теория вычислительной математики, параллельное программирование, теория оценки параметров, теория компьютерного зрения, теория систем автоматического управления, а также методы имитационного компьютерного моделирования, физического эксперимента и оптимальной фильтрации.
При выполнении диссертационной работы используются следующие программные обеспечения:
^ Среда разработки и имитационного моделирования динамических систем Simulink-Matlab; пакеты обработки изображения и видеосигнала в среде Matlab;
Среда разработки Microsoft Visual Studio C++;
Библиотеки алгоритмов компьютерного зрения OpenCV;
Библиотеки выделения ключевых точек SIFT-алгоритма на центральном процессоре «VLFeat» и на графическом процессоре «SIFTGPU»;
Библиотека параллельного вычисления на графических процессорах на основе языка CUDA.
Научная новизна работы. В процессе проведения исследования получены следующие новые научные результаты:
-
-
Разработан метод сопоставления изображений на основе пространственных дескрипторов ключевых точек известного SIFT- алгоритма, позволяющих ускорить этап вычисления в 40 раз и уменьшить размерность от 128 до 60 по сравнению с SIFT-дескриптором, при этом увеличивается его производительность;
-
Впервые разработан и исследован метод выделения областей изображения на основе пирамиды разностей Гауссианов и нормализации участков изображения, увеличивающий робастность сопоставления изображений к изменению ракурса до 80 градусов, и позволяющий разделить однородные области изображения на несколькие с определенными геометрическими характеристиками;
-
Разработана методика видеослежения на основе сопоставления пространственных дескрипторов SIFT-КТ, которая адаптирует множество КТ объекта слежения с учетом результатов сопоставления в предыдущих кадрах видеопоследовательности;
-
На основе предложенного метода сопоставления изображения с использованием пространственных дескрипторов разработаны программные комплексы сопоставления изображений и слежения за объектами в среде Matlab и в среде Microsoft Visual Studio C++;
-
Предложена модификация для обновления вектора состояния объекта слежения на этапе коррекции в фильтре Калмана, обеспечивающая уменьшение погрешностей оценивания местоположения объекта слежения;
-
Разработан вариант алгоритма сопоставления пространственных дескрипторов в программном обеспечении, исполняемый на графическом процессоре. Получен коэффициент ускорения вычисления в пределах 20 по сравнению с исполнением на центральном процессоре компьютера.
Основные положения, выносимые на защиту
-
-
-
Метод сопоставления изображений на основе пространственных дескрипторов ключевых точек SIFT-алгоритма;
-
Метод выделения областей изображения, опирающийся на пирамиду разностей Гауссианов и нормализацию участков изображения
-
Аналитические выражения для погрешностей измерения координат объекта в системе слежения;
-
Методика видеослежения за объектами на основе пространственных дескрипторов и обновления модели объекта слежения;
-
Результаты компьютерного моделирования и экспериментального исследования системы сопровождения подвижных объектов.
Практическая ценность новых научных результатов
Работа доведена до разработки инженерных методик систем слежения и сопровождения, которые охватывают методологические, информационные, математические, технические и программные обеспечения.
Практическая ценность работы состоит в том, что разработанный метод сопоставления изображений на основе пространственных дескрипторов улучшает быстродействие алгоритма видеослежения и позволяет адаптировать модель объекта в ходе слежения без значительных временных затрат.
Практическая особенность разработанных программных обеспечений в средах разработки Matlab и Microsoft Visual Studio C++ заключается в возможности их использования для слежения за разными объектами, выполняющих некоторые условия обнаружения.
Результаты исследования диссертационной работы могут послужить основой для развития новых систем компьютерного зрения таких, как системы распознавания объектов и стабилизации изображения.
Апробация результатов.
Основные положения диссертационной работы докладывались и обсуждались на следующих конференциях:
Всероссийская научно-практическая конференция «Проблемы перехода к устойчивому развитию многопрофильных городов», г. Нижнекамск, 2010 г.;
XXII всероссийская межвузовская научно-техническая конференция, Казанское высшее военное командное училище «Электромеханические и внутрикамерные процессы в энергетических установках, струйная акустика и диагностика, приборы и методы контроля природной среды, веществ, материалов и изделий», г. Казань, 2010 г.;
XVIII, XIX, XX Международные молодежные научные конференции «Туполевские чтения», г. Казань, 2010, 2011, 2012 гг.;
Региональная научно-техническая конференция «Информационные технологии и их приложения», Казань, 2011;
X Международная Четаевская конференция «Аналитическая механика, устойчивость и управление», г. Казань, 2012 г.
Реализация результатов работы.
Разработанные в данной работе методы, алгоритмы и программные обеспечения подходят для организации, занимающихся разработкой систем компьютерного зрения. Основные результаты диссертационной работы используются в учебном процессе на кафедре «Автоматизированные системы обработки информации и управления» ФГБОУ ВПО «Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ».
Публикации. Основные результаты диссертационной работы опубликованы в 13 печатных работах, в том числе в 5 статьях, из них 2 статьи в периодических изданиях, рекомендованных ВАК, и в 8 тезисах докладов.
Структура и объем работы. Диссертация состоит из введения, четырех глав с выводами, заключения, списка использованной литературы из 113 наименований и приложения. Основная часть диссертации изложена на 176 страницах машинописного текста, содержит 59 рисунков и 8 таблиц.
Системы координат в области компьютерного зрения
В данной работе рассматривается только задача измерения координатных геометрических параметров ОСл.
Форма объекта: форма объекта и возможность ее изменения при движении сильно влияет на выбор того или иного метода обнаружения и на выбор модели объекта. Геометрические искусственные объекты с резкими углами и прямыми линиями (например, стол) можно обнаружить с использованием детектора углов или преобразования Хофа (Hough transform). Обнаружение естественных объектов (лицо человека) или многосторонних объектов значительно усложняется из-за больших изменений изображения объектов при малых углах наклона.
Траектория и динамика объекта, определение которых является основой задачей ССл, т.е. определение его линейных и угловых координат во времени. Априорная информация о траектории объекта и, с другой стороны, о его динамике при движении вдоль этой траектории сильно влияет на выбор метода видеослежения, и особенно на выбор этапа фильтрации (фильтр Калмана/фильтр частицы). В зависимости от приложения определяется допустимая динамика, максимальные скорости и ускорения движения объекта.
Динамика объекта описывается приблизительной математической моделью, если это возможно, зависящей от маневрирования объекта, и определяющей алгоритм фильтрации (см. раздел 1.5.4.1). При этом, во многих работах, ОСл описывается как точка в пространстве [13]. В системах механического слежения за объектами (сопровождения) динамика ОСл определяет максимальные линейные и угловые скорости и ускорения механической платформы, учитывая дальность до объекта. Для математического описания модели движения объекта и модели измерения часто используется пространство состояния, в котором уравнение модели движения принимает следующий вид: xk+l=f(xk,uk,wk), О-1) где/- нелинейности функции; Uk - вектора входов; Wk. - шума модели.
Трудности задачи слежения рождаются от неизвестности и нелинейности параметров функции /, неопределенности 4 и неизвестности о статистических характеристиках шума модели Wk.. Неопределенность входов 4, контролирующих состояние системы, моделируется как часть шума системы Wk [13]. В разделе 2.2 рассматриваются некоторые модели движения.
Численность объектов слежения: слежение за несколькими объектами одновременно представляет собой интересную задачу во многих областях применения видеослежения, так как в реальной жизни ОСл может оказаться не единственным в поле обзора ВК. С другой стороны это проблематичная задача, так как эти похожие объекты могут приблизиться друг к другу или скрывать друг друга, что приведет к усложнению задачи ассоциации новых измерений каждому объекту.
Цветные характеристики, которые отличаются в зависимости от используемой ВК, цветные характеристики объекта: это яркость при использовании черно-белая ВК, и интенсивность светового излучения в красном, синем и зеленом оптических диапазонах [12].
Текстура (Контрастность) ОСл в различных условиях освещения определяет его видимость на изображениях ВП, т.е. возможность его обнаружить и следить за ним.
Учитывая бесконечное разнообразие встречающихся изображений, затруднительно говорить о модели, которая в хорошей степени соответствовала бы всему возможному набору сцен. Именно это обстоятельство, а также необходимость решения задач в темпе поступления изображений, объясняет эвристический характер используемых на практике алгоритмом [12]. Угловой диапазон наблюдения означает участок движения ОСл и определяет суммарный требуемый диапазон наблюдения ВК. Погодные условия: ухудшение соотношения сигнал/шум вследствие погодных условий (туман, яркая освещенность...) затрудняет задачу обнаружения объектов на изображении ВП; Свойства фона: неба, здания, море; Наличие перекрытия в сцене наблюдения: инвариантность или робастность методов обнаружения объектов на изображении к перекрытию определяет, для каких сценарий они подходят. Они могут справиться с наличием частичного перекрытия за счет использования локальных признаков объекта. В то время как они справятся с наличием полного перекрытия за счет использования временной информации через кадры [6].
Математическая модель погрешностей вычисления угловых координат объекта
Выбор той или иной математической модели движения тесно связанно с выбором представления ОСл представленного в разделе 1.5.1. Модель движения обычно задается в СК, представляющей интерес для дальнейших действий, в общем случае это мировая СК.
Пространственное движение объекта, в общем случае, описывается системой 12 обыкновенных нелинейных дифференциальных уравнений для производных линейных координат центра массы в связанной СК, углов Эйлера, и составляющих линейной и угловой скоростей. В задачах видеослежения за объектами, особенно удаленными, ориентация объекта не представляет интерес, поэтому вместо ОСл учитывается только его центр массы (центроид), т.е. в видеослежении оценивается траектория центроида ОСл в пространстве. 2.2.1. Модель движения в плоскости изображения
Во многих задачах видеослежения за объектами учитывается только задача измерения параметров объекта таких, как координат, угол вращения, в плоскости изображения, а параметры объекта в реальном мире не представляют интерес. Примерами таких задач служат: поиск изображения по содержанию, поиск объектов в видеофайлах, контроль качества продуктов в промышленности.
В данной диссертационной работе используется ВК в качестве углового датчика местоположения ОСл, т.е. измерения местоположения объекта задаются в полярной системе координат ВК Rc. {ро, Wo, 06)- На выходе ССл нужно получить информацию о местоположении объекта в мировой СК (х0, z0). Поэтому необходимо пояснить координатное преобразование измерений и модели движения объекта наблюдения.
Преобразование угловых координат и угловых скоростей в двумерную систему евклидовых координат запишется в виде [89 -с67]: 72 где y/0, во - угловые координаты объекта в СК Rw Обратное преобразование евклидовых координат в систему полярных координат проводится с использованием уравнений (2.32)
При использовании линейной модели движения объекта в ее евклидовом представлении в системе Rw получится нелинейные уравнения измерений в силу уравнения преобразования полярных координат в евклидовые. В противном случае при использовании полярного представления в системе Rw получится нелинейная модель движения и линейные уравнения измерений.
Преобразование координат объекта из евклидово системы координат в полярную СК не вызывает трудность, однако при преобразовании распределений вероятности, оценивающих неуверенность измерений, возникают трудности, на пример, преобразование Гауссова распределения не будет Гауссовым. Поэтому необходимо использовать только одну СК, чтобы избежать преобразования, и в то же время обеспечить развязывать наблюдаемые состояния от ненаблюдаемых [89 -с67].
Эта модель, обозначаем аббревиатурой ПДРС, описывает движение объекта без маневра. В евклидовом пространстве, вектор состояния ОСл с использованием модели прямолинейного движения с равномерной скоростью в дискредитированном представлении принимает вид: Хк=[хк ч хк гк], (2-33) где Хк, Zk - координаты объекта в горизонтальной плоскости в СК Rw. Дискретизованная модели движения объекта принимает вид: (2.34) где T - временной интервал измерений, т.е. период обновления данных; Wk - ошибки динамической модели.
При известной угловой скорости данная модель будет линейной. Эта модель используется для генерирования тестовых траекторий в четвертом главе для компьютерного моделирования различных динамических моделей. В этой модели требуется значение угловой скорости Q, которое можно вычислить с использованием доступных измерений. Для этого вектор состояния объекта дополняется величиной угловой скорости, и уравнение динамики модели становится нелинейной.
При использовании единственного датчика углового местоположения, который может измерить только углы азимута и места объекта, возникает проблема оценивания дальности до объекта наблюдения. Это объяснится тем фактом, что дальность - не наблюдаемое состояние объекта, и поэтому погрешность измерения дальности очень высокая. В литературе радиотехнических систем это проблема известна в задачах пассивной локализации объектов (Bearings-Only Tracking). Одно решение этой проблемы заключается в обеспечении степени маневра наблюдателя больше чем степень маневра объекта наблюдения [90]. Второе решение заключается в использовании информации о топографии наблюдаемой сцены [91]. Другое более востребовательное решение заключается в использовании двух, или больше, ВК и опираться на их пространственном размещении для вычисления дальности объекта.
В данной работе носитель ВК - неподвижный. Таким образом, для улучшения точности измерения координат объекта, и особенно его дальности от ВК, можно воспользоваться информацией о геометрической установке ВК и наблюдаемом пространстве в качестве ограничивающего условия или как дополнительный датчик дальности в процессе измерения. Так как предлагаемым объектом слежения является наземное транспортное средство, перемещающееся, во многих случаях, на планарнои плоскости земли, тогда такая информация о геометрии установки включает высоту ВК и топографии зоны наблюдения. При этом ВК наблюдения следует располагать на высоте так, чтобы, во-первых, избежать возможных прямых засветок объектива ВК яркими источниками света (солнце, фары машин и другие) и, во-вторых, обеспечить удобные условия для работы алгоритмов обнаружения и видеослежения. Эти условия включают минимальную и максимальную дальность до объекта.
Необходимо отметить, что измерение дальности можно также проводить при выполнении задачи обнаружения на счет наличия априорной информации об габаритных размерах объекта, и о модели ВК, что не всегда доступен.
Анализ производительности метода выделения областей изображения на основе пирамиды DoG
Для упрощения и устроения задачи подгонки модели с целью вычисления параметров геометрического преобразование часто используются КТ, обладающих критерием качества соответствия выше определенного порога. Чем больше количество этих точек, чем лучше. Это показывает возможность выделить самые правильно сопоставленные КТ. На Рис. 3.17 приведется сравнение по этому вопросу между ПрДск и SIFT-дескриптором при ракурсе 50 градусов. На Рис. 3.17-(а) показаны гистограммы плотности распределения правильно сопоставленных КТ по отношению к процентам от максимального значения показателя качества сопоставления. Ось процентов разделяется шагами на 10%. Рис. 3.17-(б) показывает накопление количеств накопленных правильно сопоставленных КТ выше соответствующих значений оси абсцисс. Возьмем в качестве примера пороговое значение 0,2, тогда 80% соответствий путем ПрДск превышает этот порог по сравнению с 40% для SIFT-дескриптора.
При этом критерий качества соответствий в SIFT-алгоритме вычисляются обратно пропорционально критерию евклидового расстояния между дескрипторов.
Один недостаток этого метода связан с недостатками, присущими SIFT-алгоритму. В частности, когда изображение объекта подвергается аффинным преобразованиям, вызывающим значительного изменения интенсивности окрестности КТ, обнаруженные КТ могут изменять ориентацию, кроме этого, некоторые из них исчезают при небольших углах наклона, как обнаружено раньше на Рис. 3.2. Вследствие этого число правильно сопоставленных КТ значительно уменьшается. Поэтому необходимо тщательно выбрать параметры SIFT-алгоритма так, чтобы выделить больше КТ.
Один из недостатков SIFT-алгоритма, Для вычисления угла ориентации КТ SIFT-алгоритма используется гистограмма градиентов интенсивности изображения и поиск максимальных значений гистограммы. Однако в случаях, когда имеется круглое пятно, вычисления угла ориентации становится неустойчивым, так как гистограмма гладкая и не показывает определенные пики. Неопределенность угла ориентации приводит к не устойчивому дескриптору.
Пирамида разностей Гауссовых DoG представляет собой идеальный способ для имитации масштабирования изображения, на котором обосновывается SIFT-алгоритм, как описано раньше. Однако в ходе исследования производительности SIFT-алгоритма была обнаружена устойчивость выделения местоположения его КТ в участках изображения, имеющих примерно круглую форму. Это объясняется тем фактом, что, на самом деле, этот алгоритм является детектором пятен. Однако, устойчивость выделенного местоположения КТ в прямоугольных участках изображения, с большим соотношением сторон ухудшается. В этом случае местоположение КТ может измениться при небольших геометрических преобразованиях или изменениях освещенности. Причина этого заключается в том, что пирамида DoG на соответствующем масштабе может показать экстремумы вдоль некоторой кривой, на которой SIFT-алгоритм учитывает только одну точку.
На Рис. 3.18 (а) показано изображение пирамиды DoG, соответствующей масштабу, на котором обнаруживаются показанные КТ. Форма пирамиды вокруг этой точки можно лучше представить эллипсом, чем кругом. Это оправдается тем фактом, что пространство DoG построено на основе двумерного Гауссова ядра, изолинии которого представляют собой эллипсы. Поэтому для построения эллипса предлагается найти точки, имеющие одинаковые значения DoG выше определенного порога, т.е. охватывающиеся изолинией этого порога. Порог DoG представляет собой процент от значения DoG в данной КТ. Таким образом, получается множество точек, которые нужно аппроксимировать эллипсом с использованием матрицы ковариации точек.
Преимущество такого подхода оправдается при рассмотрении конкретного примера на Рис. 3.18 (а), где SIFT-алгоритм обнаружит 7 КТ на участке изображения, имеющем прямоугольную форму. При небольших изменениях интенсивности изображения количество и местоположения этих КТ могут измениться. Предлагаемый подход заменит эти 7 КТ одним эллипсом, описывающим прямоугольный участок целиком, как показывает Рис. 3.18 (б) сплошной линией. Кроме увеличения устойчивости выделения КТ, данный детектор уменьшит количества информации, необходимой для представления участков изображения. В данном примере при использовании SIFT-алгоритма требуется 4x7 = 28 неустойчивых значений для описания участка, в то же время как предложенный детектор требуется лишь 5 значений.
Команды скоростей вращения видеокамеры
Углы рассогласования сопровождения по осям панорамирования и наклона Эта имитационная модель показывает, как и следовало ожидать, что пока видеослежение работает нормально, и ОСл не выходил из поля обзора ВК координаты ОСл измеряются независимо от ошибок сопровождения, но погрешность измерений координат увеличивается.
Для обеспечения динамического сопровождения ОСл требуется, что быстродействие системы автоматического управления движением платформы ВК соответствует характеристикам динамики ОСл.
Первоначальный этап при проектировании регулятора системы сопровождения заключается в использовании регулятора простой структуры и низкой вычислительной сложности такого, как пропорционально-интегрально-дифференциальный (ПИД). Наиболее распространенным на практике является ПИ-регулятор, представляющий собой сочетание П-, и И-регуляторов, который обеспечивает совместно с интегрирующим исполнительным механизмом отработку линейно меняющегося во времени углового положения объекта с нулевой установившейся ошибкой в контуре сопровождения. Передаточная функция ПИ-регулятора в непрерывном и дискретном предоставлениях при аппроксимации интеграла трапециями имеют вид [12]:
При использовании И-контроллера (интегратор) следует избежать проблемы wind-up. Интегратор wind-up - это условие, которое возникает, когда интегральное действие насыщает контроллер без приведения сигнала ошибки контроллера к нулю. Если интегратор не имеет насыщения, то он может неограниченно расти, не приводя к быстрой реакции системы. Это состояние, которое может потенциально влиять на все контроллеры со встроенным действием. Это может привести к колебаниям или даже к нестабильности. В данной работе используется метод фиксации уровня (clamping), который остановит работу интегратора, когда на выходе ПИ-регулятора получается экстремум полезного сигнала управления. Работа интегратора продолжается, когда сигнал рассогласования на его входе изменяет знак (см. Рис. В.6).
В результате моделирования и настройки ПИ-контроллеров получены следующие значения, обеспечивающие стабильный отклик: При таких параметрах получаются следующие показатели устойчивости: запас по амплитуде GM = 7dB; запас по фазе Рм = 82 градусов, а частота среза имеет низкое значение сос = 6 с"1. При таких параметрах логарифмическая амплитудно-фазовая частотная характеристика (ЛАФЧХ) без учета ошибок измерения местоположения ОСл в плоскости изображения имеет вид на Рис. 4.8. При скорости 1 рад/сек ( 60%ек), амплитуда динамической ошибки , равна 10% [12] (т.е. при у/с = 20, = 2 град.). Эта высокое значение ошибки определяется главным образом большими значениями периода дискретизации Ts и времени запаздывания Td вследствие низкой скорости передачи данных к ВК [12].
В этом случае моделируется процесс видеослежения за объектом и генерируется тестовая угловая траектория в среде Matlab, а углы рассогласования вычисляются как разность углов моделируемой траектории от действительных измерений датчиков углов ВК. С таким подходом можно настроить законы управления в отдельности от системы видеослежения, чтобы получить удовлетворяющие характеристики управления ВК.
При выполнении этой задачи используются результаты выше представленного компьютерного моделирования для определения параметров контроллеров. Вход контроллеров - это ошибка (рассогласование) углов, а выход - скорость вращения, которые отправляются в ВК.
В первом примере требуемая траектория - вращение на постоянной скорости 30 %ек, которая не входит в предустановленных скоростях ВК. На показаны требуемая скорость (звездочками) и скорости вращения (плюсами). Очевидно, что имеющиеся колебания в установившемся режиме необходимые для обеспечения требуемой скорости. Рис. 4.9 (б) показывает соответствующее колебание ошибки угла с нулевым средним и амплитудой меньше 0,5. В этом примере период квантования равен 50 мс, так как он позволяет выполнить сбор углов ВК и установления скорости вращения.
Это колебание появляется также в случае, когда идет сопровождение неподвижного объекта, поэтому предлагается включить в И-контроллере блок мертвой зоны, которая позволяет остановить его работу при малых угловых ошибках (меньше 0,2 градусов).
Похожие диссертации на Информационно-измерительная система видеослежения за подвижными объектами на основе пространственных дескрипторов
-
-
-
