Содержание к диссертации
Введение
1 Анализ проблемы оценивания параметров геометрических преобразований изображений в системах видеослежения 12
1.1 Анализ задач, решаемых бортовой системой видеослежения 12
1.2 Обзор методов решения основных задач в системах видеослежения .23
1.3 Математические модели последовательностей изображений. Постановка и качественный подход к решению задач оценивания параметров геометрических преобразований изображений 31
2 Алгоритмы оценивания параметров геометрических преобразований в последовательностиизображений 38
2.1 Математические модели геометрических преобразований изображений 38
2.2 Аналитическая постановка задачи оценки параметров геометрических преобразований изображения при движущемся датчике 44
2.3 Алгоритм оценивания параметров преобразований смещения и поворота 49
2.4 Алгоритм выбора и замены опорных участков 61
2.5 Модификации алгоритма оценивания параметров смещения фонового изображения при работе в сложных условиях 77
3 Применение результатов оценки параметровис геометрических преобразований изображений в стемах видеослежения
3.1 Электронная стабилизация поля зрения оператора на основе оценки параметров геометрических преобразований изображений 91
3.2 Применение результатов оценки параметров геометрических преобразований изображений в алгоритмах слежения за объектами 105
3.3 Применение результатов оценки параметров геометрических преобразований изображений в алгоритмах выделения и сопровождения объектов по признаку движения 112
4 Компьютерное моделирование разработанных алгоритмов. рекомендации по реализации алгоритмов в бортовых системах видеослежения 122
4.1 Описание программного комплекса для проведения моделирования. 122
4.2 Исследование алгоритма оценивания параметров преобразований смещения и поворота изображений 125
4.3 Исследование возможности и эффективности применения результатов оценки параметров геометрических преобразований для решения задач в системах видеослежения 138
4.4 Рекомендации по реализации алгоритмов в бортовых системах видеослежения 153
Заключение 162
Список использованных источников
- Обзор методов решения основных задач в системах видеослежения
- Аналитическая постановка задачи оценки параметров геометрических преобразований изображения при движущемся датчике
- Применение результатов оценки параметров геометрических преобразований изображений в алгоритмах выделения и сопровождения объектов по признаку движения
- Исследование возможности и эффективности применения результатов оценки параметров геометрических преобразований для решения задач в системах видеослежения
Введение к работе
Актуальность работы
Системы обработки и анализа видеоинформации всё более интенсивно применяются в различных областях человеческой деятельности. Наиболее широкое распространение они получили в таких задачах, как навигация, космический мониторинг Земли, контроль качества и количества производимой продукции, обеспечение безопасности различных объектов, передача и хранение видеоданных, медицинские и военные приложения.
Одним из направлений при создании систем анализа и обработки видеоинформации является разработка бортовых систем видеослежения, которые предназначены для установки на мобильных носителях, таких как самолёты, вертолёты, корабли, автомобили или танки. Из характерных черт систем данного класса можно выделить, в первую очередь, необходимость работы в реальном масштабе времени. Также эти системы должны функционировать в полуавтономном режиме, требуя от оператора минимума действий и предоставляя ему информацию в наиболее удобной форме.
При разработке бортовых систем видеослежения возникает целый класс задач, связанных с проблемами обнаружения, выделения и сопровождения объектов, находящихся в поле зрения датчика изображений. Примерами таких объектов могут служить различные летательные аппараты, автотранспорт, суда, люди и т.п. При этом поле зрения видеодатчика подвижно, а априорная информация о характеристиках объектов обычно довольно скудна и в лучшем случае включает в себя лишь приблизительные размеры объектов и характер их перемещения.
Между тем видеодатчик, расположенный на корпусе мобильного носителя, перемещается в пространстве вместе с носителем, помимо того, его ориентацию в пространстве можно изменять с помощью устройства позиционирования. Зачастую датчик изображения испытывает воздействие вибраций различной природы. Из-за влияния перечисленных факторов формируемые им изображения подвергаются геометрическим преобразованиям. Они затрудняют, а иногда делают совершенно невозможным решение многих таких задач, как обнаружение движущихся объектов, разделение и параметризация сопровождаемых объектов, расположенных близко друг к другу, анализ траекторий сопровождаемых объектов. Вдобавок геометрические искажения, вызванные вибрациями корпуса носителя, существенно усложняют работу оператора системы, в связи с чем возникает задача стабилизации наблюдаемого изображения.
Говоря о геометрических деформациях, вызванных движением видеодатчика, следует отметить, что иногда существует возможность оценить их вид и параметры, используя показания приборов носителя видеодатчика. В случае отсутствия или недостаточной точности измерительных устройств используются методы оценки параметров преобразований на основе анализа изображений видеопоследовательности. Вычислив оценки параметров
преобразований, можно компенсировать их влияние. Также для уменьшения влияния такого рода искажений применяются гиростабилгаированные платформы и подвесы.
Таким образом, существует актуальная проблема стабилизации наблюдаемого изображения на основе оценки параметров геометрических преобразований изображений в бортовых системах видеослежения. Степень разработанности темы
Вопросам оценкиv параметров динамических изображений уделяется достаточно много внимания в отечественной и зарубежной литературе. Значительный вклад в разработку методов и алгоритмов оценки параметров динамических изображений внесли работы таких учёных, как Б.А. Алпатов, В.К. Баклицкий, A.M. Бочкарев, В.Г. Лабунец, Е.П. Путятин, А.Г. Ташлинский, С. Crane, Q. Pham, W. Pratt, S. Wang. Несмотря на большое количество работ по данной тематике, анализ литературы показал, что не в полной мере использованы возможности для повышения качества решения рассматриваемых задач.
В ряде работ рассматривается задача стабилизации изображения в случае присутствия случайных смещений. Широко освещены задачи выделения, обнаружения и сопровождения объектов в системах с неподвижным видеодатчиком. Также рассматриваются вопросы, связанные с решением отдельных задач в системах видеослежения с подвижным датчиком, в частности задач выделения и сопровождения объектов. Однако в данных работах недостаточно внимания уделено проблеме оценки параметров геометрических искажений, являющейся базовой для решения основных задач в системе видеослежения с подвижным датчиком видеоизображений.
Таким образом, цель диссертации состоит в разработке алгоритмов оценивания параметров геометрических преобразований изображений, разработке на их основе алгоритмов электронной стабилизации изображений и модификаций известных алгоритмов измерения положения объектов на изображении в бортовых системах видеослежения.
Для достижения поставленной цели в работе решаются следующие основные задачи: - анализ существующих методов оценки геометрических преобразований
изображений; -разработка модели формирования изображений с учетом параметрических
геометрических искажений; -разработка алгоритма оценки параметров геометрических преобразований
изображений, вызванных движением датчика; -синтез алгоритма выбора опорных участков для задачи оценки параметров
геометрических преобразований изображений; -разработка алгоритма электронной стабилизации выдаваемых оператору
изображений в системах с подвижным видеодатчиком при наличии
вибраций;
-исследование эффективности использования результатов оценки параметров
геометрических преобразований изображений в алгоритмах выделения и
сопровождения объектов в системах с подвижным видеодатчиком; - экспериментальные исследования разработанных алгоритмов.
Научная новизна диссертации состоит в том, что в ней впервые сформулированы и решены задачи оценивания параметров геометрических преобразований и электронной стабилизации изображений на основе выбора и замены по предложенным критериям опорных участков с последующим определением их положения з последовательности изображений в системах видеослежения с подвижным видеодатчиком. Эффективность разработанных подходов получила экспериментальное подтверждение. Методы исследования
Теоретические исследования в настоящей работе выполнены на основе методов теории вероятностей, теории статистических решений, функционального анализа, спектрального анализа.
Моделирование и экспериментальные исследования выполнялись на реальных и синтезированных видеосюжетах. Реализация и внедрение
Разработанные в диссертации алгоритмы и программное обеспечение были использованы при выполнении научно-исследовательских работ, проводимых в Рязанском государственном радиотехническом университете по заказу Министерства образования и науки РФ, Федерального агентства по образованию и Федерального агентства по науке и инновациям (НИР 6-ОЗГ, НИР 14-ОЗГ, НИР 26-ОЗГ, НИР 7-04, НИР 9-05Г, НИР 2-06Г, НИР 17-08), при выполнении научно-исследовательских работ, проводимых в Рязанском государственном радиотехническом университете по заказу Российского фонда фундаментальных исследований (НИР 35-06Г), при выполнении работ, проводимых в Рязанском государственном радиотехническом университете по заказу ФГУП «Государственный Рязанский приборный завод» (НИР 3-00, НИР 1-03, НИР 1-04, НИР 7-05, НИР 7-06, НИР 5-07, НИР 1-08), при выполнении НИОКР, проводимых ФГУП «Государственный Рязанский приборный завод» по заказу ОАО «Красногорский завод им. С.А. Зверева» (шифр составной части ОКР «ТОР-Т») в рамках работы по созданию вертолёта МИ-28Н, что подтверждается актами внедрения. Апробация работы
Основные результаты работы докладывались на следующих конференциях: -10-й - 15-й международных научно-технических конференциях «Проблемы
передачи и обработки информации в сетях и системах телекоммуникаций»
(Рязань, 2001-2007 гг.); -11-й, 12-й всероссийских конференциях « технологии в научных
исследованиях и образовании» (Рязань, 2006 - 2007 гг.); -8-й и 10-й международных научно-технических конференциях «Цифровая
обработка сигналов и ее применения» (Москва, 2006, 2008 гг.); -4-й и 5-й международных научно-технических конференциях «Космонавтика.
Радиоэлектроника. Геоинформатика» (Рязань, 2003,2007 гг.);
-4-й международной конференции «Телевидение: передача и обработка
изображений» (Санкт-Петербург, 2005 г.); -всероссийском научно-практическом семинаре «Сети и системы связи»
(Рязань, 2005 г.); - 32-й всероссийской научно-практической конференции "Сети, системы связи
и телекоммуникации" (Рязань, 2007 г.); -1-й конференции МАА-РАКЦ "Космос для человечества" (Королёв, 2008 г.); -2-й всероссийской научной конференции «Проектирование инженерных и
научных приложений в среде MATLAB» (Москва, 2004 г.); -международной научно-технической конференции «Современная
радиоэлектроника в ретроспективе идей В.А. Котельникова»
(Москва, 2003 г.); -всероссийской дистанционной научно-технической конференции
«Информационно-телекоммуникационные технологии» (Москва, 2003 г.); -всероссийской научно-технической конференции «Информационно-телекоммуникационные технологии» - два доклада (Сочи, 2004 г.); Выступления на всероссийском научно-практическом семинаре «Сети и системы связи» (2005 г.) и на 11-й всероссийской конференции «Новые информационные технологии в научных исследованиях и образовании» (2006 г.) отмечены дипломами. Публикации
По теме диссертации опубликовано 26 работ, в том числе 3 статьи в журналах, рекомендуемых ВАК для публикации результатов кандидатских диссертаций. Результаты исследований отражены в 13 отчётах о НИР. Получено положительное решение о выдаче патента на изобретение. Структура и объём диссертации
Диссертация состоит из введения, четырёх глав, заключения, списка литературы (91 источник), изложенных на 179 страницах, содержит 51 рисунок и 9 таблиц.
Обзор методов решения основных задач в системах видеослежения
Для того; чтобы, измерить, координаты объекта, на:изображении, необязательно иметь.результаты.решения задачи выделения; однако;необходимо знание: такой информации об» объекте; как его изображение: на: предыдущем кадре, его местоположение и характер его передвижений:.Этигданные; могут быть по-лученышз рассмотренияфезультатаюбнаружениятбъектов! Начальные координаты. объекта: могут, быть указаны; оператором?; системы, видеослежения или сформированы»самой системой,Такой?способ формирования:данных об объекте будем; называть захватом:- Основным критерием;:для решения:задачи измерения? координат будет мера: соответствия изображения, объекта; называемого эталонным; рассматриваемымучасткам текущего кадра:
Результаты: решения? задач измерения координат или обнаружения, как правило; являются» исходными- данными для решенижзадачи;слежения? за объектами: Из анализа;списка сегментов и измерений координат.объектов делается вывод.о наличии или пропадании того= или иного объекта:на изображении, оцениваются его положение характеристики,движения;такие, каксскорость и ускорение, производится: прогнозирование данных:величин; на,следующий кадр. Данная информация предназначается; в-основном; для .решениягзадач сопровождения или наведения на цель, а также непосредственно для оператора системы» видеослежения:
Иод задачешсопровождения.объектав.даннойработепонимаетсясзадача управления: приводами устройства позиционированияj- видеодатчика:для совмещения: оптической: оси датчика с направлением на.сопровождаемый объект. Данная задача не может быть решена:средствами блоков, обработки изображения; для этого необходимо задействоватьблокуправления. УШВД1 Отметим, что в ходе решения данной задачи происходит постоянное изменение направления оптической оси видеодатчика, возникают трудности с решением задач выделения, обнаружения и определения координат объектов, так как для этого необходимо иметь «хорошую» оценку фона и априорную информацию о положении объектов на изображении. Разумеется, при смещении поля зрения при переходе от одного кадра к другому оценки фона, полученные без учёта указанных смещений, будут «грубыми». Соответственно, будет невозможно эффективно решать задачу слежения за объектами, а значит, под вопросом оказывается возможность осуществления сопровождения выбранного объекта. Для выхода из создавшейся ситуации необходимо выполнить оценку геометрических преобразований в последовательности изображений, формируемых видеодатчиком, вызванных изменением его пространственной ориентации [42]. Из сказанного выше становится понятно, что качество решения данной задачи коренным образом влияет на функционирование системы в целом.
При использовании данной системы в любом качестве, она должна решать задачу предоставления оператору системы визуальную информацию в наиболее удобной для него форме. Это является одним из наиболее важных требований, предъявляемых к системе, так как качество выдаваемого оператору изображения влияет на эффективность использования системы. Данная задача, несмотря на кажущуюся простоту, на деле является серьёзной комплексной проблемой. В ней можно выделить такие подзадачи как электронное (т.е. выполняемое средствами СОВИ) улучшение качества выводимого оператору изображения в случае, когда оно недостаточно хорошо воспринимается человеческим глазом. Учитывая подвижность датчика изображения в данной системе, а также возможную подвижность носителя системы, необходимо особо отметить подзадачу стабилизации выдаваемого изображения. Её можно условно подразделить на подзадачу механической стабилизации, решаемой непосредственно в УПВД и подзадачу электронной стабилизации. Последняя решается на основе результатов оценки геометрических преобразований изображений в том случае, когда точности работы механического стабилизатора недостаточно. Следует заметить, что исходя из особенностей построения и эксплуатации системы видеослежения, задача электронной стабилизации может формулироваться по-разному. Так, в системах обзорного типа с подвижным датчиком видеоизображений, обычно не используются устройства оптико-механической стабилизации. Как следствие, перемещение видеодатчика обычно состоит из управляемых смещений и смещений случайного характера, вызванных вибрациями носителя и другими внешними факторами. Поэтому первым видом задачи электронной стабилизации является получение оценки управляемых смещений поля зрения видеодатчика с последующей компенсацией искажений, вызванных вибрациями.
В бортовых обзорно-прицельных комплексах могут применяться гиро-стабилизированные платформы для установки видеодатчиков. Данные устройства решают задачу стабилизации изображения для оператора, однако их конструктивное несовершенство не всегда позволяет подавлять полигармонические помехи сложной формы, вызванные вибрациями носителя. Поэтому вторым видом задачи электронной стабилизации может быть названа оценка и подавление полигармонических колебаний механической части системы позиционирования видеодатчика.
Из сказанного выше, становится очевидна важность решения задачи оценки геометрических преобразований в системах видеослежения с подвижным видеодатчиком. Поэтому, в данной работе решению данной проблемы будет уделено повышенное внимание.
Аналитическая постановка задачи оценки параметров геометрических преобразований изображения при движущемся датчике
выделения, слежения за объектами, а также для осуществления, сопровождения выбранного объекта, необходимо выполнить оценку геометрических преобразований, которые претерпело изображение поля зрения за время поступления очередного кадра. Качество решения данной задачи влияет на функционирование системы в целом. Однако, выбор алгоритма оценки параметров геометрических преобразований изображения зависит, прежде всего, от вида преобразований, имеющих место в рассматриваемой задаче. Поэтому далее будет освещен важный вопрос о возможных видах геометрических преобразований наблюдаемых изображений в системах с подвижным датчиком.
Геометрические преобразования в последующем изложении будем рассматривать применительно к двум изображениям. Исходное изображение 1х{х,у), которое будем условно считать не подвергнутым искажениям, назовём эталонным. Другое изображение 12{х,у) будем называть текущим. Оба изображения будем представлять финитными функциями F{(x,y), F2(x,y) двух переменных, заданных на некоторых двумерных областях DTl и DTl соответственно, называемых носителями изображения. к ( » У) = {Fi ( , У) 0 У) є DT\ ї (2.1) h(x y) = { 2(Х У) (Х У) GDT2} Возможен случай, когда носители изображений могут не иметь общих точек, однако нам интересна ситуация, когда До2 = &т\ ГЛВТ2 Ф 0. Запишем наиболее общий вид преобразования, имеющего теоретическое и практическое значение для изучения [66]: /2 (х, у) = К(х, у) 1Х {Т(х, у))+Е(х, у), (2.2) где К(х,у)- в общем случае нелинейная функция мультипликативных искажений яркости; Н(дг, у) - аддитивные изменения яркости, включающие в себя как постоянную составляющую изменения яркости, так и шумовую помеху; Т(х,у)- оператор геометрического преобразования носителя изображения. В данной работе не будут рассмотрены случаи резкого изменения уровня яркости, поэтому будем считать величину мультипликативного изменения яркости К(х,у) = \, а аддитивные изменения яркости будем считать случайными, то есть Е(х,у) = (х,у), где ,(х,у) — гауссовский шум с нулевым математическим ожиданием. То есть, преобразование (2.2) будет иметь вид: /2 (х, у) = 1Х (Т(х, у))+ф, у). (2.3)
Если пренебречь действием аддитивной помехи, то задача установления соответствия точек двух изображений сводится к задаче оценки оператора Т(х,у). Заметим, что найти значение рассматриваемого оператора можно лишь в области Dln2, так как лишь на ней определены оба изображения. Перейдём к рассмотрению конкретных видов операторов геометрических преобразований носителя изображений, важнейшими из которых являются смещение, повороты и изменения масштаба изображения.
Простейшим примером преобразования (2.2) является смещение (сдвиг) в поле зрения изображения /j (х, у) параллельно его осям координат. l2(x y) = h(x-vx,y-vy), (2.4) где v ,v - параметры смещения вдоль соответствующих осей. На рисунке 2.2 приведён пример изображения, полученного путём действия преобразования смещения на эталонное изображение, представленное на рисунке 2.1 Рисунок 2.1 - Эталонное изображение Рисунок 2.2 - Преобразование смещения Изменение масштаба в простейшей ситуации описывается преобразованиями следующего вида: l2(x,y) = ll{Xxx,Xyy), (2.5) где Хх,Ху- коэффициенты изменения масштаба. Данный случай возникает, например, при изменении фокусного расстояния объектива видеодатчика. Коэффициенты изменения вдоль координатных осей в общем случае могут быть различными, в этом случае изменение масштаба называют неоднородным. На рисунке 2.3 приведён пример изображения, полученного путём действия преобразования неоднородного масштабирования на эталонное изображение, представленное на рисунке 2.1. Преобразования, соответствующий повороту на угол ср, имеет следующий вид: /2 (х,у) = 1Х (х cos ф + у sin ф,-х sin ф + у cos ф). (2.6) Отметим, что преобразование (2.6) есть поворот относительно начала координат. Данное преобразование определяется одним параметром ф. Поворот относительно произвольной точки {хІУу{) описывается следующим образом: к (х, У) = h ( ( - i ) cos Ф + (У У\) sin ф,1 - (х - хх) sin ф + (у - ух) COS ф ). Выражение (2.7) можно переписать в виде: l2(x,y) = /j [х cos ф + у sin ф - vx,-x sin ф + у соэф - vy), (2.8) где vx = х{ cos ф + ух sin ф и vy = -Х\ sin ф + ух cos ф. Из формулы (2.8) можно сделать вывод, что преобразование поворота относительно некоторой точки можно заменить комбинацией поворота на тот же угол относительно начала координат и сдвига вдоль обеих осей. Верно и- обратное утверждение, то есть последовательное применение преобразований поворота и сдвига эквивалентно повороту относительно некоторой точки, лежащей в плоскости изображения. Такая комбинация преобразований интересна тем, что при любых значения параметров не изменяет значения евклидова расстояния между точками изображения, поэтому иногда также называется евклидовым преобразованием.
На1 рисунке 2.4 приведён пример изображения, полученного путём действия преобразования поворота относительно центральной точки на эталонное изображение, представленное на рисунке 2.1.
Перечисленные выше преобразования, а также преобразования косого сдвига (перекоса) вдоль осей координат, а также преобразовании отражения входят во множество аффинных преобразований. Каждое аффинное преобра 42 зование однозначно определяется шестью параметрами и обладает свойством линейности. - Неоднородное Рисунок 2.4 - Евклидово преобразование масштаба преобразование
Аффинные преобразования не являются адекватной моделью, если не являются параллельными плоскости матрицы видеодатчика и наблюдаемой сцены. Особенно сильно данный эффект проявляется при небольших удалениях сцены от точки наблюдения. Тогда переход от эталонного изображения к текущему может быть описан проективным преобразованием. Проективные преобразования являются девятипараметрическими.
На рисунке 2.5 приведён пример изображения, полученного путём действия аффинного преобразования относительно центральной точки на эталонное изображение, представленное на рисунке 2.1, а на рисунке 2.6 приведён пример изображения, полученного путём действия проективного преобразования.
Применение результатов оценки параметров геометрических преобразований изображений в алгоритмах выделения и сопровождения объектов по признаку движения
В первой главе бьиг проведён анализ задач, решаемых системой видеослежения. Задача оценивания геометрических искажений фонового изображения была выделена, как одна из наиболее важных. В данном разделе подробнее рассмотрена модель формирования изображения с учётом наличия евклидовых преобразований, являющихся.комбинацией сдвигов вдоль осей координат и поворотов. Примем- влияние непараметрических преобразований изображений пренебрежимо малым. Тогда модель формирования изображений (1.7) перепишется в виде:
Так как при. действии геометрических преобразований вида (2.10) поле зрения видеодатчика остаётся прямоугольным, то можно представить формирование изображения 1п (х, у) как наложение некоторой прямоугольной области, определяемой пространственным положением поля зрения видеодатчика в те 45 кущий момент времени, на изображение окружающей обстановки с последующим переносом всех точек данного изображения, накрытых прямоугольной областью, в соответствующие точки формируемого изображения. Рисунки 2.7-2.9 поясняют данный процесс.
На рисунке 2.7 затемненными прямоугольниками с осями координат отображаются изображения li(x,y) и 12{х,у), формируемые в моменты времени и t2. Направление и величину сдвига вдоль осей ОХ и OY характеризуют функции vx(t) и vy(f) соответственно, а поворот вокруг начала координат -функция ф(/)- В момент времени tb положение координатных осей формируемого изображения совпадает с положением осей изображения Е(х, у, t). Можно видеть, что в момент времени tx: vx(h) = vy(h) = 0Mti) = 0. (2.11) В некоторый момент времени t2 поле зрения видеодатчика, а значит и всё формируемое изображение сдвигается вдоль осей изменяет ориентацию. Траектория, по которой смещается начало координат, на рисунке 2.7 для наглядности обозначена белой линией. При таком изменении положении и ориентации происходят соответствующие изменения в наблюдаемых датчиком изображениях. Некоторые фоновые образования и объекты уходят из кадра, а другие; напротив, попадают в него.
Примеры сформированных датчиком изображений» можно видеть на рисунках 2.8 и 2.9. Общими для обоих изображений остаются лишь небольшой кусок фона, содержащий изображения деревьев, дороги и изображение белого автомобиля. Причём1 данные области подвергаются преобразованиям сдвига и поворота.
Запишем окончательно модель формирования наблюдаемого изображения с учётом сделанных предположений о виде геометрических искажений и без учёта пространственной дискретизации изображения: Tn О, у) = (x cos ф(/„) + у sin (p(tn) - v, (t„), -x-smq (tn) + y-cos(p(t„)-vy(t„)), (2.12) где и = 1,2... ; /„(x, ) — наблюдаемое в момент времени tn изображение; g(x,y)- изображение фона; g(Tn(x,y)) изображение фона, деформированное геометрическими преобразованиями; hn{x,y) — совокупное изображение объектов, наблюдаемое в момент времени tn\ гп{х,у) - бинарная маска изображений объектов hn(х,у); (х,y)eDT,где DT = {(х,у):О х W;0 х Н}- непрерывное множество точек наблюдаемого изображения, vx(tn), vy{tn), q {tn)- неизвестные функции, описывающих изменение параметров евклидового преобразования наблюдаемого изображения 1„(х,у) относительно известного изображения фона g(x,y).
Переходя от непрерывных изображений к дискретным, положим интервал дискретизации равным единице, разность между соседними интервалами наблюдения tn и tn_i постоянной и равной времени формирования кадра видеодатчиком. Тогда модель формирования наблюдаемого изображения представим в виде: К fc J) = g« fc fc Ш rn fc J))+К (і, j)rn (і, j) + , (i, j); (2 13 Tn(x,y) = (x-cosy(n) + y-smq (n)-vx(n), v " J - x sin ф(и) + у COS ф(«) - vy («)), где n є {1, Щ - номер формируемого кадра, причём случай п = 1 соответствует моменту времени tx. С учётом введённых обозначений, сформулируем задачу оценки параметров геометрических преобразований. Итак, необходимо найти оценку значений vx(ri) , vy(ri) и ф(и) для некоторого кадра п при известных изображениях lq(і, j), где q = l,n.
В главе 1 показано, что полезную информацию о параметрах геометрических преобразований несёт лишь фоновое изображение, так как объекты могут передвигаться с течением времени. Алгоритм, должен быть малочувствителен к наличию таких объектов. Поэтому встаёт задача первичной, оценки фонового изображения на основе анализа последовательности наблюдаемых кадров.
Определённой проблемой при оценке параметров преобразований является постепенное перемещение поля зрения камеры, в результате которого фоновое изображение исходного и-текущего кадра через некоторое время могут уже не содержать общих фрагментов, на основе анализа которых вычисляются параметры преобразований. Поэтому алгоритм должен содержать в себе процедуры постоянного обновления той информации, которая позволяет оценивать параметры преобразований.
Проблемой также является ограниченность вычислительных ресурсов и оперативной памяти. Это накладывает ограничение на размеры хранимого в памяти изображения фона. Следовательно, алгоритм должен содержать процедуры, позволяющие оценить полезность той или иной информации в памяти и, при необходимости, освободить память от неактуальных данных.
Следует отметить, что при разработке алгоритмов в данной диссертации в ряде случаев были использованы подходы решения подобных задач, известные из работ [44,47,70]. Однако многие из использованных подходов были существенно модифицированы применительно к решению поставленных задач. В главе 4 приведены результаты исследований разработанных алгоритмов.
Исследование возможности и эффективности применения результатов оценки параметров геометрических преобразований для решения задач в системах видеослежения
Очевидно, что рассмотренный общий подход к решению задачи требует очень большого числа вычислительных операций, имея ввиду многомерность вектора Ак, значительные размеры изображения ln{i,j) и необходимость вычислений в реальном масштабе времени. Поэтому в [14] предложен оптималь-ный измеритель координат центра объекта (и) = [Xhx(n) khy(ri)] на основе прогноза его положения. При этом были сделаны допущения относительно априорной плотности вектора Xh(n) и шума измерения.
Яркости точек изображений объекта и фона могут изменяться с течением времени. Также может изменяться и форма объектов. Поэтому перейдём к рассмотрению новых моделей состояния яркостей точек фона и объекта, известных из работы [6]. Для этого дополнительно вводится понятие изображения прямоугольного строба \\iu =\j/„(u,_i). Он является частью ln{i,j) и включает в себя полное изображение объекта и часть точек фона, т.е. l„(i,j) с:уи(и,ц) С /г„(о,ц) (СМ. рисунок 3.5). Тогда яркость точек фона и объекта определим как: / (и,і) = і(ад)+Лн-і(Р»кО (3.21) gn(u V)=gn-i(P Vi)+n-i(P,li), (3.22) где и,цє\/„ , цп(у) Щ0,Пц) , con(i,j) N(0,DJ ( mh(i,j,0), fD mg(i,j,0)) - процессы, некоррелированные во времени и протекающие независимо в каждой точке изображения, а величина гп(р,\х) = {ОД}, определяющая положение точек объекта и фона в строба является случайной с известным распределением W{rn (и, JLI)) .
Подходы к решению данной задачи изложены в [6,7]. Они отличаются от рассмотренных ранее подходов введением дополнительных этапов оценки изображений объекта, фона и гп (и, д). При этом, при получении каждого кадра изображения выполняются следующие действия: 1. Формируются прогнозируемые оценки яркостей g, h, г ; 2. Определяются положение объекта Xh{ri) на /„ и формируется строб \/„; 3. Выполняется классификация точек строба оптимизацией критерия: + 2 (ln(Uj)- i(iJ)-hn(i,j)-(l-rn(i,j))-gn(i,j))2-, А 4. Формируются новые оценки h,g изображений объекта и фона по результа там оценки Xh(n),P. Задача формирования оценок объекта и фона может считаться линейной и решаться калмановской фильтрацией соответствующих изображений [7]; 5. Формируются прогнозируемые координаты объекта А,/г
Недостатком рассмотренных выше подходов является то, что в них фон полагается неподвижным. Однако, наличие управляемого датчика видеоизображений вызывает межкадровые сдвиги фона, то есть фон становится подвижным. Необходимо также заметить, что движение носителя системы видеослежения также вносит вклад в смещение фона. Для того, чтобы учесть это, введём модель движения точки, принимаемой за "центр" фона: Ag(n) = C-Ag(n-l). (3.24) Тогда модели движения объекта представим в виде: Ah(n) = C-Ah/g(n-l) + B-Q(n-l) + C-Ag(n-l) = = c\Ah/g{n-\) + Ag{n-\))+B-Q(n-\)= (3.25) = C-Ah(n-l) + B-Q(n-l\ где Ah/g{n-\) -вектор параметров движения объекта относительно фона. Различные подходы к решению данной задачи изложены в [4,5,8]. В отличие от рассмотренных ранее, они предполагают измерение координат центра фона Xg (п) = [Х («) Xgy («)] . Для этого в рассмотрение вводится расширенное изображение 4 n(i,j)iDln(i,j), на котором задаётся прогнозируемое изображение фона (рисунок 3.5). В данном алгоритме измерение координат объекта и фона производится одновременно путём оптимизации критерия:
Изображения hh(v,[i), \\in(v,\i), ln(i,j), 4?n(i9j) Рассмотрим случай слежения за одним или несколькими объектами мало го или среднего размеров на изображении телевизионного формата. Так как фон представляет собой жёсткую плоскую «конструкцию», все точки которой сдвигаются по одному и тому же закону, то мы можем объединить все участки фона, расположенные вокруг рассматриваемых объектов в единое множество фонового изображения. При этом считаем, что количество точек всех объектов будет значительно меньше числа точек фонового изображения. Введём в рас смотрение расширенное множество точек всех объектов Ч л =Uv/„ ,т = 1,Моб , а также множество точек фона, определяемое как
Как следствие этого, положение фонового изображения может определяться один раз, а оптимизацию критерия (3.26) для каждого из объектов можно разделить на два этапа: 1. Определение параметров смещения фонового изображения и нахождение g00; 2. Минимизация модифицированного критерия (3.26) для каждого из сопро вождаемых объектов по Xh (п) при известных А, „(/7). При этом, оптимиза цию критерия для каждого из объектов возможно производить в индивиду альной зоне поиска, положение которой определяется исходя из оценки X „ (п) и прогнозируемого значения Xh {п -1).
Блок-схема алгоритма измерителя координат объектов, построенная по такому принципу, представлена на рисунке 3.6. Данный алгоритм имеет ряд преимуществ по сравнению с базовым алгоритмом определения координат движущихся объектов на движущемся фоне. Во-первых, упрощение критерия (3.26) позволяет значительно уменьшить вычислительные затраты на его оптимизацию. Во-вторых, в случае, когда объект движется по относительно ровному фону, определение сдвига фонового изображения может производиться со значительно меньшей погрешностью.
