Содержание к диссертации
Введение
1 Анализ проблемы обнаружения, выделения и слежения за объектами при движущемся датчике изображений 11
1.1 Вводные замечания и качественная постановка задачи обнаружения и выделения объектов 11
1.2 Краткий обзор методов обнаружения и выделения объектов в последовательности изображений 19
1.3 Разработка общего подхода к решению задачи 27
2 Методы оценки параметров геометрических преобразований фонового изображения 41
2.1 Математические модели геометрических преобразований изображения 41
2.2 Аналитическая постановка задачи оценки параметров геометрических преобразований изображения при движущемся датчике .52
2.3 Оценивание параметров преобразования смещения 57
2.4 Алгоритм оценки параметров евклидовых преобразований изображения на основе преобразования Фурье 62
2.5 Исследование алгоритма оценки параметров евклидовых преобразований 73
2.6 Обновление эталонного изображения фона при оценке параметров геометрических преобразований 82
3 Методы выделения и обнаружения объектов на изображении 90
3.1 Аналитическая постановка задачи выделения объектов 90
3.2 Разработка алгоритма выделения объектов при наличии геометрических преобразований наблюдаемого изображения 92
3.3 Формирование оценок фона и дисперсии аддитивного шума 103
3.4 Выделение объектов в последовательности изображений ...105
3.5 Обнаружение объектов с использованием морфологической фильтрации 109
3.6 Структура алгоритма обнаружения и выделения движущихся объектов 114
3.7 Электронная юстировка мультиспектральных изображений в задаче обнаружения и выделения объектов... 115
3.8 Исследование алгоритма выделения движущихся объектов в присутствии смещений фонового изображения 126
3.9 Исследование алгоритма выделения движущихся объектов в присутствии смещений и поворотов изображения 130
4 Разработка и компьютерное моделирование предлагаемых алгоритмов. проверка их работоспособности в замкнутом контуре управления 140
4.1 Структура системы обнаружения, выделения и сопровождения движущихся объектов 140
4.2 Структура программного обеспечения 143
4.3 Экспериментальная проверка работоспособности в реальных условиях слежения за объектами 149
Заключение 158
Список использованных источников 160
Приложения 173
- Вводные замечания и качественная постановка задачи обнаружения и выделения объектов
- Аналитическая постановка задачи оценки параметров геометрических преобразований изображения при движущемся датчике
- Разработка алгоритма выделения объектов при наличии геометрических преобразований наблюдаемого изображения
- Структура системы обнаружения, выделения и сопровождения движущихся объектов
Введение к работе
Актуальность работы.
Компьютерные системы обработки и анализа видеоинформации всё более интенсивно применяются в различных областях человеческой деятельности. Наиболее широкое распространение они получили в таких задачах как навигация, космический мониторинг Земли, контроль качества и количества производимой продукции, обеспечение безопасности различных объектов, передача и хранение видеоинформации, медицинские и военные приложения.
Одним из направлений при создании систем анализа и обработки видеоинформации является разработка бортовых видеоинформационных комплексов, которые предназначены для установки на автономных носителях, таких как самолёты, вертолёты, автомобили. Характерными чертами этих бортовых систем технического зрения являются, во-первых, необходимость работы в реальном масштабе времени. Во-вторых, эти системы должны иметь автономный режим функционирования, требуя лишь незначительных усилий оператора.
Одной из наиболее актуальных проблем, связанных с разработкой бортовых систем технического зрения, является проблема обнаружения и выделения объектов, находящихся в поле зрения датчика изображений. Примерами таких объектов могут служить самолёты, вертолёты, автотранспорт, суда, люди. При этом информация о характеристиках объектов, которые требуется выделять, обычно очень скудна, и в лучшем случае включает в себя лишь приблизительные размеры объекта.
Область использования технологий автоматического обнаружения и выделения объектов не ограничивается военными задачами, и включает в себя также задачи поиска и спасения, космический мониторинг Земли, анализ движения транспортных средств, контроль движения воздушного транспорта, обнаружение неисправностей различных механизмов, слежение за движением глазного зрачка, диагностику заболеваний по рентгеновским снимкам,
обнаружение объектов в системах обеспечения безопасности, астронавигацию, создание систем управления автономных летательных аппаратов. Обнаружение и выделение объектов часто лежит в основе алгоритмов распознавания объектов и понимания сцен.
Разработано большое количество методов обнаружения и выделения объектов при наблюдении сцены с помощью неподвижного датчика при отсутствии геометрических искажений изображения [2, 3, 5], но часто условия наблюдения таковы, что изображения, получаемые с датчика, испытывают постоянные геометрические изменения.
Здесь рассматривается два основных источника таких изменений. Во-первых, это преломление световых лучей в атмосфере. Во-вторых, движение и изменение пространственной ориентации датчика изображений. Движение и изменение ориентации датчика обусловлено тем, что часто датчик размещают на подвижном объекте, таком как вертолёт, автомобиль или устройство позиционирования. Геометрические искажения затрудняют, а иногда делают совершенно невозможным обнаружение движущихся объектов при использовании методов обработки изображений, разработанных в расчёте на отсутствие геометрических искажений. Что касается геометрических деформаций, вызванных движением датчика, то иногда существует возможность оценить их вид и параметры, используя показания приборов подвижного объекта. В отсутствии или при недостаточной точности показаний приборов используются методы оценки параметров преобразований на основе анализа изображений видеопоследовательности [86, 92]. Вычислив оценки параметров искажений, можно компенсировать их влияние, но лишь частично, так как параметры искажений всегда оцениваются с некоторой случайной погрешностью, которая обычно оказывается достаточно большой. Таким образом, существует проблема обнаружения, выделения и слежения за множеством движущихся объектов в условиях геометрических искажений.
Степень разработанности темы.
Вопросы обнаружения и выделения объектов по данным видеонаблюдений достаточно широко представлены в отечественных и зарубежных источниках. Значительный вклад в разработку методов и алгоритмов решения данной задачи внесли работы таких учёных как Б.А. Алпатов, В.К. Баклицкий, A.M. Бочкарев, П.А. Бакут, В.Г. Лабунец, Е.П. Путятин, A. Aridgides, Q. Pham, W. Pratt. Несмотря на большое количество работ по данной тематике, в результате её анализа не было выявлено публикаций, в которых в полной мере решается и исследуется задача выделения объектов на сложном неоднородном фоне при движущемся датчике изображений. В ряде работ, однако, рассматривается возможность использования дополнительной процедуры оценки параметров геометрических преобразований наблюдаемого изображения и дальнейшего применения обычных алгоритмов выделения, однако в данных источниках при разработке алгоритмов выделения не принимается во внимание наличие ошибок оценивания, а также присутствие случайных геометрических деформаций изображения.
Исходя из этого, сформулируем цель диссертации, которая состоит в разработке методов выделения и обнаружения объектов при наличии геометрических преобразований изображения. Для достижения поставленной цели необходимо, решить следующие основные подзадачи:
-обзор и оценка существующих методов выделения и обнаружения объектов;
-разработка модели формирования изображений при различных видах геометрических искажений изображения, которые включают в себя как геометрические искажения, вызванные преломлением световых лучей в атмосфере, так и геометрические преобразования, вызванные движением датчика;
-разработка алгоритма оценки параметров геометрических преобразований изображения, вызванных движением датчика;
-выбор критериев, на базе которых будет выполняться синтез алгоритмов обнаружения и выделения;
- синтез методов обнаружения и выделения на основе сформулированных критериев;
-экспериментальные исследования эффективности разработанных методов;
-натурное моделирование разработанных алгоритмов и экспериментальная проверка их работоспособности.
Научная новизна диссертации состоит в том, что в ней впервые сформулирована и решена задача обнаружения и выделения объектов при наличии геометрических искажений наблюдаемого изображения, вызванных движением датчика и атмосферными явлениями. Эффективность разработанных подходов получила экспериментальное подтверждение.
Методы исследования.
Теоретические исследования в настоящей работе выполнены на основе методов теории статистических решений, теории вероятностей, функционального анализа, спектрального анализа.
Экспериментальные исследования выполнялись на реальных и синтезированных видеосюжетах с использованием методов математической статистики.
Реализация и внедрение.
Разработанные в диссертации методики были использованы при выполнении научно-исследовательских работ, проводимых в Рязанской государственной радиотехнической академии по заказу министерства образования РФ (НИР 1-02Г, НИР 26-ОЗГ, НИР 7-04Г, НИР 6-ОЗГ), при выполнении работ, проводимых в Рязанской государственной радиотехнической академии по заказу ФГУП «Государственный рязанский
приборный завод» (НИР 3-00, НИР 1-02, НИР 1-03, НИР 1-04), при выполнении работ, проводимых ФГУП «Государственный рязанский приборный завод» по заказам сторонних организаций («Аргумент 2000 - Охотник», «ТОР-Т», «Охотник - П»), что подтверждается актами внедрения.
Апробация работы.
Основные результаты работы докладывались на следующих конференциях:
-10-й, 11-й, 12-й и 13-й международных научно-технических конференциях «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань - 2001-2004);
- 37-й научно-технической конференции РГРТА (Рязань - 2002);
-7-й и 9-й Всероссийских конференциях «Новые информационные технологии в научных исследованиях и образовании» (Рязань - 2002, 2004);
-5-й, 6-й и 7-й международных научно-технических конференциях «Цифровая обработка сигналов и ее применения» (Москва- 2003-2005);
- 4-й международной научно-технической конференции «Космонавтика.
Радиоэлектроника. Геоинформатика.» (Рязань-2003);
-международной научно-технической конференции «Современная радиоэлектроника в ретроспективе идей В.А. Котельникова» (Москва-2003);
-Всероссийской дистанционной научно-технической конференции «Информационно-телекоммуникационные технологии» (Москва-2003);
- второй Всероссийской научной конференции «Проектирование
инженерных и научных приложений в среде MATLAB» (Москва-2004);
-Всероссийской научно-технической конференции «Информационно-телекоммуникационные технологии» - два доклада - (Сочи-2004).
Выступления на 9-й всероссийской конференции «Новые информационные технологии в научных исследованиях и образовании» (2004) и на 7-й международной конференции «Цифровая обработка сигналов и ее применения» (2005) отмечены дипломами.
Публикации.
По теме диссертации опубликовано 22 работы, в том числе три статьи в центральной печати. Результаты исследований отражены в восьми отчётах о НИР.
Структура и объём диссертации.
Диссертация состоит из введения, четырёх глав, заключения, списка литературы (98 источников), изложенных на 178 страницах, содержит 53 рисунка и 10 таблиц.
Первая глава диссертации является вводной. В ней дан качественный анализ рассматриваемой проблемы, обзор и оценка существующих подходов к решению задачи выделения и обнаружения объектов. Рассмотрены основные компоненты информационно-управляющей системы обнаружения, выделения и слежения за объектами. На основе введённых математических моделей формирования изображения обоснована структура построения алгоритма выделения объектов при движущемся датчике изображений и в присутствии геометрических искажений наблюдаемого изображения.
Во второй главе детально рассмотрена задача оценки параметров геометрических преобразований наблюдаемого изображения, описываются основные виды геометрических преобразований изображения, приведена постановка задачи оценки параметров геометрических преобразований при выделении объектов, уделяется внимание решению этой задачи при наличии как преобразований смещения, так и евклидовых преобразований. Экспериментально обоснована возможность использования алгоритмов в задаче выделения и обнаружения объектов.
Третья глава посвящена методам выделения и обнаружения объектов. В этой главе даётся аналитическая постановка задачи выделения объектов при известном фоновом изображении, приводится синтез алгоритма выделения объектов на основе методов теории статистических решений. Затем рассматривается проблема выделения объектов при отсутствии априорной
информации о фоновом изображении. Далее описывается морфологический алгоритм анализа изображения, который позволяет улучшить характеристики алгоритмов выделения и произвести обнаружение объектов с заданными ограничениями по размерам и форме. После этого рассматривается задача юстировки мультиспектральных изображений. Эта задача является вспомогательной по отношению к задаче выделения и обнаружения объектов и часто встречается при использовании нескольких датчиков с различными спектральными характеристиками. В конце главы приведены результаты статистических исследований алгоритма выделения.
В четвёртой главе рассмотрены вопросы реализации всего комплекса алгоритмов обнаружения, выделения и сопровождения объектов. Описаны результаты апробации комплекса алгоритмов в реальных условиях наблюдения.
В заключении сформулированы основные результаты диссертации.
В конце диссертации приведён тематический список литературы. Разделы списка соответствуют основным подзадачам, возникающим при разработке систем обнаружения, выделения и слежения за объектами. Это выделение и обнаружение объектов, оценка параметров геометрических преобразований изображения, анализ траекторий движения объектов, управление поворотным устройством.
Вводные замечания и качественная постановка задачи обнаружения и выделения объектов
Научная проблема, которой посвящена настоящая работа, относится к классу задач, известному под названием «понимание изображений». Понимание изображений это переход от низкоуровневого, яркостного описания изображения к высокоуровневому, смысловому описанию. Система, реализующая этот переход, называется системой понимания изображений.
В соответствии с требованиями, предъявляемыми к системе понимания изображений, уровень представления смысловой информации на её выходе может быть различным. В простейшем случае система понимания изображений может просто сообщить о появлении в поле зрения какого-нибудь объекта. В другом предельном случае система может создавать подробное описание сцены с указанием типов, точных координат и траекторий движения присутствующих объектов.
В данной работе речь идёт о системе понимания изображений, которая обеспечивает промежуточный уровень смыслового описания наблюдаемой сцены. Этот уровень описания можно охарактеризовать терминами выделение, обнаружение, и слежение.
Термины обнаружения, выделения, слежения в настоящей работе понимаются следующим образом. Задача выделения состоит в принятии решения о наличии объекта для каждой точки изображения. Задача обнаружения состоит в принятии решения о наличии или отсутствии объекта или нескольких объектов в текущем изображении. Задача слежения состоит в оценке траекторий движения объектов в последовательности изображений.
Результатом выделения обычно является бинарная маска, единичные значения которой задают точки, где вероятнее всего находится объект. Часто эта бинарная маска содержит достаточно много точек, ошибочно отнесённых к объекту, и не содержит части точек, на самом деле принадлежащих объекту, поэтому вопрос о том, присутствует ли на самом деле хотя бы один объект на изображении, остаётся открытым.
Для того чтобы обнаружить объекты, имеет смысл подвергнуть результат выделения объектов дополнительной обработке, использующей некоторую априорную информацию о размерах и форме объекта. Каждая связная совокупность точек в полученном после дополнительной обработки бинарном изображении, описывает местоположение и конфигурацию какого-либо объекта. Назовём такую совокупность точек бинарного изображения сегментом. Обычно результат обнаружения представляют не в форме бинарного изображения, а в более компактном виде, в виде списка параметров сегментов, каждый элемент которого описывает параметры какого-либо сегмента. Побочным результатом процедуры обнаружения объекта на изображении можно считать получение таких параметров сегментов как координаты центра, размеры, средняя яркость и других, имеющих ценность для потребителя результатов обнаружения.
Результаты обнаружения обычно являются исходными данными для решения задачи слежения. По результатам слежения за объектом можно сказать, сколько времени прошло с момента появления объекта, и по какой траектории он пришел в своё нынешнее положение. Слежение можно реализовать путём сопоставления списка сегментов, полученных в результате обнаружения со списком сегментов, за которыми уже производится слежение. Сопоставление можно производить по тем или иным параметрам сегментов.
Результаты слежения можно использовать для решения задачи сопровождения объектов, не имеющей непосредственного отношения к анализу изображений. В результате сопровождения осуществляется корректировка направления оптической оси датчика изображений с целью поддержания направления на заданный объект. В стационарных информационно-управляющих системах анализа изображений необходимость слежения является единственной причиной движения датчика изображений.
Система понимания изображений, рассматриваемая в настоящей диссертации, предназначена для работы в составе информационно-управляющей системы обнаружения, выделения и сопровождения движущихся объектов. На рисунке 1 представлена структура такой системы.
Рассматриваемая система может быть размещена неподвижно, например, на наблюдательной вышке или в производственном помещении. Возможно её размещение на подвижном носителе, таком как самолёт, вертолёт, автомобиль или робот. Формирование изображений осуществляется датчиком, установленным на поворотном устройстве. Тип формируемых датчиком изображений может быть различным. Обычно изображение в каждой своей точке хранит интенсивности светового излучения в одном или нескольких диапазонах электромагнитных волн. Это могут быть интенсивности излучения в инфракрасном, видимом, ультрафиолетовом диапазонах. Очень часто диапазон волн разбивается на несколько поддиапазонов. Такие датчики называют мультиспектральными. Простейший пример мультиспектрального датчика - цветная видеокамера. Наиболее часто используются видеодатчики, измеряющие интенсивность светового излучения в видимом диапазоне волн. Видеоинформация с датчика поступает на систему понимания изображений, которая осуществляет анализ наблюдаемой сцены. С выхода системы понимания изображений, данные о координатах, конфигурациях, параметрах и траекториях движения наблюдаемых объектов поступают на модуль взаимодействия с потребителем, который обеспечивает представление этой информации в удобном для потребителя виде. Кроме того, в этом блоке формируется сигнал рассогласования между реальным и желаемым направлением оптической оси датчика. Желаемое направление оптической оси датчика устанавливается потребителем информации и может, например, совпадать с направлением на выбранный объект сцены. Сигнал рассогласования подаётся на цифровой регулятор, который формирует управляющие сигналы для поворотного устройства. В результате может быть достигнуто постоянное поддержание визуального контакта с выбранным объектом. Цифровой регулятор должен обеспечивать управление двигателями поворотного устройства с тем, чтобы модуль ошибки позиционирования видеокамеры был минимален при заданных величинах времени регулирования, перерегулирования и порядка астатизма.
Аналитическая постановка задачи оценки параметров геометрических преобразований изображения при движущемся датчике
Методы обнаружения и выделения объектов на основе временной фильтрации дополнительно используют информацию, получаемую в предыдущих кадрах. Эффективность таких методов, безусловно, выше, чем у методов, использующих при обнаружении только априорную информацию о пространственных и статистических свойствах фона и объекта.
Например, в [57] описан алгоритм, в основе которого лежит сопоставление двух изображений наблюдаемой видеопоследовательности. Особенность подхода состоит в том, что авторы вычисляют текстурные признаки обоих изображений и вводят меру отличия этих текстурных признаков. Затем мера отличия текстурных признаков объединяется с модулем разности яркостей изображений.
В [54] авторы используют для решения задачи выделения движущихся точечных объектов на облачном фоне временные фильтры, импульсные характеристики которых представляют собой затухающие синусоиды.
В работе [58] авторы решают задачу обнаружения точечных объектов, движущихся с субпиксельными скоростями, не на фоне облаков, а на фоне гауссового шума высокой интенсивности. Используется четырёхступенчатый временной фильтр, оценивающий дисперсию яркости и выявляющий изменения яркости, вызванные наличием движущихся объектов. В статье [55] разрабатывается метод выделения движущихся объектов для целей дальнейшего сжатия видеосюжета. В качестве временного фильтра, позволяющего выделить объекты, используется медианный фильтр. Работа [56], которая в большей мере ориентирована на решение задач обнаружения в системах видеонаблюдения, также использует временную медианную фильтрацию.
В работах [48, 49, 51, 53] разработан и исследован временной алгоритм выделения движущихся объектов, основанный на марковской модели фона, учитывающей изменчивость фонового изображения. В качестве модели наблюдаемого изображения использовалась модель заслона. Алгоритм, синтезированный с помощью аппарата теории статистических решений, включает в себя этап вычисления апостериорных вероятностей наличия объекта в отдельных точках изображения и этап уточнения яркостей фонового изображения с помощью фильтрации Калмана.
В работах [50, 52, 53] на основе описанной выше методики разработан и исследован эвристический алгоритм обнаружения, выделения и оценки параметров движущихся объектов.
Результаты исследований показали, что данная методика обеспечивает достаточно качественное решение задачи выделения объектов в сложных условиях наблюдения при неподвижном датчике изображений. С точки зрения потребностей в априорной информации, данная методика лучше всего соответствует задаче, поставленной в настоящей работе. Именно поэтому она послужила идейной основой для разработанных автором диссертации подходов.
Методы обнаружения и выделения объектов на основе пространственно-временной обработки объединяют преимущества пространственных и временных методов.
В работах [62-64] предложен и развит пространственно-временной подход к решению задачи выделения и оценки параметров движущихся объектов. Он имеет много общего с описанными в предыдущем разделе подходами [48, 50, 51, 53]. Особенностью является использование модели перемещения объекта на изображении. Алгоритм содержит, помимо этапов уточнения яркостей фонового изображения и вычисления апостериорных вероятностей, этап корреляционного поиска эталонного изображения на текущем изображении. Недостатком алгоритма является высокая вычислительная сложность.
В начале 90-х годов опубликовано несколько статей по пространственно-временным методам обнаружения объектов, авторами которых являлись Aridgides, Fernandez, Randolph. В [67] этими авторами разработан и исследован метод выделения объектов на изображениях инфракрасного диапазона, использующий адаптивную пространственно-временную фильтрацию изображения. В [68] та же методика применяется для обнаружения объектов на мультиспектральных изображениях. В статье [69] те же авторы улучшают свой подход, производя дополнительную оценку субпиксельных смещений изображения. В [66] авторы использовали алгоритм Витерби на основе динамического программирования для реализации так называемого «слежения до обнаружения» (track before detect). Недостаток указанных алгоритмов состоит в том, что они ориентирован на специфику изображений, получаемых в инфракрасном диапазоне.
Пространственно-временной алгоритм [70] использует модель распределения Гиббса для результата сегментации.
Общим недостатком пространственно-временных методов является, во-первых, повышенная вычислительная сложность и, во-вторых, низкая эффективность при отсутствии или недостаточной точности априорной информации о размерах объектов.
Разработка алгоритма выделения объектов при наличии геометрических преобразований наблюдаемого изображения
Систему, состоящую из уравнений (160)-(162), (165)-(167) можно представить как совокупность линейной (160),(161),(165)-(167) и нелинейной (162) частей. Попытки аналитического решения данной системы не привели к успеху. Поэтому единственным путём, позволившим решить эту задачу, явились численные методы, например Ньютона или Зейделя, Однако в некоторых случаях удаётся перейти к линейной системе уравнений или повысить точность решения численного метода.
Предположим, что отсутствуют соответствия типа точка-прямая. Таким образом, система уравнений состоит из выражений (160),(161),(165)-(167). Отметим следующее свойство ограничений типа точка-точка и прямая-прямая: если переформулировать их для обратного преобразования, то они остаются линейными, в то время как соответствия типа точка-прямая и прямая-точка меняют характер с линейного на нелинейный и наоборот. В рассматриваемом случае выгодно перейти к ограничениям для обратного преобразования, тогда система уравнений станет линейной и будет включать выражения видов (160),(161),(165)-(167). Затем, обращая преобразование описанным выше способом, получим полностью аналитическое решение задачи.
Если в систему уравнений входят как линейные, так и нелинейные ограничения, то можно решить сначала линейную подсистему, затем присоединить к линейным уравнениям оставшиеся нелинейные и решать всю систему уравнений численным методом, приняв в качестве первого приближения решение линейной системы. Если ранг системы линейных уравнений недостаточен, то можно попытаться перейти к поиску обратного преобразования.
В реальных условиях координаты опорных точек и уравнения прямых известны с некоторой ошибкой, вызванной несовершенством алгоритмов поиска опорных элементов или неточностью указания оператора. В этом случае возможно найти коэффициенты преобразования лишь приближенно. Для этого решение системы линейных уравнений следует производить методом линейной регрессии, а решение системы нелинейных уравнений — методами конечномерной оптимизации [6].
Чтобы существовало единственное решение системы уравнений, необходимо выполнение неравенства: где N - число соответствий точка-точка, М - количество соответствий точка-прямая, L - количество соответствий прямая-точка, К - количество соответствий прямая-прямая. В левой части неравенства (168) стоит количество уравнений в системе. Проблема выбора опорных элементов. Чтобы решить задачу, поставленную выше, необходимо выявить на изображении достаточное количество опорных элементов: точек и прямых. Выявить такие элементы и связи между ними автоматически при двухспектральном наблюдении трудно, потому что изображения сцены, полученные в разных спектральных диапазонах, могут очень сильно отличаться. Решить данную проблему можно, разместив на плоскости наблюдения несколько меток, которые имеют характерный внешний вид во всех спектральных диапазонах. Например, это могут быть прожекторы, лучи которых направлены в сторону датчиков. Зрительный анализ двух разноспектральных кадров почти всегда позволяет найти несколько пар опорных элементов. Если видеосъёмка производилась при полной неподвижности датчиков относительно друг друга и относительно сцены, достаточно найти опорные элементы в первых кадрах, вычислить параметры преобразования и использовать их на каждом кадре. Разработанный алгоритм лёг в основу программного обеспечения для автоматизированной юстировки двухспектральных видеосюжетов. Входными данными программы являются два видеосюжета, полученных в разных спектральных диапазонах. Программа позволяет вручную выбирать опорные элементы, вычисляет параметры проективного преобразования, преобразует каждый кадр одного из сюжетов и записывает преобразованный видеосюжет. Эксперименты показали, что если выбор опорных элементов достаточно точен, а их прообразы располагаются приблизительно в одной плоскости, то юстировка последовательностей выполняется с хорошим качеством по всей площади кадра. Для увеличения точности юстировки количество уравнений в системе бралось больше восьми. Чтобы избежать плохой обусловленности системы уравнений, опорные элементы следует выбирать так, чтобы уравнения в системе были линейно независимы. Таким образом, нужно избегать эквивалентных соответствий, иначе решение может стать неточным. Общие рекомендации по выбору опорных элементов таковы: Любые три опорных точки по возможности не должны лежать на одной прямой. Соответствие прямая-прямая эквивалентно двум соответствиям точка-прямая либо двум соответствиям прямая-точка, если точки лежат на соответствующих прямых. Из двух соответствий точка-точка следует соответствие прямая-прямая для прямых, проходящих через эти точки. На рисунке 32 приведено изображение, полученное с телевизионного датчика, а на рисунке 33 - с инфракрасного. Эти изображения соответствуют одной и той же сцене и относятся к одному моменту времени. Крестами показаны пары опорных точек для соответствий типа точка-точка. Соответствия типа линия-линия показаны отрезками с квадратами на концах. Соответствия типа точка-прямая и прямая-точка изображены отрезками с ромбами на концах и знаками «плюс». Соответствующие пары опорных элементов имеют одинаковые номера. Наблюдаемая сцена не является плоской, однако большое расстояние до неё и малое расстояние между датчиками дают нам основание принять гипотезу о плоском виде сцены. На рисунке 34 показано телевизионное изображение, подвергнутое проективному преобразованию, а на рисунке 35 - инфракрасное изображение, преобразованное аналогичным образом.
Структура системы обнаружения, выделения и сопровождения движущихся объектов
Экспериментальная проверка работоспособности разработанного программно-аппаратного комплекса проводилась с целью демонстрации возможности функционирования созданной системы обнаружения, выделения и слежения за движущимися объектами в натурных условиях наблюдения. Для этого на 7 этаже здания был оборудован наблюдательный пункт, из которого достаточно хорошо был виден участок автодороги, находящийся на расстоянии около километра. В наблюдательном пункте располагалось поворотное устройство с установленным датчиком изображения, и вычислительный комплекс, состоящий из двух персональных компьютеров. Движение автомобилей по автодороге, за которой производилось слежение, не слишком интенсивное.
Оптические параметры системы были подобраны таким образом, чтобы размеры наблюдаемых автомобилей составляли приблизительно от 10x10 до 30x30 пикселей. Оператор, управляя перемещением оптической оси датчика по горизонтали и по вертикали с помощью джойстика, направлял оптическую ось камеры в область предполагаемого появления движущегося автомобиля, нажимал на клавишу джойстика, и система переходила в режим автоматического обнаружения объектов. Начиная с этого момента, оператор мог с помощью потенциометра управлять скоростью поворота датчика вокруг оптической оси, имитируя крен носителя. Скорость крена составляла 1-2 градуса в секунду.
Как только в поле зрения появлялся объект, система обнаруживала его и автоматически переходила в режим сопровождения. В режиме сопровождения управляющие сигналы, задающие скорость изменения направления оптической оси камеры, вырабатывались цифровым регулятором, и, таким образом, автоматически поддерживалось приблизительное направление оптической оси датчика на отслеживаемый объект.
Часто в процессе слежения возникали такие ситуации как частичное и полное заслонение объекта деревьями и кустарниками, заслонение одного движущегося объекта другим, изменение скорости движения и размеров объекта. Это позволило исследовать поведение системы в различных сложных условиях наблюдения. В процессе экспериментальной проверки производилась видеозапись результатов, которая позволила в дальнейшем произвести более подробный анализ функционирования системы.
На рисунке 52 представлены изображения, соответствующие нескольким фазам функционирования алгоритма. Рисунок 52 (а) соответствует моменту, когда объект ещё не появился в поле зрения. Он находится в правой части кадра и закрыт деревьями. На рисунке 52 (б) видно, что объект выехал из-за деревьев, и произошел его захват на сопровождение. Объект, взятый на сопровождение, подсвечивается белым прямоугольником. Цифра 1, стоящая ниже прямоугольника, обозначает порядковый номер объекта. Так как изображение объекта находится не в центре области наблюдения, цифровой регулятор формирует управляющие сигналы, и камера начинает поворачиваться вслед за объектом.
На рисунке 52 (в), соответствующем 328 кадру, объект оказался почти полностью втянутым в центр кадра. На рисунке 52 (г) изображен 489 кадр видеопоследовательности. Как видим, происходит устойчивое слежение за объектом, несмотря на то, что произошло значительное смещение и поворот фонового изображения, объект значительно изменил размеры. Отметим, что за время слежения горизонтальное смещение фона составило около трёх размеров обрабатываемой зоны кадра.
Анализируя характер изображений объекта и фона, можно заключить, что другие методы выделения объектов вряд ли могут обеспечить такое качество сопровождения объекта. Возможно, корреляционные алгоритмы и обеспечили бы близкие характеристики, но они не могут произвести автоматическое обнаружение объекта без участия оператора. Методы статистического анализа и пространственной фильтрации вряд ли применимы для обработки такого типа сюжетов, так как пространственные и статистические характеристики фона и объекта очень близки.
На рисунке 53 изображено несколько кадров из видеосюжета, полученного при слежении за движущимся объектом в условиях периодического полного заслонения объекта деревьями.
На рисунке 53 (а) изображен объект до заслонения. Слежение за объектом происходило уже в течение 351 кадра. На рисунке 53 (б) объект заехал за деревья, и в течение около 50 кадров слежение осуществлялось в режиме прогноза, на основе накопленных данных о траектории движения объекта. Прямоугольник на рисунке 53 (б) показывает прогнозируемое расположение объекта. В отличие от режима слежения, в режиме прогноза границы прямоугольника отображаются тонкими линиями. Через некоторое время отсутствия объекта алгоритм траєкторного анализа принял решение об исчезновении объекта, и на кадре 427 (рисунок 53 (в)) система вновь перешла в режим предварительного обнаружения объекта. Однако вскоре, на 437 кадре (рисунок 53 (г)), объект выехал из-за деревьев и был вновь обнаружен, но уже под другим номером. После этого объект снова заехал за деревья. Здесь алгоритм траекторной обработки принял решение не продолжать прогноз траектории объекта, как в предыдущем случае, а снять его с сопровождения (рисунок 53 (д)). Такое различие в поведении алгоритма траекторной обработки объясняется тем, что он анализирует время, в течение которого осуществлялось слежение за объектом. Если объект до пропадания существовал короткое время, то велика вероятность, что этот объект был ошибочно обнаружен, и разумно снять его с сопровождения.
На кадре 456 (рисунок 53 (е)), объект появился вновь и ему был присвоен новый номер. После этого в течение длительного времени до кадра 608 (рисунок 53 (ж)) осуществлялось устойчивое сопровождение объекта, а затем на протяжении около 40 кадров объект находился за деревьями (рисунок 53 (з)). В условиях такого кратковременного заслонения алгоритм траєкторного анализа достаточно точно прогнозировал траекторию движения объекта и обеспечил выдачу информацию о положении объекта вплоть до его появления (рисунок 53 (и)).
