Моделирование движения сцены по последовательности изображений на основе псевдоградиентной адаптации Смирнов Павел Викторович

Содержание к диссертации

Введение

Глава 1 Выделение области подвижного объекта на последовательности изображений 13

1.1 Подходы к выделению областей движения на последовательности изображений 13

1.2 Предобработка и постобработка изображений при обнаружении подвижных объектов 17

1.3 Моделирование фона по последовательности изображений 21

1.4 Обнаружение и выделение области движения на серии изображений 36

1.5 Выводы и постановка задачи исследования 45

Глава 2 Формирование поля диспарантности на основе безыдентификационной псевдоградиентной адаптации 48

2.1 Постановка задачи исследований 48

2.2 Построение поля диспарантности на основе блочного метода обнаружения движения 50

2.3 Попиксельное оценивание поля диспарантности на основе реверсных псевдоградиентных процедур 54

2.4 Учет коррелированности смежных строк изображения 63

2.5 Сравнение эффективности разработанных алгоритмов с алгоритмом MVFAST 70

2.6 Анализ вычислительных затрат 78

2.7 Основные результаты и выводы 82

Глава 3 Методика моделирования движения сцены по последовательности изображений 84

3.1 Постановка задачи 84

3.2 Выделение областей движения сцены на основе поля диспарантности 85

3.3 Компенсация эффекта смаза движущихся объектов 93

3.4 Совмещение и комплексирование восстановленных изображений 96

3.5 Оценка параметров траектории движения объекта 100

3.6 Основные результаты и выводы 106

Глава 4 Алгоритмическое и программное обеспечение для экспериментальной проверки разработанной методики 109

4.1 Постановка задачи 109

4.2 Структура и состав комплекса исследовательских программ 110

4.3 Блок-схемы алгоритмов некоторых программных модулей 119

4.4 Примеры использования разработанного программного и алгоритмического обеспечения 130

4.5 Основные результаты и выводы 135

Заключение 137

Список литературы

• Предобработка и постобработка изображений при обнаружении подвижных объектов
• Попиксельное оценивание поля диспарантности на основе реверсных псевдоградиентных процедур
• Совмещение и комплексирование восстановленных изображений
• Блок-схемы алгоритмов некоторых программных модулей

Введение к работе

Актуальность работы

Одной из задач обработки видеоинформации является обнаружение и оценивание параметров траектории движущегося объекта. В некоторых случаях требуется обнаружить только факт наличия движения (Б.С. Тимофеев, А.С. Лукин, К. Ма (K. Ma) и др.), в других – область изображения, где обнаружено движение, или границы движущегося объекта. Наиболее сложным является определение параметров движения объекта по последовательности кадров изображений, например, скорости, направления, траектории и др. (Б.А. Алпатов, А.В. Шадрин, Г. Адив (G. Adiv), Б. Карасулу (B. Karasulu) и др.). Качество решения этой задачи во многом зависит от точности выделения области подвижного объекта на серии кадров, поскольку вся исходная информация для нахождения параметров движения извлекается из изображений. Обнаружение области движущегося объекта является базовым шагом в системах машинного зрения, т.к. позволяет выделить интересующие участки изображения и упростить последующий анализ. Таким образом, обнаружение и сопровождение движущихся объектов является одной из наиболее востребованных задач обработки видеоинформации. Ее решение требуется во многих приложениях машинного зрения: дистанционного зондирования, видеонаблюдения и контроля и др.

Известны различные подходы к выделению области подвижного объекта, основанные на нахождении межкадровой разности (М. Вэн (M. Weng), С. Лю (S. Liu), А. Тупарис (A. Touparis) и др.), вычитании фона (Ш. Элхабиан (Sh. Elhabian), А. Элгамал (A. Elgam-mal), Х. Ван (H. Wang), М. Хоттер (M. Hotter) и др.), применении статистик (Р.В. Куцов, А. Кавалларо (A. Cavallaro), С. Нолан (S. Nowlan) и др.), блочном оценивании (С.В. Гришин, Д.С. Ватолин, П. Хосур (P. Hosur), К. Цзин (X. Jing) и др.), анализе оптического потока (А.П. Трифонов, Р.П. Богуш, М. Ирани (M. Irani), П. Хорн (P. Horn) и др.). При этом, как правило, используется межкадровая обработка смежных изображений видеопоследовательности, по сути, оценивание межкадровых пространственных изменений изображений, одно из которых условно можно считать опорным, а второе – деформированным.

Несмотря на свою значимость, задача обнаружения движущегося объекта в сложных условиях до сих пор не получила удовлетворительного решения. Сложность задачи обусловлена возможностью различных динамических изменений сцены (плавное, резкое, локальное изменение освещенности, перепады погоды, повторяющееся движение и др.). Усложняющими факторами могут быть похожие с фоном характеристики движущихся объектов и эффект смаза изображений в области движения. Поэтому актуальным является разработка подходов к анализу движения сцены по последовательности изображений, позволяющих в сложных условиях эффективно находить изображения подвижных объектов, их границы, строить траектории движения, что и определило цель и задачи диссертационной работы.

Цель и задачи исследований

Целью диссертационной работы является повышение точности оценивания параметров движения сцены по последовательности изображений за счет математического моделирования движения сцены на базе безыдентификационной псевдоградиентной адаптации. Для достижения цели необходимо решить следующие основные задачи.

1. Синтезировать быстродействующие реверсивные псевдоградиентные процедуры (ПГП) попиксельного формирования поля диспарантности смежных кадров видеопоследовательности.

2. На основе временных сечений поля диспарантности, соответствующих кадрам изображений, разработать методику моделирования движения сцены по последовательности изображений, направленную на обеспечение возможности выделения изображений подвижных объектов и построения траекторий их движения.

3. Компенсировать в условиях априорной неопределенности эффект смаза изображений подвижных объектов в видеопоследовательности, вызванный конечностью времени экспозиции.

4. Разработать алгоритмическое и программное обеспечение для реализации и оценки эффективности методики моделирования движения сцены, базирующееся на результатах проведенных исследований.

5. Для проверки адекватности полученных аналитических результатов провести их статистическое моделирование на различных классах имитированных и реальных изображений.

Методы исследований

При решении поставленных задач в диссертационной работе использовались методы математического моделирования, теории вероятностей, математической статистики, численной безыдентификационной адаптации, теории случайных процессов и полей, статистических испытаний.

Научная новизна результатов

1. Впервые предложено использовать в качестве основы математической модели движения сцены последовательности изображений временные сечения поля диспарантно-сти, соответствующие упорядоченной последовательности кадров изображений, что дало возможность повысить эффективность оценивания динамики подвижных объектов.

2. Разработана новая методика моделирования движения сцены по последовательности изображений, позволяющая выделять изображения подвижных объектов, компенсировать в них эффект смаза, строить траекторию движения.

3. На базе численного аппарата безыдентификационной псевдоградиентной адаптации разработаны новые быстродействующие реверсивные процедуры попиксельного формирования поля диспарантности смежных кадров видеопоследовательности, позволившие повысить качество выделения области движения.

4. Для блочного метода выделения области изображения движущегося объекта предложен и реализован базирующейся на псевдоградиентной адаптации новый подход к нахождению параметров местоположения блоков на опорном изображении, направленный на уменьшение вычислительных затрат и позволяющий достичь субпиксельной точности оценивания.

Практическая ценность результатов работы

5. Полученные расчетные соотношения вычислительной сложности синтезированных ПГП попиксельного формирования поля диспарантности как функции числа итераций и времени выполнения элементарных операций дают возможность при проектировании реальных систем оценить вычислительные затраты на реализацию процедур для конкретных вычислительных средств.

6. Разработанное алгоритмическое и программное обеспечение может быть использовано в различных прикладных задачах обработки последовательностей динамических изображений: дистанционных исследованиях, навигационном отслеживании курса подвижного объекта, в робототехнике, медицине, обеспечении государственной безопасности и т.д.

Реализация результатов работы

Результаты диссертационной работы использованы при выполнении грантов РФФИ 10-07-00271-а «Адаптивные алгоритмы привязки монохромных и многозональных изображений, заданных дискретными сетками отсчетов, в условиях априорной неопределенности», 12-01-97014-р_поволжье_а «Синтез и оптимизация безыдентификационных псевдоградиентных процедур автоматизированного совмещения (и распознавания фрагментов) монохромных и многозональных изображений в условиях априорной неопределенности»,

13-01-00555 «Оптимизация и оценка достоверности процедур привязки последовательности цифровых изображений в условиях интенсивных пространственно коррелированных помех»; гранта 14.740.11.1259 «Разработка быстродействующих адаптивных алгоритмов и программного обеспечения оценивания параметров межкадровых деформаций изображений в условиях априорной неопределенности» ФЦП «Научные и научно-педагогические кадры инновационной России»; гранта «Разработка алгоритмического обеспечения совмещения и восстановления последовательности цифровых изображений при неизвестном наборе параметров взаимных деформаций» программы УМНИК Фонда содействия развитию малых форм предприятий в научно-технической сфере, при разработке программного обеспечения для ОАО «Самара-Информспутник» и ОАО «КНИРТИ».

Достоверность результатов

Полученные результаты не противоречат известным взглядам на вопросы моделирования фона и обнаружения области движения в последовательности изображений; их достоверность обеспечивается применением хорошо апробированного математического аппарата, полнотой учета влияющих факторов, высокой степенью детализации разработанной математической модели движения сцены, подтверждается экспериментальными результатами и практическим применением.

На защиту выносятся:

7. Использование в качестве основы математической модели движения сцены последовательности изображений временных сечений поля диспарантности, соответствующих последовательности кадров изображений.

8. Методика моделирования движения сцены последовательности изображений, основанная на формировании поля диспарантности.

9. Быстродействующие адаптивные ПГП попиксельного формирования поля диспа-рантности смежных кадров видеопоследовательности.

3. Безыдентификационная ПГП оценивания параметров местоположения заданных блоков деформированного изображения на опорном изображении для блочного метода выделения изображения движущегося объекта.

4. Комплекс исследовательских программ для реализации и оценки эффективности разработанных процедур.

Апробация работы

Основные положения диссертационной работы докладывались, обсуждались и получили положительную оценку на международных конференциях «Pattern Recognition and Image Analysis: New Information Technologies» (Санкт-Петербург, 2010, Самара, 2013), «International Siberian Conference on Control and Communications» (IEEE Conference № 35463, Омск, 2015), «Цифровая обработка сигналов и ее применение – DSPA-2015» (Москва, 2015), «Наука в современном информационном обществе» (North Charleston, USA, 2015), Научных сессиях, посвященных дню радио (Москва, 2012, 2013, 2014, 2015), на всероссийских конференциях «Современные проблемы создания и эксплуатации радиотехнических систем» (Ульяновск, 2010, 2012, 2013), «Современные проблемы радиоэлектроники» (Красноярск, 2010, 2013, 2014).

Публикации

По теме диссертации опубликовано 31 работа, в том числе 12 статей, 9 из которых в изданиях из списка ВАК, 17 работ в трудах и материалах международных и всероссийских конференций и сессий, 2 свидетельства на регистрацию программ для ЭВМ. Некоторые результаты отражены в отчетах по НИОКР.

Структура и объем работы

Основное содержание диссертационной работы изложено на 158 страницах машинописного текста, содержит 50 рисунков, 5 таблиц и состоит из введения, четырех глав, заключения, списка литературы из 164 наименований и приложения.

Предобработка и постобработка изображений при обнаружении подвижных объектов

В настоящее время цифровая обработка изображений находит широкое применение при решении многих задач. Основной причиной распространения систем компьютерного зрения является выполнение ими функций, которые до недавнего времени либо выполнялись оператором, либо были невозможны в принципе. Большинство этих функций такие системы могут выполнять как быстрее оператора, так и с большей точность. Это стало возможным благодаря стремительно растущей вычислительной мощности процессоров, распространению устройств, позволяющих хранить большие объемы данных, а также развитию сетевой инфраструктуры. Объемы использования систем видеонаблюдения за последние годы также значительно выросли.

Видеонаблюдение уже долгое время используется для мониторинга безопасности на автомобильных дорогах, в банках, в универмагах, других общественных местах. В традиционных системах видеонаблюдения оператор должен постоянно находиться за монитором и анализировать получаемую информацию. Увеличение числа камер в системе наблюдения увеличивает и вероятность пропуска оператором событий, требующих немедленных действий, что сказывается на качестве выполняемой им работы. Первым шагом к решению данной проблемы была разработка полуавтономных систем. В таких системах получаемая видеоинформация обрабатывается с целью оповещения оператора об обнаруженных событиях и выдачи при необходимости некоторых рекомендаций. Хотя такие системы позволяют значительно сократить вероятность пропуска событий, они берут лишь часть функций оператора, т.е. являются вспомогательными. Часто из-за слишком больших объемов поступающей информации и высоких требований к скорости ее обработки требуется разработка систем, позволяющих производить обработку в полностью автоматизированном режиме. Создание таких систем невозможно без надежных и быстрых алгоритмов обнаружения движущихся объектов, их идентификации и слежения за ними. Кроме того, часто требуется и дополнительный подробный анализ полученной информации.

Видеопоследовательности содержат движущиеся объекты в самых разнообразных задачах или же сам объект, с которого ведется съемка, находится в движении. Обнаружение областей изображений, соответствующих движущемуся объекту, будь то человек, автомобиль или производственный процесс, является первым базовым шагом практически в каждой системе машинного зрения, поскольку позволяет выделить только интересующие области изображения и упростить последующий анализ. Таким образом, обнаружение и сопровождение движущихся объектов является одной из наиболее востребованных задач обработки видеоинформации. Ее решение требуется во многих приложениях машинного зрения, которые используются для дистанционного зондирования, видеонаблюдения и контроля и пр.

В некоторых задачах требуется обнаружить лишь факт наличия движения или определить число движущихся объектов, в других – область изображения, где обнаружено движение. Во многих задачах необходимо выделить границы (контур) движущегося объекта. Контуры движущихся объектов могут быть использованы для решения различных задач, таких как анализ формы объекта, совмещение объектов и других. Наиболее сложной задачей является обнаружение параметров движения объекта по последовательности цифровых изображений (скорости, направления, траектории и др.). Качество решения этой задачи во многом зависит от точности выделения области подвижного объекта на серии изображений, поскольку вся исходная информация для нахождения параметров движения извлекается из изображений.

Необходимые этапы алгоритма обнаружения движущегося объекта определяются требованиями конкретной задачи. Задача выделения области движущегося объекта заключается в нахождении на изображении всех пикселей, соответствующих объекту движения, т.е. в разделении всех пикселей изображения на две группы: фон и передний план (движущийся объект). Общий подход решения данной задачи заключается в сравнении текущего кадра с некоторой опорной (эталонной) моделью фона. Пиксели, значительно отличающиеся от модели фона, классифицируются как относящиеся к переднему плану.

Формально, любой интересующий движущийся объект рассматривается как передний план сцены, а неподвижные объекты - как фон. Для переднего плана возможны случаи наличия, как только одного уникального движущегося объекта, так и нескольких. В обоих случаях требуется обнаружить объекты переднего плана, а при наличии нескольких объектов необходимо также отделить движущиеся объекты друг от друга. Кроме того, для завершения стадии выделения необходимо применить различные методы устранения ошибок, а также уточнения выделенных областей и контуров движущихся объектов.

Хотя в литературе описано множество разных методов и алгоритмов обнаружения движущихся объектов, согласно [48] большинство из них можно разделить на четыре основных этапа: предобработка, моделирование фона, выделение переднего плана и постобработка.

Предобработка необходима для исключения основных видов незначительных межкадровых изменений изображений перед непосредственной обработкой, т.е. для упрощения реализации последующих этапов. На втором этапе определяется (строится) модель фона, с которой будет сравниваться текущий кадр. Моделированием фона называют процесс создания и последующего поддержания математической модели, описывающей фон в поле зрения камеры. Выделение переднего плана является основным этапом алгоритма обнаружения и заключается в сравнении текущего кадра с моделью фона для определения, являются ли отдельные пиксели фоном или же передним планом. Поэтому этот этап еще часто называют обнаружением движущегося объекта. Постобработка предназначена для удаления пикселей, ошибочно отнесенных к переднему плану, для выделения контуров объектов, разделения пересекающихся объектов и других, улучшающих результат выделения переднего плана, действий.

Существует четыре основных характеристики качества алгоритма обнаружения движущегося объекта: точность выделения области движущегося объекта (пространственная точность), стабильность во времени обнаружения (временная когерентность), способность обнаруживать изменения малой величины (чувствительность) и стабильность обнаружения в различных условиях (робастность). Кроме того, в большинстве задач выделение движущегося объекта должно производиться в автоматическом режиме и максимально быстро.

Попиксельное оценивание поля диспарантности на основе реверсных псевдоградиентных процедур

Нормальное распределение. Один из простейших методов моделирования фона заключается в представлении пикселей фона нормальным распределением с некоторыми параметрами. Параметры распределений для фона и текущего кадра сравниваются, и к полученному результату применяется некоторая пороговая обработка. Такая базовая гауссова модель может адаптироваться к медленным изменениям сцены (например, плавным изменениям освещенности) путем рекуррентного обновления модели при помощи простого адаптивного фильтра [159]. В работах [91, 92, 99] для адаптации используется калмановская фильтрация. Главной особенностью моделирования распределения вероятности яркости пикселя, отличающей его от других подходов, таких как фильтры с предсказанием, является то, что в данном случае игнорируется порядок наблюдений, а основной информацией является распределение яркости пикселей [122].

В работе [67] каждый пиксель моделируется как независимый случайный процесс. Распределение для каждого пикселя изображения оценивается на основе N последних кадров, что позволяет учитывать небольшие изменения в модели фона [138].

В работе [153] модель фона делится на две независимых части: цветовая модель и модель на основе контуров. Для каждого цветового канала пиксель представляется средним значением яркости и среднеквадратическим отклонением в течение некоторого времени. Модель на основе контуров строится применением алгоритма выделения контуров Собеля к каждому цветовому каналу, получая горизонтальное и вертикальное разностные изображения. Взвешенное среднее и среднеквадратическое отклонение вычисляются аналогично предыдущему методу. Эта модель используется для обнаружения изменений структуры сцены, таких как появление и исчезновение контуров, а также изменение направления. Однако данный метод не работает при резких изменениях освещенности. Более того, также не решается проблема перемещения объектов фона, которые не должны быть обнаружены [88].

Фильтр Калмана. Фильтр Калмана является широко используемым рекуррентным методом слежения за линейными динамическими системами с гауссовым шумом. Данный метод может рассматриваться как простейшая модель фона, в которой каждый пиксель представляется нормальным распределением, где среднее и дисперсия фона обновляются при помощи простого адаптивного фильтра для учета изменений освещенности и объектов, которые стали частью фона [85, 159]. Фильтр Калмана используется в работе [76] для моделирования каждого пикселя, что позволяет сделать алгоритм обнаружения устойчивым к изменениям освещенности. Хотя в данном методе используется адаптивный порог, адаптация по-прежнему остается медленной и не позволяет работать со сложным фоном. В работе [123] описывается успешное использование вышеописанного метода в автоматизированной системе слежения за дорожной обстановкой. Для моделирования фона было предложено множество различных вариантов реализации фильтра Калмана, которые отличаются в основном выбором признаков. Простейшие варианты используют только значения яркости [70, 75, 99, 159]. В работе [91] используются как значения яркости, так и производные по времени, а в работе [41] - значения яркости и пространственные производные.

В работе [161] предлагается алгоритм, в котором динамический фон моделируется с помощью модели авторегрессионного скользящего среднего [98]. Хотя данная модель является линейной моделью первого порядка, с ее помощью может быть хорошо смоделирован динамический фон со сложной текстурой [98]. Устойчивый алгоритм на основе фильтра Калмана предложен в работе [137]. Подвижные объекты затем выделяются при помощи пороговой обработки весовой функции фильтра. Обычно модель формируется, используя только кадры без движущихся объектов, однако возможна и реализация адаптации модели фона и на основе последующих кадров с движущимися объектами [150].

Анализ результатов использования фильтра Калмана показал [48], что даже при значительном увеличении порога и медленной адаптации на модель фона оказывают существенное влияние пиксели движущегося объекта. В результате за движущимся объектом остается длинный след.

Смесь нормальных распределений. Фон может содержать множество нестатичных объектов, таких как ветви деревьев и кусты, которые могут двигаться в зависимости от ветра. Из-за таких динамических объектов значения яркости пикселей фона значительно изменяются во времени. В таком случае представление пикселя одним нормальным распределением не даст хороших результатов. Поэтому для моделирования такого фона используется смесь нормальных распределений [54, 68, 138]. В работах [68] и [138] пиксель моделируется смесью из K нормальных распределений (K выбирается в пределах от 3 до 5). В работе [68] используется смесь из трех распределений для моделирования фона в системах видеонаблюдения за дорогами. При использовании смеси нормальных распределений в отличие от использования фильтра Калмана производится адаптация не одного распределения, а одновременно сразу нескольких. Использование смеси распределений получило широкую популярность после того, как было впервые описано в работе [68]. Примеры использования также описаны в работах [73, 138]. Различные модификации метода описаны в работах [62, 64, 74, 88, 139].

В работе [49] пиксели фона моделируются многомерным нормальным распределением в цветовом пространстве HSV. Распределение для каждого пикселя обновляется на каждом кадре для учета изменений фона. В работе [101] предлагается байесовская формулировка задачи выделения фона на основе СНР.

Отметим и недостатки смеси нормальных распределений. Во-первых, методы данной группы вычислительно сложны, а параметры модели должны выбираться с особой тщательностью. Во-вторых, они очень чувствительны к резким изменениям освещенности. Если сцена остается стационарной в течение долгого периода времени, дисперсия компонент фона может достичь очень малых значений. В таком случае резкое изменение освещенности может привести к тому, что весь кадр будет определен как передний план. Фон с резкими изменениями не может быть достаточно точно смоделирован несколькими распределениями, что не позволяет получить высокую точность обнаружения [100, 101]. Также ошибки обнаружения могут быть вызваны наличием объектов переднего плана на кадрах, используемых для построения модели [93]. Кроме того, выбор скорости адаптации модели является компромиссом. При медленной адаптации значительно уменьшается чувствительность алгоритма детектирования, что не позволяет справляться с резкими изменениями фона. С другой стороны, если адаптация осуществляется слишком быстро, медленные движущиеся объекты не будут обнаружены, а будут считаться частью фона [93], т.е. вырастет вероятность пропуска цели.

Кластеризация. В работе [44] был предложен алгоритм, позволяющий выделять движущиеся объекты на исходной видеопоследовательности в реальном времени, используя очень скромное оборудование. Идея алгоритма заключается в том, что чем чаще пиксель принимает определенный цвет, тем больше вероятного того, что он относится к фону. Каждый пиксель моделируется группой из K кластеров, каждый из которых описывается средним значением яркости и весовым коэффициентом. Каждый входящий пиксель сравнивается с соответствующей группой кластеров. Ищется наиболее подходящий кластер, для которого значение весового коэффициента будет наибольшим. Если подходящий кластер не был найден, кластер с наименьшим весом заменяется новым кластером, для формирования которого используется текущий пиксель. Если подходящий кластер был найден, то весовые коэффициенты всех кластеров группы корректируются. Веса всех кластеров группы нормализуются таким образом, чтобы их сумма была равна единице. Затем они сортируются в зависимости от значения коэффициента.

В работах [94, 95] каждому пикселю ставится в соответствие кодовая книга, которая определяется значениями яркости пикселя. При этом размер кодовых книг может отличаться. Для практической реализации алгоритма в вышеописанных работах было предложено адаптивное обновление кодовых книг для учета изменений фона. Скрытая Марковская модель. Все вышеописанные модели хорошо адаптируются к плавным изменениям освещенности. С другой стороны, резкие изменения остаются серьезной проблемой. Еще одним подходом к моделированию резких изменений является представление этих изменений как дискретных состояний, соответствующих различным режимам, например, облачное/солнечное небо, включенные/выключенные фары. Использование СММ для этих целей описано в работах [125, 140]. В [125] используется СММ с тремя состояниями для моделирования значений яркости пикселей в приложении контроля над передвижением транспорта, где три состояния соответствуют фону, теням и переднему плану. В [112] состояние, описывающее глобальное значение яркости, определяется при моделировании фона. Для каждого состояния значение яркости пикселя моделируется нормальным распределением. Было показано, что такая модель позволяет моделировать простые изменения, такие как включение и выключение света.

Основными проблемами использования СММ на практике являются высокие требования к вычислительной сложности и неспособность справляться с нестационарным фоном. В работах [43, 112, 117] был предложен автоматический выбор топологии СММ, т.е. выбор оптимального числа состояний. Другой подход, при котором в зависимости от вероятности состояния итеративно исключаются, был предложен в работе [42]. Интересный подход для реализации моделирования фона в реальном времени на основе СММ с фиксированной топологией был предложен в работе [125].

В отличие от подходов с фиксированной моделью с постоянными параметрами в работе [140] был предложен алгоритм динамического обновления топологии, что позволяет справляться как с резкими, так и с плавными изменениями освещенности. Детальное описание алгоритмов на основе СММ также может быть найдено в работах [64, 113, 115].

Совмещение и комплексирование восстановленных изображений

Отметим, что в приведенных рисунках для того, чтобы убрать выбросы оценок, значительно превышающие истинное значение сдвига, модуль оценок был ограничен величиной ртх =10. Отметим наличие значительного числа выбросов как для области движения, так и вне ее при использовании алгоритма B. Особенно хорошо это видно при задании параметров (hx,h ), здесь оценки для значительного числа нижних строк превышают порог (по сути, это срыв оценивая в соответствующей области изображения). Учет межстрочной корреляции существенно сокращает число выбросов [16] для набора параметров (hx,h ) и практически исключает их для набора (р,ф).

Проведенный анализ показал, что при блочном подходе одним из наиболее эффективных алгоритмов формирования поля диспарантности является алгоритм MVFAST (Motion Vector Field Adaptive Search Technique) [77]. Сравним эффективность разработанных алгоритмов и алгоритма MVFAST.

Вначале кратко опишем работу алгоритма MVFAST. Деформированное изображение делится на множество неперекрывающихся квадратных блоков заранее заданного размера. В большинстве случаев размер блоков 4х4, 8х8, 16х16 и т.д., но алгоритм позволяет задавать блоки любого размера, начиная от одного пикселя [77]. Для каждого блока текущего кадра осуществляется поиск его местоположения на предыдущем, т.е. оцениваются вектора сдвигов \j = (hQj)x hQj)y) блоков Ви, где J – координаты центров блоков. Алгоритм поиска для текущего блока определяется оценками векторов движения соседних блоков Ви_1з Bt_Xj и Д._1у+1 (рисунок 2.16). Сначала определяется активность движения, для чего находится максимальное значение модуля вектора движения соседних блоков L = тах(Д. -_г L \Bt_x , L \Bt_x ,+11) и сравнивается с двумя пороговыми значениями Lx и L2, величины которых зависят от типа видеопоследовательности. Если Ь Ц, то считается, что активность движения низкая. Если Ц L L2 - средняя. Если же L L2 - высокая.

При низкой и средней активности движения за центр поиска принимается изначальное положение блока, т.е. начальное значение вектора движения для блока принимается ht . = (0,0). При высокой активности движения центр поиска смещается относительно изначального положения блока. Величина и направление смещения определяются вектором движения одного из соседних блоков BtJ_u Bt_Xj или Д-_и+1. Критерием выбора в данном случае выступает минимум суммы абсолютных разностей (САР). САР для блока представляет собой сумму модулей разностей соответствующих отсчетов текущего блока и отсчетов изображения, на котором осуществляется поиск местоположения блока. Положение текущего блока на изображении определяется вектором движения /?. .. Проще говоря, текущий блок принимает на изображении три положения, которые определяются векторами движения ht ;-1, ht_x . и ht_x .+1. Положение, при котором САР минимальна, и принимается за центр поиска. Дальнейший поиск ведется с использованием одного из двух шаблонов, показанных на рисунке 2.17. Если активность низкая, поиск ведется с использование шаблона «малый ромб» (рисунок 2.17, а) и состоит из двух шагов [77]: 1) вычисляется САР для всех точек шаблона малый ромб, т.е. для значений / =(0,0), \.=(-Щ, \.=(0-1), \у=(1,0), \У=(0Д). Если значение САР для центра поиска (ht . = (0,0)), минимально, то за окончательную оценку принимается ht = (0,0), иначе осуществляется переход ко второму шагу;

Шаблоны поиска 2) центр поиска перемещается в ту сторону, где было определено минимально значение САР, и вычисляется САР для всех точек шаблона малый ромб. Если минимальное значение определяется для центра поиска, то центр поиска и представляет собой окончательную оценку вектора движения, иначе шаг повторяется.

Поиск для высокой активности движения выполняется аналогично вышеописанному. Отличие заключается лишь в ином центре поиска. При средней активности движения выполняется следующий алгоритм поиска [77]: 1) вычисляется значение САР для всех точек шаблона «большой ромб» (рисунок 2.17, б). Если минимальное значение САР соответствует центру поиска, осуществляется переход к 3 шагу, иначе - ко второму; 2) центр поиска перемещается в точку, где было найдено минимальное значение САР и вычисляется значение САР для всех точек шаблона большой ромб. Если минимальное значение САР соответствует центру поиска, осуществляется переход к 3 шагу, иначе - шаг повторяется; 3) вычисляется значение САР для всех точек шаблона малый ромб. Точка шаблона, для которой значение САР минимально, и определяет окончательную оценку вектора движения. Также для повышения быстродействия и исключения влияния незначительных изменений в кадре (шума) в алгоритме MVFAST используется ранняя остановка поиска. Она заключается в том, что поиск прекращается, если САР для ht = (0,0) меньше заранее заданного значения порога Т. Отметим, что ранняя остановка поиска может быть отключена просто приравниванием порога нулю: Т = 0.

Сравним результаты оценки поля диспарантности предложенным алгоритмом D и алгоритмом MVFAST. Для удобства сравнения ниже приведены результаты, полученные для изображений рисунка 2.4, при параметрах алгоритма D: Xh = Хп = 0.1, \ = —, Ах = Ау = 1, Ah = А = 0.2, Ар Ф 180 Р д= — и параметрах алгоритма MVFAST: L=1, А=2, Т = 1, размер ф 180 блока 1х1. На рисунке 2.18 для примера приведены характерные оценки модуля сдвига точек изображения, соответствующих узлам, для одной строки опорного изображения. Рисунок 2.18,а соответствует использованию алгоритма MVFAST, рисунок 2.18,б - алгоритму D при набора параметров (hx,hy), рисунок 2.18,в - алгоритму D при набора параметров (р,ф). а) б) в)

Из рисунков видно, что алгоритм MVFAST, как и предложенный алгоритм D, позволяет получить достаточно точные оценки сдвигов узлов, однако в отличие от последнего на рисунке 2.18,а видны ошибки на границах изображения объекта и в областях внутри этого изображения. Пропуски внутри объекта возникают в малоконтрастных областях вследствие того, что САР в центре поиска для них часто не превышает порога Т. При размере блока в 1 пиксель задание порога Т = 0 также не решает эту проблему. Предложенный же алгоритм благодаря инерционности изменения оценок лишен данного недостатка.

В таблице 2.4 представлены значения математического ожидания и дисперсии погрешностей как для строки, так и для всего изображения. Из таблицы видно, что математическое ожидание погрешности оценивания алгоритма MVFAST для области движения практически аналогично алгоритму D при наборе параметров (hx,h ), но в несколько раз больше (примерно в 5 раз для строки, в 8 раз - для изображения), чем при алгоритме D при наборе параметров (р,ф). При этом дисперсия погрешности оценивания для области движения при алгоритме MVFAST в десятки раз превышает дисперсию при алгоритме D (для всего изображения в 13 раз при наборе параметров (hx,hy) и в 27 раз при наборе параметров (р,ср)).

Блок-схемы алгоритмов некоторых программных модулей

Аналогично может быть описана работа алгоритма блока 6.8 для параметров (р,Ф). Блоки 6.48-6.65 выполняют те же функции, что и блоки 6.30-6.47, соответственно. Также результат нахождения оптимальных значений параметров popt,q opt передается в блоке 6.11. Модуль вычисления оценок сдвига в узлах изображений БСА модуля вычисления оценок сдвига в узлах изображений приведена на рисунке 4.7. Она реализует вычисление оценок параметров деформаций для текущего узла изображения на основании оценки вектора деформаций для предыдущего узла и вычисленного значения псевдоградиента. Сначала в блоке 8.1 задаются координаты (i,j) узла опорного изображения, для которого будет вычислена оценка параметров деформации. Затем в блоке 8.2 осуществляется переход к соответствующей ветви алгоритма. Выбор ветви определяется используемым набором параметров вектора деформаций. Если в качестве набора параметров используются сдвиги по базовым осям в блоке 8.3 задается значение коэффициента усиления Xh, определяющего скорость изменения оцениваемых параметров. В блоке 8.7 - формируется оценка вектора параметров деформаций для предыдущего узла h = [hx,h ), а в блоке 8.5 находится вектор псевдоградиента р = (рАл.,РА ,) для точки

Далее в блоках 8.9 и 8.11 вычисляются оценки параметров деформаций для текущего узла: \ij)x =hx K sign(P/J, \ij)y =hy-Xh sign(p ) в соответствии с выражениями (2.4) и (2.5) соответственно. Результатом работы алгоритма является оценка вектора h. = \h{. .)x,h } ) (блок 8.13).

В случае, если заданным набором параметров вектора деформаций являются (р,ф) - его модуль и угол относительно оси х, тогда в блоке 8.2 осуществляется переход к блоку 8.4, в котором задаются значения коэффициентов р и А,ф. Далее в блоках 8.6 и 8.8 принимаются значения вектора псевдоградиента р = уЗр,Рф) для текущего узла (i,j) и значение деформаций для текущего узла в блоках 8.10 и 8.12: р.у =p- psign(pp), cp. cp- signfpj. Результатом является оценка вектора htJ =(ptJ,q tJ) оценки вектора параметров деформаций для предыдущего узла соответственно. По формулам (2.8)-(2.9), вычисляются оценки параметров j (блок 8.14).

Пример результатов (рисунок 3.9) работы программного обеспечения, реализующего восстановление, совмещение и комплексирование заданного фрагмента последовательности изображений приведен в разделе 3.4. Приведем еще один пример результатов решения задачи улучшения качества изображений распознаваемых автомобильных номеров. При этом задействованы модули загрузки последовательности изображений (2), интерполяции яркостей (3), вычисления компонент псевдоградиента (4), формирования поля диспарантности (7), вычисления оценок сдвига в узлах изображений (8), постобработки поля диспарантности (11), пороговой обработки (13), оценки параметров смаза (15), устранения эффекта смаза (16), оценки параметров МГД ДО ПГП (17), уточнения оценок МГД (18), совмещения изображений ДО (20). На рисунке 4.8,а приведены некоторые найденные фрагменты исходных изображений видеопоследовательности, содержащие автомобильный номер, на рисунке 4.8,б - восстановленные изображения фрагментов, 4.8,в – результат их совмещения и комплексирования. Исходная последовательность фрагментов изображений показана на рисунке 4.9.

Совмещение последовательности изображений с компенсацией эффекта смаза позволяет с удовлетворительным качеством восстанавливать фрагмент изображения движущегося объекта по видеопоследовательности.

Рассмотрим еще один пример экспериментальных результатов, которые были получены при использовании разработанного программного обеспечения, при решении задачи построения траектории движущегося объекта по кадрам видеопоследовательности. На рисунке 4.10 приведены несколько кадров обрабатываемой видеопоследовательности, на которой самолет совершает посадку на авианосец.

Требуется оценить и построить трехмерную траекторию движения самолета. Осложняющим обстоятельством при этом является то, что камера находится в движении (трясется), а ближе к завершению видео поворачивается в сторону приземляющегося самолета. Кроме того, при решении поставленной задачи морские волны являются коррелированной помехой.

С помощью разработанного программного обеспечения сначала стабилизируется изображение сцены, т.е. компенсируются колебания камеры, для чего осуществляется оценка МГД фона смежных кадров. Затем выполняется поиск и выделение области движущегося объекта. Используя полученные оценки поля диспарантности в области движущегося объекта, выполняется оценка МГД его изображений. В качестве модели деформаций объекта была использована модель подобия, включающая в себя параметры сдвига по базовым осям, коэффициента масштаба и угла поворота. Оценки этих параметров для движущегося объекта использованы для построения трехмерной траектории движения. Для выполнения описанных действий использовались все разработанные модули программ, кроме модулей 15 и 16, выполняющих оценку параметров и устранение эффекта смаза.

Приведем визуализацию результатов отдельных описанных этапов обработки видеопоследовательности. На рисунке 4.11 показан результат совмещения (привязки) 12 выборочных кадров видеопоследовательности (каждый третий кадр) с компенсацией глобальных межкадровых искажений фона. Разработанное программное обеспечение позволило получить модель фона, для чего все кадры видеопоследовательности приведены к единой системе координат (проведено преобразование локальных систем координат в глобальную), что дает возможность оценить положение движущегося объекта не относительно камеры, которая сама находится в движении, а относительно сцены. Из рисунка видна хорошая точность привязки фона.

На рисунке 4.12 приведены результаты оценки промежуточных параметров траектории (МГД в области движения кадров изображений видеопоследовательности), в качестве которых, как уже говорилось, использованы: параллельный сдвиг hx,hy угол поворота (р и коэффициент масштаба к. Указанные параметры представлены в форме их зависимостей от номера кадра.

Для наглядности на рисунке 4.13,а те же параметры представлены изометрически, здесь оси нижней плоскости соответствуют сдвигу по базовым осям, а высота столбцов - изменению масштаба изображения подвижного объекта. На рисунке 4.13,б центр движущегося объекта покадрово показан на изображении сцены квадратом белого цвета, при этом размер квадрата увеличивается в соответствии с оценкой изменения масштаба движущегося объекта. Наконец на рисунке 4.14 приведен результат обработки 34 кадров видеопоследовательности, представляющий собой трехмерную траекторию движения самолета в относительных координатах XYZ. Здесь за начало координат принято положение камеры в начальный момент съемки.

При наличии априорной информации (размера объекта, пространственного положения и параметров снимающей камеры и др.) полученные результаты могут быть пересчитаны для оценки таких параметров подвижного объекта как скорость, его положение, расстояние до камеры в заданный момент времени и других.