Содержание к диссертации
Введение
1 Проблемные вопросы теории и практики обработки изображений 9
1.1 Специфика предметной области 10
1.2 Анализ способов представления изображений и методы сопоставления изображений 12
1.3 Существующие методы обработки видеопотока, поступающего со стационарно расположенной камеры 25
1.4 Существующие методы обработки видеопотока, поступающего с камеры, расположенной на подвижном носителе 32
1.5 Постановка задачи диссертационного исследования 47
1.6 Основные результаты и выводы по материалам первой главы 49
2 Разработка методического аппарата обработки видеопотока 50
2.1 Обнаружение подвижных объектов 53
2.2 Использование инфракрасных снимков для уточнения маски движения 71
2.3 Идентификация наземного объекта 74
2.4 Основные результаты и выводы по материалам второй главы 79
3 Разработка алгоритма автоматической идентификации подвижных наземных объектов по анализу видеопотока 80
3.1 Предобработка 81
3.2 Выбор пары кадров для анализа 82
3.3 Определение подвижных наземных объектов 84
3.4 Комплексирование алгоритмов обработки изображений видимого и инфракрасного диапазонов 113
3.5 Определение характеристик найденных объектов и их идентификация 116
3.6 Основные результаты и выводы по материалам третьей главы 121
4 Экспериментальные исследования разработанного алгоритма идентификации подвижных наземных объектов по анализу видеопотока .123
4.1 Описание бортовой аппаратуры 123
4.2 Результаты моделирования 127
4.3 Результаты анализа видеофрагментов, полученных с борта беспилотного летательного аппарата 131
4.4 Результаты совместного анализа изображений видимого и инфракрасного диапазонов 141
4.5 Основные результаты и выводы по материалам четвертой главы 144
Заключение 146
Список использованной литературы
- Анализ способов представления изображений и методы сопоставления изображений
- Использование инфракрасных снимков для уточнения маски движения
- Комплексирование алгоритмов обработки изображений видимого и инфракрасного диапазонов
- Результаты анализа видеофрагментов, полученных с борта беспилотного летательного аппарата
Введение к работе
Актуальность работы
Одним из целевых направлений создания систем сбора и обработки видеоинформации является разработка бортовых систем видеослежения, предназначенных для обработки данных, поступающих с подвижных объектов, таких как самолёты, вертолёты, корабли, автомобили или танки. При решении таких задач, необходимо разработать и реализовать такой алгоритм поиска событий интереса, в результате выполнения которого они будут автоматически найдены и проанализированы. Стоит отметить, что, зачастую, обработку данных нужно производить в реальном времени. В этой ситуации время, отведённое на поиск событий, ограничено и напрямую зависит от скорости и объёма поступающих данных. Это приводит к требованиям повышения производительности бортовых компьютеров и снижения вычислительной сложности алгоритма. Бортовые системы видеослежения должны функционировать в полуавтономном, автономном и автоматическом режимах, требуя от оператора минимум действий и предоставляя ему необходимую информацию в наиболее удобной форме.
За последние десять лет было разработано достаточно большое число методов и алгоритмов обработки видеоданных. Созданы и успешно функционируют различные системы анализа видеоматериалов: система «Hawk-Eye» - программно-аппаратный комплекс, моделирующий траекторию спортивного снаряда; система «Стрелка» стационарный радарный комплекс контроля дорожного трафика и регистрации нарушений; компьютерная система видеоанализа (КСВА) «Бастион-Номер» -предназначена для считывания государственных регистрационных знаков (номеров) движущихся транспортных средств и их автоматического поиска по базам данных; детектор движения «IVA» (Intelligent Video Analysis) -система интеллектуального видеонаблюдения и анализа данных; система обработки видеоизображений «Охотник» - система автоматического обнаружения и сопровождения подвижных целей и многие другие. Но, к сожалению, алгоритмы, отлично работающие в одних условиях, совершенно непригодны для других.
При создании и автоматизации бортовых систем видеослежения, использующихся на беспилотных летательных аппаратах (БЛА), необходимо учитывать влияние помех различной природы. Данные условия
функционирования порождают ряд задач, связанных с трудностями обнаружения, разделения и параметризации сопровождаемых объектов, расположенных близко друг к другу, анализом траекторий сопровождаемых объектов, находящихся в поле зрения датчика изображений.
Существует ещё ряд причин, которые делают актуальным процесс автоматизации анализа видеопотока, получаемого с бортовой камеры БЛА: ограничения по дальности полёта БЛА каналом связи при дистанционной обработке данных оператором и существенная временная задержка в режиме постобработки данных.
Ещё одной важной особенностью задачи обработки информации, получаемой с датчиков, расположенных на борту БЛА, с целью идентификации объектов, находящихся на изображении, является отсутствие для исследуемых реальных ситуаций или объектов сколько-нибудь адекватных математических моделей, на базе которых можно было бы вести расчёты и получать количественные или качественные выводы.
Подводя итог вышесказанному, следует отметить, что, хотя и имеется большое количество разработанных алгоритмов анализа видеоданных, рассматриваемая область всё ещё является плохо исследованной. Таким образом, актуальность темы диссертации обусловлена недостаточной проработкой и большой практической значимостью вопросов анализа видеопотока, получаемого с бортовой видеокамеры БЛА.
Объектом исследования являются системы компьютерного зрения: системы видеонаблюдения, системы управления процессами и системы взаимодействия.
Предметом исследования являются методы и алгоритмы поиска подвижного объекта на видеоизображении с его последующей идентификацией.
Областью исследования являются информационно-измерительные и управляющие системы авиационной техники.
Целью диссертационного исследования является разработка системы поиска и идентификации подвижных наземных объектов (ПНО) в видеопотоке, получаемом с бортовой видеокамеры БЛА. Для достижения вышеуказанной цели в работе поставлены и решены следующие научно-технические задачи:
анализ существующих алгоритмов обнаружения, сопровождения и
идентификации подвижных объектов;
формализация условий работы разрабатываемой системы;
разработка математического обеспечения и проблемно-ориентированного программного обеспечения, позволяющего определять и идентифицировать подвижные наземные объекты в видеопотоке, получаемом с бортовой видеокамеры БЛА;
анализ совместной обработки данных, полученных в видимом и инфракрасном (ИК) диапазонах.
При исследовании использовались методы математического моделирования, компьютерного зрения, математическая статистика и теория вероятностей.
Научная новизна работы
Разработан алгоритм автоматического выделения ПНО в видеопотоке на основе анализа маски движения, который, в отличие от других алгоритмов, не требует привлечения дополнительной априорной информации об объекте наблюдения.
Разработана методика определения вектора межкадрового сдвига, сопоставляемых изображений видеопотока.
Разработан комплексный алгоритм, совместной обработки данных, полученных в видимом и ИК диапазонах, который в отличие от классических методов обработки ИК снимков не использует анализ спектральных характеристик изображений.
Реализован модернизированный алгоритм идентификации ПНО.
Получены результаты исследования, подтверждающие возможность реализации разработанного комплекса алгоритмов в реальном времени на бортовых вычислителях.
Научные результаты, выносимые на защиту:
-
Разработанный метод поиска ПНО в видеопотоке, получаемом с бортовой камеры БЛА, основанный на нахождении точечных особенностей изображения;
-
Разработанный метод комплексирования алгоритмов анализа снимков ИК и видимого диапазонов, полученных с борта БЛА, позволяющий уменьшить влияние помех и повысить надёжность работы системы идентификации ПНО с борта БЛА;
3. Модифицированный алгоритм идентификации ПНО. Практическая ценность работы состоит в следующем:
-Разработанный алгоритм формирования и анализа маски движения позволяет в автоматическом режиме выделять ПНО в видеопотоке.
-Реализованное проблемно-ориентированное программное обеспечение позволяет решать задачу идентификации ПНО в автоматическом режиме в реальном времени в условиях неполной априорной информации об объектах наблюдения.
- Сформулированы и обоснованы требования к характеристикам системы
идентификации ПНО.
-Разработанные алгоритм и программно-ориентированное программное обеспечение были использованы при выполнении НИР шифр "Тест-РИО". Имеется соответствующий акт от ОАО «НИИ ТП».
-Выполненные разработки легли в основу лабораторных работ по предмету «Информационные технологии», использованы при выполнении индивидуальных заданий в курсовом и дипломном проектировании кафедры «Информационные технологии». Имеется соответствующий акт от кафедры «Информационные технологии» МАИ.
- Полученные результаты использовались в НИР по гранту РФФИ проект
09-08-00689-а.
Достоверность и обоснованность полученных результатов подтверждается корректным применением методов математического моделирования, компьютерного зрения, математической статистики и теории вероятностей. Достоверность результатов работы подтверждается моделированием и экспериментальными данными.
Апробация работы. Основные положения диссертационной работы докладывались и были представлены на XII Международной молодежной научно-практической конференции «Человек и Космос», Днепропетровск, 2010, 10-ой Международной конференции «Авиация и космонавтика-2011», Москва, 2011, 11-ой Международной конференции «Авиация и космонавтика-2012», Москва, 2012, II international research and practice conference, Canada, April 17, 2013.
Публикации. Основные результаты диссертационной работы представлены в 3-х научно-технических статьях в изданиях, рекомендованных перечнем ВАК, и в 4-х работах других изданий, а также в 3-х отчетах по НИР по гранту РФФИ 09-08-00689-а.
Структура и объем диссертационной работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованных источников из 129 наименований. Общий объем работы 159 машинописных страницы, включая 62 рисунка и 7 таблиц.
Анализ способов представления изображений и методы сопоставления изображений
Сегодня технический уровень съёмочной аппаратуры позволяет получать необходимые данные оптимального качества для их автоматизированной или автоматической обработки. Накоплен опыт и имеется большое количество теоретических материалов, описывающих методы и алгоритмы обработки видеоданных [2,3]. Существуют современные вычислительные средства необходимой производительности для реализации тех или иных алгоритмов обработки данных. Но главной особенностью задачи обработки видеоданных на борту БЛА, с целью идентификации подвижных наземных целей, является отсутствие универсальных или общих математических моделей, которые позволили бы вести расчёты и получать качественные и количественные характеристики исследуемых объектов. Поэтому задачи обработки изображений можно отнести к плохо формализованной области, которые принято [4] делить на три основных типа: - Задачи моделирования основных процессов человеческого мышления. - Задачи формирования строгих математических моделей, применяемых в узконаправленных прикладных областях. - Создание алгебраических методов, описывающих необходимые преобразования информации и дающие конечные числовые характеристики.
Практическим доказательством возможности решения задач последнего типа служит существование решений плохо формализованных задач на основе некоторых комплексных алгоритмов без построения математических моделей реальных процессов [5]. Таким образом, принято полагать, что комплексные алгоритмы решения определённых задач являются моделями преобразований обрабатываемой информации. Такие комплексы алгоритмов создаются в процессе формализации анализа информации человеком, их обычно называют «алгоритмы распознавания» [6].
Основной подход в формировании комплекса частных алгоритмов заключается в экспериментальном подборе, комплексировании и, при необходимости, модернизации существующих алгоритмов, при этом учитывается специфика предметной области и ограничения, сформулированные в постановке задания. Данный принцип лежит в основе многих существующих систем, а также в современных научных разработках, что подтверждается многочисленными работами отечественных и зарубежных исследователей [7-10].
Задача идентификации движущихся объектов возникла довольно давно, но в силу своей специфики она до сих пор не имеет общего решения. Существуют лишь эффективные частные методы решения подобных задач.
Каждое изображение в отдельности содержит довольно сложную и комплексную информацию о наблюдаемой сцене, несмотря на простое описание самого изображения. Извлечь из изображений какую-нибудь структурированную и осмысленную информацию о наблюдаемой сцене невероятно сложно. Задача многократно усложняется, если видеопоток получен с движущейся камеры, особенно, если фиксируется динамическая сцена. Поэтому необходимы методы, которые позволили бы извлекать из видеопотока некоторую, хоть и неполную, но осмысленную и достаточно просто структурированную информацию об объектах сцены и её динамике. Для извлечения такой информации видеопоток представляют в виде пронумерованной последовательности кадров [1], и осуществляется анализ уже отдельной группы изображений. При этом выполняемые процедуры не должны приводить к потере информации, так как может быть утеряна межкадровая связь.
Необходимо учитывать условия съёмки и факторы, воздействующие на результирующее изображение, так как они непосредственно влияют на методы его последующего анализа.
Так как съёмка происходит в видимом диапазоне, то одним из самых значимых параметров является уровень освещённости объекта. В случаях частичного или полного затемнения объекта, слабой освещенности или съёмки в ночное время суток при отсутствии искусственного освещения объект становится малоразличимым и сливается с окружающим его фоном. Контуры объекта размываются, а при повышении контрастности изображения, оно сильно зашумляется, что делает его обработку невозможной. В связи с этим главным требованием к организации наблюдения за подвижными наземными объектами является ведение съёмки в условиях хорошей освещённости.
Также при организации наблюдения за подвижными наземными объектами следует учитывать возможный характер движения наблюдаемых объектов. Например, если речь идёт об обнаружении автомобиля [11], идущего по дороге, то и траектория движения БЛА должна распространяться вдоль этой дороги, а не поперек ей. Другими словами организация наблюдения должна максимизировать вероятность попадания и время пребывания объекта в поле зрения камеры, что позволит более точно определять его характеристики. Необходимо учитывать ограничение на скорость перемещения самого наземного объекта, т.к. малоподвижные объекты становятся неотличимы от подстилающей поверхности в случае их идентификации с борта БЛА.
Высота полета БЛА и масштаб съёмки должны обеспечивать оптимальное соотношение площади объекта интереса к самому кадру. В противном случае объекты интереса могут быть малоразличимы или отнесены к подстилающей поверхности из-за небольших или наоборот больших геометрических размеров объекта относительно самого изображения.
Наряду с вышеперечисленными условиями, большую роль на качество полученных данных оказывает система стабилизации видеодатчика БЛА. Вибрации различной природы приводят к зашумлению получаемого изображения или его «смазу». Отношение сигнал/шум при отсутствии стабилизирующего оборудования близко к единице, что не позволят выделить полезный сигнал. Для компенсации помех такого рода видеодатчик располагают на стабилизированной платформе [12].
Помимо внешних факторов, оказывающих непосредственное влияние на конечные данные, большое значение имеют характеристики самого видеодатчика, расположенного на борту БЛА [13]: частота кадров, угол обзора, разрешение, чувствительность, СКО внутреннего шума, динамический диапазон и т.д. Поэтому характеристики камеры должны обеспечивать заданное качество получаемого изображения.
Использование инфракрасных снимков для уточнения маски движения
Необходимо установить пороговое значение и для коэффициента взаимной корреляции maxr(k,l): если maxr(k,l) rnop, то с заданной вероятностью гарантируется соответствие определенной пары фрагментов. Значение порога определяется двумя параметрами: - функцией распределения коэффициента корреляции; - задаваемой доверительной вероятностью принятия решения о действительном соответствии фрагментов. Одним из главных недостатков данного метода является его чувствительность к искажениям, вызванными масштабными преобразованиями или изменениями ракурса съемки. Слежение за точечными особенностями сцены
Прежде, чем описывать методы слежения за точечными особенностями сцены необходимо ввести понятия точечной особенности (особой точки) сцены. Особая точка сцены или точечная особенность [57]- это такая точка сцены, изображение которой уникально и может быть описано относительно некоторой локальной областью, окружающей ее. При этом такая точка сцены должна отличаться от всех точек любых других изображений, не содержащих в себе фрагмент сцены, включающий в себя точечную особенность сцены. Таким образом, под точечной особенностью понимается такая точка сцены М, лежащая на плоском участке поверхности сцены, изображение окрестности которой можно отличить от изображений окрестностей всех других точек сцены N из некоторой другой окрестности этой точки 0(М)[58]. Сформулировав определение точечной особенности необходимо сформулировать определение точечной особенности изображения.
Точечная особенность изображения m - это такая точка изображения, окрестность которой о(т) можно отличить от окрестности любой другой точки изображения о(п) в некоторой другой окрестности особой точки.
В рамках вышеизложенного описания можно сформулировать задачу сопоставления двух изображений следующим образом: необходимо найти соответствия между точечными особенностями сравниваемых изображений, при этом определив некоторую меру сходства, которой будут удовлетворять одинаковые точки.
На сегодняшний день существует большое количество функций описания точечных особенностей изображения [59-61]. На практике, когда анализируются изображения, фиксирующие статичную сцену, обычно, используют функции, использующие для описания точки область, похожую на угол. Такие детекторы называют угловыми, они часто применяются из-за простоты реализации, но в сложных условиях съемки и быстрой Пример нахождения всех особенностей изображения изменчивости сцены такие детекторы не работают. Разработаны и более надежные детекторы, позволяющие учитывать возможную изменчивость сцены. Работа такого детектора (на примере SIFT [62]) проиллюстрирована на рисунке 1.7 и 1.8.
Пример выделения только устойчивых особенностей (выделена область и доминирующее направление) На первом рисунке показаны все найденные особые точки, а на втором выбраны только устойчивые и для наглядности обозначена соответствующая область.
Общая задача слежения за точечными особенностями сцены может быть сформулирована так: в заданной последовательности кадров некоторой сцены S, полученной с движущейся камеры, необходимо отследить координаты некоторых характерных точек сцены в каждом кадре. При этом никакая другая информация о сцене, кроме ее изображения не привлекается.
Стоит обратить внимание, что на изображениях возможно определить только особенности самого изображения, а не сцены. Естественно, что, по возможности, необходимо учитывать причину возникновения точечных особенностей изображения, а, значит, возможно учитывать некоторые искажения, которые могут быть описаны, например, аффинными преобразованиями.
Окрестность какой-либо точки сцены зависит от точки обзора, и, если на одну и ту же точку сцены взглянуть с разных ракурсов, то изображения окрестностей будут отличаться. Очевидным является утверждение, что чем дальше расположены точки обзора друг относительно друга, тем более значительными будут различия в изображениях, описывающих их областей. При съемке с подвижного носителя ракурс съемки постоянно изменяется, поэтому необходимо применять методы, способные обеспечить функционирование детектора в таких условиях.
В простейшем случае, среди всех найденных точек выбирается та, которая не только наиболее близка в рассматриваемой мере, но и находится на наименьшем расстоянии от этой же точки на предыдущем изображении. В таких случаях говорят, что применяются методы дискретизации оптического потока, то есть изменения отслеживаются не для всего изображения, а лишь для его конкретной области. Основными этапами работы системы слежения являются:
Детектирование - определение в 1-ом кадре особенности изображения; Слежение - для каждой особенности найти ее новое положение. Если камера подвижна, то от кадра к кадру часть точечных особенностей будет полностью исчезать, но, в тоже время, какие-то особенности будут появляться. Поэтому необходимо производить поиск точечных особенностей изображения для каждого рассматриваемого кадра.
В существующих системах слежения за особенностями по некоторому закону вычисляется качество точечной особенности и, если оно опускается ниже определенного уровня, то такая точка удаляется из рассмотрения. Некоторые системы ограничены слежением за определенным числом точечных особенностей, что может быть вызвано недостатком вычислительных ресурсов или же ситуацией, когда заданное число особенностей достаточно полно описывает изменения изображений.
За последнее десятилетие было создано огромное количество детекторов, отслеживающих точечные особенности. Основные различия между ними заключается в способе определения точечной особенности и меры сходства их описаний.
Комплексирование алгоритмов обработки изображений видимого и инфракрасного диапазонов
Выбор областей поиска происходит по средствам автоматического сегментирования изображения, вьшолняющегося итеративно. В качестве алгоритма сегментации был выбран алгоритм, основанный на методе разрастания областей Chan-Vese. В качестве меры сходства выбрано евклидово расстояние D(z,a):
Геометрическое место точек S, таких что D(z,a) D0 и есть результирующая область, где D0 - пороговое значение. Значение яркости по каждой найденной области Sj усредняется. Пороговое значение пересчитывается на каждой итерации, как 10% от среднего расстояния между всеми найденными областями SJ:
В результате сегментации исходное изображение разбивается на некоторое количество однородных областей, причем работа алгоритма сегментации выполняется до тех пор, пока мера сходства D(z,a) для каждой области не будет превышать найденного порога Do Таким образом, вычисляются координаты точек лежащих внутри каждой найденной области. Затем из рассмотрения удаляются те точки, которые лежат внутри каждой области на расстоянии составляющим 50% от расстояния до центра тяжести рассматриваемой области. Эта операция по своей сути напоминает «вырезание» сердцевины. Далее, оставшиеся точки изображения анализируются алгоритмом SIFT [ПО] с целью нахождения точечных особенностей изображения.
Предложенная модификация, в среднем, позволяет сократить количество точек-кандидатов на 30-40%, уменьшая время, затраченное на их обработку. Проведенные эксперименты показали, что для одного и того же изображения размером 560x380 пикселей (см. рисунок 1.7) количество точечных особенностей, найденных модифицированным алгоритмом SIFT (324) и его стандартной версией (352), почти не отличается, разность не превышает 10%, при условии, что время, затраченное на обработку уменьшилось почти на треть. Именно благодаря этой модификации становится возможным применение признакового анализа при обработке сравниваемых кадров в режиме реального времени. Если сравнивать количество устойчивых точек, то разница между модифицированным и стандартным алгоритмом SIFT не будет превышать 5%.
Помимо временных характеристик, необходимо проанализировать влияние разработанной модификации на качество получаемых результатов на последующих этапах обработки. Наибольшее влияние количество найденных устойчивых точечных особенностей изображений оказывает на результаты вычисления вектора межкадрового сдвига, так как для получения конечного результата используются осредненные результаты. Проведенные эксперименты показали, что уменьшение количества устойчивых точек на сравниваемых изображениях на 5%, приводит к отклонению результирующих значений длины и направления межкадрового сдвига менее, чем на 0,07%. Данная погрешность вычислений не оказывает существенного влияния на конечные результаты определения ПНО и их идентификацию. Основные этапы работы алгоритма SIFT представлены на рисунке 3.6.
Алгоритм SIFT (Scale Invariant Feature Transform - инвариантные к масштабу преобразования признаки) впервые был опубликован Дэвидом Лоу [110] в 1999 году. В данной работе использован вариант алгоритма, описанный в последней публикации 2004 году.
На первом этапе, при формировании набора различных масштабов изображения, согласно экспериментам проведенным Дэвидом Лоу [111], необходимо воссоздать 3 масштабных преобразования для получения наибольшего количества устойчивых признаков (точечных особенностей изображения). При этом одно преобразование увеличивает исходное изображение, с использованием линейной интерполяции, а два других уменьшает. Во всех масштабных преобразованиях коэффициент масштабирования равен 2. В своих исследованиях Лоу показал [112], что увеличение изображение в 2 раза, увеличивает количество устойчивых признаков, примерно, в 4 раза, но при большем возрастании масштаба значительных улучшений не наблюдалось. Таким образом, формируется некая пирамида различных масштабов изображения.
На втором этапе, каждое изображение полученной пирамиды размывается фильтром Гаусса некоторое количество раз. Исходное изображение описано функцией яркости - 1(х,у), где х, у - координаты точки на изображении I. Результирующее изображение Цх,у,а) получается путем размытия исходного некоторой мультипликативной сверткой Гауссианы G(x,y,o)[113]:
Подобные преобразования выполняются некоторое количество раз, пошагово изменяя значение а на постоянную величину, называемую константным масштабным фактором. Согласно исследованиям Лоу [36], количество ключевых точек, найденных на исходных изображениях, а затем найденных на искаженных, растёт с увеличением а. Однако, вычислительная сложность большого значения о очень высока, поэтому используется рекомендованное значение 0=1,6. Значение константного масштабного фактора вычисляется по формуле: k = 2s, (3.5)
На следующих двух этапах производится поиск экстремумов функции разности Гауссиан D(x,y,a) для всех масштабов и локализация найденных экстремумов. Эти экстремумы и будут являться искомыми точечными особенностями изображения (ключевыми признаками). Для определения локальных максимумов и минимумов функции D(x,y,a), как показано на рисунке 3.8, каждая точка сопоставляется с восьмью соседними, девятью точками с большим и девятью точками с меньшим масштабом [114]. Рассматриваемая точка назначается ключевым признаком, если ее значение превосходит все соседние точки (точка максимума) и, соответственно, не превосходит все соседние точки (точка минимума). Вычислительная сложность такого сопоставления достаточна низкая, при учете, что большинство точек отбрасывается после двух-трех сопоставлений.
Локализация найденных экстремумов заключается в уточнении местоположения, масштаба и соотношения кривизны по осям. Это помогает отклонить точки, имеющие низкий контраст (и поэтому чувствительные к шуму), или локализованные вдоль края объекта.
На завершающих этапах происходит определение ориентации вектора градиента в каждой локализованной области и составление дескриптора. Для получения устойчивого признака изображения L(x,y) недостаточно найти точку, отличающуюся от соседних, только своим значением, также необходимо учесть направление Э(х,у) и величину т(х,у) изменения функции яркости (вектора-градиента) для каждого соседнего пикселя. Направление в(х,у) вычисляется, как вектор-градиент по формуле (3 Л):
Далее формируется гистограмма ориентации, как матрица из 36 столбцов, каждый из которых покрывает 360, и состоит из 8 значений, описывающих направление вектора-градиента относительно точки экстремума. Все величины, записанные в гистограмму, нормируются для рассматриваемой области. Доминирующее направление является максимумом гистограммы. Такое описание позволяет создать инвариантные к масштабу и повороту признаки изображения. Стоит отметить, что перед составлением гистограммы ориентации векторы-градиенты вычисляются для всех уровней пирамиды. На рисунке 3.9(a) проиллюстрировано построение векторов градиентов.
Результаты анализа видеофрагментов, полученных с борта беспилотного летательного аппарата
По результатам совместного анализа видеофрагментов видимого и ИК диапазонов, в среднем было зафиксировано 5 ошибок I рода и 1 ошибки II рода, при 460 случаях верного определения ПНО, следовательно, вероятности появления ошибок I и II рода равны 0,0107 и 0,003 соответственно, а вероятность верного определения ПНО равна 0,9804.
Из таблицы 4.6 видно, что применение комплексного алгоритма совместной обработки видеофрагментов полученных в ИК и видимом диапазонах, увеличило вероятность верного обнаружения ПНО и уменьшило вероятность появления ошибки I рода, при такой же вероятности появления ошибки II рода.
Проведенные эксперименты показали, что применение комплексного алгоритма анализа снимков, полученных в ИК и видимом диапазонах позволяет уменьшить влияние помех, увеличивая вероятность верного обнаружения ПНО, однако применение данного алгоритма увеличивает результирующее время обработки, которое в результате превышает длительность обрабатываемых видеофрагментов. В среднем превышение, составляет около 5%, то есть работа системы идентификации с использованием разработанного комплексного алгоритма будет осуществляться в режиме времени, близком к реальному.
Основные результаты и выводы по материалам четвертой главы
1. Проведена классификация существующих БЛА с целью определения тех типов БЛА, которые способны обеспечить функционирование разработанной автоматической системы идентификации ПНО (массогабаритные характеристики).
2. Проведен анализ и классификация современных цифровых камер для установления существующего технического уровня фиксирующих устройств и определения диапазона некоторых параметров, влияющих на функционирование системы.
3. Сформулированы требования к результирующим изображениям, представляемым к обработке.
4. Сформулированы требования к бортовому вычислителю, необходимые для функционирования разработанной системы в указанных условиях.
5. Представлены результаты моделирования и приведены результаты тестирования разработанного алгоритма определения ПНО и модифицированного алгоритма идентификации ПНО, которые были реализованы в экспериментальном ПО. Полученные результаты позволили сделать вывод о работоспособности разработанного ПО.
6. Полученные результаты обработки реальных данных позволили определить значения вероятностей верного определения ПНО и появления ошибок I и II рода. В среднем, вероятность верного обнаружения ПНО при его попадании в кадр равна 0,9831, а вероятность появления ошибок I и II рода - 0,0152 и 0,0033 соответственно. Вероятность верной идентификации объекта, в случае его верного обнаружения, равна 0,9534. Также полученные результаты обработки реальных данных показали полностью корректную работу разработанного экспериментального ПО и подтвердили возможность функционирования разработанной автоматической системы идентификации в указанных условиях в режиме реального времени.
7. Анализ обработки данных с использованием комплексного алгоритма анализа изображений, полученных в ИК и видимом диапазонах, подтвердил работоспособность разработанного алгоритма. В результате проведенных экспериментов были получены значения вероятностей верного определения ПНО - 0,9957, появления ошибки I рода - 0,0107 и появления ошибки II рода - 0,003. Данные результаты позволяют сделать вывод об улучшении качества определения ПНО при использовании комплексного алгоритма анализа. Недостатком разработанного ПО является превышение длительности обработки видеофрагментов их продолжительности. Это превышение, в среднем, составляет 5%.
1. На основании анализа существующих теоретических и практических разработок в области обработки изображений были сформулированы цель диссертационного исследования и задачи, необходимые для ее достижения.
2. Обоснована возможность использования комплекса частных алгоритмов обработки изображений, без разработки обобщенной математической модели, для решения поставленных задач диссертационного исследования.
3. Разработан метод определения ПНО в видеопотоке, получаемом с бортовой видеокамеры БЛА, основанный на анализе точечных особенностей, получаемых модифицированным алгоритмом SIFT. Предложенный метод, также использует разработанную методику определения вектора межкадрового сдвига.
4. Модифицирован алгоритм идентификации ПНО, основанный на сопоставлении рассматриваемого изображения с эталонами. Предложены методы определения некоторых характеристик анализируемых изображений, позволяющих применять данный алгоритм в режиме реального времени. Этими характеристиками являются ориентация ПНО относительно изображения, диапазон масштабов, необходимых для сопоставления, и области поиска, соответствующие выставленным стробам.
5. Предложена функция, отражающая степень сходства сравниваемых дескрипторов S(d\d"), учитывающая в отдельности различия между соответствующими координатами дескрипторов. Экспериментально определены пороговые значения отклонения длины 8L и угла 8а векторов, составляющие 15% и 5% от средних значений длины и углов векторного поля соответствий, необходимые для определения результирующего значения вектора межкадрового сдвига.
6. Получена зависимость числа ошибок I и II рода от значения относительного порога изменения яркости А на этапе формирования маски движения. Экспериментально установлено значение порога Д=0,15, при котором выполняется установленное требование к отношению числа ошибок I и II рода. Полученная зависимость позволяет быстро подбирать пороговое значение А в зависимости от предъявляемых условий функционирования системы.
7. Сформулированы требования к бортовому вычислителю и съемочной аппаратуре, необходимые для функционирования разработанной автоматической системы идентификации ПНО с борта БЛА.
8. Полученные результаты обработки реальных данных позволили определить значения вероятностей верного определения ПНО и появления ошибок I и II рода. В среднем, вероятность верного обнаружения ПНО при его попадании в кадр равна 0,9831, а вероятность появления ошибок I и II рода - 0,0152 и 0,0033 соответственно. Вероятность верной идентификации объекта, в случае его верного обнаружения, равна 0,9534. Также полученные результаты обработки реальных данных показали полностью корректную работу разработанного экспериментального ПО и подтвердили возможность функционирования разработанной автоматической системы идентификации ПНО в указанных условиях в режиме реального времени.
9. Разработан комплексный алгоритм обработки изображений видимого и ИК диапазонов, основанный на анализе точечных особенностей изображений. Применение разработанного комплексного алгоритма возможно при наличии соответствующей съемочной аппаратуры на борту БЛА, синхронизированной по времени.
