Содержание к диссертации
Введение
1 Аналитический обзор и систематизация методов комплексирования изображений 10
1.1 Анализ режима комплексирования в многоканальной системе наблюдения 11
1.2 Повышение разрешения изображения 12
1.3 Задача привязки изображений 15
1.3.1 Методика привязки изображений 17
1.3.2 Селекция характерных точек 18
1.3.3 Блочные методы 19
1.3.4 Модель трансформации 22
1.4 Методы синтеза разноспектральных изображений 23
1.4.1 Многомасштабное преобразование 26
1.4.2 Вейвлет-синтез 28
1.4.3 Синтез с приоритетом ТВ изображения 29
1.5 Выводы и постановка задачи диссертационной работы 29
2 Привязки изображений разных диапазонов спектра 32
2.1 Особенности привязки ТВ иТПВ изображений 32
2.2 Критерий согласования блоков 34
2.2.1 Критерий максимума взаимной информации 34
2.2.2 Предобработка 38
2.2.3 Сокращение времени вычисления 40
2.2.4 Стратегия поиска 42
2.3 Сравнительный анализ критериев согласования 48
2.4 Результаты и выводы 53
3 Синтез изображений разных диапазонов спектра 54
3.1 Описание метода локального синтеза 54
3.2 Обнаружение объектов интереса по яркости 57
3.3 Обнаружение объектов по признаку движения 70
3.3.1 Алгоритм определения оптического потока 70
3.3.2 Выделение движущихся объектов 82
3.4 Синтез изображений и маркировка объектов интереса 86
3.5 Оценка качества синтеза 87
3.6 Результаты и выводы 89
4 Оценка результатов комплексирования и практичесьсая реализация разработаного алгоритма 90
4.1 Общая схема алгоритма комплексирования 90
4.2 Комплексирование ТВ и ТПВ изображений 92
4.3 Конструкция многоканальной системы наблюдения 98
4.4 Программное обеспечение и аппаратная реализация 100
4.5 Результаты и выводы 104
Заключение 105
Список использованых источников 107
- Методы синтеза разноспектральных изображений
- Критерий максимума взаимной информации
- Обнаружение объектов интереса по яркости
- Комплексирование ТВ и ТПВ изображений
Введение к работе
Актуальность темы. Современные многоканальные оптико-электронные системы наблюдения (МСН) имеют в своем составе датчики различной физической природы. Каждый датчик обладает уникальными свойствами и характеристиками и вносит свой вклад в изображение, которое анализирует человек-оператор комплекса. МСН позволяют вести круглосуточное и всепогодное наблюдение, обнаружение, сопровождение наземных и воздушных объектов, выполнять охрану периметра, разведку местности, оценку состояния техногенной, экологической обстановки, мониторинг местности в условиях чрезвычайных ситуаций.
Большое распространение получили системы, снабженные тепловизионной (ТПВ) и телевизионной (ТВ) камерами. Тепловизионный канал предназначен для получения на экране монитора изображения в инфракрасном (ИК) диапазоне спектра (3..5 мкм - ближний ИК, 8.. 14 мкм - дальний ИК). Данный канал позволяет обнаруживать и идентифицировать объекты, обладающие тепловым контрастом. Телевизионный канал обладает цветовым контрастом и предназначен для получения изображения наблюдаемой сцены в видимом диапазоне спектра (0,38...0,76 мкм).
Полезная информация, необходимая для принятия решения оператором, может быть распределена между изображениями разного спектра. В этом случае оператор вынужден анализировать несколько изображений и сопоставлять их между собой, что приводит к задержкам в принятии решения. Особенно критичны данные задержки в работе оператора комплекса беспилотного летательного аппарата, оборудованного бортовой МСН. По этой причине целесообразно выводить на дисплей комплексированное изображение, синтезированное из исходных ТПВ и ТВ кадров. Такой режим позволяет повысить информативность системы, объединив на одном кадре детали наблюдаемой сцены в инфракрасном и в видимом диапазонах спектра.
В большинстве работ, посвященных данной задаче, не учитывается факт пространственного смещения изображений, обусловленного конструктивными особенностями МСН, либо рассматриваются частные случаи решения данной проблемы, например для фиксированного формата камеры. Тем не менее, в некоторых работах задачу комплексирования разбивают на два этапа: привязку, необходимую для пространственного совмещения изображения, и непосредственно синтез изображений, позволяющий объединить информацию разного спектра.
В настоящее время не существует единого алгоритма комплексирования изображений в МСН. В существенной степени это связано с тем, что оценка качества предъявляемых изображений является субъективной и зависит от психофизиологических особенностей оператора, решаемой задачи и условий наблюдения.
Разработанные на данный момент алгоритмы синтеза имеют одну общую особенность: объединение информации происходит без учета целевой задачи. В то время как в ряде применений МСН целевой задачей оператора является поиск, распознавание и слежение за объектами интереса (человеком и техникой).
Будем считать, что с целью обеспечения требуемой информативности изображений, необходимой для принятия обоснованных решений, повышения точности и быстродействия работы и снижения утомляемости оператора, предъявляемое комплексированное изображение должно обеспечивать:
Отображение основной информации, содержащейся в исходных ТВ и ТПВ изображениях;
Максимально точную привязку ТВ и ТПВ изображений;
Выделение (подчеркивание) объектов интереса в соответствие с решаемой целевой задачей.
Реализация указанных функций позволит повысить качество предъявляемых оператору изображений.
Поиск объектов интереса может быть реализован с использованием анализа наблюдаемой сцены, в частности, алгоритмов статистического распознавания и алгоритмов обнаружения по признакам движения.
Решение указанных задач является актуальным, поскольку позволит повысить эффективность работы оператора.
Целью диссертационной работы является повышение качества предъявляемых оператору изображений за счет комплексирования исходных изображений разных диапазонов спектра и выделения (контрастированием и/или маркировкой) предполагаемых объектов интереса.
Достижение поставленной цели связано с выполнением следующих этапов исследования:
Анализ существующих методов привязки с целью выбора наиболее эффективного критерия сравнения разноспектральных изображений.
Разработка методики оценки ошибки привязки разноспектральных изображений.
Разработка алгоритмов обнаружения предполагаемых объектов интереса.
Разработка метода повышения качества предъявляемых оператору изображений на основе выделения объектов интереса.
Объектом исследования является многоканальная оптико-электронная система наблюдения.
Предметом исследования является процесс комплексирования предъявляемых оператору изображений, полученных в инфракрасном и видимом диапазонах спектра.
Методы исследования. Исследования выполнены с использованием аппарата математического моделирования, математической статистики, компьютерного зрения, теории информации. Моделирование проводилось в
среде Matlab, Borland Delphi и с использованием пакета ImageJ. Для реализации алгоритма использовались языки С и C++ в среде программирования Texas Instruments Code Composer Studio для DSP-процессоров серии TMS320C64x.
Научная новизна. В диссертационной работе получены следующие новые научные результаты:
Разработан метод привязки ТВ и ТПВ изображений, основанный на критерии максимума взаимной информации. Метод является инвариантным к яркостному различию изображений.
Разработана методика оценки качества алгоритмов привязки ТВ и ТПВ изображений, основанная на вычислении радиуса корреляции изображений. Методика позволяет получить оценку точности использованного критерия максимума взаимной информации.
3. Разработан метод локального синтеза ТВ и ТПВ изображений,
основанный на обнаружении и маркировании предполагаемых объектов
интереса. Метод позволяет повысить качество предъявляемых оператору
изображений.
Научные положения, выносимые на защиту:
1. Новый метод и соответствующий алгоритм привязки изображений
разных диапазонов спектра, основанные на критерий максимума взаимной
информации и позволяющие оценить параметры трансформации: смещение и
коэффициент масштаба;
2. Методика оценки качества алгоритмов привязки ТВ и ТПВ
изображений, основанная на вычислении радиуса корреляции изображений и
позволяющая получить оценку точности использованного критерия взаимной
информации;
3. Рекомендации по использованию алгоритмов обнаружения объектов (на базе метода Отцу, модифицированного алгоритма Отцу, критерия Фишера) на типовых сценах, наблюдаемых на ТПВ изображении;
4. Алгоритм обнаружения предполагаемых объектов интереса по
признакам движения на ТПВ изображениях, основанный на методе Лукаса-
Канаде;
5. Метод локального синтеза, обеспечивающий повышение
эргономического качества предъявляемых оператору изображений и
основанный на обнаружении и выделении (контрастированием и/или
маркировкой) предполагаемых объектов интереса.
Практическая ценность полученных в диссертационной работе результатов:
1. Разработанный метод привязки изображений разных диапазонов спектра на основе критерия максимума взаимной информации обеспечивает более точную оценку, чем распространенные корреляционные методы. В частности, средняя ошибка определения смещения в 10-15 раз меньше,
чем при использовании метода суммы модуля разности, а ошибка определения изменения масштаба меньше на 20-25%.
Разработанный метод локального синтеза, основанный на вычислении адаптивного порога сегментации ТПВ изображения и выделении предполагаемых объектов интереса, позволяет повысить качество предъявляемых оператору изображений в 1,5-2 раза
Комплексирование ТВ и ТПВ изображений многоканальной системы наблюдения позволит снизить информационную загруженность оператора и повысить надежность его работы.
Апробация работы. Основные положения и результаты диссертации докладывались на VIII-й Всероссийской научно-технической конференции «Проблемы совершенствования робототехнических и интеллектуальных систем летательных аппаратов» (МАИ, 2010), 9-й Международной конференции «Авиация и космонавтика - 2010» (МАИ, 2010), научно-технической конференции «Техническое зрение в системах управлениях» (ИКИ РАН, 2011).
Реализация на практике. Разработанное программное обеспечение комплексирования ТВ и ТПВ изображений использовано в процессе проводимых исследований и испытаний в Технологическом Парке Космонавтики «Линкос» в рамках НИР «Интриган», ОКР «Интриган-Д2» и «Тайфун-М-ОЭС», что отражено в акте внедрения кандидатской диссертационной работы.
Публикации. По результатам диссертационной работы опубликовано 4 работы, в том числе 2 научно-технических статьи в изданиях, включенных в перечень ВАК.
Объем и структура работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы (63 наименования). Работа содержит 112 страниц машинописного текста, 53 рисунка, 8 таблиц.
Методы синтеза разноспектральных изображений
В зарубежной литературе широкое распространение получил термин «image fusion» - что на русский язык может быть переведено как слияние или синтез изображений. Помимо снижения объема данных, цель синтеза в создании новых изображений, которые более удобны с точки зрения восприятия человеком/машиной, а также для дальнейших задач обработки, таких как сегментация, обнаружения объектов, распознавание цели, применяемых при дистанционном зондировании и в медицинских приложениях. Например, телевизионное и инфракрасное изображения могут быть синтезированы в единое для помощи пилотам при выполнении посадки в условиях плохой видимости.
Различают системы синтеза на основе одного и нескольких датчиков. Первые широко применяются в задачах повышения разрешения многокадровыми методами. В этом случае информация с последовательности кадров используется для формирования единого кадра, разрешение которого превосходит исходное разрешение видеопоследовательности. Иллюстрация однодатчиковой системы показана на рисунке 1.5.
По представленной на рисунке схеме функционирует система многокадрового повышения разрешения (раздел 1.2)
Однако возможности данной системы ограничены характеристиками используемого датчика. Так датчик, работающий в видимом диапазоне спектра, такой как видеокамера, хорошо функционирует в ярко освещенных условиях, но не приспособлен для темных, ночных сцен и неблагоприятных условий, таких как дождь и туман.
В системах синтеза, состоящих из нескольких датчиков, комбинируются изображения с нескольких сенсоров и формируется единое композитное изображение. На рисунке 1.6 приведена иллюстрация данной системы. В данном примере ТПВ датчик дополняет ТВ камеру и происходит синтез двух изображений. Такой подход позволяет бороться с проблемой систем на одном датчике, поскольку телевизионная камера хорошо приспособлена для дневных условий, а тепловизионная камера позволяет получить качественное изображение в слабоосвещенных условиях. система на нескольких датчиках имеет следующие преимущества [37]:
Расширенный рабочий диапазон - несколько сенсоров, которые работают в различных условиях эксплуатации, могут использоваться для расширения рабочего диапазона. Например, различные сенсоры могут использоваться для функционирования в дневных/ночных условиях. 2. Расширенная пространственная и временная зона охвата — объединенная информация от датчиков различного пространственного разрешения может увеличить пространственную зону охвата. То же справедливо для временной зоны охвата. 3. Уменьшенная неопределенность — объединенная информация от нескольких датчиков может уменьшить неопределенность, связанную с процессом восприятия или принятия решения. 4. Повышенная надежность — синтез множества измерений может уменьшить шум и как следствие повысить надежность измеряемой величины. 5. Устойчивая работа системы - избыточность множества измерений обеспечивает устойчивость системы. В случае если один из датчиков выходит из строя или его характеристики ухудшаются - система может функционировать на основе другого датчика. 6. Компактное представление информации — синтезе приводит к компактному представлению. Например, при дистанционном зондировании, вместо того, чтобы хранить совокупность изображений различного диапазона спектра, эффективней хранить информацию после синтеза. Наиболее важный вопрос при синтезе — как комбинировать принимаемые изображения. В последние годы был предложен ряд методов синтеза. Примитивный синтез выполняется непосредственно с исходными изображениями. Например, вычисляется среднее значение соответствующих пикселей, исходных монохромных изображений. Этот упрощенный подход часто имеет побочный эффект — ослабление контрастности [2]. С введением пирамидальной трансформации начали появляться- более сложные подходы [5]. Было обнаружено, что можно добиться лучших результатов, если синтез производится в области Фурье-преобразования. Вполне подходящим для этой цели оказалось и пирамидальное преобразование. Основополагающая идея заключается в том, чтобы для каждого изображения выполнить многомасштабное разложение, далее объединить все изображения на разных масштабных уровнях в композитное представление и восстановить полномасштабный кадр. Было разработано и использовано множество пирамидальных разложений для синтеза изображений, таких как: пирамида лапласианов, морфологическая пирамида, пирамида градиентов [4]. Позже, с развитием теории вейвлетов, стали применять многомасштабное вейвлет разложение [2]. По сути, вейвлет преобразование может рассматриваться как особый вид пирамидального разложения. Оно содержит основные преимущества для синтеза изображений, но имеет более сложное теоретическое обоснование.
Понятие многомасштабного анализа было инициировано Бертом и Аделсоном [38], которые ввели многомасштабное представление изображения, названное пирамидой Гаусс-Лапласианов. Его идея в декомпозиции исходного изображения, основанной на обработке полосовым фильтром. В результате каждый уровень пирамиды представляет собой различную полосу пространственных частот.
Пирамида изображения может быть описана, как набор низкочастотных копий оригинального изображения, на которых и полоса частот и плотность меняются с постоянным шагом [2],[39]. Если рассматривать пирамиду Лапласианов, то многомасштабное пирамидальное преобразование разлагает изображение на множество разрешений на разных масштабах. На рисунке 1.7 представлена схема пирамидального многомасштабного представления..
Собственно пирамида - это последовательность изображений, где каждый уровень является отфильтрованной и сжатой копией предыдущего. Самый низкий уровень пирамиды имеет то же разрешение,,что и исходное изображение и включает информацию о наивысшем разрешении.
Критерий максимума взаимной информации
Комплексирование изображений различного спектра в многоканальной системе наблюдения состоит из двух последовательных этапов.
На первом»этапе, пространственном совмещении, выполняется привязка двух изображений. Это позволяет устранить исходное рассогласование, обусловленное конструктивным несовпадением визирных осей каналов и ошибкой установки требуемого угла зрения. Алгоритмы привязки построены на вычислении корреляционной функции от двух изображений. Предварительные исследования показали, что из-за специфических особенностей ТПВ и ТВ изображений, традиционно используемая в задачах привязки функция кросс-корреляции, а также суммы абсолютной разности и фазовой корреляции показали недостаточную эффективность их применения в задачах пространственного совмещения разноспектральных изображений.
Второму этапу, непосредственно, синтезу изображений различного спектра, посвящено множество трудов. Сложность подобного синтеза состоит в неопределенности назначения яркости каждому пикселю предъявляемого оператору синтезированного изображения. В частности, ряд методов основан на кратномасштабной или частотной декомпозиции исходных, изображений и их синтезе на. каждом уровне [2]. В качестве критерия оценки эффективности этих методов в работе [2] использован средний квадрат ошибки (между результирующим кадром и исходным); данная мера позволяет судить только о яркостном сходстве. В [V8]і описаны подходы, основанные на фильтрации ТПВ кадра и прямом суммировании с исходным ТВ кадром.
Как показывает анализ литературы, существующие методы, синтеза имеют одну общую особенность: объединение информации происходит без учета целевой задачи наблюдения.
Одной из основных целевых задач оператора, реализуемых с помощью рассматриваемого класса МСН, является наблюдение некоторых объектов интереса. В связи с этим, представляется актуальным реализовать анализ исходных кадров на предмет присутствия на наблюдаемой сцене объектов интереса: живой силы и техники, и на основе данного анализа выполнить локальный синтез изображений в тех областях кадра, где обнаружен объект интереса. При этом, для повышения информативности предъявляемого оператору изображения, объект может быть выделен контрастированием или маркировкой, например, стробом.
Таким образом, целью диссертационной работы является повышение качества предъявляемых оператору изображений за счет комплексирования исходных изображений разного спектра и выделения (контрастированием и/или маркировкой) предполагаемых объектов интереса. На основе проведенного анализа и сделанных выводов сформулируем задачи диссертационной работы, которые необходимо решить для достижения поставленной цели: Разработка алгоритма привязки изображений различного спектра при начальном различии в разрешении, масштабе и линейном смещении. Разработка метода оценки ошибки привязки изображений. Разработка метода локального синтеза ТПВ и ТВ изображений с учетом выделения объектов интереса на предъявляемом оператору изображении. Разработка и исследование алгоритмов обнаружения предполагаемых объектов по яркости и признакам движения. Разработка алгоритма комплексирования ТВ и ТПВ изображений, включающего процедуры пространственного совмещения и синтеза изображений с выделением объектов интереса. Разработка комплекса программ, реализующего разработанную методику и модели. Глава посвящена разработке и исследованию метода привязки телевизионного и тепловизионногсь изображения. Метод учитывает конструктивные особенности многоканальной системы наблюдения и различную природу получаемых изображений. Привязка является первым этапом в задаче комплексирования. Достигнутая на этом этапе точность оценки параметров трансформации изображений разного спектра значительно влияет на качество результирующего изображения. В разделе Т. 1 описаны особенности привязки ТВ и- ТПВ изображений. В разделе 2.2 предложен критерий сравнения изображений на основе взаимной информации, исследованы методы оптимизации поиска параметров трансформации. В разделе 2.3 проведен сравнительный анализ предлагаемого критерия и корреляционных методові В разделе 2.4 сделаны выводы по главе. В работе для реализации пространственного совмещения предлагается? подход, основанный на классическом методе привязки, изображений. По причине неоднозначности при выделении на изображениях разного спектра характерных точек, предлагается использовать блочный метод. В таком случае привязки будет состоять из следующих этапов: 1) Согласование блоков 2) Оценка параметров модели трансформации 3) Трансформация изображений В соответствии с рассмотренными в разделе 1.3 процедурами на 1-ом этапе методики необходимо сформировать блоки и вычислить корреляционную функцию для соответствующих блоков. На 2-ом этапе требуется разработать алгоритм оценки параметров относительной трансформации исходных кадров. В соответствии с описанными конструктивными особенностями МСН, за основу выбрана аффинная модель трнасформации (1.10) без параметра угла поворота. Результирующая модель трансформации Т будет включать 3 параметра: смещения по каждой оси (dx,dy) и коэффициент масштаба между соответствующими блоками S.
Обнаружение объектов интереса по яркости
Этап комплексирования изображений следует после привязки исходных ТВ и ТПВ кадров. Существующие методы синтеза, обеспечивающие формирование яркостной составляющей выходного изображения, не учитывают целевой задачи наблюдения: Так же не рассматривается возможность сохранения: полноцветности результирующего? кадра при исходном цветном;ТВ;изображении и полутоновом ТПВ:
Третья: глава диссертации посвящена разработке метода синтеза изображений, разных диапазонов спектра; ориентированного на- решаемую целевую задачу, ш основанного на выделениш предполагаемых объектов интереса.
Віразделе 3.1; описан предлагаемый метод локального синтеза.. В; раз деле 32 описаналгоритмюбнаружения объектов наіТПВ&изображении;По;яркости; описан алгоритм обнаружениядобъектовшнтереса,пошризнакам; движения. В разделе 3.4 описан алгоритм синтеза ТВІшТІТВ изображения,с маркировкой предполагаемых объектов интереса., Віразделе 3.5 выполнена оценкакачествасинтеза .ВІразделеїЗ бсделаньївьіводьгпо; главе:.
Будем считать, что- качество синтезируемого изображения определяется; наличием; контрастно выделенных объектов интереса [8];[10],[53]. Если объектами интереса являются живая сила и техника; то в ряде случаев например,, в условиях маскировки, задымленности, тумана данные объекты; в видимом спектре имеют низкую контрастность. В г то? же время на ТИВ. изображении;, эти объекты имеют наибольшую- яркость. Предлагаемая методика; синтеза построенаг на выделении (контрастированием и/или маркированием) предполагаемых объектов интереса. В качестве критерия поиска объектов были выбраны два признака:
Яркостной признак обусловлен тем, что живая сила и техника имеют тепловое излучение выше излучения фона и контрастны на ТПВ изображении. Признак движения позволяет уменьшить ошибку распознавания в условиях наблюдения, когда тепловое излучение фона- близко к излучению объекта: нагревание поверхностей на солнце, маскировка объекта и охлаждение при неблагоприятных погодных условиях, элементы инфраструктуры. Значения двух признаков вычисляются независимо и результат объединяется при синтезе изображений. На рисунке 3.1 показана схема алгоритма синтеза. На вход алгоритма поступает: - ТПВ кадр повышенного разрешения; - ТВ кадр, трансформированный после выполненной привязки; - Данные, зафиксированные датчиками и подсистемами МСНна( момент получения изображений: координаты, время и дата — соответствуют освещенности и средней температуре в данное время года и суток. Температура и влажность - корректирует средний уровень по погодным условиям, тип объекта позволяет судить о максимальной температуре излучения. - База типовых сцен содержит установленные пороги для типовых условий наблюдения и может иметь вид, показанный в таблице 3.1. Для соответствующего времени суток (день, ночь, сумерки) и климатических показателей (средняя текущая температура Т и влажность г) представлен экспертные оценки изменения порога среза. База может иметь более сложную, 3-х мерную структуру и учитывать другие факторы: например, местность наблюдения (город/ пересеченная местность/ помещение). Возможно расширить базу на отрицательные температуры. Определение типа сцены заключается в чтении информации с датчиков МСН и непосредственный анализ изображения с целью получения полного вектора, описывающего наблюдаемую сцену. В блоке «Определение порога сегментации по базе типовых сцен» вычисляется пороговое значение яркости. Пикселям, имеющим яркость меньшую, вычисленного порога, присваивается нулевое значение, остальные сохраняют оригинальное значение. Поиск объекта по признаку движения1 основан на вычислении глобального движения кадра и выделении областей; включающих вектора движения, превышающих глобальное. Вектора движения вычисляются алгоритмом Лукаса-Канаде. Формирование синтезированного1 кадра происходит с учетом. информации о движении и полученного: порога; среза. Предлагается: сохранить полноцветность ТВ изображения, модифицируя лишь.красную компоненту цвета в техобластях, где: на. ТПВ кадре выделены объекты. Задача обнаружения.объектов интереса вшеременных неопределенных условиях наблюдения является одной из наиболее:сложных в области систем технического? зрения; Многочисленные методы»; решения данной, задачи описаны, например; в[}13];:[55];[56];[57]. В настоящей работе, в1 связи с ограничением вычислительных ресурсов MGH, были исследованы 3 подходакобнаружению;объектов:. 1. Метод, основанный на сегментации Отцу [58]; 2. Модифицированный метод. Отцу, учитывающий особенности. гистограмм ТПВ: изображений; 3. Статистический алгоритм обнаружения по критерию максимального правдоподобия Фишера.. Є целью оценки эффективности указанных подходов были разработаны соответствующие алгоритмы и программы. Каждый алгоритм позволяет определить некоторый порог по яркости. Если яркость какого-либо пикселя на текущем изображении превышает найденный порог Вср, то принимается решение об обнаружении искомого объекта. При поиске целевых объектов на ТПВ изображении по яркости, целесообразно перейти к анализу гистограммы. Живая сила и работающая техника имеют высокое тепловое излучение, предполагается, что данные объекты будут иметь наибольшую яркость на ТПВ кадре и необходимо определить порог В , ниже которого пиксели принадлежат фону.
Комплексирование ТВ и ТПВ изображений
В качестве основных результатов главы отметим следующие: Разработан алгоритм синтеза изображений разных диапазонов спектра, основанный на обнаружении на исходном ТПВ изображении объектов интереса. Для обнаружения объектов по яркостному признаку предложено осуществлять сегментацию ТПВ изображения на основе модифицированного метода Отцу и разработанного статистического подхода. Разработан алгоритм обнаружения объектов интереса по признаку движения, основанный на вычислении оптического потока. Предложена оценка качества алгоритма синтеза- на основе вычисления величины контрастности объекта интереса. Глава посвящена экспериментальным подтверждениям полученных в работе теоретических результатов и анализу вычислительной реализуемости разработанных алгоритмов. В разделе 4.1 представлена общая блок-схема разработанного алгоритма комплексирования. В разделе 4.2 представлены результаты комплексирования ТВ и ТПВ изображений на основе разработанной методики; В разделе 4.3 представлено описание конструкции МСН на примере модернизируемого комплекса. В разделе 4.4 рассматриваются вопросы аппаратной реализации. В разделе 4.5 приведены выводы по главе. На. рисунке 4.1 представлена общая схема разработанного алгоритма комплексирования. На вход алгоритма поступают ТВ и ТПВ кадры исходного разрешения (1024x768 и 320x240 пикселей соответственно). Для ТПВ кадра выполняется увеличение разрешения однокадровым либо многокадровым методом [раздел 1.2]. Привязка двух изображений осуществляется блочным методом на основе критерия взаимной информации (2.1). Подробная блок-схема алгоритма привязки рассмотрена на рисунке 2.14. Привязка позволяет оценить параметры относительной деформации исходных изображений, вызванной конструктивными особенностями MGH [раздел 1.1]. На основе вычисленной оценки параметров (x,y,s), выполняется трансформация ТВ кадра (смещение и изменение масштаба). . Блок-схема алгоритма комплексирования Для реализации предложенной в работе методики синтеза [раздел 3.1], выполняется сегментация ТПВ изображения. При сегментации используются данные, доступные в МСН [раздел 4.2] и текущее ТПВ изображение. ТПВ изображение используется для обнаружения движущихся объектов. По предыдущему и текущему кадру производится вычисление межкадрового движения [раздел 3.3]. Области, которым соответствуют вектора движения отличные от глобального движения кадра, выделяются стробом. Формирование результирующего кадра происходит на основе трансформированного ТВ изображения, сегментированного ТПВ кадра и информации о размерах и координатах строба. На рисунках 4.2-4.6 представлены исходные ТПВ и ТВ кадры до привязки (а,б) и результаты синтеза после привязки существующим методикам (в,г) и предлагаемым алгоритмом локального синтеза (д,е). Как видно из представленных результатов, предлагаемый алгоритм позволяет наиболее точно сохранить исходный ТВ кадр при контрастном локальном отображении тепловых объектов, которые на цветном изображении выделяются в красном канале. На рисунках 4.2-4.6 (д) представлен результат синтеза для полутоновых исходных изображений для корректного сопоставления с результатами по существующим методикам. . На сценах со сложным фоном и малыми размерами объектов интереса ( 15%) (рисунки 4.2, 4.6) предлагаемая методика обеспечивает значительное повышение качества: обеспечивается сохранение информации с исходного ТВ-кадра, выполнено точное маркирование объекта. На сценах со сложным фоном и крупными размерами объекта ( 15%) сохраняется точность и контрастность, но могут быть потеряны отдельные детали объекта (рисунок 4.3). Значительное преимущество предлагаемая методика обеспечивает при схожести цветов ТВ и ТПВ изображения. На рисунке 4.6 при синтезе существующими алгоритмами объект не контрастен на фоне белого снега. В ходе выполнения диссертационной работы, в рамках специальности 05.13.01 «Системный анализ, управление и обработка информации (Информатика, управление и вычислительная техника)», получены следующие основные научные и практические результаты:
Решена актуальная научно-техническая задача комплексирования изображений разных диапазонов спектра в многоканальных системах наблюдения. В качестве модернизируемой системы рассматривался серийный комплекс, в состав которого входит тепловизионная (ТПВ) и телевизионная (ТВ) камеры. В рамках решаемой задачи комплексирования исследованы два последовательных этапа: привязка и синтез изображений. 2. Предложен новый метод привязки изображений, полученных в разных диапазонах спектра, основанный на критерии максимума взаимной информации и позволяющий оценить параметры трансформации: смещение и коэффициент масштаба. 3. Разработана методика оценки качества алгоритмов привязки ТВ и ТПВ изображений, основанная на вычислении радиуса (интервала) корреляции изображений. Методика позволяет получить оценку точности использованного критерия. В частности показано, что средняя ошибка определения смещения в 10-15 раз меньше, чем при использовании метода суммы модуля разности, а ошибка определения изменения масштаба меньше на 20-25%. 4. Разработан алгоритм обнаружения предполагаемых объектов интереса по признакам движения на ТПВ изображениях, основанный на определении оптического потока методом Лукаса-Канаде; 5. На основе проведенных исследований, разработаны рекомендации по использованию на типовых сценах, наблюдаемых на ТПВ изображении, алгоритмов обнаружения объектов: - на базе метода сегментации Отцу; - предложенного модифицированного алгоритма Отцу с адаптивным порогом; статистического алгоритма на основе критерия максимального правдоподобия Фишера Кроме того, ряд результатов получен в соответствии со специальностью 05.11.16 «Информационно-измерительные и управляющие системы (авиационная и ракетно-космическая техника)»: 6. Разработан метод локального синтеза, обеспечивающий повышение эргономического качества предъявляемых оператору изображений, основанный на выделении (контрастированием и/или маркировкой) предполагаемых объектов интереса. Метод позволяет повысить качество предъявляемых оператору изображений в 1,5-2 раза.
