Содержание к диссертации
Введение
1 Составные КФ для распознавания полутоновых изображений 11
1.1 Составные корреляционные фильтры 12
1.1.1 СДФ фильтры с равными корреляционными пиками 15
1.1.2 Фильтр с минимальной средней энергией корреляции 17
1.1.3 Фильтры с минимальной дисперсией 20
1.1.4 Фильтры с минимальной средней энергией корреляциисо сглаживающими функциями 22
1.1.5 Фильтр с максимальной средней высотой корреляционного пика 27
1.1.6 Фильтр с оптимизацией энтропии 29
1.1.7 Фильтр с минимальным шумом и энергией корреляции 31
1.1.8 Оптимальные компромиссные фильтры 33
1.2 Метрики в корреляционном распознавании. Оценка результата применения фильтра 34
1.2.1 Отношение "сигнал-шум" 35
1.2.2 Отношение "пик-склон" 36
1.2.3 Отношение первичного пика корреляционного выхода к вторичному 37
1.2.4 Отношение "пик-энергия корреляции" 37
1.2.5 Световая эффективность
1.3 Лазерные системы корреляционного распознавания полутоновых изображений 38
1.3.1 Коррелятор с фильтрацией в плоскости пространственных частот 39
1.3.2 Коррелятор с фильтрацией в предметной плоскости 40
Сравнение дискриминационных характеристик вариантов КФ с минимизацией энергии корреляции 43
2.0.3 Описание задачи распознавания 44
2.0.4 Результаты моделирования 47
Особенности синтеза и применения фильтра с минимальным шумом и энергией корреляции 56
3.1 Анализ задачи распознавания 56
3.1.1 "Сложность" объектов 56
3.1.2 Проблема фона объекта
3.2 Максимальная ёмкость фильтра 64
3.3 Распознавание изображений, полученных из разных источников 67
3.4 Задача многоклассового распознавания 71
3.5 Особенности применения корреляционных метрик 74
Реализация фильтра с использованием перспективных средств модуляции света 78
4.1 Синтез голографических фильтров 79
4.2 Экспериментальное восстановление импульсных откликов инвариантных фильтров с компьютерно-синтезированных голограмм 82
4.3 Реализация фильтра в виде проекции на модуляционные характеристики ПВМС. Сравнение с голографическими фильтрами 87
4.3.1 Сравнение с голографическими фильтрами 100
4.4 Реализация КФ при набеге фазы в амплитудном ПВМС
Распознавание полутоновых изображений, полученных с по мощью аэросъёмки 106
5.1 Распознавание изображений аэрофотосъемки в различных атмосферных условиях 106
5.2 Распознавание радиолокационных изображений 110
5.3 Распознавание объектов видеопоследовательности 111
Заключение
- Фильтры с минимальной средней энергией корреляциисо сглаживающими функциями
- Отношение "пик-энергия корреляции"
- Особенности синтеза и применения фильтра с минимальным шумом и энергией корреляции
- Реализация фильтра в виде проекции на модуляционные характеристики ПВМС. Сравнение с голографическими фильтрами
Фильтры с минимальной средней энергией корреляциисо сглаживающими функциями
Составные КФ были разработаны для решения задачи распознавания при наличии искажений, которые не могут быть описаны математическими преобразованиями координат (к примеру, аффинные преобразования). Данный вид фильтров синтезируются из нескольких обучающих (эталонных или эталонных и ложных) изображений, содержащих информацию об ожидаемом виде искажений. По средствам составных фильтров возможно распознавание любых типов объектов подвергнутых любым типам искажений при условии наличия дескриптивного (информативного) по отношению к объекту и типу искажений обучающего или как еще его называют тренировочного набора изображений. Формирование данного обучающего набора является одной из важнейших задач синтеза композитных корреляционных фильтров. Результат использования составных фильтров любого типа подразумевает распознавание объекта, для которого они были синтезированны при некотором наборе точек обзора и/или состояний объекта, и в тоже время отклонение любых других объектов. Другими словами, фильтр должен показывать высокий уровень корректного распознавания при низком уровне ошибки. Значимым для синтеза композитных фильтров является вопрос выбора обучающего набора изображений распознаваемого объекта. В общем случае обучающий набор должен содержать информацию об ожидаемых искажениях входного сигнала, обусловленных изменением спектральной характеристики объекта, искажениями вносимыми приёмником, геометрическими искажениями. В идеальном случае спектральный диапазон, в котором был получен обучающий набор, должен совпадать со спектральным диапазоном приемника. Но на практике это условие не всегда выполнимо, вследствие чего приходится прибегать к использованию компьютерно-синтезированных моделей объектов. Также бывает достаточно затруднительным использование большого числа обучающих изображений, подробным образом описывающих ожидаемые искажения объекта, ввиду накладываемого им условия на размер хранилища данных и производительность вычислительной системы синтезирующей фильтр. Таким образом, желательно синтезировать составные фильтры способные к распознаванию объекта подверженного искажениям, не представленным явным образом в обучающем наборе. Данная способность определяет степень обобщенности фильтра.
Основной идеей построения составных корреляционных фильтров является синтез функции h[x,y], основанный на комбинации обучающих изображений объекта. Обучающим набором изображений для составных корреляционных фильтров являются изображения объектов одного или нескольких классов, подвергнутых априори известному типу искажений (прим. поворот объекта в горизонтальной плоскости).
Пусть s[x,y] - сигнал на входе корреляционной системы. Пусть также h[x, у] - импульсный отклик системы. В случае оптической системы, импульсный отклик может быть реализован в виде фильтрующего элемента с коэффициентом пропускания H[fx, fy] = J- jhfx, у]}, размещенным в плоскости пространственных частот системы. Здесь J {} обозначает преобразование Фурье, fx и fy - координаты в плоскости пространственных частот. Результирующий корреляционный сигнал на выходе системы будет иметь вид:
При синтезе составного корреляционного фильтра, импульсный отклик h[x,y] требуется выбирать таким образом, чтобы результирующие корреляции с любым из N входных изображений объектов одного класса давали одинаковые значения только в пределах этого класса.
Фильтры с синтезируемой дискриминационной функцией (SDF - synthetic discrimination function, СДФ) [5,6] - были первым типом составных корреляционных фильтров. Идея разработки данного фильтра заключается в получении предопределенных значений центра результирующего корреляционного поля при использовании в качестве входного сигнала обучающих изображений объекта. Например, в двуклассовой задаче данными предопределенными значениями центра корреляционного поля могут быть 1 для обучающих изображений объектов первого класса и 0 для изображений объектов второго класса. Также предполагается результат использования фильтра продемонстрирует близкие к 1 значения центра корреляционного поля для изображений объектов первого класса не вошедших в обучающий набор и близкие к О - для второго. Таким образом, используя данный фильтр и вычисляя значение центра корреляционного поля, мы можем классифицировать объекты по отношению к двум классам.
Применение СДФ фильтра накладывает жесткие требования к локализации объекта во входной сцене, т.к. единственным анализируемым параметром является центр результирующего корреляционного поля. Однако, положительное свойство корреляционного метода распознавания - инвариантность к смещению объекта во входной сцене, может быть использовано, в случае, если предопределяемые нами значения центра корреляционного поля будут являться - максимумом корреляционного поля (так называемым корреляционным пиком) для одного класса, и минимумом для другого. Это возможно только при достаточной дискриптивности обучающего класса. Соответственно анализируемым параметром в этом случае является не центр корреляционного поля, а корреляционный пик. В общем случае решение системы линейных уравнений, соответствующее выше описанным условиям, не существует, т.к. количество отсчетов изображения как правило превышает количество изображений обучающего набора, в следующем разделе более подробно описана данная проблема и представлены базисные решения или как еще их называют проекции СДФ.
Отношение "пик-энергия корреляции"
Ранее в разделе 1.1 упоминалось, что использование инвариантных корреляционных фильтров (КФ) позволяет эффективно решать задачу распознавания объектов в условиях различного рода искажений входного изображения, таких как шум, помехи, искажения геометрии и изменение условий освещенности анализируемого объекта. Инвариантность распознавания достигается за счет учета информации об ожидаемых дефектах входного сигнала при синтезе фильтра и параметризации, в некоторых случаях несущей настроечный характер. Одним из базовых методов создания КФ является синтез составных КФ. Первым представителем данных фильтров стал КФ СДФ в развитие идеи был продемонстрирован целый ряд вариантов составных КФ, в том числе МСЭК, МСЭКГ, МШЭК. Синтез последних основан на минимизации энергии корреляционного поля, служащей параметром наряду со значением корреляционного пика. Такие КФ могут обеспечить высокое качество распознавания, благодаря возможности контроля характеристик корреляционного пика. Данные фильтры имеют общую идею синтеза, но при этом отличаются отражающимися на результате их использования особенностями. Для решения практических задач возникает необходимость в подробном анализе возможных вариантов фильтров с целью нахождения решения соответствующего конкретной постановке задачи. 2.0.3 Описание задачи распознавания
Предметом моделирования и анализа использования КФ является их дискриминационная характеристика, т.е. возможность по средствам КФ различать два или более классов объектов представленных в виде изображений. При этом данная задача имеет несколько параметров оценки. 1. Необходимая степень дискриптивности обучающего набора изображений объекта и максимальная емкость фильтра, по отношению к поставленной задаче распознавания (к примеру, ракурс обзора, пространственно-частотная характеристика сигнала) 2. Оценка уровня возможной ошибки распознавания 3. Степень устойчивости дискриминационной характеристики к наличию аддитивного шума в изображении объекта
Соответственно результатами анализа служили минимально и максимально возможное число тренировочных изображений (MinlmgNum, MaxImgNum) при которых сохраняется возможность распознавания, значение наилучшим образом подходящих параметров синтеза фильтра (для МСЭКГ фильтра ширина сглаживающей функции Гаусса - GmaceGausWidth, для МШЭК фильтра фактор шума - MinaceNoiseParam), максимально допустимая дисперсия аддитивного белого гауссового шума - MaxNoiseVar, значение оценки ошибки распознавания (Error), вычисляемое по критерию Неймана-Пирсона.
В качестве анализируемых объектов были выбраны модели танков (масштаб 1:35) Leopard2, Abrams, Chieftain, Т-72 (рис. 2.0.2). Выбранным видом искажения объектов было вращение вне плоскости сцены. Для получения необходимого набора изображений, производилась съёмка моделей с двух ракурсов (при 0, 30 от горизонта) при повороте в горизонтальной плоскости на 360 с шагом в 1. Установка для получения изображений объекта, включающая шаговый двигатель, камеру и систему освещения отображена на рис. 2.0.1 . Таким образом, в нашем распоряжении было по 2 х 360 = 720 изображений для каждого из 4-х объектов. При съёмке использовался однородный, контрастирующий с цветом объекта фон, в последствии была произведена сегментация изображения объекта по средствам дистанции Маха-ланобиса [61], затем изображения были переведены в полутоновое представление. Размер изображений составлял 256 х 256 пикселей, максимально возможный размер объекта (положение в профиль) составлял 180 пикселей, минимально (положение фас) 50 пикселей. Было произведено уравнивание суммарной яркости изображений.
Изображения объектов при повороте на 0, 45, 90 в горизонталвной плоскости. Угол 0 от горизонта. Слева направо: Abrams, Chieftain, Leopard2, Т-72 Рис. 2.0.3: Изображения объектов при повороте на 0, 45, 90 в горизонталвной плоскости. Угол 30 от горизонта. Слева направо: Abrams, Chieftain, Leopard2, Т-72
Критерием распознавания было выбрано пороговое значение, образующиеся как максимальное из всех значений корреляционных пиков в случае входного ложного объекта. Таким образом, задача распознавания считалась успешно решенной при условии, что все значения корреляционных пиков в случае входного эталонного объекта лежали выше порогового значения. Число эталонных пиков равнялось числу имеющихся изображений эталонного объекта - 720, соответственно ложных - 3 х 720 = 2160. При этом не учитывалась априорная информация о местонахождении пика в результирующем корреляционном поле и его поиск осуществлялся как поиск максимального значения поля.
В состав фильтра входили изображения только эталонного объекта. Выбор изображений эталонного объекта (за эталонный объектов принималась одна модель танка, остальные танки рассматривались как класс ложных объектов) формирующих обучающий набор осуществлялся следующим образом. Изначально синтезировался фильтр из одного изображения (первого входящего в обучающий набор) выбранного случайным образом. Затем, из оставшихся изображений выбиралось изображение, дающее наименьший корреляцион ный пик с полученным фильтром. Это изображение добавлялось в состав обучающего набора. Из получившегося тренировочного набора (двух изображений) вновь формировался фильтр и осуществлялся поиск третьего, дающего наименьший корреляционный пик из всех оставшийся изображений и т.д. Синтез фильтров производился в частотной плоскости.
Добавление тренировочных изображений эталонного объекта (одного из танков) осуществлялось до тех пор, пока все значения корреляционных пиков получающегося фильтра и имеющихся изображений эталонного объекта не превышали пороговое значение определяющееся как максимальное из всех значений корреляционных пиков того же фильтра и имеющихся изображений ложных объектов (трёх оставшихся танков). Оценкой влияния параметров фильтров (GmaceGausWidth-МСЭКГ, MinaceNoiseParam-МШЖ) служила величина ошибки распознавания Error.
Таким образом, приоритет был установлен на минимизацию MinlmgNum и после выполнения критерия распознавания начиналось варьирование данных параметров и если Error уменьшалась, производилось сокращение значение MinlmgNum при сохранении критерия распознавания.
Особенности синтеза и применения фильтра с минимальным шумом и энергией корреляции
Основным способом формирования светового сигнала является применение пространственно-временных модуляторов света (ПВМС). В настоящий момент наибольшую популярность в задачах формирования пространственного светового сигнала (изображений) имеют жидкокристаллические (ЖК) и микромеханические ПВМС.
ЖК ПВМС - один из наиболее массово выпускаемых типов оптоэлектрон-ных приборов. Технология ЖК ПВМС постоянно развивается, в настоящее время основными направлениями совершенствования ЖК ПВМС являются увеличение быстродействия и контраста за счёт применения новых типов ЖК (таких, как ферро-ЖК и др.) и дальнейшего развития технологии интеграции управляющих элементов на матрице модулятора (TFT и аналогичные технологии). На настоящий момент достижимы (в разных комбинациях): размерность до 5000x5000 отсчетов и выше, контраст до 103, частота кадра единицы килогерц (при размерности порядка 10 хЮ отсчетов) [68], размеры отсчёта от единиц мкм до единиц мм, возможна коррекция разброса фазовой задержки в отсчётах.
Микромеханические ПВМС в настоящее время используются при построении устройств отображения информации. В настоящее время доступны микромеханические ПВМС как массово производимые устройства. На настоящий момент возможны: размерность 10 хЮ отсчетов и выше, частота кадра 50кГц [69,70]. Достижимый контраст микромеханических ПВМС определяется в большей степени дифракционными свойствами оптических систем, формирующих и проецирующих изображение.
Перечисленные типы модуляторов предоставляют возможность осуществления либо амплитудной, либо фазовой модуляции света. Несмотря на все усилия разработчиков, эффективных и доступных средств для осуществления полной комплексной модуляции на настоящее время не создано; полная комплексная модуляция с использованием современных ПВМС в принципе возможна при последовательном использовании амплитудного и фазового модуляторов, как это продемонстрировано например в [71]; такой подход, однако, в настоящее время крайне сложен и «дорог» технически.
Таким образом реализация комплексных фильтров является актуальной задачей и требует применения специальных подходов, среди которых на практике наиболее распространены два: сведение фильтра к виду удовлетворяющему характеристикам ПВМС (к примеру, чисто фазовому /амплитудному) или использование голографических методов. В первом случае принципиально не всегда возможно обеспечить достаточную близость синтезированного отклика системы к требуемому. Во втором случае возрастают требования к числу отсчётов устройств ввода фильтра, что особенно критично в случае необходимости динамического ввода; впрочем современные технологии часто позволяют такие требования удовлетворить.
В оптической схеме коррелятора КФ могут быть представлены синтезированным дифракционными объектами - Фурье-голограммами (далее гологра-фический фильтр, ГФ). Методы синтеза ГФ подробно рассмотрены в работах [3,72].
Для исследования возможности реализации КФ МШЭК в виде ГФ использовалась база изображений шести объектов представленная в разделе 3.1.1. В качестве геометрического искажения рассматривался поворот на 90 в горизонтальной плоскости через 1 и отклонение угла обзора от горизонтальной плоскости на 80 через 10, т.е. четверть от полного телесного угла обзора. Таким образом в тестировании фильтра участвовало по 810 изображений каждого объекта. Сам фильтр включал в себя половину от общего числа (810) обучающих изображений эталонного объекта, т.е. 405 изображений. Поиск множителя обучающего спектра мощности шума осуществлялся следующим образом: по результатам сравнения огибающей спектра мощности обучающих изображений и огибающей обучающего спектра мощности шума нижний предел множителя был выбран таким образом, что вторая огибающая целиком находилась под первой, соответственно верхним пределом являлось значение, при котором первая огибающая целиком находилась под второй. Результат, выраженный в зависимости значения оценки ошибки распознавания от значения множителя шума, приведен на рис. 4.1.1
Зависимость оценки ошибки распознавания от значения множителя обучающего спектра мощности шума с указанным минимальным значением
Видно снижение оценки ошибки распознавания на 1% при введение обучающего спектра мощности шума с оптимальным множителем 0.94 в состав фильтра. Снижение значения оценки ошибки распознавания свидетельствует о повышении степени инвариантности КФ по отношению к выбранному типу искажений внутри класса из-за снижения степени влияния мелких деталей объекта на результат действия фильтра. Полученный оптимальный КФ был представлен в виде голографического фильтра (рис. 4.1.2).
Скорость переключения современных ПВМС обратно пропорциональна динамическому диапазону представления пропускания, наиболее быстрыми устройствами являются бинарные ПВМС (фазовые/амплитудные) [16]. В связи с чем актуальной является задача рассмотрения влияния ограничения глубины градации полутонового представления ГФ на дискриминационные характеристики исходного КФ. Для этого из множества методов сегментации (методов, ведущих к снижению глубины градации полутонового представления) изображений были выбраны два: метод деления гистограммы на равные части и метод мульти-Отсу [73,74]. Первый метод отличается своей простотой и соответствующей низкой требовательностью к вычислительным ресурсам, второй метод ранее показал интересный результат по увеличению степени дискриминации в задаче распознавания [16]. Предельными результатами применения данных методов являются бинарные представления изображений (голографических фильтров), представленные на рис. 4.1.2.
Реализация фильтра в виде проекции на модуляционные характеристики ПВМС. Сравнение с голографическими фильтрами
Оперативное корреляционное распознавание хорошо подходит для решения задач распознавания объектов, изображения которых получены с помощью аэросъемки. Причем, благодаря высоким скоростным характеристикам данного метода получаемым при использовании лазерных систем корреляционного распознавания задача может расширяться до распознавания объекта на видеопоследовательности и применяться в системах реального времени. При этом возможно использование непосредственной связи результатов распознавания смежных кадров, для повышения качества распознавания [79].
На примере изображений местности, запечатленной в различных атмосферных условиях было проведено апробирование корреляционного метода распознавания с применением КФ МШЭК. В обучении фильтра участвовали 9 первых из 10 тестируемых изображений рис. 5.1.1. Результирующий корреляционный выход представлен под соответствующим ему изображением на рис. 5.1.2
Изображения местности в различных атмосферных условиях и соответствующие корреляционные выходы
Результат демонстрирует сохранение высоты корреляционного пика в случае изображений входящих в состав КФ и деградацию его значения в случае не участвовавшего в обучении изображения. Однако, форма пика при этом сохраняется, что дает нам возможность повысить распознаватель характеристики фильтра посредством использования более сложных корреляционных метрик
Далее был рассмотрен вариант с меньшим числом изображений входящих в состав фильтра. Изображения представленные на рис. 5.1.3 участвовали в обучении фильтра. Полученный результат представлен на рис. 5.1.4.
Также была рассмотрена возможность расширения обучающего набора изображений посредством изменения параметров контраста и яркости у имеющихся обучающих изображений. Таким образом, состав обучающих изображений был увеличен с трех до девяти (рис. 5.1.5). Результаты применения полученного фильтра представлены на рис. 5.1.6
Результат показывает увеличение значений корреляционных пиков, что свидетельствует о улучшение характеристик фильтра по отношению к случаю трех обучающих изображений. Таким образом, подтверждается гипотеза о возможном синтетическом расширении обучающего набора за счет манипуляций с параметрами яркости и контраста изображений.
С целью проверки возможности использования КФ в задачах распознавания с использованием радиолокационных изображений, было проведено следующее моделирование. Объектами исследования были радиолокационные изображения БМП2, БТР70 и Т72 представленные на рис. 5.2.1. В обучении фильтра участвовали радиолокационные изображения объекта Т72 в отсутствии фона. Результат корреляционного выхода также представлен на рис. 5.2.1.
Из полученных данных видно, что значение корреляционного пика в случае объекта эталонного класса превышает значения корреляционных пиков в случае объектов ложного класса. Также несмотря на наличие шумового фона легко заметить, что форма корреляционного пика сохраняет свой вид.
С целью проверки возможности применения фильтра в условиях реальных постановок задачи корреляционного распознавания было проведено моделирование распознавания объекта на видеопоследовательности.
С этой целью видеопоследовательность была переведена в покадровое представление. Кадры были переведены в полутоновое представление. Один из кадров представлен на рис. 5.3.1. Далее был выбран объект (дом) присутствующий на как можно большем количестве кадров. Последовательностью операций фильтрации изображения, перевода его к бинарному виду и морфологической обработки были получены изображения выбранного объекта представленные на рис. 5.3.2. Данные изображения составляли обучающий набор для синтезируемого фильтра, амплитуда которого также представлена на рис. 5.3.2. На изображениях обучающего набора вида существенная степень искажения объекта артефактами видеозаписи и поворотом камеры.
Условиях реальных постановок задачи корреляционного распознавания возрастает актуальность задачи выбора изображений в обучающий набор фильтра. Так как наличие совпадающих изображений или изображений представляющих комбинацию друг друга приведет к невозможности синтеза фильтра.
В результате расчета кросс-корреляционной функции полученного фильтра и последовательности кадров были получены корреляционные поля одно из которых представлено на рис. 5.3.3. Далее применяя метрику РСЕ описанную в разделе 1.2.4 был определен порог, определяющий расположение распознаваемого объекта во входном изображении.
На полученной из серии изображений видео последовательности корреляционных выходов прошедших пороговую обработку видно сохранение привязки области интереса при движении камеры к выбранному объекту, изображения которого участвовали в обучении фильтра.