Введение к работе
Актуальность темы диссертации. Развитие оптико-электронной аппа-гуры (ОЭА) военного назначения привело к созданию комплексных систем, в торых применяются приборы, основанные на использовании различных фи-ческих принципов (визуальный, лазерный, ТВ, ТПВ каналы и т.д.). Основной едпосылкой комплексирования ОЭА является различное воздействие проти-действующих факторов естественного и искусственного происхождения на зличные каналы получения видеоинформации, поскольку каждый из упомя-тых каналов, взятый по отдельности, не в состоянии удовлетворить возрос-ш техническим требованиям в условиях современного боя, то есть в услови-плохой видимости, тщательной маскировки целей, активного применения едств радиоэлектронного противодействия. Еще одной предпосылкой ком-ексирования ОЭА является необходимость создания автоматизированных стем распознавания целей в условиях сильных комплексных помех.
Цель комплексирования ОЭА состоит в повышении боевой эффективно-и носителя за счет совместного использования информации, получаемой от зличных каналов системы. При этом эффективность системы по основному раметру оказывается выше эффективности каждого из каналов. Средством мплексирования ОЭА служит конструктивное объединение или электронно-тическое сопряжение аппаратуры единого назначения в единый комплекс, еспечивающий прием, обработку и представление информации оператору в ксимально возможном объеме. Объектом комплексирования является ОЭА, ботающая в широком спектральном диапазоне.
Нигде так явно не проявляется необходимость применения многих датчи-в и их комплексирования как в системах автоматического обнаружения, за-ата, распознавания и сопровождения целей. В интегрированных системах, ализация которых возможна в будущем, предполагается объединение каналов основе общей оптической системы и системы обработки и представления тегрированного изображения на общий дисплей. Создание интегрированных стем будет означать полную реализацию концепции комплексирования ОЭА.
Применение пассивных сенсоров предпочтительно и желательно для лынинства наземных тактических систем вооружения и многих аналогичных зведывательных и наблюдательных платформ. Это определяется необходи-стью скрытой активности, которая является предметом первостепенной важ-сти при применении в военных сценариях. В некоторой степени это ограни-ние, предусматривающее только пассивные сенсоры, уменьшает потенциаль-іе возможности. Тем не менее, значительный практический эффект может [ть достигнут даже при использовании набора только пассивных сенсоров, (ти эффективно применять синтез информации.
Характеристики, лежащие в основе концепции процесса слияния много-ясорной информации, обусловлены приложениями сценария, целями слия-я, типами датчиков, уровнями слияния.
Концепции слияния в значительной степени определяются приложение сценария. Однако, многие концепции могут быть адаптированы для друга прикладных сценариев и применены с соответствующими модификациями, особенности, в области слияния решений, где слияние происходит на стади далеко удаленной от датчиков в потоке обработки данных.
Концепции слияния могут категоризироваться согласно набору решаемы задач. Поскольку здесь рассматриваются главным образом применения в ai пекте отражения наземных и воздушных угроз, задачи ограничиваются этс сферой применения. Соответственно можно категоризировать задачи как: з; хват / обнаружение и локация целей, распознавание / классификация / иденті фикация целей, сопровождение цели и объединение данных. Хотя эти задач отличаются друг от друга, мультисенсорные системы, предназначенные до решения одной из этих задач, могут использоваться также для решения другк задач в зависимости от качества информации, полученной используемыми да чиками. Состав комплексированных систем может существенно изменяться зависимости от поставленных перед ОЭА задач. Поэтому при разработке ОЭ требуется как создание специальных алгоритмов обработки, так и быстродейс вующих средств обработки, ориентированных на эти алгоритмы.
В настоящее время не создана общая концепция построения комплексі рованных систем. Важнейшей особенностью ОЭА, вытекающей из требоваш реализации алгоритмов обработки изображений в реальном масштабе времен: является обязательное наличие в их составе специализированных аппаратных программных средств, архитектура которых ориентирована на наиболее эффе] тивное решение конкретного класса задач. При этом следует учитывать такі дополнительные факторы, как предельная масса, габариты, энергопотреблею и т.д. Перечисленные выше проблемы в области создания оптоэлектроннь средств и требования к оптоэлектронным процессорам определяют необход] мость решения как кардинальных теоретических вопросов комплексировани так и разработки специальных оптико-электронных средств.
Цель работы. Целью работы является улучшение ТТХ и расширені функциональных возможностей комплексированных прицельно-наблюд тельных систем тактического назначения класса "поверхность-поверхность" аналогичных систем классов "поверхность-воздух" и "воздух-поверхность Разработка методов обработки изображений, позволяющих комплексироваг данные каналов наблюдения, и разработка на их основе алгоритмов работы структуры программно-аппаратных средств оперативной обработки информ ции на основе специализированных оптоэлектронных процессоров, обеспечі вающих решение задач разведки, наведения и управления оружием.
Задачи исследования. Для достижения поставленной цели решал» следующие задачи:
- построение признакового пространства изображения и разработка роб стных методов описания изображений, устойчивых по отношению к шумам вариабельности шкалы яркости;
- разработка методов относительной координатной привязки полей зрения
налов наблюдения в многоканальных системах;
разработка помехоустойчивых методов автосопровождения целей по ному и нескольким каналам наблюдения;
разработка методов селекции, распознавания и захвата цели в многока-льных системах;
разработка принципов, методов и алгоритмов компиляции изображений налов наблюдения различных спектральных диапазонов;
разработка принципов построения, структур и алгоритмов работы мно-функциональных многосенсорных оптико-электронных систем и их практи-ская реализация.
Методы исследований. В диссертации проводились исследования с пользованием математического аппарата методов вычислений, теорий прибли-:ния функций, вероятностей, информации и математической статистики, а кже теории ортогональных преобразований.
Достоверность полученных теоретических результатов подтверждается тематическим моделированием на ЭВМ и экспериментальной проверкой об-зцов разработанных устройств.
Научная новизна. В диссертации поставлена и решена задача создания ітодов и средств комплексирования информационных каналов в многосен-рных системах автосопровождения целей, обеспечивающих достижение вы-ких тактико-технических характеристик.
Предложен, теоретически обоснован и развит метод локальных анизо-опньгх признаков, заключающийся в определении доминирующей ориента-[и и степени анизотропии спектра Фурье локальных окрестностей изображе-[й.
Предложены меры близости изображений в пространстве локальных ани-тропных признаков (компарационные меры близости).
Для оптимизации описания изображений локальными анизотропными іизнаками введено понятие эффекта отскока. Развито применение эффекта скока в конкретных приложениях.
Разработаны, реализованы и экспериментально проверены методы ком-іексирования каналов различных спектральных диапазонов.
Разработаны методы селекции изображений, захвата и распознавания це-[, оперирующие как с многоградационным, так и с графическими эталонами.
Разработаны, реализованы и экспериментально проверены методы авто-шровождения, коррекции захвата цели и целенаведения в одно- и многока-шьных системах, основанные на применении локальных анизотропных при-аков и эффекта отскока.
Для селекции маневрирующих целей и увеличения устойчивости слеже-ія предложена, реализована и экспериментально проверена динамическая ме-i близости изображений.
Предложены, теоретически разработаны и реализованы методы автомати-
ческого контроля работы следящей системы для определения и предупрежде ния срыва слежения.
Предложены, развиты и реализованы методы компиляции изображений многоканальных системах.
Личный вклад автора. Исследования по теме диссертации выполнялис автором с 1983 г. по настоящее время в Сибирском научно-исследовательско институте оптических систем.
Все теоретические результаты получены лично автором. Экспериме] тальные результаты, связанные с математическим и натурным моделирование! а также с созданием экспериментальных и опытных образцов устройств, пол; чены как лично автором, так и в соавторстве с сотрудниками руководимой и лаборатории.
Теоретические и практические результаты реализованы в 26 фундаме: тальных и хоздоговорных НИОКР, где автор выступал в качестве научного р ководителя или ответственного исполнителя.
На защиту выносятся:
метод формирования признакового пространства изображения на осно локальных анизотропных признаков и эффекта отскока;
метод комплексирования каналов различных спектральных диапазоної многосенсорных системах;
метод автосопровождения целей в одно- и многоканальных системг основанный на компарационной мере близости изображений и включающий себя коррекцию захвата цели и целенаведения, селекцию динамических целеї; методы автоматического контроля за срывом слежения;
метод компиляции изображений различных датчиков изображений;
методы селекции, захвата и распознавания целей, основанные на приь нении эффекта отскока;
- практическая реализация разработанных методов.
Практическая ценность работы и реализация результатов. Основи
работы по теме диссертации выполнялись по заказу Министерства оборонь Министерства оборонной промышленности СССР и РФ. Теоретические и пр: тические результаты нашли применение в 31 НИОКР, в частности, проводим по программам "Оптика", "Вычислительная оптоэлектроника", "Инфравид' Программе фундаментальных исследований Миннауки РФ. На основе резуль тов, изложенных в диссертации, под руководством и при непосредственн участии автора созданы экспериментальные образцы оптико-электронной с темы обработки изображений и автосопровождения цели "Роща", многокана ного комплекса обработки изображений переднего обзора "Лес", устройс коррекции строчных геометрических шумов "Рябина", система поиска, захв и автосопровождения цели "Гигант" и система комплексирования кана; "Реванш". Экспериментальные образцы приняты Представительством заказчі Министерства обороны и межведомственными комиссиями.
Результаты работы внедрены в:
ЦКБ "Точприбор" (г.Новосибирск) при разработке тепловизора "Снег" ш стабилизации изображений и автосопровождения объектов в ИК диапазоне іин волн;
СКБ НИИТЭП (г.Кишинев) при разработке системы автосопровождения Содры";
- ВНИИ "Трансмаш" (г.Санкт-Петербург) в разделе "Луга" темы
Опережение" для автосопровождения объектов;
ГУЛ НПО "Орион" (г.Москва) для селекции и захвата малоразмерных іьектов в широкопольных ИК системах (тема "Феникс");
ГУЛ КБ Приборостроения (г.Тула) - устройство цифровой обработки В-сигнала "Можжевельник", процессор обработки сигналов изображения ТПВ шала изделия 34-99;
НИИ радиооптики (г.Москва) - в Комплексной целевой программе вычислительная оптоэлектроника".
Результаты диссертационной работы легли в основу технического проек-i (совместно с КБП НПО "Точность", г.Тула) по созданию бортовых оптико-[ектронных средств управления огнем вертолета К-50 "Черная акула". В 1991 >ду технический проект победил на Всесоюзном конкурсе.
Апробация работы. Основные положения диссертационной работы докрывались и обсуждались на Межотраслевом семинаре по тепловидению (Ле-шград, 1986 г.), Всесоюзной конференции "Передача, обработка и распознание сигналов и их аппаратная реализация"(Москва, 1987 г.), Региональной шференции "Обработка изображений и дистанционные исследования (ОИДИ-0" (Новосибирск, 1987 г.), Межотраслевой конференции "Методы и устройст-i обработки двумерных сигналов" (Новосибирск, 1987 г.), 4-й Всесоюзной шференции по полунатурному моделированию (Москва, 1989 г.), Всесоюзной шференции "Оптическая обработка изображений" (Ужгород, 1989 г.), XTV [еждународной конференции по когерентной и нелинейной оптике (КиНО'91) Іенинград, 1991г.), Второй международной конференции по оптической обра-зтке информации (Санкт-Петербург, 1996 г.), Третьей международной конфе-:нции "Актуальные проблемы электронного приборостроения (АПЭП-96)" Іовосибирск, 1996 г.), Международном симпозиуме "Optical Information ;ience and Tecnology (OIST'97)" (Москва, 1997 г.).
Публикации. Результаты по теме диссертации опубликованы 30 научных іботах.
Объем и структура диссертации. Диссертационная работа состоит из іедения, 5 глав, заключения, приложения и содержит 192 страницы основного :кста, 112 рисунков, 3 таблицы и список литературы из 160 наименований.
Обосновывается актуальность темы, формулируются цели и задачи и следования, дается характеристика выполненной работы.
ГЛАВА 1. СЛИЯНИЕ МНОГОСЕНСОРНОЙ ИНФОРМАЦИИ И КОМПЛЕКСИРОВАННЫЕ СИСТЕМЫ (ОБЗОР СОСТОЯНИЯ ВОПРОСА)
В главе дан комплексный анализ проблем и тенденций развития вычисл тельных оптоэлекгронных средств обработки изображений в перспективнь комплексах военного назначения и сформулированы требования к оптоэле тронным процессорам.
Рассматриваемые задачи обнаружения, классификации и сопровожден) целей имеют несколько особенностей. На разных дистанциях изображение nej может содержать как небольшое, так и значительное число элементов ра ложения. Цель обычно имеет малый контраст по отношению к фону, мож быть замаскирована или частично заслонена. Характеристики изображений і могут быть заранее определены ввиду большого разнообразия фона и услові наблюдения. Для работы в условиях различной освещенности, различных м теоусловиях, пыледымовых образований и т.д. должна обеспечиваться работа различными приемниками видеоинформации в различных сочетаниях. Обр ботку изображений необходимо проводить в реальном масштабе времени, системах, ориентированных на работу с оператором, должна быть предусмо рена обработка изображений с целью улучшения их визуального качест и(или) представления в форме, удобной для оператора.
Выполнение всех функций, заложенных в системе, может привести слишком громоздкой и сложной аппаратурной реализации. Можно сформул ровать следующие требования к оптоэлектронным процессорам.
Комплексность обработки. По возможности, выполнение всех функци заложенных в системе, должно быть взаимоувязано и вытекать из единого а горитма. Обработка должна проводится одним специализированным устройс вом, а не набором разнородных блоков, работающих по собственным алгори мам. Комплексность обработки позволяет сократить объем вычислений, сокр тить объем аппаратуры и обеспечить требование унификации устройств.
Перманентность обработки. Перманентность обработки подразумева создание "сквозного" логически завершенного алгоритма обработки. Посколь качество системы обработки изображений в значительной мере определяет выбором пространства признаков, то имеет смысл, исходя именно из свойс признаков, определять конструкцию датчика, параметры дискретизации, опт мальный алгоритм выделения и т.д. и строить методику работы с описания! изображений.
Адекватность обработки. Алгоритмы обработки должны адекватно с
ветствовать используемой элементной базе и учитывать как ее возможности, к и недостатки. В свою очередь, разрабатываемая элементная база должна [итывать особенности алгоритмов обработки.
Адаптивность обработки. Разрабатываемая аппаратура должна иметь ізможность адаптации как к свойствам изображений, получаемых в исполь-емом диапазоне длин волн, так и к свойствам конкретного приемника излуче-ія (матричные приемники, линейные приемники и т.д.). Это может происхо-іть либо за счет введения в систему корректирующих параметров, либо за счет монастройки системы в процессе работы.
Модульность построения. Наращивание производительности и расши-яие функций системы должно производиться за счет увеличения количества ізовьіх модулей системы. Пути достижения этого, в частности, перепрограм-їруемость модулей и реализация принципа комплексности обработки.
Унификация устройств. Разрабатываемые базовые устройства должны іеспечивать работу системы в заданной конфигурации и с заданным набором дикций, с целью возможности применения в комплексах различного базиро-ния и назначения.
При анализе изображений признаки можно получить путем двумерного >еобразования исходного изображения в пространство, где новые координаты :азываются статистически менее коррелированными, чем координаты исходно изображения. В таком пространстве могут быть выделены признаки более )фективные для последующей интерпретации, поскольку некоррелированные (изнаки требуют меньшей размерности для описания. В случае анализа слож-.IX изображений, когда объект и его форма не могут быть определены одно-ачно, предпочтение следует отдать статистическим характеристикам. Одним і проявлений пространственной неоднородности изображения является анизо-юпия, определяемая как статистически значимая зависимость оцениваемых рактеристик от угловой координаты.
Цель главы 2 - построение и исследование признакового пространства для іисания изображений, устойчивого по отношению к шумам и вариабельности калы яркости.
Локальные анизотропные признаки. Для описания изображений авто->м предложены локальные анизотропные признаки (ЛАП).
Пусть на плоскости, где введена прямоугольная система координат ,>}, заданы функция яркости неподвижного одноцветного изображения х,у); x,yeU, где U - часть плоскости, называемая полем зрения = {(Х>У): 0^х<Х, 0 являющаяся Іразом и(х, у) в области R = {(s, ср): - S и 5(й>,,<У2)" двумерное преобразование Фурье функции и(х, у) по переменны! х и у, а Зг (о,(р) - одномерное преобразование Фурье функции r(s, <р) по пере менной 5. Дискретизуем переменную q> с шагом q (О < q < я/2] q> = cq; с = О, С -1; С = [я / д] и введем функцию I(c)=$ %(w,cq)3r'{fi>,cq)d где [] - обозначает целую часть числа, *- знак комплексного сопряженю Функцию (1) можно рассматривать как энергию центрального сечения спектр ^(cjpWj) вдоль оси <р - cq. Найдем с = ст такое, что I(cm) = max 1(c). Назове: число с„ анизотропным признаком класса Ст, если ст является единственным. Для обозначения элементов, окружающих точку (х, у), будем использс вать термины "фрагмент" и "окрестность". Фрагментом Wv с центром в точк (х, у) назовем множество элементов, составляющих односвязную область з; данной формы достаточно большого размера. Будем говорить, что Wv - фраї мент порядка dw, если dw - максимальный из его размеров по координагны осям. Множество элементов, непосредственно окружающих м(х, у), будем назь вать окрестностью (локальной окрестностью) V^. Анизотропный признак с определенный для окрестности Vxy будем называть локальным анизотропны признаком класса Ст точки (х, у). Если ст не является единственным, окрес ность Vxy относится к изотропному классу Си. Номера классов окрестносте формируют псевдоизображение в пространстве ЛАП. Компарационная мера близости. Требуется задание меры близост двух псевдоизображений в пространстве ЛАП. Само по себе описание изобрі ЖЄНИЯ ПРОИЗВОЛЬНО ВЫбраННЫМИ УСЛОВНЫМИ ЧИСЛаМИ ГОВОрИТ В ПОЛЬЗУ ПОЭЛ1 ментного сравнения (компарации), так как какие-либо преобразования таки описаний не имеют смысла. Одной из предлагаемых автором компарационнь: мер близости закодированных изображений служит функщ S = V V 5 с2и,к) , где с'(/, к) и с2(/, к) - элементы сравниваемых изображу ] к с и-к) ний, а 8 - символ Кронекера. Более сложная мера близости имеет ві ST = "Yj 2] 5r, где для анизотропных классов І і \\,еспяс1и,к) = с2и,к); sA і, і (o I r mod2 с (J, k)-c' (j, к)\ в остальных случаях; а для изотропного класса 5, совпадает с символом Кронекера. Эта мера близ сти учитывает не только совпадающие элементы, но и элементы с близкими н правлениями. Вклад элементов с близкими направлениями определяется вес вым коэффициентом г. Если рассматривать изображения в расширенном пространстве призн ков, то есть описывать каждую точку признаком ее локальной окрестности и о же время яркостью, то можно применять комбинированные меры близости зображений. Например, комбинированная корреляционная мера близости бу-;ет иметь следующий вид: Sk =Z X $t[c>U> к)-с2(J, fc)]^0', k)b2(j, к), где ^, - яркости изобра- * сений. При сравнении с пошаговым сдвигом эталонного и текущих фрагментов нализируемого изображения образуется компарационная матрица (КМ). Мож-:о оценить вероятность появления какого-либо значения ^-компарационной [атрицы в случае, когда эталон сравнивается с фрагментом фона, т.е. оценить начения "фоновых" элементов КМ. Для этого предположим, что эталон и ірагмент, имеющие размер W^nxn, описаны признаками, имеющими случай-ые значения. Тогда вероятность совпадения классов окрестностей в М точках удет иметь биномиальное распределение, которое описывается выражением / P(M,W,p) = ^^qw-M, (2) где р - вероятность совпадения классов в точке, q - вероятность несовпа-t дения, p+q=l. Нарисі показанарас-яз8йяяям четная кривая распределения вероят- , „ ности значений фоновых элементов Рис.1. Вероятность совпадения: ,„, „, ,, ,. два (4), три (3), четыре (2), для с^ W=l6xl6 и слУчаев пять (1) классов; W- 256. шти' чегыРех> тРех и ДВУ* признаков. Расстояние Бхаттачария и критерий изотропности. Изотропная струк-ура локальных окрестностей на изображениях реальных сцен встречается райне редко. Чаще на изображениях встречаются точки со структурой окрест-гастей, близкой к изотропной, т.е. не имеющей ярко выраженной анизотропии пектра. Признак, соответствующий такой точке, будет неустойчив и может ме-[яться от кадра к кадру под воздействием шумов. Окрестности такого рода це-есообразно рассматривать как изотропные и относить к классу С„. Под количественной мерой анизотропии изображения будем понимать начение некоторого безразмерного соотношения между Е„ = 1(ст) пЕп = 1(сп), С-1 де с„ - направление ортогональное ст . Введем два класса: S{ = \J С, - анизо- /=о ропный класс; S2 =СИ - изотропный класс. Когда классы признаков опреде- ены, в качестве критерия оптимальности выбора совокупности признаков южно использовать вероятность неправильной классификации по заданному іризнаку. Для классификаторов с симметричной функцией риска и для данных, [редставляющих собой смесь гауссовых распределений, байесов показатель 'шибки ограничен сверху обратной величиной расстояния Бхаттачария . Исхо- дя из этого в работе найден критерий выделения изотропности, который мож: Е Е записать в виде: —*- < Q - анизотропность; -3- > Q - изотропность, где Q - и Ет Ет рог, который требуется-корректно определить. Эффект отскока. Как и раньше, предположим, что анизотропные класі имеюг равные вероятности. Вводя в модель изотропный класс Си, получа другое распределение фоновых элементов. Предположение равновероятное^ данном случае уже неправомерно, но оно определяет наибольшее возможн смещение максимума распределения (2) влево по оси М. При Q = 1 на изобг жении фактически присутствуют только С анизотропных классов и распреде.г ние (2) имеет максимум в точке WC1. При Q<\ начинает формироваться кла изотропных окрестностей. При уменьшении Q от 1 до некоторого значения максимум распределения (2) смещается влево по оси М от точки WC1 до точ ЩС+1)'1. При дальнейшем уменьшении Q максимум начинает смещаться вп{ во по оси М вплоть до W при Q= 0. Это явление назовем эффектом отскока точку go - точкой отскока. Поскольку распределение (2) описывает статистику фоновых элемент компарационной матрицы, то коэффициент Q0 соответствует случаю, когда і личины фоновых элементов минимальны. Количество классов признаков. Результаты статистических измерен реальных изображений и теоретические исследования на основе анализа р< пределения энтропии, выполненные автором, показали, что хорошее описан их окрестностей можно получить с помощью модели, использующей пять кл; сов: четыре из них С0, Сь Сг, С3 соответствуют преобладающим корреляцис ным связям в одном из четырех направлений, взятых через угол л/4; пяті класс Си составляют окрестности с изотропной структурой. Целесообразное выбора такой величины шага дискретизации q переменной р, учитывая, ч функцию 1(ст) можно рассматривать как спектральную энергию вдоль одно из центральных сечений Ыф^,^), обусловлена еще и тем обстоятельством, ч изображение задано на квадратной решетке. Возможности применения ортогональных преобразований. ЛА можно рассматривать как разновидность фасетной модели изображения. В т( минах фасетной модели отношение EJEm определяет наклон фасета, а класс с рестности - его ориентацию в плоскости координат. В такой интерпретации <] сетные модели могут строиться на различных ортогональных преобразована В диссертации рассмотрены варианты применения преобразований Уоли Хаара, слэнт, синусного, косинусного четного, косинусного нечетного и про] дено сравнение полученных результатов. Устойчивость признаков к случайным шумам. Предположим, что изображении присутствует случайный белый шум. Его комплексную амплиту в любой точке фурье-плоскости можно представить как сумму комплекси амплитуд со случайно меняющейся фазой. В фурье-плоскости формируется і іторьш фон, флуктуирующий от точки к точке. Если обозначить /с, /ф и гс = /с2 - /с2 - соответственно интенсивности сигнала, фона и шума, непосред-венно связанного с сигналом, то для отношения сигнал/шум можно получить іражение ц/ = —Ml + /ф(/ф + 2/с)//2с| . Расчеты для тестового изображе- ія - окрестность размером 4x4 элемента, содержащее идеальный контур - повывают, что в этом случае признак выделяется до отношения сигнал/шум івного 0,6 , что подтверждается экспериментальными результатами. Это знание можно рассматривать как нахождение теоретического и практического )едела допустимого отношения сигнал/шум при выделении ЛАП для окрест->сти данного размера. Выделение изотропности. Одной из задач анализа изображений, часто :тречающейся в практических приложениях, является задача разделения окремостей на изотропные и анизотропные. В терминах классов окрестностей -о задача либо разделения на классы Q, С\, Сі, Съ, Си, либо на классы S\ и 1. бозначив Со=С\—С2=Сі=0, Сп-\ и і=0, &=1, получаем бинарное представле-іе изображения. Сформулируем задачу в терминах эффекта отскока. A. Эталонное изображение. Эффект отскока подразумевает сравнение с Б. Шумовой эталон. Если измерить статистические характеристики ре-[ьных изображений (среднее значение, ковариация, распределение вероятно-ей), то сгенерированные на их основе изображения выглядят как случайный ум и имеют мало общего с оригиналами. Это обстоятельство дает основание >лагать, что различие между реальным и шумовым изображениями с одними и :ми же характеристиками позволяет выделить структуру, т.к. в этом случае [учайный шум является изображением с изотропными параметрами. Если за-іча не конкретизирована, а ставится вопрос о бинаризации вообще, то следует шользовать два эталонных изображения - равномерный фон и белый шум, т.е. элностью структурированное и полностью неструктурированное изображения, вязать эти два случая позволяет эффект отскока, т.к. равномерный фон можно осматривать как случайное поле с нулевой дисперсией и по своей сути белый ум и равномерный фон являются двумя крайними точками графика отскока. B. Количество признаков. Количество признаков, используемых для опи- Рис.2. еньше изотропных точек должно выявляться на изображении. В самом общем іучае количество изотропных точек обратно пропорционально количеству ризнаков. Г. Приложение сценария. Постановка решаемой задачи определяет вид ператора выделения признаков и вид критерия изотропности, что естественно олжно отражаться на получаемом бинарном препарате. Если в ЛАП учиты-ать нулевой порядок спектра, определяемый средней яркостью окрестности, э на изображении выделяются наиболее сильные перепады яркости. Если ну-евой порядок игнорируется, выделяются наиболее резкие перепады. На рис.2 приведено изображение "Лена" (а) с обозначенным эталонным рагментом "глаз" (16x16 элементов) и результат выделения изотропных Примаков в точке отскока для двух и пяти классов для эталона "глаз" (в,д) и шу-ового эталона (г,е) соответственно. Аналогичные результаты (ж,з) для пяти лассов приведены для ЛАП без нулевой частоты. График отскока для двух лассов (б) показан не в координатах (М, Р), а в координатах (Q, М) (1- эталон глаз", 2- шумовой эталон, 3- количество совпадений с равномерным фоном). В завершении второй главы автором предложен алгоритм быстрого ко-ирования изображений ЛАП и построены КИХ-фильтры для устранения ар-гфактов ДПФ, возникающих при кодировании, которые вызваны конечными азмерами и квадратной формой локальных окрестностей. Третья глава посвящена исследованию структурно-алгоритмических ас-ектов построения систем автосопровождения целей на основе ЛАП. В многоканальных комплексированных системах слежения может возни-ать ряд присущих только им требований, таких, как возможность передачи лежения от одного канала другому, возможность переключения на канал наи-учшей видимости, слежение по синтезированному изображению цели и т.п. [аложение подобных требований определяет унификацию обработки изобра-:ений в каналах - цель, захваченная одним из каналов, должна идентифициро-аться другими каналами. Для одного канала наблюдения в предположении, что в поле зрения сис-гмы находится одна цель и захват цели произведен, будем считать, что эта-онным является фрагмент (строб) кадра, определенный как цель. В следую-;ем кадре определение координат цели происходит по схеме скользящего рагмента, т.е. по максимуму взаимно-компарационной матрицы текущего адра и эталона. Такая схема обусловлена тем, что характер обрабатываемой видеоин-юрмации и специфика решаемой задачи чаще всего не позволяют оперативно глектировать цель или использовать в качестве эталонов набор заранее вы-ранных изображений. Кроме того, если учесть, что во всех каналах фрагмент меет одинаковые размеры, принятая схема позволяет строить описания цели, близкие для всех каналов. Дальнейшее изложение основано на следующих предположениях: 1). Следящая система является пассивной системой. 2). Алгоритмы обработки изображений не являются синтаксическими. Эт предполагает необходимость использования априорной информации. 3). Изображение цели обладает внутренней текстурой. 4). Класс трансформаций цели не ограничен. 5). Эталонное изображение обновляется от кадра к кадру. Работа системы обеспечивается: 1). Алгоритмом кодирования входной информации, который разделяет элемен ты, согласно выбранной системе признаков. 2). Алгоритмом регистрации, который оценивает положение цели. 3). Алгоритмом сегментации, который разделяет элементы на принадлежащш цели или фону. 4). Следящим фильтром, минимизирующим действие шума, неточность определения положения цели и предсказывающим положение цели. 5). Алгоритмом управления системой, осуществляющим автоматическую выдачу решения и контролирующим взаимодействие других алгоритмов. Эффект отскока в следящих системах. Локация цели производится пс максимальному значению КМ текущего кадра и эталонного фрагмента. Для устойчивости локации желательно, чтобы фоновые элементы КМ имели как можно меньшие значения. Выберем эталонный фрагмент в текущем кадре и вычислим КМ. Очевидно, что при любом значении параметра Q в (2) величина компарационного пика останется неизменной (полное совпадение). Но в точке отскока Qo пик распределения фоновых элементов максимально смещен влево по оси М, т.е. значения фоновых элементов минимальны. В этом смысле точка отскока Qo определяет оптимальный режим работы следящей системы. На рис.3 приведен пример - исходные изображения (а) и вид КМ для пяти классов признаков в точке Q = 1 (б) и в точке отскока (в). Эталон (16x16 элементов) обозначен рамкой. а б в Рис.3 При использовании двух классов Si и 1 происходит переход изображе- ия в бинарный препарат. В случае бинарного изображения компарационная ера близости с точностью до инверсии совпадает с критерием абсолютного гклонения. Величина Q0 в данном случае является оптимальным порогом при ыделении контуров в следящей системе. Из рис. 1 видно, что при использова-ии пяти классов ЛАП, среднее значение фоновых элементов в 2,5 раза мень-іе, чем в бинарном случае, а дисперсия фоновых элементов уменьшается боге, чем в 1,25 раза. Совмещение каналов наблюдения. Многоканальные системы поиска, энаружения и определения координат целей требуют совмещения изображе-ий. Операции предварительной юстировки оптических трактов каналов не-эстаточно для многих приложений. Совмещение каналов должно быть семан-яческим и давать возможность переключения каналов при слежении. Изображения одной и той же сцены, полученные в разных спектральных иапазонах, могут существенно отличаться по яркости друг от друга. По этой ричине координатное совмещение изображений часто не может быть произ-гдено традиционными методами, например, при использовании взаимной эрреляционной функции. В работе показано, что ЛАП с той или иной степе-ью строгости допускают преобразования входных изображений: добавление ли вычитание постоянного фона, изменение масштаба шкалы яркости, инвер-ля полутонов, накопление изображений, преобразования вида и =Ду) (где/-онотонная функция), свертку входного изображения с функцией, имеющей зотропный спектр, дифференцирование входных изображений. Работа с ЛАП эзможна как при искажении яркости изображения, так и с изображениями, олученными в различных спектральных диапазонах. Вопрос состоит в разра-этке процедуры совмещения. Принципы совмещения рассмотрены на примере ТВ и ТПВ(3...5 мкм) ка-алов в предположении, что изображения имеют одинаковый масштаб. Изо-ражения кодировались с использованием окрестности одного размера и осу-[ествлялась координатная привязка эталонного фрагмента одного изображе-ия на другом изображении. Для устранения ложных пиков бьши проведены гатистические исследования. Изображения в рассматриваемых каналах не со-іасуются по интервалам автокорреляции и высоким пространственным настоїм. Поэтому при выделении признаков проводится предварительная фильтра-ия высоких частот. Типичный спектр телевизионного изображения можно описать соотно ггределяющий характер изображения и равный обратной величине интервала эрреляции; Su - площадь изображения; 1 - средняя энергия изображения; 8 -гльта-функция Дирака. Если частоты в спектре Фурье считать эквидистант-ыми, а а>о - частотой основной гармоники, то для коэффициентов Фурье ос-овной и второй гармоник в случае окрестности размером 4x4 имеем: Зк,о> SA4+Vo)"s SM+4o)20)a2s 3(а>0,а0)=- 5« 2a\e Тогда отношения коэффициентов Фурье по координатным осям и диагоналяї будут равны: ЗК,о) 3(со0$) =аІ+4й)20 3\(0о,соо) Ja]+Acolf = 3(2е>о,0) а]+Ф20 ' 3{2со0,2а>0) (a2s+u>20)2 _5(2шо,0) ' Последние соотношения можно переписать через эквивалентные величи ны в пространственной области: размер изображения (площадь) и площадь ав токорреляции А*: а2 = 1 / Ак, со20 = 1 / „, откуда 3(2шо,0) S. S. Высокочастотные составляющие спектра накодятся из аналитических выраже ний. После проведенной коррекции сумм определяется класс окрестности производится совмещение (рис.4). ТВ-изображение Рис.4 Совмещение каналов на основе эффекта отскока. В общем случг многоканального совмещения процедура производится на основе эффекта о-скока. Эталон из одного изображения сравнивается в точке отскока с другим изображениями. В этом случае не требуется каких-либо предварительных и мерений , а точки отскока могут определяться как предварительно, так и в пр< цессе работы системы. Для проверки предложенных алгоритмов были испол: зованы снимки земной поверхности, полученные с искусственного спутниі Земли камерой МКФ-4. Наблюдается как устойчивая привязка, так и понижі ниє величины боковых пиков КМ. Динамическая мера близости. Следящие системы рассматриваемо! па производят перепись эталона при смене кадров. Введем функцию D(m,n,t) начальными значениямиD(m, и, 1) = 1 V /я, и, определив ее как \D{tn, п, t - 1)+г, если и(т, п, t) = гі(т, n,t-\); D(m, ",0Н. [І в остальных случаях. Здесь г> 0 - постоянная величина. В данном случае число М определяет шичество перезаписей (количество сравнений) эталона. Дадим новое определив меры близости изображений - SD = ^ D{m,n,t)5"^'ln, которую т п ізовем динамической мерой близости (ДМБ). Смысл функции D состоит в том, что элементы этало- :ли элементы матрицы D, соответствующие объекту, будут иметь большие а б в Рис.6. значения, нежели фоновые элементы. На рис.6 приведена имитация движения тестового объекта (рис.5) по сложному фону при т= 1. В качестве фона использовался гауссов шум, который является хорошей моделью сложного изображения при кодировании ЛАП. Изотропный класс Си, выделяется на основе эффекта отскока с шумовым эталоном. изображение диапазона компарационная матрица ДМБ З...5мкм матрица (/=2) (^=15) Рис.7. Введение матрицы D приводит к адаптации эталона к форме динамического объекта. Насчет ДМБ идет в основном по элементам изображения, принадлежащим объекту, что приводит к возрастанию пика матрицы ДМБ и повышает надежность. На рис.7 приведены нормированные графики значений матрицы ДМБ для тепловизионного изображения БТР для 2-го и 15-го кадров после начала слежения, т.е. без сравнений и после 14 сравнений эталона. Использование матрицы D позволяет продолжать слежение в случае частичного заслонения или затенения цели - реакция ДМБ такова, что слежение будет вестись по видимой части объекта. Кроме этого, при неподвижном наблюдении сцены матрица D дает возможность выделения и захвата движущихся объектов. Применение матрицы D позволяет устранить такое явление как дрейф эталона в следящих системах. Кратковременная память. Дадим другое определение функции D: \Dk{m,n,t-X) + т,, если u(m,n,t-1) = u(m,n,t); Dk(m,n,t) = < [Dk(m,n,t-\)-т2, если u{m,n,t-l) Ф u(m,n,t). При этом всегда Dk{m,n,t) >1. При исчезновении объекта функция Dk некоторое время сохраняет информацию о нем. В этом смысле функция D* обладает кратковременной памятью. Через некоторое количество кадров, определяемое величинами г и ту информация об объекте стирается из кратковременной памяти, если объект снова не появится в поле зрения следящей системы. Эксперименты показывают, что матрица Dk лучше адаптируется к форме объекта чем D. Это связано с тем, что в D накладываются слишком жесткие условш >и несовпадении элементов. Значения D и Dk могут неограниченно расти, поэтому необходимо огра-ічить их рост некоторым значением х„. Теоретический анализ и эксперимен-льные исследования, проведенные автором, позволяют прогнозировать пове-:ние значений элементов матриц, выбрать хт и увязать его со значениями па-іметров г., г2, исходя из требований, предъявляемых к системе слежения. Введение кратковременной памяти позволяет избежать срыва слежения эй сильной засветке приемника излучения (выстрел, включение фар и т.п.), )торая вызывает послесвечение фоточувствительных материалов. Величина іраметра т2 при этом выбирается исходя из времени послесвечения. Матрицы и Dk выполняют еще одну функцию - слежение за целями на пересекающихся фсах. Коррекция захвата цели и целенаведения. Предполагается, что линия гзирования совпадает с центром эталона. Операция захвата цели может про-зводиться либо оператором, либо автоматически. При захвате цели могут воз-икать ошибки различного рода. Может оказаться, что в эталон попадает толь-э часть цели или цель полностью находится в эталонном изображении, но не зходится на линии визирования. Определим координаты xQ и yQ геометриче- сого центра бинарного изображения как п п п п Лй П П ' -'СПИ > ^е п хп - размер эталона, Ь(х, у) - яркость изображения в точке (х, у). Ском-енсировать ошибки, возникающие при захвате цели, можно, используя матри-ы D или Dk. Гистограммы этих матриц бимодальны, поэтому матрицы легко риводятся к бинарному виду. Задача коррекции захвата и целенаведения (цен-рирования цели) сводится к совмещению геометрического центра бинарной атрицы с осью визирования. В случае неподвижной цели (или реперного бъекта) все эталонное изображение будет восприниматься как изображение ели и коррекция производиться не будет. Системы контроля. Важным компонентом следящих систем является онтроль правильности определения текущих координат (скорости) наблюдае-[ого объекта. Использование ЛАП и матриц D и Dk позволяет производить онтроль результатов на промежуточных стадиях вычислений. Система контроля 1. Плотность вероятности распределения фоновых лементов КМ (2) имеет узкий пик (рис.1). Для эталона размером 16x16 эле-іентов и пяти классов признаков он определяется значениями элементов КМ т 35 до 70, в то время как максимальное значение КМ может достигать 256. Гоэтому вводится порог (в данном случае - 70), ниже которого пиковое значене КМ рассматривается как фоновое и не может быть использовано для опре- 2! деления координат объекта. В этом случае фиксируется срыв слежения, выра батывается сигнал запрета перезаписи эталона, а координаты объекта экстра полируются по предыдущим результатам. В многоканальных системах после анализа данных всех каналов вырабатывается решение о переключении канал* слежения. Система контроля 2. Матрицы D и Dk позволяют селектировать динамический объект и определять его геометрический центр. Вывод о правильності определения координат объекта делается на основе анализа невязки координат геометрического центра и вычисленных текущих координат. Система контроля 3. При потере объекта (т.е. при срыве слежения) часті единичных элементов бинарной матрицы D , соответствующие объекту, "сбрасываются" в нулевые. Срыв слежения фиксируется по количеству таких элементов. Автофокуснровка следящих систем. ЛАП в следящих системах чаще всего вычисляются без учета нулевого порядка преобразования Фурье. В этом случае критерием фокусировки служит максимум суммы Е = J] Ет(т, и) для всех точек эталона. При использовании матриц D и >* фокусировка системы производиться по точкам, принадлежащим объекту. Накопление изображений. Большие дальности обнаружения и распознавания целей предъявляют высокие требования к чувствительности датчиков изображений, ввиду чего в ряде случаев сигнал необходимо интегрировать во времени, чтобы сформировался достаточный уровень потенциального рельефа на датчике изображения. Накопление сигнала во времени требует стабилизации изображения объекта относительно оси визирования. Применение метода ЛАП позволяет стабилизировать изображение и производить накопление эталонного изображения. При этом слежение и стабилизация осуществляются по накопленному эталонному изображению. Качество слежения и переключение каналов. Качество слежения зависит как от характеристик изображения, формирующегося в канале, так и от эталона (цели), используемого для слежения. Поэтому качество слежения будет определяться с одной стороны тем, насколько реальное распределение фоновых элементов КМ будет отличаться от теоретического, и, с другой стороны, насколько изображение объекта и эталон будут отличаться друг от друга. Фоновые элементы КМ определяются лишь случайными совпадениями и имеют распределение близкое к биномиальному. Зададимся вероятностью ошибки слежения Р{х < А} по теоретическому распределению (Система контроля 1). В частности, для W= 256, р = 0,20 и А = 70 Р{х <А}= 0,9987. Введем критерий качества слежения К = (JV'-A)lm, где т - мода реального распределения значений элементов KM, W - количество совпадений в максимуме КМ. Значение К < 0 говорит о том, что слежение нельзя рассматривать как достоверное. Если одна из систем контроля зафиксировала срыв слежения, система переключается на канал, имеющий лучший показатель качества (канал наилучшей видимости). В главе 3 предложены структурные схемы устройств, реализующих рас-мотренные методы обработки изображений и даны рекомендации по их при-іенению. ГЛАВА 4. ОБРАБОТКА ОДНОСЕНСОРНОЙ И МНОГОСЕНСОРНОЙ ИНФОРМАЦИИ НА ОСНОВЕ ЛАП Коррекция строчных геометрических шумов и улучшение качества. Линейки фотоприемников при сканировании вносят в изображение трочный геометрический шум и анизотропию в спектры окрестностей, вслед-твие чего на изображении начинает преобладать класс окрестностей, совпа-[ающий с классом геометрического шума.' Будем рассматривать четыре класса окрестностей, исключая изотропный лучай. В каждой локальной окрестности умножим сумму элементов спектра, оответствуюшую классу строчного шума, на коэффициент к > 0. Выберем на [зображений эталонный фрагмент W и построим распределение вероятностей начений КМ изображения и W. При к —» оо остается один класс окрестностей, іероятность совпадения равна 1, а количество совпадений - W. При уменьше-[ии к от 1 до некоторого значения кф < 1 происходит процесс подавления шу-іа. На изображении присутствует четыре класса окрестностей. При дальней-пем уменьшении значения коэффициента к начинается разрушение изображе-іия и, как результат, исчезновение на изображении окрестностей рассматри-іаемого класса; в предельном случае при к=0 остается только три класса окре-тностей. То есть, в точке кф наблюдается эффект отскока при переходе от 1 к 4 [ от 4 к 3 классам. Оценку кривой смещения максимума вероятности совпадения классов южно получить, если для различных значений к просканировать исходное ізображение произвольно выбранным фрагментом этого же изображения, вы-[исляя на каждом шаге сканирования количество совпавших классов элемен-ов. Выбор значения коэффициента к = кф, вводимого для коррекции спектров, юзволяет добиться режима при котором направление, соответствующее строч-юй структуре, перестает превалировать над остальными направлениями, т.е. на шределение класса окрестностей здесь уже влияет не геометрический шум, а труктура самого изображения. Процедура фильтрации заключается в наложении на спектр локальной жрестности направленного фильтра. В спектре остаются только элементы, лежащие на оси, соответствующей классу окрестности. После обратного преобра-ования Фурье восстанавливается точка изображения, окрестность которой осматривалась. Эксперименты показали, что расчетная (распределение (2)) и экспери-іентальная величины кф (для сложных изображений) практически совпадают. J других экспериментах величина коэффициента выбиралась, основываясь на іизуальной оценке качества изображения. Выбранные коэффициенты также овпали с расчетными. На рис.8 приведен пример обработки. В данном экспе- рименте использовались окрестности 4x4 и W= 16x16 элементов. исходное изображение результат коррекции Рис.8. Аналогичный подход применяется и в том случае, когда изображение искажено двумерными структурированными шумами или случайными шумами, не имеющими выраженной структуры. Для улучшения визуального качества изображения необходимо вводить пятый класс окрестностей Са. Пример обработки изображения по пятиклассовой модели (в точке отскока) приведен на рис.9. Процедура фильтрации является неинструктируемой, оценка параметров входного изображения и процесс фильтрации выполняются полностью автоматически. Рис.9. Сегментация изображений и захват цели. Условно разделим фрагменты изображения на объектоподобные, фоновые и необъектоподобные. Объек-топодобными фрагментами являются фрагменты близкие к эталонному фрагменту по своей геометрической структуре. Будем считать фоновыми фрагменты со случайными совпадениями элементов с эталонными. Необъектоподобные - фрагменты, не схожие по геометрической структуре с эталоном и имеющие малое количество совпадений в точках. Местоположения объектоподобных фрагментов на изображении определяется из анализа максимальных значений КМ. Для более точной селекции объектоподобных областей фоновая и объектная составляющие распределения значений элементов КМ должны быть мак- шально разнесены в пространстве признаков. Это происходит в точке отско-і. Пусть ли К - гистограммы реального и теоретического числа совпадений іементов фрагментов с элементами эталона в точке отскока. Интервал значена числа совпадений разбит на три части: а, Ь, с (рис.10). Наличие объектопо-эбных и необъектоподобных областей приводит к тому, что в интервалах Ъ и с іачения реальной гистограммы больше значений теоретической гистограммы. Пишние" фрагменты образуют области В и С (рис.10). Среднее значение числа эвпадений на интервале а обозначим как /. irtr+ Рис.10. Количество фрагментов в области В обозначим пв, количество фрагмен-эв в области С - пс тогда количество фрагментов в области А пА=пв+пс. Об-tee количество совпадений для фрагментов из В и С „ „ , _., , [х, е с ли х > 0: ,=Е Лк -куй 5С = дк;-куі, где/(*)= ' ІҐь ІҐс [0,есш х<0. Общее среднее количество совпадений для фрагментов из А sa = I Ж -к;уі = дат -*,')'+ .Ж -к\уі. i&2 ieb /єс [ороги t, и t2 для необъектоподобных и объектоподобных фрагментов опреде-яются из неравенств: пв і - sB < ^ К] i, sc - пс і < ^ К' і. Интервал 1=0 І=І2 V, О] соответствует зоне неопределенности, непригодной для принятия реше-ия. На рис.2а показано исходное изображение "Лена", эталонный фрагмент глаз" (16x16 элементов) обозначен рамкой. Теоретическая К и эксперимен-альная К гистограммы для изображения "Лена" и эталона "глаз" показаны на ис.10. Для кодирования изображения использовались окрестности размером хЗ элементов, разделенные на 5 классов. На'рис.Па и рис.116 показан резуль-ат выделения соответственно объектоподобных и необъектоподобных облас-гй в точке отскока. Для сравнения на рис.Ив и рис.11г показано применение той же процедуры при Q = 1 (без выделения изотропности). Процедура селекции является стадией захвата целей, в частности, захвата "по образу первой". ртьц:.; 'Sjll||r.;-ij! if Рис.П. Селекция и захват цели по графическому эталону. В рамках эффект: отскока в качестве эталонов возможно использование не только фрагментої 'fcffeli Эталон эталон Начало селекции Рис.12. Конец селекции :альных изображений и синтезированных изображений (например, шумов), ) и графических эталонов. При использовании в качестве эталона бинарных юбражений точки отскока не существует, но эта проблема решается наложе-іем на бинарный графический эталон гауссова шума. Смысл операции нало-ения случайного шума состоит в том, что при сравнении фрагментов необхо-імо, как и в случае селекции, набрать необходимую статистику случайных (впадений элементов. После этого задача селекции по графическому эталону эактически сводится к задаче селекции объектоподобных областей, рассмот-!нной выше. Итогом процедуры является захват всех подозрительных объек-m (рис.12). Данная методика позволяет производить координатную привязку реаль->іх изображений и их графических аналогов. Например, аэрокосмические шмки могут быть привязаны к топографическим картам, если использовать ія этих целей специально изготовленные карты местности. Компиляция изображений по многоспектральным и/или многока-ільньїм данным. Применение многоканальных систем получения и обращен видеоинформации предопределяет задачу синтеза интегрированного юбражения наблюдаемой сцены из изображений, полученных по различным іналам (компиляция изображений). Требования, предъявляемые к методу компиляции изображений, в общем гучае заключаются в следующем: компилированное изображение должно отличаться от исходных изображений >лее высоким качеством (визуальным - для наблюдения, признаковым - для опознавания и т.д. в зависимости от поставленной задачи); качество компилированного изображения должно быть, по крайней мере, не /же качества исходного изображения при блокировании (поражении или за-умлении) каких-либо остальных каналов наблюдения; метод компиляции изображений не должен опираться на точное знание :атистических характеристик изображений и шумов; метод компиляции должен обеспечивать работу с любым количеством кана->в наблюдения, независимо от их спектрального диапазона и сочетания. Двухканальиая компиляция. Априорно предполагается, что изобра-ения имеют одинаковый масштаб и совмещены. Общая схема компиляции, эедложенная автором, выглядит в этом случае следующим образом. Пусть х) - и-мерный сигнал, а 3(а>)= \ 5(<а) | ехр(г'0(ю))- его и-мерное преобразова-к Фурье, где x=(xijC2,—Jn) - вектор независимых переменных, си={а>\,в>1,...,а)^ вектор частотных переменных, а | 3(<а)| и 0(со) -соответственно амплитуда фаза функции Э(со). Амплитудный фурье-синтез определяется как синтез сиг- ша иА{х), который должен иметь преобразование Фурье 3{иА(х)}=\ 0?(а>)\. оответственно, фазовый синтез дает сигнал иф(л:), который должен иметь пре- 5разование Фурье вида 3{иф(х)} =А(со) ехр(і0(со)), где А(ео) - либо единица, либо, в более общем случае, амплитудная функция, которая тем или иным об разом представляет определенный класс сигналов, но не связана с какой-либ> информацией о конкретном сигнале. Если первый сомножитель А(а>) буде представлять собой амплитудную информацию об одном изображении, а втс рой сомножитель ехр(і0(й>)) - фазовую информацию о другом изображение то, произведя обратное преобразование Фурье, получим изображение, содер жащее информацию об обоих исходных изображениях. а б в Рис.13 Прямое применение такого подхода не дает желаемого результата, т.* амплитудная информация в полученном изображении "переадресуется" фазе вой информацией. Выходом служит переход к локальной обработке изображе ний. Просканируем окном п х п элементов одновременно оба исходных изо бражения. На каждом шаге сканирования на выбранном окне производите процедура замешивания амплитудной и фазовой частей спектров, после чег выполняется обратное преобразование Фурье. Из полученного изображена апоминается только точка, окрестность которой рассматривалась. Чтобы избежать потери качества изображения при сильном зашумлении изображений їли при исчезновении одного из изображений (равномерный фон), перед за-іешиванием амплитудной и фазовой информации спектры подвергаются раз-;елению на классы и анизотропной фильтрации. В общем случае разделение ікрестностей на классы решается процедурой отскока на основе шумового эта-гана. На рис.13 приведены примеры компиляции изображений (а - исходные Т$ изображения, б - результат компиляции, в - исходные ТПВ изображения). Рассмотренный алгоритм компиляции изображений зависит от порядка іасположения изображений и в прямом виде непригоден для трех и более изо-іражений. Тем не менее, в двухканальных системах он наиболее целесообразен і имеет свои преимущества - в этом случае не возникает так называемой ам-шитудной проблемы, для двухканальной компиляции автором разработан бы-трый алгоритм компиляции, что дает возможность работы в реальном мас-цтабе времени. Многоканальная компиляция. При компиляции более двух исходных [зображений отдельно синтезируются фаза и амплитуда результирующего [зображення. Для формирования фазового спектра исходные изображения юдвергаются оконной обработке аналогично тому, как это описано выше. Об-іаботка ведется одновременно для всех изображений. Для каждого направлення на каждом шаге обработки из всех окон, соответствующих классу данного управления, выбирается наилучшее (имеющее наибольшую анизотропию пектра) в смысле принятого критерия - в качестве фазовой составляющей вы-іирается фазовая составляющая того из к исходных изображений, где мини-іально отношение Е = Е„/Е„: Е,=тщ(Ещ1Ея), »"=U, ,>0. їсли несколько значений Е,- равны нулю Et = Ej = 0, / &j, то они сортируются ю принципу наибольшего значения Ещ . Так же как и ранее на выбранный фа-овый спектр накладывается направленный фильтр. Из полученных таким образом для всех направлений спектров формируется суммарный фазовый спектр ікрестности. Вообще говоря, при компиляции изображений можно говорить только о интезированной амплитудной составляющей спектра. Изображения могут отучаться по яркости друг от друга и анализ амплитудной составляющей спек-ров исходных теряет всякий смысл. Один из подходов к восстановлению ком-[илированных изображений состоит в выполнении чисто фазового синтеза, огда А(а>) = 1. В компиляции может использоваться амплитуда А(со) спектра, :оторая соответствует амплитуде спектра типичного изображения или изо-Іражений-прототипов. Общий, но более сложный подход дает решение ампли-удной проблемы. На рис.14 приведен результат компиляции (е) пяти исходных изображе-[ий (а,б,в,г,д). Количественные оценки качества итогового изображения та- труднены из-за неформализованности понятий и разнородности компилиру мых изображений. К тому же оценка качества должна производиться примен тельно к конкретно решаемой задаче. Л-ЛҐ ,Йл SW -1-*-*-* a г д є Рис.14. Амплитудная проблема в многоканальной компиляции. В компил ции многоканальных изображений в условиях несогласованности амплитуд і каналам, существенную роль играет так называемая амплитудная проблем когда по фазовой компоненте фурье-спектра необходимо восстановить исхо, ное изображение. Автором предложен вариант решения амплитудной пробл мы, основанный на ЛАП. Фурье-образ и z-образ дискретного изображения и(п), заданного в пред лах области 0 <щ 3(а») = 2 и(п)ещ>{ісоп}, R(z) = j^ ilri)z?z?=Y< "("У- П=0 n=0 /1=0 Суть амплитудной проблемы сводится к восстановлению изображения м( или, что эквивалентно, амплитуды 13(со)\= \R(exp(ico))\ по фазе cp(co)=arg У (со) = arg Л(ехр(г'й>)). При определенных ограничениях из преобразования Гильбе ; смыс. та получим: In | .? (со) |= \dcol . Интегралы понимаются в < Л.І ю,(су-ю,) главного значения по Коши. Можно получить: Ьр (cv)\ = j-) [ln|5 (7/)| - (pWctgaio^T] ткуда, переходя к дискретной сумме, получим для Мотсчетов: т ~М In|3?(0)|= Л»+-=7 \№*g іе До 10 - общая для всех окрестностей кон-ганта. Для М= 3 имеем: = ДЛ *шт- 1п|3(0)|=Д0+-р(1)с# На рис.15 представлен результат для изо-эажения "Лена". В данном случае рассмотрен іномерньїй вариант решения амплитудной эоблемы, так как изображение в каждой точке кстанавливается по одномерному фазовому іектру, соответствующему классу локального шзотропного признака в точке отскока. В главе приведены результаты разработки, исследования и внедрения медов и средств построения комплексированных систем авгосопровождения и істем обработки изображений, основанных на положениях диссертации. Оптико-электронная система обработки изображений н автосопро-Э/Кдення целей "Роща". В с истеме реализованы методы сопровождения це-;й и структурная схема, рассмотренные в главе 3 диссертации. Система 3оща" обеспечивает: автоматизированный захват цели, автосопровождение зли, селекцию маневрирующей цели, коррекцию захвата цели, контроль за )ывом слежения, экстраполяцию координат цели. ШЫ*^ ехнические характеристики: частота выдачи данных, Гц - 25 размер эталона, т.э. - 16x16 количество сопровождаемых глей _ J количество систем контроля - 4 )ад./сек точность сопровождения, т.д. - 0,8 допустимое отношение ігнал/шум на входе . 2 Система автосопровождения выполнялась на базе серийного танковог прицела 1Г42М. В изделие 1Г42М был встроен телевизионный канал вмест технического канала изделия ЗГТН-25 и модифицирована электрическая схем; В зависимости от уровня освещенности сцены предусмотрено использовани телевизионной камеры, сопряженной с микроканальным усилителем свет; Система выполнена на микропроцессорном комплекте 1804. Многоканальный комплекс обработки изображений переднего обзс ра "Лес". Многоканальный комплекс обработки изображений (КОИ) передне го обзора "Лес" предусматривал использование двух каналов наблюдения выполнение следующих функций: автоматизированный захват цели; автосс провождение цели по каждому из каналов наблюдения; комплексирование кг налов: координатная привязка каналов и компиляция изображения сцены и изображений различных каналов; автоматическое переключение на канал наь лучшей видимости; коррекция захвата цели и целенаведения; контроль за ерь: вом слежения; экстраполяция координат цели. Экспериментальный образец КОИ имел телевизионный (камера тип Технические характеристики: - размер эталона, т.э. - 16x16 - размер компилирован -в - разрядность входных а. - количество каналов - 2 - частота выдачи дан ъилл Рис.17. Общий вид КОИ. допустимое отношение сигнал/шум в рабочем канале - 2 угловая скорость слежения, град./сек - до 3 количество систем контроля - 5 Система захвата и автосопровождения целей "Гигант" и система їмплекснроваїїня каналов "Реванш". Один базовый алгоритм описания и іализа изображений при решении задач комплексирования, автосопровожде-ш и распознавания, однотипность выполняемых операций и микропрограмм-ія концепция процессора ПРОФИ позволили разработать структуру комплек-грованной системы обработки изображений КСОИ. При разработке учитывались следующие требования: Возможность одновременного сопровождения нескольких целей. Возможность комплексирования произвольного количества каналов. Использование ограниченного числа типов модулей. Возможность наращивания системы без увеличения числа типов модулей. Возможность модификации алгоритмов без разработки новых модулей. Возможность реализации на разрешенной элементной базе. Обеспечение живучести системы (отказ какого-либо канала не приводит к потере полной работоспособности системы). Обеспечение простоты отладки благодаря возможности настройки и отладки модулей в отдельности и благодаря ограниченному числу типов модулей. Конкретными реализациями КСОИ явились система захвата и автосопро->ждения целей "Гигант" и система комплексирования каналов "Реванш". Экспериментальный образец системы "Гигант" являлся модернизацией шплекса "Лес". Модернизация заключалась в введении в систему четырех эоцессоров ПРОФИ для автосопровождения 4-х целей. Диспетчеризация осу-ествлялась управляющей ЭВМ. Каждый ПРОФИ производит кодирование данного участка входного изображения и по заданному эталону переходит в :жим поиска цели "по образу первой". После этого ПРОФИ переходит в ре-им автосопровождения. Время захвата 4-х целей на автосопровождение - 1 с. Система комплексирования каналов "Реванш" разрабатывалась для целей іеративной разведки и имела три наблюдательных канала: видимый (ТВ-імера КТМ-1), видимый и ближний ИК (прибором ночного видения Сорона"), ближний ИК (прибором круглосуточного наблюдения ПКН "Луна"), э обстоятельство, что ТВ-камера, ПНВ и ПКН построены на основе ПЗС-прицы 1200ЦМ7, позволило избежать процедуры согласования каналов по ормату и частоте кадров. В системе были реализованы алгоритмы многока-шьного совмещения и многоканальной компиляции. Режим автосопровожде-ія не предусматривался. Устройство коррекции геометрических шумов "Рябина". Работа уст-)йства основана на методах коррекции строчных геометрических шумов и іучшения качества изображений, разработанных в диссертации. Устройство ябина" разрабатывалось для обработки сигналов ТПВ канала изделия 34-99. Устройство выполняет в реальном масштабе времени обработку рагмента изображения размером 32x32 элементов. В автоматическом режиме ;ходное изображение заносится в кадровое ОЗУ, откуда пофрагментно счи-.івается и обрабатывается. В ручном режиме местоположение обрабатываемо- го фрагмента изображения определяется с помощью ручного манипулято{ ("джойстик"). Устройство полностью применимо и в случае матричных приеа ников излучения. Автоматическая селекция целей в широкопольиых ИК система Методы обработки изображений, описанные в четвертой главе диссертаци были применены для автоматической селекции целей в широкопольной паї сивной ИК (8... 12 мкм) системе, разработанной НПО "Орион". Ставилась заді ча селекции малоразмерных объектов на фоне облачного неба и малоразме] ных наземных объектов. Исходные изображения, полученные сканирующе линейкой приемником, обладали значительным геометрическим шумом как п строкам, так и по столбцам. Анизотропная фильтрация шумов и селекция обі ектов по графическому эталону (масочные операторы) проводилась одновр< менно т.к. обе используют метод ЛАП. Размер масочного оператора соответс вовал размерам обнаруживаемых целей. Результаты селекции по графическом эталону совместно с результатами селекции по яркости определяли подозрі тельные объекты. Оптоэлектронные варианты реализации метода ЛАП. Подход к пс строению оптико-электронных устройств основан на реализации разработаї ных в диссертации быстрых алгоритмов вычисления ЛАП. Оптико-электронное устройство, реализующее вычисление ЛАП для окн размером 4x4, включает линейку из 16 лазерных диодов, линейку из 16 фоте диодов и 64 волоконных световода. Система оптических связей организован так, что каждый фотоприемник связан с четырьмя лазерными диодами, кажды из которых, в свою очередь, связан с четырьмя фотодиодами. Выходные эле* трические сигналы пропорциональны мощностям спектральных компонент четырех направлениях. Преимуществами рассматриваемой реализации оптике электронного устройства являются высокое быстродействие, низкая потрес" ляемая мощность, малые габариты, относительная простота реализации, высс кая степень отработанности элементной базы: лазерных диодов, волоконны световодов, фотоприемников. Скорость обработки достигает величины 2х 10 опер./сек (10 не на окрестность). Голографические матричные коммутационные компоненты также прс іставляют возможность эффективной реализации оптико-электрон-ного уст-шства кодирования изображений ЛАП. Для окрестности 4x4 пикселов уст-ійство на основе голографического коммутатора включает матрицу 4x4 ла-рных полупроводниковых диодов с коллимирующими линзами, коммутаци-шую матрицу голограмм 4x4 и матрицу фотоприемников 4x4. Электрические [гналы фотоприемников поступают в электронный блок обработки. Исполь-вание голографических коммутационных элементов по сравнению с воло-шно-оптическими позволило упростить оптическую систему, уменьшить ее бариты и массу. Однако возрастают требования к когерентности лазерных точников света. Для реализации приемлемых точностей оптических вычис-ний необходимо добиться относительно высокой точности согласования па-метров (лучше 5%) каналов, а также обеспечить их стабильность во времени. ішєниє этих проблем состоит в кодирования входных данных не мощностью етового пучка, а длительностью светового импульса. Упрощение оптико-ектронной реализации достигается за счет некоторой потери быстродейст-[я, хотя оно остается еще достаточно высоким (109 опер./с). В другой реализации ввод информации в оптический тракт вычислителя юизводится с помощью многоканального акустооптического модулятора, содная информация в цифровом виде поступает в буферное ОЗУ стекового па для хранения 5 информационных строк (для окрестности 4x4). ОЗУ вы-шняет функцию линии задержки и позволяет выводить информацию по 4 калам на 4-канальный радиочастотный модулятор, в котором осуществляется галитудная модуляция генератора несущей акустооптического модулятора. шее сигналы, усиленные до необходимого уровня, поступают на входы аку-ооптического модулятора и через Фурье-объектив на многосекционное ФПУ. «палы с ФПУ обрабатываются блоком классификации. Производительность юцессора при формате кадра 512x512 превышает 6,5х106 двумерных преоб-зований Фурье в секунду. Кодированное процессором изображение в каждом классов имеет бинарный вид и может легко обрабатываться в дальнейшем с імощью корреляторов, в том числе оптических. Рассмотренные варианты оптико-электронных устройств выделения ЛАП їли реализованы в виде макетных образцов. В СНИИОС под руководством И.С.Гибина создан опытный образец сис-мы дешифрирования снимков высокого разрешения на основе двумерного раллельно-последовательного коррелятора изображений с интегрированием времени. Если эталонное изображение представлено тонким контуром, то аимно-корреляционная функция может быть получена путем смещения ана-зируемого изображения по контуру эталона с последующим накоплением юстранственного сигнала, причем смещение должно производиться по зако-' изменения контура, повернутого в плоскости на 180 по отношению к ис-дному. Таким способом вычисление корреляционной функции является па-ллельно-последовательным, так как накопление корреляционной функции юисходит последовательно во времени, а обработка анализируемой функции ведется одновременно по всем точкам. Рассмотренная система может быть модифицирована, если вместо контура использовать ЛАП. Закодированное изображение можно представить в виде пяти (для пяти классов) бинарных матриц, каждая из которых соответствуеі одному из классов признаков. Проведя корреляцию для каждого класса и просуммировав результат на выходе системы получаем аналог компарационно* матрицы. Было проведено моделирование работы системы. Результаты селекции изображений аналогичны описанным в главе 4 (рис.12). Таким образом, метод локальных анизотропных признаков реализуете* достаточно несложными оптико-электронными аппаратными средствами, < анализ изображений может выполняться для изображений большой размерно сти в реальном и квазиреальном масштабе времени. В ПРИЛОЖЕНИИ приведено сопоставление метода ЛАП с методам! выделения контура и сравниваются результаты их применения. Приведены сведения о внедрении результатов диссертационной работы.
алойным изображением. Если задан эталон, естественно, что получаемое би-
ірное изображение должно зависеть от эталонного изображения. При этом
ічка отскока будет соответствовать случаю, когда эталонный и фоновые фраг-
;нты максимально разнесены в пространстве признаков.
іния структуры изображения, определяет количество изотропных точек. Это
5ъясняется тем, что энтропия описания изображения максимальна, когда при
тки равновероятны, т.е. описание наиболее информативно (по Шеннону). На
гальных структурированных изображениях теоретический максимум энтропии
зычно недостижим. Но энтропия в точке отскока и максимум реально дости-
имого значения энтропии практически совпадают. Чем больше признаков, тем
шением 5(
2а\є
3(2co0,Q)=
2ase
3{2со0,2оз0)=-
2а\є
ТПВ-изображение
Компарационна; матрица
L, не изменяющие свое значение от кадра к кадру, будут
леть больший "вес" по сравнению с остальными. При ус-
ійчивом слежении объект неподвижен относительно оси
ізирования (эталона), в то время как фон может переме-
аться. Это приводит к тому, что в случае динамической рис <;
результат обработки
м
Зашумленный
K-'WJfl|3}«ЧЗ{*Ы i«t{J"i і
Рис.15.
угловая скорость слежения, доЗ
Рис.16. Система "Роща"
М-7) и тешювизионный (ТВ-03 (3...5 мш)) каналы. Оптическая схема канало
конструировалась таким образом, чтобы изображения цели имели одинаковы
масштаб. В состав образца входят два процессора обработки фрагмента изс
бражения ПРОФИ. ПРОФИ осуществляют автосопровождение целей по ка»
дому из каналов и производят совмещение каналов. Реализация слежения п
каждому каналу аналогична системе "Роща". Совмещение каналов и компиля
ция проводилось по двухканальному варианту. По критерию качества произве
дится автоматический выбор канала. Необходимым условием переключени
канала наблюдения является срабатывание одной из систем контроля.
ного изображения, т.э. - 32x32
данных - 8
ных, Гц - 25Похожие диссертации на Метод локальных анизотропных признаков и его применение в комплексированных системах автосопровождения
