Содержание к диссертации
Введение
1 Обзор и анализ методов совмещения изображений и выделения границ 12
1.1 Особенности задачи совмещения информации в СТЗ ЛА 12
1.2 Реализация решения задачи совмещения изображений в современных системах 15
1.3 Обзор методов совмещения 18
1.3.1 Обзор и анализ некорреляционных методов совмещения изображений 20
1.3.2 Детекторы точек 25
1.3.3 Детекторы контуров 32
1.3.4 Алгоритмы принятия решения о соответствии определённой пары «особенностей» ТИ и ЭИ 34
1.4 Обзор методов выделения границ на изображении 40
1.4.1 Методы выделения границ (краев) первого порядка 40
1.4.2 Методы выделения границ (краев) второго порядка 41
1.4.3 Метод выделения границ Канни 43
1.5 Методы скелетизации (утоньшения) 45
1.5.1 Метод Щепина 46
1.5.2 Алгоритм Зонга-Суня 46
1.5.3 Шаблонный метод 48
1.5.4 Волновой метод 48
Основные результаты 51
Постановка задачи исследований 52
2 Этапы решения задачи выделения границ объектов 53
2.1 Разработка алгоритма выделения границ объектов подстилающей поверхности. 53
2.1.1 Адаптация по удаленности 60
2.1.2 Применение методов математической морфологии для поиска границ объектов 62
2.2 Модификация алгоритма разметки границ объектов бинарного изображения 64
2.3 Проверка границ 68
2.4 Схема алгоритма выделения границ объектов подстилающей поверхности 71
2.5 Оценка трудоемкости этапов выделения границ объектов 77
2.6 Исследование алгоритма выделения границ объектов подстилающей поверхности 79
2.7 Исследование устойчивости алгоритма выделения объектов к аддитивному гауссову шуму Основные результаты 87
3 Разработка алгоритма совмещения изображений различной природы 89
3.1 Методика определения зоны наблюдения летательного аппарата 90
3.1.1 Математическая модель формирования неискаженного изображения 93
3.1.2 Математическая модель и исследование параметров изображения с учетом ошибок 97
3.2 Совмещение разнородных изображений в СТЗ ЛА 103
3.2.1 Постановка задачи совмещения изображений в СТЗ ЛА 104
3.2.2 Получение границ на модельном изображении 109
3.2.3 Оценка целевой функции. 111
3.2.4 Схема алгоритма совмещения 113
3.3 Анализ трудоемкости алгоритма совмещения изображений 115
3.4 Исследование влияния различных координат на формирование результирующей зоны неопределенности. 116
3.5 Исследование неравномерной сетки перебора с учетом нормального закона распределения погрешностей 120
3.6 Критерии сравнения алгоритмов совмещения изображений 128
3.7 Сравнение алгоритмов совмещения изображений 130
Основные результаты 133
4 Программный стенд для исследования и апробации алгоритмов 134
4.1 Проектирование программного стенда 134
4.2 Подготовка исходных данных для проведения экспериментов 143
4.3 Оценка возможности аппаратной реализации предлагаемых алгоритмов . 150
4.4 Экспериментальная проверка предлагаемых алгоритмов выделения особенностей и совмещения изображений. 152
4.4.1 Цель проведения экспериментальных исследований алгоритмов 153
4.4.2 Методика испытаний 153
4.4.3 Входные и выходные данные для проведения исследований154
4.4.4 Результаты испытаний 154
Основные результаты 164
Заключение 165
Список использованных источников 167
- Обзор и анализ некорреляционных методов совмещения изображений
- Адаптация по удаленности
- Математическая модель и исследование параметров изображения с учетом ошибок
- Оценка возможности аппаратной реализации предлагаемых алгоритмов
Обзор и анализ некорреляционных методов совмещения изображений
При летной эксплуатации бортового оборудования летательных аппаратов системы инструментальной видимости окружающей среды закабинного пространства играют значительную роль в обеспечении безопасности на всех этапах полетов. Так, наряду с другими причинами возникновения авиационных происшествий и серьезных инцидентов, доминирующими являются ошибочные действия экипажа, который не всегда имеет достаточное и высококачественное информационное обеспечение полета.
В настоящее время известно о серийном использовании по крайней мере трех типов систем визуализации [2]:
Система улучшенного видения (система технического зрения с расширенными возможностями EVS - Enhanced Vision Systems). EVS – это электронное средство обеспечения лётного экипажа изображением, полученным непосредственно от датчика, или обработанное изображение внешней обстановки. В качестве датчика изображения может использоваться: инфракрасная камера переднего обзора, радиолокатор миллиметрового диапазона и (или) устройство усиления изображения, полученного при низком уровне освещенности. Известны современные интегрированные комплексы бортового оборудования для одновинтовых вертолетов типа Ми-172 - ИБКВ-17 [3], интегрированный бортовой комплекс оборудования ИБКО-38 вертолета Ми-38, которые позволили значительно расширить возможности вертолета, повысить в некоторой степени безопасность полетов, придать кабине экипажа эргономичный и современный вид с применением концепции «стеклянной кабины» компании Honeywell (США).
Система синтезированного видения (SVS - Synthetic Vision Systems) - это электронное средство для вывода на дисплей сформированного вычислителем изображения соответствующего внешнего топографического участка, наблюдаемого из кабины пилота и вычисляемого по ориентации ВС в пространстве, по высоте, географическим координатам ВС и базе данных. Лидерами в этой области являются Sikorsky Aircraft Corp. (США), Rockwell Collins Inc. (США), Gulfstream Aerospace Corporation (США), Honeywell International (США), Garmin (США), Aspen Avionics (США), Eads Deutschland GmbH (Германия), Thales (Франция) и ряд других. В настоящее время изображение с систем искусственного видения выводится на основной пилотажный дисплей, причем изображение формируется с видом “с самолета на землю” (эгоцентрическое). В связи с имеющимися погрешностями определения координат летательного аппарата изображение, выводимое пилоту, не всегда точно соответствует реальной закабинной обстановке.
Systems) - это комбинация подсистем искусственного видения (SVS) и улучшенного видения (EVS). Если используется HUD-дисплей, то система называется системой увеличения дальности видимости (бортовая система технического зрения с расширенными возможностями визуализации - бортовая FVS).
Так, аэрокосмическая компания Honeywell International разработала новую технологию для самолетов под названием Enhanced Flight Visual System / Synthetic Vision System (EFVS/SVS) [4] – система улучшенной инструментальной полетной видимости закабинного пространства/система синтезированного видения подстилающей поверхности. Система SVS представляет экипажу базу данных и графическую 3D-визуализацию маршрутов воздушных судов, показывая на индикаторе в схематическом виде поверхность земли, над которой летит воздушное судно, и возможные препятствия на ней. Система EFVS работает с инфракрасными сенсорами, установленными на «носу» самолета, и получает реальные данные отображения земной поверхности, «накладывая» их на данные SVS.
Однако стоит заметить, что используемые на сегодняшний день системы комбинированного видения не решают задачу создания геометрически совмещенного комбинированного изображения, что зачастую приводит к рассогласованию реального и синтезированного изображений. Специфика задачи совмещения изображений подстилающей поверхности, полученных от сенсоров и цифровой карты местности, заключается в следующем. В классической задаче рассматривается вопрос совмещения однородных либо близких изображений, то есть изображений одной и той же сцены, полученных либо с разных точек обзора (в этом случае имеются перекрывающиеся области), либо в разные моменты времени (задача анализа оптического потока). Исходные изображения могут отличаться масштабом, быть геометрически преобразованы друг относительно друга, зашумлены и т.д. В задаче же совмещения изображений подстилающей поверхности и цифровой карты местности необходимо совместить принципиально отличающиеся по своей природе изображения одной и той же сцены, каждое из которых имеет свою специфику.
Таким образом, можно сформулировать по крайней мере 4 основные проблемы, возникающие при решении заявленной задачи: 1. характерные особенности изображений, полученных от ЦКМ и сенсоров, будут различными, так как изображение, полученное от ЦКМ, является искусственным изображением сцены, а полученное от сенсоров – естественным; 2. количество и качество объектов на обоих изображениях различно. Так, на цифровой карте местности могут отсутствовать малозначимые объекты, объекты не претерпевают изменений. Напротив, объекты на естественных изображениях сцены со временем претерпевают значительные изменения, носящие сезонный либо случайный характер; 3. ЦКМ в целях уменьшения размера файла зачастую представлена в векторном формате, тогда как изображение от сенсоров – в растровом, таким образом, необходимо решать проблему растеризации/векторизации; 4. необходимы алгоритмы, обеспечивающие совмещение в реальном времени.
Адаптация по удаленности
Алгоритм состоит из пяти отдельных шагов:
1) сглаживание. Размытие изображения для удаления шума. Для подавления шума используется размытие изображения фильтром Гаусса;
2) поиск градиентов. Границы отмечаются там, где градиент изображения приобретает максимальное значение. Для алгоритмов выделения границ применяется оператор Собеля. По сути, это дискретный дифференциальный оператор, вычисляющий приближенное значение градиента яркости изображения. Результатом применения оператора Собеля в каждой точке изображения является либо вектор градиента яркости в этой точке, либо его норма. Оператор Собеля основан на свёртке изображения целочисленными фильтрами в вертикальном и горизонтальном направлениях, поэтому его относительно легко вычислять. С другой стороны, используемая им аппроксимация градиента достаточно грубая, особенно это сказывается на высокочастотных колебаниях изображения;
3) подавление не-максимумов. Только локальные максимумы отмечаются как границы. Пикселями границ объявляются пиксели, в которых достигается локальный максимум градиента в направлении вектора градиента;
4) двойная пороговая фильтрация. Потенциальные границы определяются порогами. Чем меньше порог, тем больше границ будет находиться, но тем более восприимчивым к шуму станет результат, выделяя лишние данные изображения. Наоборот, высокий порог может проигнорировать слабые края или получить границу фрагментами. Выделение границ Канни использует два порога фильтрации: если значение пикселя выше верхней границы – он принимает максимальное значение (граница считается достоверной), если ниже – пиксель подавляется, точки со значением, попадающим в диапазон между порогов, принимают фиксированное среднее значение (они будут уточнены на следующем шаге);
5) трассировка области неоднозначности. Итоговые границы определяются путём подавления всех краёв, несвязанных с определенными (сильными) границами. Задача сводится к выделению групп пикселей, получивших на предыдущем этапе промежуточное значение, и отнесению их к границе (если они соединены с одной из установленных границ) или их подавлению (в противном случае). Пиксель добавляется к группе, если он соприкасается с ней по одному из 8-ми направлений.
Вывод. Для зашумленных изображений метод Канни, содержащий в основе оператор размытия и градиентный оператор Превитта, обеспечивает наилучшее обнаружение границ по сравнению с остальными методами, но требует существенно большего времени. Методы выделения границ первого порядка обладают достаточно хорошей чувствительностью к перепадам яркости, однако при их использовании велика опасность обнаружения ложных контуров. Методы обнаружения границ второго порядка чувствительны к изменению направления градиента и изменению ориентации перепада яркости. Следовательно, использование методов выделения границ первого и второго порядка требует либо дополнительного шага обработки изображений – скелетизации, так как границы, выявленные данными методами, имеют ширину много более одного пикселя, либо существенных временных затрат.
Для уменьшения количества вычислительных операций, полученные контуры целесообразно утоньшать до контуров толщиной в 1 пиксель. Существуют разнообразные методы получения скелетов (тонких линий) изображений, отличающихся друг от друга. Все эти методы опираются на два принципиально отличающихся друг от друга подхода [43]. Первый подход основывается на применении дистанционных карт. Основными недостатками такого подхода являются нарушения топологии исходного объекта и высокая чувствительность к шуму на изображении.
Второй подход опирается на идею топологического утончения объекта. Эти алгоритмы для определения возможности удаления каждого пиксела, принадлежащего объекту на изображении, используют шаблоны локальных окрестностей. Недостатком алгоритмов, основанных на таком подходе, являются большие затраты машинного времени, необходимые для них. Однако такой подход позволяет лучше сохранить информацию о структуре исходного объекта.
Метод Щепина изложен в [44]. Вначале происходит разделение исходного образа символа на компоненты связности, для чего может быть использовано линейное представление, сформированное для событийного метода. В каждой компоненте для каждого внешнего и каждого внутреннего контура находятся исходные левые верхние точки. Далее шаг за шагом удаляется один слой точек. Для очередной точки контура рассматривается конфигурация восьми соседних точек. Точка удаляется, если она не является концевой, (то есть не лежит на начальном или концевом интервале прямой или поворотной линии) и если после ее удаления восемь ее соседей будут по-прежнему образовывать связное множество. Связность может пониматься по-разному (8-и связность, 4-х связность), поэтому можно легко получать разные виды скелетных представлений. После анализа точки и ее соседей, и возможного удаления точки, осуществляется переход к следующей точке контура таким образом, чтобы остаться на границе изображения.
Математическая модель и исследование параметров изображения с учетом ошибок
Для облегчения процедуры разметки введем представление об объекте как о множестве связанных пикселей. В таком случае коллизия подразумевает эквивалентность областей с метками B и C. В некоторых реализациях [51] данного метода составляется граф эквивалентности таких меток, с последующим его разбором, однако данный подход нецелесообразен, так как предполагает два прохода по изображению. Простое добавление всех пикселей области с меньшим количеством пикселей в область с большим количеством пикселей с последующим обнулением первой позволяет обойтись одним проходом.
После разметки получаем матрицу, в которой метками с одинаковыми номерами помечены пиксели, принадлежащие одному объекту.
Далее производится выделение границ и разметка изображений (результат таких действий представлен на рисунке 2.11). Рисунок 2.11 – Изображение с выделенными границами
Достоинством предложенного метода выделения объектов является замкнутость границ при переходе от бинарных изображений к контурам (векторизованным границам), что позволяет после разметки объектов на изображении произвести дополнительную фильтрацию полученных контуров по количеству аппроксимирующих точек. Исходя из задачи работы, количество точек, минимальное для признания контура описывающим объект, было взято равным 300 при аппроксимации контура каждой 3-й точкой последовательности. На рисунке 2.12 приведено изображение, полученное после разметки границ с аппроксимацией контуров.
Так как граница областей на бинаризованном изображении является замкнутой, однако проходит не по фактической границе перепада яркостей, а по границе изменения порога по методу Отсу, то необходима проверка наличия в данном пикселе «фактической» границы перепада. Для этого для каждой точки из набора, описывающего объекты исходного изображения, предлагается использовать способ поиска границ масочными операторами [45]. Он состоит в том, что на каждый пиксель исходного изображения накладывается маска, по которой рассчитывается значение порога для этой точки. Если значение больше, чем некоторая пороговая величина, то точка принимается принадлежащей фактической границе. Основным принципом большинства методов выделения контурных линий, отделяющих соседние фрагменты, является вычисление частных производных от функции яркости по координатам. Предполагается, что яркости фрагментов постоянны и существенно отличаются друг от друга. Знак производной функции яркости зависит от направления перехода яркости, т.е. производные на участках повышения яркости между фрагментами положительны, а на участках понижения яркости — отрицательны. Первую производную функции яркости можно использовать для обнаружения наличия контурной линии, а вторую производную — для определения ширины этой линии.
Так как яркость изображения является функцией двух переменных, градиент функции яркости в каждой точке определяется как двумерный вектор: [ ( )] [ ], где ( ) ( ) – частные производные. Известно, что вектор G указывает направление максимального изменения функции z(x,y) в точке (x,y), которое можно определить как угол между осью X и направлением вектора G, причем . При выделении контурной линии используется длина этого вектора:
Для дискретных изображений вычисление частных производных сводится к вычислению разности яркостей соседних пикселей различными способами, т.е., фактически к пространственной фильтрации путем свертки с различными по размеру и значению коэффициентов масками разностных фильтров. Тогда: где hx, hy - коэффициенты соответствующих масок Нх, Ну; S -окрестность обрабатываемого пикселя.
Таким образом, проверка границ объектов осуществляется по исходному изображению в каждом пикселе, отнесенном к границам. Это позволяет избавиться (в среднем 10-25%) от «ложных» граничных пикселей (100-500 пикселей), что дает выигрыш в 10-25% времени перебора для совмещения.
После проверки границ производится аппроксимация контура точками перегиба и определение среднеквадратичного отклонения точек, лежащих между точками перегиба.
Точки перегиба Точка принимается за точку перегиба, если угол А (рисунок 2.13) лежит в пределах, определяемых по предварительно построенной гистограмме углов в пределах одного СКО углов. Экспериментальные исследования показывают, что при значения угла А, лежащем в пределах 20-150о (рисунок 2.14), СКО точек, лежащих между точками перегиба, соответствует значению 5 пикселей.
Схема алгоритма выделения границ объектов подстилающей поверхности Таким образом, схема алгоритма выделения особенностей (рисунок 2.15) на изображении, полученном от сенсора ТЗ, разработанная в данной диссертации, включает следующие этапы (подробное описание шагов приведено в пп. 2.1-2.3):
На этапе получения бинарного изображения с выделенными объектами (рисунок 2.16) осуществляется размытие исходного изображения с целью уменьшения его зашумления, после чего изображение переводится из цветного в полутоновое. По полутоновому изображению определяется первый порог бинаризации путем построения гистограммы изображения и расчета порога Отсу по формуле (2.1) по данной гистограмме. Далее производится бинаризация полутонового изображения по данному порогу. На бинарном изображении осуществляется выделение границы областей, данная граница проверяется на соответствие признакам линии горизонта. Если граница удовлетворяет признакам линии горизонта, то осуществляется ее аппроксимация МНК по формуле (2.3) и нахождение объекта из связанных точек. Далее по исходному полутоновому изображению и первому порогу определяется второй порог бинаризации и осуществляется бинаризация по второму порогу (адаптивно по формуле (2.2)).
Оценка возможности аппаратной реализации предлагаемых алгоритмов
Целью разработки программного стенда является создание удобного инструмента, который позволил бы исследовать процесс предварительной обработки и совмещения текущих и модельных изображений, исследовать возможность реализации алгоритмов в реальном времени.
Программный стенд «Совмещение изображений различных типов формирования» интегрирует программные модули, реализующие функции улучшения ТВ изображений, получение изображений ВММ, совмещения ТВ изображений с ЦКМ. Целью разработки программного стенда является создание инструмента, позволяющего исследовать процесс предварительной обработки и совмещения изображений от ТВ камер и ракурсов ВММ, исследовать возможность его реализации в реальном времени. В стенде должны быть реализованы следующие основные функции:
Стенд «Совмещение изображений различных типов формирования» предназначен для проведения тестовых испытаний по совмещению исходных изображений с использованием данных о положении летательного аппарата и погрешностях измерения его координат. Стенд должен проводить тестовые испытания в полуавтоматическом (с участием оператора) и автоматическом режимах. Основу алгоритмической обработки составляют методы, разработанные в диссертации и описанные выше. Программный стенд, написан на языке программирования С++. Загрузка и сохранение изображений возможна в любом из известных форматов. Структура программного стенда приведена на рисунке 4.1.
Представленный программный стенд состоит из модулей, реализующих обработку и совмещение изображений, а также модулей, отвечающих за взаимодействие (интерфейс) с пользователем. Модуль получения текущих изображений реализует функцию загрузки и хранения исходного изображения, полученного от системы технического зрения летательного аппарата. Данное изображение передается в модуль предварительной обработки и хранения текущих изображений, где над ним производится операция выделения объектов на изображении по параметрам, настраиваемым пользователем и передаваемым с модуля пользовательского интерфейса. Изображения, хранимые в данном модуле, передаются в модуль визуализации для дальнейшего наложения и вывода в пользовательский интерфейс.
Модуль получения модельных изображений предназначен для загрузки и передачи в модуль обработки и хранения модельных изображений набора изображений виртуальной модели местности, полученных по цифровой карте местности по навигационным данным, поступающим от интерфейса пользователя. Модуль обработки и хранения модельных изображений выполняет функции выделения границ объектов на изображениях виртуальной модели местности для дальнейшей передачи в модуль совмещения изображений, а также хранения изображений для дальнейшего наложения с целью визуализации.
В модуле совмещения изображений производится расчет и нахождение максимума решающей функции и определение наилучшего набора навигационных данных, а также расчет характеристик эксперимента. Результаты работы модуля передаются в модуль обработки и хранения модельных изображений для определения наилучшего модельного изображения для дальнейшей визуализации, а также в модуль получения информации о характеристиках эксперимента для сбора статистических данных об эксперименте.
Модуль визуализации предназначен для наложения изображений, а также перевода данных об эксперименте в удобную для визуализации форму. Входной информацией для его работы являются модельное и текущее изображения, набор навигационных данных, полученный по результатам эксперимента, а также статистические данные, полученные в ходе эксперимента. Модуль осуществляет обработку данных и передает их в модуль интерфейса пользователя для вывода. Каждый этап обработки входных изображений определяется настройкой и передачей соответствующих параметров через интерфейс. На текущем изображении производится выделение яркостным методом и описание методом разметки объектов, а также последующая фильтрация линии горизонта и объектов, по модельному изображению формируется путем поиска и расширения границ маска границ объектов для последующего совмещения. Полученные данные вместе с параметрами эксперимента являются исходными для проведения операции совмещения изображений.
