Модели и методы совмещения 2D и 3D изображений в системах технического зрения авиационного применения Новиков Анатолий Иванович

Введение к работе

Актуальность темы исследования. Развитие подвижных робототехнических комплексов как наземного, так и воздушного применения, невозможно без бортовых систем технического зрения (СТЗ), способных решать широкий спектр задач. В авиационных СТЗ наиболее острой и актуальной является проблема обеспечения безопасности полетов и особенно на этапе посадки, в условиях плохой видимости и сложного рельефа. Диссертационное исследование посвящено разработке теоретических основ, моделей и алгоритмов получения, преобразования и выдачи пилоту летательного аппарата (ЛА) наиболее полной и удобной для восприятия информации о закабинном пространстве на основе решения задач совмещения плоских разнородных изображений и облаков точек в трехмерном пространстве.

Одно из основных направлений повышения безопасности полетов на современных и перспективных летательных аппаратах (ЛА) заключается в оснащении их техническими средствами слежения за воздушной обстановкой. В качестве источников информации о закабинной обстановке в таких комплексах могут использоваться:

телевизионные видеокамеры (ТВ камеры),

тепловизионные камеры (ТПВ),

радиолокационные станции (РЛС),

лазерные локаторы (ЛЛ).

Для отображения пилоту наиболее полной информации от сенсоров и в максимально удобном для восприятия виде она должна пройти предварительную обработку в бортовом вычислителе. Наряду с информацией от сенсоров в памяти бортовой системы технического зрения (СТЗ) ЛА хранится цифровая карта местности (ЦКМ), на основании которой в бортовом вычислителе может формироваться синтезированное изображение подстилающей поверхности -виртуальное изображение (ВИ).

Реальное изображение (РИ), поступающее от сенсоров, и ВИ, сформированное по ЦКМ на основании текущих значений навигационных параметров, могут отображаться одновременно на информационном мониторе в различных сочетаниях. Выбор наилучших вариантов комбинирования реальной и виртуальной информации определяется многими факторами: стадией полета (полет на малой высоте, посадка и т.д.), метеоусловиями, временем суток. Комбинированное использование реальной информации в рамках многоспектральной системы технического зрения (МСТЗ), получаемой от разноспектральных датчиков, и картографической информации от ЦКМ может существенно повысить точность и надежность определения навигационных параметров ЛА и определения координат объектов.

Навигационные параметры ЛА задаются шестимерным арифметическим
вектором V = В составе этого вектора тройка чисел x,y,h

определяет координаты ЛА в пространстве, а тройка углов Эйлера 9,\|/,у (тангажа, курса и крена соответственно) - ориентацию ЛА в пространстве.

Значения навигационных параметров, формируемые соответствующими датчиками, содержат ошибки, которые могут приводить к неадекватной оценке закабинной обстановки. Неадекватная информация от технических устройств и, как следствие, ошибочные действия экипажа не раз были основной причиной авиационных катастроф. Поэтому одной из наиболее важных задач, решаемых в авиационных СТЗ, является задача корректного совмещения РИ и ВИ.

Корректное слияние синтезированного и реального изображений способно значительно повысить ситуационную осведомленность экипажа. Одновременно решение задачи совмещения РИ и ВИ позволяет решить и обратную задачу - скорректировать ошибочные значения навигационных параметров. На входе СТЗ ЛА:

реальное изображение (РИ);

значения вектора v_r = (х„ _УгЛЛ,Гг, Уг) навигационных параметров. По этим навигационным данным формируется виртуальное изображение

(ВИ). Наложение ВИ на РИ обнаруживает несовпадение изображений объектов, обусловленное неизвестной ошибкой Аг = (Ах,Ау,АН,Ав,Аіу,Ау) вектора навигационных параметров. Необходимо «подобрать» такую поправку Лу _t

к значениям вектора навигационных параметров, чтобы виртуальное изображение, сформированное по скорректированному вектору v_opt = v_r +Av_opt, максимально точно совпало с РИ.

Совмещение РИ и ВИ с последующим формированием комбинированного изображения на борту ЛА целесообразно при условии, что ЛА находится на высотах до 500 м, а его скорость - в пределах 0-400 км/час. Требования к изображению подстилающей поверхности вытекают из метода совмещения реального и синтезированного изображений. Однако, синтезированное изображение представлено контурами объектов постоянного присутствия на подстилающей поверхности. Поэтому независимо от применяемого метода качество совмещения РИ и ВИ определяется наличием этих объектов в зоне обзора реальной камеры.

Проблема совмещения разнородных изображений значительно сложнее задачи совмещения изображений, поступающих от одноименных сенсоров по нескольким причинам. Одна из основных заключается в ошибках определения текущих координат ЛА (широты X, долготы ср и высоты h) и параметров курса

\|/, тангажа 0 и крена у . Ошибки могут присутствовать и в ЦКМ. Как следствие

изображение, синтезированное по ЦКМ при наличии в ней ошибок, будет отличаться от истинного. Еще одним источником ошибок в СТЗ могут быть сами сенсоры, формирующие изображение. Разная природа реального и синтезированного изображений является еще одной и очень важной причиной, затрудняющей решение задачи совмещения изображений.

Перечисленные выше доводы о необходимости решения задачи совмещения разнородных изображений и перечисление возникающих при этом проблем, обуславливают актуальность разработки новых и модернизации

существующих методов и алгоритмов совмещения изображений, работающих в реальном времени.

Параллельно с задачей совмещения РИ и ВИ в плоском случае и формированием комбинированного изображения в диссертационном исследовании решается задача формирования 3D моделей подстилающей поверхности. Актуальность формирования 3D изображений в системах технического зрения авиационного применения обусловлена необходимостью решения многих задач вертолетной авиацией. К ним относятся задачи монтирования с помощью вертолета различных технических установок, спасение живой силы в условиях сложного рельефа, посадка вертолета на незнакомые площадки. Концептуально совмещение 3D изображений не отличается от решения аналогичной проблемы в плоском случае. Необходимо решить две основные задачи:

сформировать множество пар соответствующих точек;

построить преобразование F, преобразующее точки одного множества к другому с минимизацией расстояния между соответствующими точками этих множеств.

Проблемы, возникающие при решении первой задачи в трехмерном случае, существенно сложнее, чем в двумерном случае. В двумерном случае изображение можно рассматривать как решетчатую функцию с целочисленными значениями, заданную на сетке с фиксированным равномерным расположением узлов на плоскости. Изображение в пространстве - это множество троек чисел

F = {(x_b>>_bz;)}"₌₁ с произвольными действительными значениями всех трех

координат, заданных на некотором открытом множестве V с R .

При динамически меняющейся зоне перекрытия облаков точек стандартный вариант метода ICP, выполняет сшивку облаков точек по всему множеству точек в одном и втором облаках без учета зоны перекрытия. Поэтому использование этого метода для решения задачи совмещения трехмерных изображений подстилающей поверхности под ЛА требует соответствующей доработки алгоритма.

Степень проработанности темы. Цифровая обработка изображений является в настоящее время одним из наиболее актуальных направлений научных исследований. Этому направлению посвящено большое число научных работ как в отечественной, так и в зарубежной литературе. Существенный вклад в развитие методов цифровой обработки изображений внесли отечественные ученые Алпатов Б.А., Визильтер Ю.В., Гуревич И.Б., Дворкович В.П., Журавлев Ю.И., Желтов С.Ю., Зубарев Ю.Б., Еремеев В.В., Киричук В.С., Кузнецов А. Е., Сойфер В.А., Сергеев В.В. и другие, а также зарубежные ученые Блейхут Р., Гонзалес Р., Понс Ж., Прэтт У., Форсайт Д., Кенни Д., Харалик Р., Харт Я. Проблема совмещения изображений занимает достаточно важное место в обширном списке научных исследований по цифровой обработке изображений. Наибольшее число научных публикаций по этой проблеме на этапе литературного исследования обнаружено в таких областях как медицина,

кристаллография, робототехника и др. Значительное число научных исследований, в том числе и диссертационных, имеется и для СТЗ авиационного применения. Это, в первую очередь, работы Алпатова Б.А., Визильтера Ю.В. и их учеников. Однако, по-прежнему, нерешенными остаются проблемы быстродействия алгоритмов, точности и условий применимости.

Цель диссертации - разработка методологии, математических моделей и методов совмещения разнородных 2D изображений и облаков точек в трехмерном пространстве для создания высококачественных изображений в реальном времени и их визуализации в бортовых системах технического зрения авиационного применения.

Для достижения поставленной цели необходимо решить задачи:

осуществить анализ существующих методов и алгоритмов формирования 2D изображений с заданными свойствами и на этой основе разработать методологию, математические модели и алгоритмы совмещения реальных и виртуальных изображений в плоском случае;

разработать новые или модифицировать известные методы и алгоритмы построения 3D моделей подстилающей поверхности по последовательности стереоизображений;

разработать и апробировать на реальных изображениях подстилающей поверхности новые методы совмещения РИ и ВИ, удовлетворяющие требованиям нормативных документов, как по точности, так и по быстродействию;

осуществить анализ существующих методов и алгоритмов предварительной обработки изображений с позиций их применимости для решения задачи совмещения изображений и, если необходимо разработать новые или модифицировать существующие;

оценить реализуемость предложенных алгоритмов на специализированных вычислителях, в частности, на программируемых логических интегральных схемах (ПЛИС).

Научная новизна диссертации. В проведенном исследовании получены следующие результаты, которые обладают научной новизной:

1. Разработана методология формирования 2D изображений с заданными свойствами на основе решения задачи совмещения разнородных изображений, имеющей фундаментальное значение в проблеме цифровой обработки изображений в СТЗ авиационного применения.

2. Разработана технология реконструкции 3D изображений подстилающей поверхности в плоскости Земли на основе модифицированного варианта алгоритма ICP, отличающаяся от базового варианта снижением вычислительных затрат и позволяющая получать высокое качество сшивания облаков точек.

3. Разработан метод геометрического совмещения 2D изображений на
основе аффинных преобразований в комплексной плоскости, отличающийся от
аналогов оригинальными технологиями установления взаимно однозначного
соответствия между контурами на РИ и ВИ и позволяющий ускорить

совмещение изображений в 10-50 раз по сравнению с корреляционными алгоритмами.

4. Предложен метод геометрического совмещения 2D изображений на
основе проективных преобразований, отличающийся применением
спектральных функций контуров для установления взаимно однозначного
соответствия между контурами, оригинальным алгоритмом построения
проективного преобразования и позволяющий обеспечивать высокое качество
совмещения по сравнению с другими методами.

5. Разработан комбинированный метод совмещения разнородных
изображений, основанный на применении корреляционно-экстремального
алгоритма совмещения в поисковом режиме и совмещения на основании
прогнозных значений навигационных параметров в следящем режиме.
Отличается от геометрических методов совмещения решением обратной
навигационной задачи, а от корреляционных - быстродействием. Обеспечивает
по сравнению с лучшими аналогами повышение качества совмещения на 35-45%
и значительное повышение скорости обработки.

6. Предложен новый метод выделения границ перепада яркости на плоских изображениях, отличающийся от других методов повышенной помехозащищенностью и позволяющий синтезировать контурное изображение, необходимое для решения задачи совмещения разнородных изображений, с минимальным числом неинформативных линий.

7. Разработаны математические модели виртуальной телевизионной камеры и радиолокационных изображений, отличающиеся от известных моделей построения изображения по ЦКМ малым числом расчетных параметров и позволяющие формировать и исследовать предельные зоны поиска в плоскости Земли, знание которых необходимо для корректного расширения углов обзора виртуальной камеры при решении задачи совмещения изображений.

8. Разработаны алгоритмы формирования неравномерных сеток узлов в пространствах различной размерности, позволяющие получить выигрыш во времени в 30-50 раз по сравнению с равномерными сетками узлов.

Теоретическая значимость работы состоит в том, что

- предложена методология формирования комбинированных 2D
изображений с заданными свойствами на основе решения задачи совмещения
телевизионных и (или) тепловизионных изображений с виртуальными
изображениями, синтезированными по цифровой карте местности.
Разработанные технологии совмещения РИ и ВИ с помощью некорреляционных
(геометрических) и комбинированных методов являются теоретической основой
для построения новых методов совмещения изображений в СТЗ авиационного
применения;

- выполнены теоретические и модельные исследования двух подходов к
решению задачи сшивания облаков точек в трехмерном пространстве и на этой
основе предложены способы синтеза 3D изображений подстилающей
поверхности в бортовом вычислителе по последовательности
стереоизображений;

разработаны новые методы установления взаимно однозначного соответствия между контурами объектов на РИ и ВИ с использованием группы дескрипторов, с одной стороны, и альтернативный вариант с помощью автокорреляционных функций контуров;

впервые исследована возможность применения комплексного контурного анализа для решения задач обработки изображений в СТЗ авиационного применения;

выполнены теоретические исследования сглаживающих операторов и операторов, обеспечивающих выделение границ перепада яркости на изображениях; на основе этих исследований предложен новый метод выделения границ перепада яркости, обладающий повышенной помехозащищенностью и предназначенный для использования в авиационных СТЗ.

Практическая ценность работы.

1. Метод совмещения с помощью аффинных преобразований в комплексной плоскости и комбинированный алгоритм совмещения, основанный на использовании корреляционно-экстремального совмещения в поисковом режиме и прогнозных значений навигационных параметров в следящем режиме, работают в автоматическом режиме, доведены до уровня промышленной эксплуатации и могут использоваться в рамках бортовых СТЗ.

2. Все алгоритмы, обеспечивающие предварительную обработку изображений, также реализованы программно и могут встраиваться в другие программные модули для решения задач более высокого уровня.

3. Разработанные алгоритмы и реализующее их программное обеспечение синтеза 3D моделей подстилающей поверхности в плоскости Земли протестированы на реальных видеопоследовательностях и могут использоваться в СТЗ как воздушного, так и наземного применения.

4. Практическая значимость разработанных систем формирования 2D и 3D изображений с заданными свойствами подтверждается актами внедрения результатов от организаций, разрабатывающих СТЗ воздушного и наземного применения. В частности, это АО «Государственный Рязанский приборный завод», АО «ВНИИ «Сигнал», город Ковров.

Методология и методы исследования. Для решения поставленных задач применялись методы предварительной обработки изображений, методы комплексного контурного анализа, методы проективной геометрии, методы оптимизации, численные методы линейной алгебры, методы теории вероятности, методы моделирования и исследования 3 D-изображений.

Положения, выносимые на защиту:

методология формирования 2D изображений с заданными свойствами на основе решения задачи совмещения разнородных изображений, имеющей фундаментальное значение в проблеме цифровой обработки изображений в СТЗ авиационного применения;

технология реконструкции (синтеза) 3D изображений подстилающей поверхности в плоскости Земли на основе модифицированного варианта

алгоритма ICP, обеспечивающая высокое качество сшивания облаков точек при низких вычислительных затратах;

метод геометрического совмещения 2D изображений на основе аффинных преобразований в комплексной плоскости, позволяющий ускорить совмещение изображений в 10-50 раз по сравнению с корреляционными алгоритмами;

метод геометрического совмещения 2D изображений на основе проективных преобразований плоскости, отличающийся применением автокорреляционных функций контуров для установления взаимно однозначного соответствия между контурами и позволяющий по сравнению с другими некорреляционными методами обеспечивать высокое качество совмещения;

комбинированный метод совмещения разнородных изображений, основанный на сочетании корреляционного алгоритма совмещения в поисковом режиме и межкадровой обработки - в следящем режиме. Обеспечивает по сравнению с лучшими аналогами повышение качества совмещения на 35-45% и значительное повышение скорости обработки;

новый метод выделения границ перепада яркости на плоских изображениях, позволяющий синтезировать контурное изображение с минимальным числом неинформативных линий;

Степень достоверности и апробация результатов. Диссертация выполнена в Рязанском государственном радиотехническом университете в рамках следующих хоздоговорных научно-исследовательских работ, выполненных по заказу АО «ГРПЗ»:

НИР «Совмещение-РГРТУ-1» «Разработка программно-математического обеспечения предобработки и визуализации изображений, поступающих от сенсоров системы технического зрения ЛА и формируемых на основе цифровой карты местности»;

НИР «Совмещение-РГРТУ-3» «Разработка методов и алгоритмов уменьшения вычислительной сложности совмещения реальных и виртуальных изображений в авиационных комбинированных системах видения»;

НИР 3-12 «Разработка программно-математического обеспечения для улучшенного и синтезированного изображений в системах технического зрения для управления летательным аппаратом, с использованием комплексной пилотажной и навигационной информации»;

НИР 3-13 «Разработка и исследование компонентов математического и алгоритмического обеспечения совмещения и визуализации изображений в авиационных многоспектральных системах технического зрения»;

НИР 2-14 «Разработка и исследование методов и алгоритмов уменьшения вычислительной сложности совмещения изображений в многоспектральных системах технического зрения летательных аппаратов»;

НИР 12-15 по теме «Формирование и анализ исходных данных для экспериментальных исследований технологии анализа изображений для систем технического зрения летательных аппаратов»;

НИР 1-16 по теме «Разработка и отработка элементов программно-
математического обеспечения системы датчиков малой высоты
многоспектральной системы технического зрения летательных аппаратов»;

НИР 2-16 по теме «Анализ и разработка алгоритмов обработки изображений в компонентах многоспектральной системы технического зрения на программном стенде»;

НИР 18-16 по теме «Обработка изображений в видеосистемах многофункционального мобильного робота»;

НИР 1-17 по теме «Разработка элементов программно-математического обеспечения межкадровой обработки информации от системы датчиков малой высоты»;

НИР 2-17 по теме «Доработка и исследование способов визуализации информации в многоспектральной системе технического зрения»;

СЧ НИОКР «МСТЗ-РГРТУ» «Отладка программного обеспечения стенда для проведения испытаний и отладки компонент многоспектральной системы технического зрения в части СДМВ»,

а также НИР 14-14Г, выполненной в ходе реализации проекта РФФИ № 14-07-97515.

Результаты диссертационной работы внедрены в разработках АО
«Государственный Рязанский приборный завод», направленных на создание
систем технического зрения для перспективных летательных аппаратов, в АО
ВНИИ «Сигнал», город Ковров для совершенствования изображений в условиях
плохой видимости, совмещения ТВ и ТПВ изображений в СТЗ наземных
робототехнических комплексов, а также и в учебном процессе кафедры
«Электронные вычислительные машины» ФГБОУ ВО «Рязанский

государственный радиотехнический университет» (дисциплины

«Алгоритмические основы совмещения изображений различной физической
природы», «Методы и алгоритмы обработки изображений» направления
подготовки – 09.03.01 и 09.04.01 Информатика и вычислительная техника
соответственно) и в учебном процессе кафедры «Вычислительная техника и
системы управления» ФГБОУ ВО «Владимирский государственный

университет» в дисциплине «Цифровая обработка сигналов».

Личный вклад автора. Все результаты, выносимые на защиту, получены автором самостоятельно. В совместных публикациях автору принадлежат разработка математических методов и алгоритмов решения задач, а также планирование экспериментов.

Структура и объем работы. Диссертация состоит из введения, шести глав и списка литературы. Основной текст работы содержит 317 страниц, 126 рисунков и 11 таблиц. Список литературы включает 232 наименования.