Метод распознавания трехмерных объектов по изображениям проекций с нечетко определенным ракурсом наблюдения Жердев Денис Алексеевич

Содержание к диссертации

Введение

Глава 1 Анализ проблем и формулировка задач распознавания трехмерных объектов по изображениям проекций 13

1.1 Проблемы и направления исследований 13

1.2 Уравнения наблюдения 18

1.3 Информационная технология моделирования и распознавания, конкретизация задач исследования 24

1.4 Выводы к первой главе 29

Глава 2 Методы и алгоритмы распознавания 31

2.1 Постановка задачи распознавания объектов 31

2.2 Метод распознавания по показателю сопряженности 35

2.3 Минимизация размерности опорных подпространств 38

2.4 Экспериментальное исследование алгоритмов минимизации опорных подпространств 42

2.5 Выводы к главе 2 48

Глава 3 Распознавание изображений радиолокатора с синтезированной апертурой антенны 50

3.1 Локализация объектов на изображениях радиолокатора с синтезированной апертурой антенны 50

3.2 Кластеризация радиолокационных изображений по показателю сопряженности 57

3.3 Метод распознавания изображений радиолокатора синтезированной апертуры антенны с разбиением классов на подклассы 61

3.4 Комбинированный метод опорных подпространств и сверточных нейронных сетей 67

3.5 Выводы к главе 3 70

Глава 4 Комплекс программ и экспериментальные исследования методов моделирования и распознавания радиолокационных изображений 72

4.1 Структурная схема программного комплекса моделирования 72

4.2 Моделирование радиолокационных изображений с помощью конструктора радиолокационных карт 76

4.3 Экспериментальное исследование технологии распознавания по моделируемым эталонным изображениям 85

4.4 Построение высокопроизводительных алгоритмов моделирования 87

4.5 Выводы к главе 4 98

Заключение 100

Список использованных источников 102

Приложение А 115

Приложение Б 118

Приложение В 123

Приложение Г 126

Приложение Д 127

Приложение Е 128

• Информационная технология моделирования и распознавания, конкретизация задач исследования
• Локализация объектов на изображениях радиолокатора с синтезированной апертурой антенны
• Метод распознавания изображений радиолокатора синтезированной апертуры антенны с разбиением классов на подклассы
• Построение высокопроизводительных алгоритмов моделирования

Введение к работе

Актуальность исследования. В последние годы наблюдается постоянно растущий интерес к проблематике, связанной с обработкой данных дистанционного зондирования Земли (ДЗЗ). Изображения, регистрируемые в системах ДЗЗ, являются одним из основных источников информации об объектах на поверхности Земли без непосредственного физического контакта с этими объектами. Для формирования изображений в системах аэрокосмического мониторинга используется широкий спектр методов, в которых основными носителями информации являются радиолокационные, оптические и инфракрасные сигналы. Оптические системы регистрации обеспечивают высокую детальность изображений, однако неработоспособны в условиях слабого освещения и облачности. Поэтому, наряду с оптическим, широко используется радиолокационное зондирование Земли. Важнейшим преимуществом этих систем перед оптическими средствами наблюдения является независимость от погодных условий, облачности, освещения и др.

Основные трудности распознавания аэрокосмических изображений связаны с изменчивостью образов при различных условиях зондирования. При распознавании оптических изображений это в значительной степени связано с изменением условий освещения. При распознавании радиолокационных изображений (РИ) серьезные трудности возникают также из-за обычно низкого разрешения. Существенного повышения разрешения РИ удается достичь путем формирования изображений радиолокатором с синтезированием апертуры (РСА). Тем не менее, даже для этих изображений пока недостижима детальность, характерная для оптических изображений. Поэтому решение задачи распознавания объектов на аэрокосмических, как оптических, так и радиолокационных изображениях пока остается трудноразрешимой и актуальной.

Аэрокосмические изображения характеризуются разнообразием присутствующих на них природных и техногенных объектов, что ограничивает применение ориентированных на определенные типы объектов методов выделения признаков. Кроме того, для радиолокационных изображений характерным является отсутствие четких контуров, что служит серьезным препятствием для выделения на этих изображениях, например, геометрических признаков. Поэтому в большинстве технологий распознавания аэрокосмических изображений в качестве компонентов вектора признаков используют сами отсчеты изображения.

По способу обучения классификатора рассматривают алгоритмы распознавания, которые обучаются с учителем и без учителя. В настоящей работе рассматриваются методы распознавания в рамках парадигмы обучения классификатора с учителем, т.е. предполагается, что имеются эталонные изображения распознаваемых объектов, полученные в условиях, аналогичных наблюдаемым. Например, эталонные радиолокационные изображения обычно получают путем проведения натурных испытаний на полигонах или в безэховых камерах. По результатам этих испытаний составляется база данных радиолокационных изображений объектов при разных ракурсах наблюдения. Поскольку, как радиолокационные, так и оптические изображения сильно различаются даже при незначительном изменении ракурса наблюдения, для надежного распознавания необходимо хранить огромное число эталонных изображений. Получение таких обучающих наборов данных путем натурных испытаний потребует огромных затрат ресурсов, времени и доступности подлинного объекта исследований.

Поэтому актуальна задача создания методов и алгоритмов распознавания изображений, основанных на использовании в качестве эталонов изображений, полученных путем моделирования, которые могли бы использоваться для обучения классификатора взамен натурных эталонов. В рамках такого подхода процесс моделирования изображений должен, насколько возможно, точно имитировать реальные процессы облучения и отражения оптических и радиолокационных сигналов. Поскольку при дистанционном зондировании Земли параметры движения летательного аппарата (ЛА), с которого производится съемка обычно известны, эта дополнительная информация может использоваться для учета условий регистрации (ракурса ЛА, времени съемки и др.) при моделировании. За счет этого, несмотря на возможные неточности моделирования, может быть достигнута точность распознавания, не уступающая случаю использования натурных эталонов.

Степень разработанности проблемы. В рамках общей проблемы дистанционного зондирования задача распознавания объектов на изображениях, регистрируемых различными средствами, является одной из наиболее популярных тем исследований. Это направление развивается в рамках общей проблемы распознавания образов, ведущей свое начало с конца 50-х годов прошлого века. Большой вклад в развитие теории распознавания образов внесли С.А. Айвазян, М.А. Айзерман, М.М. Бонгард, Э.М. Браверманн, В.Н. Вапник, К.В. Воронцов, В.М. Глушков, А.Л. Горелик, Ю.И. Журавлев, Н.Г. Загоруйко, А.Г. Ивахненко, В.А. Ковалевский, Г.С. Лбов, Л.И. Розоноэр, К.В. Рудаков, В.А. Скрипкин, А.А. Харкевич, Я.З. Цыпкин, А.Я. Червоненкис, М.И. Шлезингер, Ф. Розенблатт, Ф. Гонсалес, Р. Дуда, Дж. Ту, К. Фукунага, К. Фу, П. Харт и др. Важный вклад в решение проблем моделирования и распознавания радиолокационных изображений внесли также О.В. Горячкин, Л.Г. Доросинский, В.Г. Лабунец, А.П. Мальцев, В.А. Сойфер, В.В. Сергеев, Я.Д. Ширман, Л.А. Школьный.

Идея применения для обучения алгоритмов классификации образов объектов, полученных путем моделирования, высказывалась в ряде работ. Например, в работе «Использование моделей вариативности при обучении нейронных сетей в задаче распознавания речевых команд, В. Р. Крашенинников, А. И. Армер, В. В. Кузнецов, 2009» предложено использовать имитационные модели для отладки и тестирования алгоритмов распознавания речевых сигналов. Вопросы формирования эталонных изображений с целью распознавания (дешифрования) подробно рассматривались в книге «Радиолокационные системы воздушной разведки, дешифрование радиолокационных изображений, под ред. Л.А. Школьного, 2008 г.». В частности, авторы подчеркивают, что «…задача моделирования процесса формирования детальных радиолокационных изображений сложных искусственных объектов является весьма актуальной и не до конца решенной.». Задача увеличения числа эталонных изображений для обучения нейронных сетей путем моделирования вариаций рассматривалась также в работе «SAR ATR by a combination of convolutional neural network and support vector machines. Simon A. Wagner, 2016».

В диссертации «Информационная технология распознавания радиолокационных изображений на основе методов фрактального сжатия» (Минаев Е.Ю., 2017) затрагивались вопросы распознавания изображений при использовании обучающих изображений, полученных путем моделирования. Однако автор рассмотрел методы распознавания только по фрактальным изображениям, которые формировались с использованием простого алгоритма (Auer, Hinz, Balmer, 2010), основанного на методах геометрической оптики.

Настоящая диссертация, в отличие от указанной работы, посвящена разработке и исследованию методов и алгоритмов распознавания аэрокосмических изображений с нечетко определенным ракурсом наблюдения с использованием для обучения как натурных эталонов, так и полученных путем моделирования образцов изображений, в т. ч. формируемых по данным радиолокационного зондирования. Более конкретно, в диссертации решается задача развития теории и создания новых методов и алгоритмов распознавания, обеспечивающих снижение размерности пространства признаков при сохранении высокого качества распознавания. Особенностью рассматриваемого подхода является решение задачи распознавания, как по натурным, так и модельным оптическим и радиолокационным изображениям, формируемым в виде двумерных проекций трехмерных сцен для различных типов рельефа и техногенных объектов.

Разрабатываемые в настоящей диссертации методы и алгоритмы применимы для распознавания любых изображений, представляемых отсчетами яркости (интенсивности отраженного сигнала). Предлагаемые методы и алгоритмы иллюстрируются преимущественно на примерах технологий распознавания радиолокационных изображений. Разрабатываемые технологии без существенных доработок могут использоваться также в задачах моделирования и распознавания оптических изображений.

Цель и задачи исследования. Целью работы является построение методов и алгоритмов, обеспечивающих снижение вычислительной сложности и повышение качества распознавания объектов на изображениях при использовании для обучения алгоритмов классификации как натурных, так и полученных путем моделирования эталонных изображений.

Для достижения этой цели были поставлены и решались следующие задачи.

1. Разработка высокопроизводительных алгоритмов формирования различных типов аэрокосмических изображений, реализующих двумерные проекции трехмерных компьютерных моделей рельефа местности и техногенных объектов с заданными отражающими характеристиками.

2. Исследование алгоритмов повышения качества распознавания радиолокационных изображений объектов с нечетко определенными ракурсами наблюдения за счет разбиения множеств обучающих изображений на подмножества с различными ракурсами съемки и использованием в качестве меры близости показателя сопряженности.

3. Разработка алгоритма минимизации размерности обучающих множеств векторов, по натурным и моделируемым радиолокационным изображениям, обеспечивающего снижение вычислительной сложности реализации решающего правила при сохранении качества распознавания.

4. Разработка и исследование эффективности алгоритмов снижения размерности задачи без потери качества распознавания, основанных на предварительной обработке и интеграции метода распознавания по показателю сопряженности с методом распознавания на основе сверточной нейронной сети.

5. Создание реализующего разработанные методы и алгоритмы комплекса программ, проведение экспериментов с целью оценки эффективности информационной технологии оперативного моделирования и распознавания объектов на радиолокационных изображениях, сравнительное исследование с качеством распознавания на изображениях открытой базы данных.

Предмет и объект исследования. Объектом исследования являются оптические и радиолокационные изображения, формируемые системами моделирования и аэрокосмического зондирования Земли. Предмет исследования – методы и алгоритмы распознавания объектов на аэрокосмических изображениях проекций трехмерных

моделей объектов с нечетко определенным ракурсом наблюдения.

Методологическая, теоретическая и эмпирическая база исследования. В диссертационной работе используются методы теории распознавания образов, цифровой обработки изображений, математического анализа, математической статистики и линейной алгебры, а также теоретические работы ученых и специалистов в изучаемой области.

Основные положения диссертации, выносимые на защиту:

6. Информационная технология моделирования изображений объектов с нечетко определенным ракурсом наблюдения, основанная на формировании проекций трехмерной компьютерной модели рельефа местности и техногенных объектов с заданными отражающими характеристиками.

7. Алгоритмы анализа данных, осуществляющие разбиение классов на подклассы при нечетких ракурсах наблюдения, основанные на использовании в качестве меры близости показателя сопряженности и обеспечивающие повышение точности распознавания до 97,4%.

8. Метод и алгоритм минимизации размерности обучающих опорных подпространств, образованных векторами натурных и модельных радиолокационных изображений, обеспечивающий снижение вычислительной сложности и более высокую точность распознавания по сравнению с методом опорных векторов (до 97,8%).

9. Алгоритм снижения размерности векторов признаков, основанный на предварительной обработке и интеграции метода распознавания по показателю сопряженности с методом распознавания на основе сверточной нейронной сети, обеспечивающий повышение быстродействия распознавания и достижение точности распознавания 98,2%.

10. Параллельный алгоритм, реализованный с использованием графических процессоров, обеспечивающий повышение быстродействия моделирования и распознавания изображений в 3-5 раз за счет применения схемы гибких вычислений.

Перечисленные положения, выносимые на защиту, составляющие содержание диссертационного исследования, разработаны автором лично.

Научная новизна результатов исследования. В диссертации получены следующие новые научные результаты.

11. Разработана информационная технология моделирования изображений объектов с нечетко определенным ракурсом наблюдения, основанная на формировании проекций трехмерной компьютерной модели рельефа местности и техногенных объектов с заданными отражающими характеристиками.

12. Построены алгоритмы анализа данных, осуществляющие разбиение классов на подклассы при нечетких ракурсах наблюдения, обеспечивающие существенное повышение качества распознавания.

13. Предложен метод и построен алгоритм минимизации размерности обучающих опорных подпространств, обеспечивающий снижение вычислительной сложности решающего правила при сохранении высокого качества распознавания.

14. Разработан алгоритм снижения размерности векторов признаков, основанный на интеграции метода распознавания по показателю сопряженности с методом распознавания на основе сверточной нейронной сети.

15. Предложен и реализован с использованием графических процессоров новый параллельный алгоритм, обеспечивающий существенное повышение быстродействия

моделирования и распознавания изображений за счет применения схемы гибких вычислений.

Теоретическая и практическая значимость работы. Теоретическая значимость работы состоит в развитии теории и создании новых алгоритмов минимизации размерности опорных подпространств, которые формируются с использованием в качестве меры близости показателя сопряженности с подпространством, образованным множеством обучающих векторов. Практическая значимость работы подтверждается актами о внедрении основных результатов диссертационной работы в РФЯЦ-ВНИИЭФ (г. Саров) и учебный процесс.

Соответствие диссертации паспорту научной специальности. Результаты исследования соответствуют следующим пунктам паспорта научной специальности 05.13.17 – Теоретические основы информатики: 5. Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений; 7. Разработка методов распознавания образов, фильтрации, распознавания и синтеза изображений, решающих правил. Моделирование формирования эмпирического знания.

Апробация и реализация результатов диссертации. Основные результаты работы докладывались на следующих международных научных конференциях: «Параллельные вычислительные технологии 2013», г. Челябинск, 31 марта – 5 апреля 2013; «XII Королёвские чтения», г. Самара, 1-3 октября 2013; «Параллельные вычислительные технологии 2014», г. Ростов-на-Дону, 31 марта – 4 апреля 2014; «SPIE Optics + Photonics». США, г. Сан-Диего, 17-21 августа 2014, 9-13 августа 2015; «Информационные технологии и нанотехнологии». Самара, 17-19 мая 2016, 25-27 апреля 2017, 21-25 мая 2018; «Mathematical Modeling in Physical Sciences». Кипр, г. Пафос, 28-31 августа 2017.

Основные результаты внедрены на предприятии Российский федеральный ядерный центр – Всероссийский научно-исследовательский институт экспериментальной физики (г. Саров, Нижегородской области).

Публикации. По теме диссертации опубликовано 16 статей, из них 6 – в изданиях, индексируемых в базе Web of Science и Scopus, 3 статьи в журналах из списка ВАК и 7 статей в прочих изданиях, а также одно свидетельство о государственной регистрации программы ЭВМ.

Структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы и шести приложений. Текст диссертации изложен на 128 страницах машинописного текста, включая 42 рисунка и 15 таблиц. Список использованных источников содержит 120 наименований.

Информационная технология моделирования и распознавания, конкретизация задач исследования

Для реализации идеи построения технологии распознавания, основанной на использовании в качестве эталонов изображений, полученных путем моделирования. Обычно при моделировании радиолокационных изображений идут по пути задания статистических характеристик объекта. При этом число вариантов изображений ограничено, что снижает быстродействие и качество распознавания РИ. В настоящей работе реализована двухэтапная технология, в которой осуществляется независимое моделирование рельефа с расположенными на нем объектами и собственно изображений. В рамках этого подхода необходимо воспроизвести максимально точно приведенные выше уравнения наблюдения в предположении, что задана цифровая модель рельефа с техногенными объектами. При этом точность воспроизведения в значительной степени будет определяться также точностью воспроизведения реальной диаграммы направленности облучающей антенны и точностью реализации функции отражения облучаемой поверхности.

Поскольку целью моделирования изображений является последующее распознавание объектов, то важной является не только точность воспроизведения самого процесса формирования изображения, но и точность воспроизведения относительных параметров сцены (ракурс наблюдения, расстояние до объекта и др.). При использовании натурных изображений число эталонов, которые хранятся в базах данных, ограничено возможностями вычислителей и ресурсов для их создания. Поэтому, с целью сокращения числа образцов при их создании на полигонах, шаг наблюдения по ракурсу приходится увеличивать, что является дополнительным источником ошибок при распознавании.

В рамках развиваемого в настоящей работе подхода имеется возможность формирования эталонов в темпе с процессами распознавания. При этом повышение качества распознавания может достигаться за счет более точного учета условий наблюдения (ракурс облучающей и принимающей антенны, расстояние до объекта и др.). Этот путь представляется конструктивным, поскольку информацию о ракурсе антенны относительно точки наблюдаемой на поверхности земли можно получить путем измерения текущих параметров движения летательного аппарата и регистрирующего устройства, осуществляющего зондирование.

Вместе с тем, и в данном случае все-таки остается неопределенность в определении ракурса наблюдения объекта, связанная с непредсказуемым перемещением объектов на поверхности земли. Однако источник этой неопределенности общий, как для натурных, так и для модельных эталонов. Поэтому для получения высокого качества распознавания более предпочтительным может быть создание модельных изображений объекта, полученных при достаточно точно известных параметрах движения регистрирующей антенны, чем использование точных натурных эталонов, сформированных при большом шаге по ракурсу.

Для реализации этого преимущества в настоящей диссертационной работе разрабатывается двухэтапная технология, на первом этапе которой создается цифровая модель сцены с заданными радиолокационными характеристиками, а на втором этапе реализуются процессы зондирования и формирования изображений по отраженному сигналу. Указанные этапы реализуются независимо друг от друга. Для формирования цифровой модели сцены используются описания рельефа, трехмерные модели техногенных объектов и их радиолокационные характеристики. Для реализации этапа воспроизведения процессов зондирования и формирования радиолокационных изображений задаются траектория и параметры движения облучающей и принимающей антенны в системе координат, связанной с цифровой моделью сцены.

В настоящей работе реализована информационная технология моделирования РИ, в которой наряду с хранением трехмерных моделей объектов в базе данных реализуется процесс имитации облучения трехмерной модели, составленной из примитивов, имеющих простую геометрическую форму. При этом число возможных создаваемых эталонов практически не ограничено. В настоящем разделе приведена укрупненная схема основных этапов этой информационной технологии, дано краткое описание этапов этой технологии и приведены примеры моделирования некоторых типов радиолокационных изображений.

Информационная технология моделирования радиолокационных изображений, включает два основных этапа: редактирование радиолокационных карт и моделирование радиолокационных сигналов и изображений. Редактирование радиолокационных карт включает редактирование карт и редактирование трехмерных объектов с использованием внешних баз данных радиолокационных изображений. Информационная технология моделирования радиолокационных изображений приведена на рисунке 1.1.

Формирование радиолокационного изображения заключается в построении радиолокационного отклика от рельефа и расположенных на нем объектов под разными углами. Для удобства обработки большого количества информации значения удельной эффективной площади рассеяния (ЭПР) для различных типов поверхности и объектов хранятся в базе данных. Если объект имеет сложную форму, для получения удельной ЭПР под конкретным углом наблюдения осуществляется моделирование диаграммы рассеяния. В таблице 1.2 в качестве примера приводятся удельные ЭПР некоторых сложных объектов, которые хранятся в базе данных.

Важная особенность предлагаемой информационной технологии состоит в том, что имеется возможность независимого редактирования типов и рельефов местности, выбора конкретных объектов и их встраивания в модель местности, а также «нанесения» радиолокационных характеристик на поверхность рельефа и объекты. Такой подход обеспечивает возможность моделирования огромного количества вариантов радиолокационных изображений рельефа с различными типами земной поверхности и с расположенными на нем объектами.

В заключение подчеркнем, что при формировании РСА-изображений в рамках разработанной информационной технологии воссоздается процесс, максимально приближенный к реальности, поскольку искомые объекты регистрируются на фоне некоторого рельефа местности. Наличие рельефа с заданными радиолокационными характеристиками обеспечивает более точное воспроизведение отраженного от объекта сигнала с учетом переотражений от окружающей поверхности, что в конечном итоге обеспечивает более высокое качество распознавания. В 4-й (заключительной) главе будут приведены результаты сравнительной оценки качества распознавания при использовании для обучения натурных и модельных эталонов.

В соответствии с предложенной общей схемой моделирования и распознавания радиолокационных изображений в настоящей работе ставятся следующие основные задачи.

1. Разработка методов и алгоритмов восстановления различных типов аэрокосмических изображений, основанных на формировании проекций трехмерных компьютерных моделей рельефа местности и техногенных объектов с заданными отражающими характеристиками.

2. Разработка методов распознавания объектов, регистрируемых с нечетким ракурсом, по натурным и моделируемым радиолокационным изображениям, обеспечивающих снижение вычислительной сложности реализации решающего правила при сохранении качества распознавания.

3. Разработка и исследование возможности повышения эффективности алгоритмов распознавания путем предварительной обработки данных и интеграции предлагаемых методов распознавания с методами, основанными на использовании сверточных нейронных сетей.

4. Создание реализующего разработанные методы и алгоритмы комплекса программ, в т. ч. с использованием CUDA-технологии, проведение экспериментов с целью оценки эффективности информационной технологии оперативного моделирования и распознавания объектов на радиолокационных изображениях.

Локализация объектов на изображениях радиолокатора с синтезированной апертурой антенны

Настоящая глава посвящена задаче распознавания изображений РСА, в силу важности этого направления в общей проблеме распознавания объектов по радиолокационным изображениям с нечетким ракурсом наблюдения. В диссертационной работе проводятся исследования процедур распознавания, как по натурным, так и по модельным изображениям. Изображения РСА имеют достаточно высокое разрешение, поэтому технология их обработки и распознавания во многих чертах близка к технологиям обработки и распознавания оптических изображений. В частности, собственно распознаванию и обучению обычно предшествует этап предварительной обработки и локализации объекта на изображении.

Предварительная обработка радиолокационных изображений заключается в улучшении их качества и удалении, окружающих объект фоновых участков. Необходимость этого этапа диктуется следующим. Дело в том, что распознаваемые объекты могут располагаться на различных участках рельефа, почвы и окружающей растительности. Если области вокруг объекта велики, а радиолокационные характеристики этих областей сильно различаются в различных эпизодах регистрации изображений, это может приводить к ошибкам распознавания. Поэтому необходимо исключить окружающую объект область изображения в максимально возможной степени. Это исключение областей должно быть выполнено для всех изображений таким образом, чтобы возможно было их сопоставление с эталоном на этапе распознавания. Эта задача решается на завершающем этапе сквозной технологии моделирования радиолокационных изображений объектов.

В настоящем разделе приведено исследование предлагаемой технологии на натурных изображениях из базы MSTAR [75], сформированной в ходе экспериментов DARPA с использованием РСА. На рисунках 3.1, а) б), в) приведены используемые для моделирования объекты: танк, БМП и БТР, а на рисунках 3.1, г), д), е) – соответственно заимствованные из базы MSTAR радиолокационные изображения этих объектов.

В базе MSTAR для танка и БМП имеются изображения для трёх разных моделей. В таблице 3.1 приведены данные о количестве изображений РСА для различных моделей объектов, полученных при съёмке с платформы, расположенной на летательном аппарате, при двух углах места (15 и 17). Для каждого из этих углов места угол азимута изменялся в диапазоне от 0 до 360. В соответствии с таблицей общее число изображений, которые могут использоваться для обучения и контроля качества алгоритмов распознавания, составляет 2987. Для сопоставления изображений при обучении и классификации в работе [94] все изображения предварительно приводятся к одинаковому ракурсу. При этом для всех изображений определяются описанные прямоугольники, охватывающие яркую область, соответствующую образу объекта на радиолокационном изображении. Затем осуществляется поворот всех изображений так, чтобы ориентация всех описанных прямоугольников совпадала с ориентацией прямоугольника, выбранного в качестве образца. Этот метод хорошо работает на протяженных изображениях с четкими границами. Если протяжённость и форма отраженного сигнала зависят от ракурса, этот прием может вносить значительные ошибки как на этапе обучения, так и на этапе распознавания. В настоящей работе развивается принципиально иной подход к решению задачи локализации.

Идея предлагаемого метода [129] состоит в том, что совмещение изображений осуществляется по совпадению центров масс ярких областей, обычно являющихся областью сигнала, отраженного от объекта. При этом размеры изображений вокруг центров масс этих областей выбираются так, чтобы весь объект оставался на изображении. Хотя центр масс вычисляется только по области отраженного сигнала, радарная тень объекта также включается в локализуемое изображение, т.к. форма тени содержит информацию о ракурсе наблюдения. В результате получаем локализованные изображения, по которым обеспечивается высокая надежность принятия решения о соответствии текущего изображения эталону, в т. ч. при сопоставлении объектов с различными ракурсами наблюдения.

Опишем разработанную схему алгоритма обработки радиолокационных изображений на примере базы данных MSTAR. На входе алгоритма получаем множество изображений из обучающей и тестовой выборки. На следующем этапе получаем размытые изображения. Для данных изображений определяется яркая область и тень объекта. Все полученные бинарные тени и объекта изображения усредняются. Для всех изображений яркой области объекта определяется центр масс. Кроме того, выполняется поиск размера изображения, которое будем содержать область тени и яркой части объекта, путем усреднения бинарных изображений тени и объекта. Согласно полученным на предыдущих этапов положений центров масс и размеров из оригинальных изображений можно получить новые радиолокационные изображения, в полной мере сохраняющие информацию об объекте и с весьма эффективно устранёнными неинформативными областями вокруг объекта. Далее в подробностях будут описаны все части данного алгоритма.

Существуют другие подходы обработки, связанные с определением так называемых центров рассеяния или областей рассеяния на изображениях РСА. В частности, в работах [40], [41] авторы для локализации объектов на радиолокационных изображениях с целью последующего сравнения текущих изображений с эталонами осуществляют определение характерных точек на изображении. Однако при этом авторы не учитывают форму и расположение радиолокационной тени, которая также является информативным признаком на радиолокационных изображениях.

Начальным этапом реализации предлагаемой в настоящей работе технологии является выделение области изображения, характеризующейся наиболее высокой интенсивностью (яркостью) сигнала. Для того чтобы исключить влияние на точность определения центра тяжести яркой области вариаций яркости в различных эпизодах регистрации, осуществляется их бинаризация. Еще раз подчеркнем, что с точки зрения различения объектов форма радиолокационной тени на изображении также является информативной. Однако, тень сильно зависит от ракурса съёмки, поэтому при центрировании изображений является помехой. В связи с этим на этапе бинаризации отдельно выделяются яркие участки, которые могут быть использованы для центрирования изображений, и участки тени, которые присоединяются только на этапе обучения и распознавания. Поэтому была реализована процедура нахождения двух порогов: одного для тени и другого для самого объекта. Перед пороговой обработкой производится размытие изображения для снижения влияния шумов на изображениях (рельеф, тепловые шумы радара и др.). Процесс размытия выполняется в два этапа: сперва разрешение уменьшается в 4 раза, а после изображение с использованием линейной интерполяции отсчётов [62] увеличивается до первоначального размера. На рисунке 3.2, в качестве примера, приведен график распределения интенсивностей яркостей пикселей для радиолокационного изображения БМП. На рисунке 3.3 приведен график распределения для того же изображения, но после процедуры размытия.

Для определения порогов по распределению интенсивности пикселей размытого изображения (рисунок 3.3) используется метод “triangular threshold” [87]. В соответствии с этим методом вначале определяется точка, соответствующая максимальному значению распределения отсчётов яркости. Далее определяется порог для яркой области изображения на участке справа от этой точки так, как показано на рисунке 3.3 (ищется максимально удаленная от прямой АВ точка графика распределения).

Метод распознавания изображений радиолокатора синтезированной апертуры антенны с разбиением классов на подклассы

С точки зрения процедур формирования векторов признаков и опорных подпространств метод распознавания изображений РСА принципиально не отличается от технологии распознавания по диаграммам рассеяния. Вместе с тем, вследствие большей детальности изображений РСА, есть основания ожидать более высокого качества распознавания. Для исследования достижимого качества распознавания и сопоставления результатов с другими известными методами в диссертации проведена серия экспериментов на тестовых изображениях из базы MSTAR [75]. Радиолокационные изображения трёх объектов: танка, БМП и БТР, на которых проводились эксперименты, приведены на рисунках 3.1, а) б), в).

Следуя работе [94] обучение алгоритма распознавания проводилось на изображениях моделей SN-c71, SN-c21, SN-132, зарегистрированных под углом 17. На этапе распознавании использовались изображения семи различных моделей указанных объектов, полученные при съемке под углом места 15. Необходимо отметить, что эксперимент проведен при тех же условиях, что и в статье [94]. Таким образом результаты, приводящиеся в данном разделе, сопоставимы с результатами, полученными в ходе диссертационного исследования.

При проведении экспериментов изображения представлялись в виде векторов, составленных из значений отсчетов двухмерного изображения, развернутого по строкам. Во всех экспериментах предварительная обработка изображений осуществлялась в соответствии с технологией, описанной в разделе 3.1. Для получения большей «похожести» векторов все классы каждого объекта были разбиты на подклассы. Кроме того, все изображения обучающей и тестовой выборки были центрированы. Опорные подпространства на этапе обучения строились для всех К (К -1) / 2 пар классов, где К - общее число классов с учетом разбиения классов на подклассы. Алгоритм множественной классификации реализован по схеме каждый против каждого [28]. В ходе исследования были выполнены две серии экспериментов с применением данной схемы обучения и распознавания. Вначале было проведено исследование чувствительность алгоритма распознавания, основанного на показателе сопряжённости, к различным ракурсам.

В таблице 3.2 приведены сравнительные результаты качества распознавания с использованием показателя сопряжённости и метода опорных векторов (SVM). В первом столбце этой таблицы (обозначен цифрой «нуль») приведены результаты эксперимента, в котором решение о принадлежности классу принималось по всем обучающим векторам классов, без использования опорных подпространств. Из таблицы видно, что предлагаемый метод существенно менее чувствителен к изменениям ракурса наблюдения по сравнению с SVM. При этом, хотя в методе SVM точность распознавания повышается при увеличении числа подклассов, всё же оно остаётся более низким по сравнению с предлагаемым методом опорных подпространств.

Приведенные в таблице 3.2 результаты оценки качества распознавания оказались выше также по сравнению с данными, приведенными в работе [95], несмотря на то, что в указанной работе из контрольной выборки удалялись до 10% «плохих» изображений.

Выявленный эффект слабой чувствительности метода опорных подпространств к изменениям ракурса, как и следовало ожидать, проявляется в меньшей степени при уменьшении числа обучающих векторов. Для количественной оценки этого эффекта был проведен специальный эксперимент. В этом эксперименте в качестве исходных множеств обучающих векторов использовались те же, при которых получены результаты, приведенные в таблице 3.2. Обучающие множества последовательно уменьшались путём исключения векторов с использованием правила (3.4). На рисунке 3.6 приведены графики изменения процента распознавания при изменении числа обучающих векторов в классе. Кривая 1 соответствует случаю, когда в формуле (3.4) ищется максимум, а кривая 2 – минимум. Заметим, что точность распознавания оказывается более высокой (кривая 1) при исключении векторов, имеющих более высокий показатель сопряжённости со «своим» классом, т.е. когда в формуле (3.4) ищется максимум. Этот результат объясняет эффект меньшей по сравнению с SVM чувствительности предложенного метода к изменениям ракурса при использовании всех обучающих векторов.

Вторая серия экспериментов проводилась с целью ответить на второй вопрос: возможно ли формирование обучающих наборов данных небольшого размера без существенной потери качества распознавания. В частности, проверялась эффективность использования опорных подпространств небольшой размерности.

На рисунке 3.7 представлены результаты распознавания, полученные с использованием опорных подпространств различной размерности. Здесь же, для сравнения, приведён результат распознавания с помощью метода SVM (точечная линия 4). Алгоритм SVM обучался на той же исходной обучающей выборке, включающей 48 классов (подклассов), построенных описанным выше способом. Результаты SVM оказались близкими к опубликованным в работе [94]. Пунктирной кривой 1 на рисунке 3.7 для сравнения приведена также кривая, фигурирующая на рисунке 3.6 под номером 1.

Кривые 2 (пунктирная) и 3 (сплошная) показывают изменение качества распознавания при использовании опорных подпространств различной размерности. Кривая 2 получена при формировании опорных подпространств из исходного множества обучающих векторов. Кривая 3 – при предварительном исключении из всех классов по четыре обучающих вектора, притом так, что в формуле (3.4) брался максимум. Как показал результат эксперимента, при использовании опорных подпространств малой размерности точность распознавания падает.

Сравнение этих кривых подтверждает, что удаление из обучающей выборки векторов, имеющих максимальный показатель сопряжённости со «своим» классом, приводит к меньшим потерям информативности выборки. Однако наблюдавшийся в предыдущем эксперименте эффект, который проявляется в том, что при уменьшении размерности опорных подпространств точность распознавания в целом падает, а чувствительность к изменениям ракурса растёт, наблюдается также и в этом эксперименте.

В диссертационной работе было проведено сравнение результатов, полученных на той же базе данных, что и в данной работе и с обучением и распознаванием на тех же объектах. Результаты распознавания радиолокационных изображений из базы MSTAR с использованием различных методов приведенные в статье [94]:

- SVM – 94,87%,

- нейронная сеть – 94,07%,

- шаблонное сравнение «Template Matcher» – 89,70%,

- AdaBoost в методе радиальных базисных функций – 96,12%.

Построение высокопроизводительных алгоритмов моделирования

Наиболее сложным в вычислительном плане, но в то же время наиболее точным, является метод моделирования рассеяния путем решения уравнений Максвелла. Однако получение радиолокационных изображений с использованием данного метода является ресурсоемкой и вычислительно сложной задачей для объектов, имеющих большие размеры. Поэтому для его реализации использовалась CUDA-технология. Особенностью архитектуры CUDA [79] является блочно-сеточная организация. Все потоки, выполняющие ядро, объединяются в блоки, а блоки, в свою очередь, объединяются в сетку. Традиционная схема работы в CUDA-среде включает этапы подготовки памяти для видеокарты, загрузки в нее исходных данных, запуске ядра выполнения и завершении работы с памятью.

Далее будет приведено краткое описание метода моделирования рассеяния электромагнитного поля путем решения разностных уравнений Максвелла. Как указывалось выше, для обнаружения и распознавания объектов часто используют так называемую эффективную площадь рассеяния (ЭПР) и/или диаграмму обратного рассеяния (ДОР), определяемую как зависимость ЭПР от угла отражения. Диаграмма рассеяния является частным случаем поля рассеяния объекта, т.е. это одномерный набор значений ЭПР объекта для заданного диапазона сферических углов.

Определение эталонных образцов ЭПР и ДОР конкретных объектов обычно осуществляют на специализированных полигонах или в безэховых камерах, путем регистрации тестовых облучений. Проведение экспериментальных исследований рассеивающих свойств радиолокационных целей и составление баз данных, содержащих диаграммы рассеяния различных объектов, является весьма трудной и дорогостоящей работой. Поскольку поле рассеяния весьма чувствительно к форме и ракурсу наблюдения объекта, для надежного распознавания объектов требуется создавать базы данных огромного объема.

В настоящем разделе приведено краткое описание использовавшегося в работе алгоритма моделирования распространения электромагнитного поля с использованием конечно-разностного явного метода решения уравнений Максвелла во временной области. Этот метод хорошо декомпозируется по данным и позволяет строить достаточно точные радиолокационные портреты объектов, что является предпосылкой для его реализации на высокопроизводительных многоядерных гибридных вычислительных системах. В приложении А приведены разностные формулы для расчета электромагнитного поля в дискретном пространстве.

Поскольку метод решения разностных уравнений Максвелла вычислительно весьма затратный, рассеянное поле может быть определено только в непосредственной близости от объекта. Поэтому при построении диаграммы рассеяния радиолокационного излучения с помощью данного метода необходимо построить преобразование ближнего поля в дальнее. Магнитное Н и электрическое Е поле напряженностей в дальней точке, характеризуемой радиус-вектором r = r(x,y,z), вычисляется с использованием следующих выраже ний

В приложении Б приведены подробности, связанные с построением соотношений для компонент дальнего поля (1.11) - (1.14) и их разностных аналогов, которые использовались для вычисления поля в дальней точке. Полученные с использованием этой вычислительной схемы результаты моделирования изображений диаграмм рассеяния трех объектов: автомобиль, самолет и скутер, а также результаты экспериментов по распознаванию этих объектов по диаграммам рассеяния были рассмотрены в разделе 2. В настоящем разделе приводится детальное описание программной реализации алгоритма моделирования в CUDA-среде.

Разработанный алгоритм моделирования ДОР может работать со всеми видеокартами, начиная с Compute capability 1.1 и выше, что является несомненным достоинством. Алгоритм вычисления ДОР построен на глобальной памяти. Все массивы в программе имеют линейную размерность. Доступ к элементам массива (с учетом того, что решается трехмерная задача) осуществляется по формуле

Перед вычислениями определяем места для массивов, характеризующих электромагнитное поле, Ну, Hz,, Еу, Ez. Согласно разностным уравнениям (П.1) - (П.6) массивы электрического поля имеют размерность Nx N Nz, а массивы магнитного поля - (Nx +1) (N + 1) (Nz +1). Так же нужно выделить память для параметров среды є, /л и т такой же размерности, как и массивы поля Н. В алгоритме, построенном с использованием глобальной памяти, сетка CUDA вычислений имеет двумерную структуру, а блок - линейную структуру. Алгоритм моделирования с использованием запуска ядер на CUDA, на примере вычисления Нх компоненты поля, выглядит следующим образом.

При реализации с использованием глобальной памяти, для моделирования дискретной сетки размером 100100100 использовалась сетка размером 100 100 и блок размером 100 потоков. На вычисление запускается два ядра для расчета Н и Е в пространстве Q. В приложении В можно ознакомиться с алгоритмом вычисления одного временного шага.

Были проведены эксперименты по уменьшению времени вычислений при различных способах использования и организации данных графического процессора, представленные в работе [6]. Следуя данной работе, покажем возможный характер организации вычислений с использованием быстрой разделяемой памяти CUDA, а также приведем результаты затраченного времени на вычисление сеток разной размерности.

На каждый блок вычисления выделяется по 16 Kb разделяемой памяти. При распределении данных в быстрой разделяемой памяти, можно действовать следующими тремя разными способами.

1. В соответствии с разностной схемой «положить» в вычислительный блок все необходимые значения исходных данных для моделирования поля.

2. Значения «забегающие вперед» брать из глобальной памяти. Шаблон данного метода представлен на рисунке 4.15.

3. Граничные значения обрабатывать особым образом. Декомпозиция по данным на уровне блока одной из проекции представлена на рисунке 4.16.

На рисунках 4.15 и 4.16 закрашенными кружками обозначены элементы, извлекаемые из глобальной памяти, а без цвета – из разделяемой.

Для оценки быстродействия программного комплекса были проведены сравнительные эксперименты с использованием CPU и GPU. Эксперименты проводились на компьютере с процессором AMD FX-6300 с тактовой частотой в 4.2 Ггц и с графической платой Geforce GTX 950 с частотой 1 Ггц. На рисунке 4.17 представлены результаты измерения времени выполнения программы на CPU и GPU с использованием глобальной памяти, а также трех разных способов вычислений с разделяемой памятью. Эксперименты проводились для различных размеров дискретной сетки.