Содержание к диссертации
Введение
1 Анализ проблем обнаружения объектов и оценивания их траекторных параметров с использованием каналов технического зрения бортовых систем обработкиинформации и управления 16
1.1 Вводные замечания и качественная постановка задачи 16
1.2 Обзор задач, решаемых бортовыми системами обработки информации и управления с использованием каналов технического зрения 33
1.3 Обзор методов обнаружения объектов и оценки их траекторных параметров в последовательности изображений 40
1.4 Обзор подходов к решению задач дозаправки в воздухе, автоматической посадки и измерения расстояния до объекта. 56
1.5 Разработка общего подхода к решению задачи 62
1.6 Выводы по первой главе 66
2 Разработка базовых алгоритмов обнаружения объектов и оценивания их траекторных параметров 68
2.1 Математические модели последовательностей изображений и системы координат 68
2.2 Требования к разрабатываемым алгоритмам 76
2.3 Разработка базовых алгоритмов обнаружения малоразмерного объекта и оценивания его параметров
2.3.1. Выделение сегментов на изображении 78
2.3.2. Оценка параметров сегментов 87
2.3.3. Совмещение изображений з
2.3.4. Траекторная обработка 93
2.3.5. Обнаружение объекта 98
2.3.6. Блок-схемы разработанных алгоритмов АО и АМ 100
2.4 Разработка базовых алгоритмов оценивания параметров протяженного объекта 104
2.4.1. Разработка базового алгоритма оценивания параметров протяжённого объекта на фоне звёздного неба 104
2.4.2. Разработка базового алгоритма оценивания параметров протяжённого объекта на фоне неба в дневное время и на неоднородном фоне 108
2.4.3. Разработка модифицированного разностного корреляционного алгоритма оценки параметров объекта при наличии близкорасположенных объектов на изображении 113
2.4.4. Разработка альтернативного базового алгоритма оценивания параметров протяжённого объекта на фоне неба в дневное время и на неоднородном фоне
2.5 Разработка алгоритма вычисления расстояния до объекта 129
2.6 Разработка алгоритма поиска заправочного конуса на изображении 138
2.7 Выводы по второй главе 141
3 Разработка многоэтапных алгоритмов обнаружения объектов и оценивания их траекторных параметров 143
3.1 Разработка правил переключения между базовыми алгоритмами 143
3.2 Разработка критериев работоспособности многоэталонного алгоритма и разностного корреляционного алгоритма 148
3.3 Разработка многоэтапного алгоритма обнаружения объекта и оценивания его траекторных параметров с использованием КТЗ БСОИиУ, предназначенной для относительной навигации ЛА при дозаправке
в воздухе 153
3.4 Разработка многоэтапного алгоритма обнаружения объекта и оценивания его траекторных параметров с использованием КТЗ БСОИиУ, предназначенной для относительной наземной навигации 155
3.5 Вспомогательные алгоритмы 1 3.5.1. Алгоритм поиска дефектных пикселей 158
3.5.2. Алгоритм вычисления проекции шарообразного объекта на изображение 159
3.6 Выводы по третьей главе 162
4 Компьютерное моделирование и экспериментальные исследования предлагаемых алгоритмов 164
4.1 Описание программной реализации 164
4.2 Порядок проведения экспериментов 171
4.3 Инициализация параметров многоэталонных алгоритмов 183
4.4 Результаты экспериментальных исследований разработанных алгоритмов
4.4.1. Результаты экспериментальных исследований многоэтапного алгоритма МА1 184
4.4.2. Исследование модифицированного алгоритма оценки параметров объекта при наличии близкорасположенных объектов на изображении 191
4.4.3. Исследование алгоритма поиска заправочного конуса на изображении 193
4.4.4. Результаты экспериментальных исследований многоэтапного алгоритма МА2 194
4.4.5. Исследование критерия работоспособности разностного корреляционного алгоритма . 197
4.4.6. Результаты исследования алгоритма вычисления расстояния до объекта 2 4.5 Рекомендации к аппаратной реализации многоэтапных алгоритмов в бортовой системе обработки информации и управления 203
4.6 Выводы по четвёртой главе 210
Заключение 212
Список использованных источников
- Обзор задач, решаемых бортовыми системами обработки информации и управления с использованием каналов технического зрения
- Разработка базовых алгоритмов обнаружения малоразмерного объекта и оценивания его параметров
- Разработка критериев работоспособности многоэталонного алгоритма и разностного корреляционного алгоритма
- Исследование критерия работоспособности разностного корреляционного алгоритма
Введение к работе
Актуальность работы. Бортовые системы обработки информации и управления (БСОИиУ), предназначенные для установки на мобильные носители, такие как самолеты, вертолеты, беспилотные летательные аппараты (БПЛА), автомобили и т.п., находят все более широкое применение в современном мире.
Одной из актуальных сфер применения БСОИиУ является относительная навигация при сближении с объектом, цель которой заключается как в определении траекторных параметров объекта, так и в планировании траектории движения мобильного носителя для выполнения маневра на основе полученной информации и специфики задачи. К траекторным параметрам объекта относятся такие параметры, которые позволяют описать перемещение объекта в пространстве относительно мобильного носителя, т.е. его относительные координаты, относительная скорость, ориентация, расстояние до объекта и другие.
Данная диссертационная работа посвящена решению задачи обнаружения объектов и оценивания их траекторных параметров в БСОИиУ, предназначенных для относительной навигации при сближении с объектами. Оцененные траекторные параметры объекта в процессе сближения с ним являются исходными данными для прогнозирования дальнейшего движения объекта и требуются для организации управления движением мобильного носителя, что позволяет решить задачу относительной навигации.
Определение местоположения объекта относительно мобильного носителя обеспечивается с помощью БСОИиУ, установленной на мобильный носитель и включающей в себя подсистему, предназначенную для формирования изображений наблюдаемой сцены (далее - канал технического зрения (КТЗ)).
Следует отметить, что существенной особенностью, которую необходимо учитывать при разработке алгоритмов обнаружения объектов и оценивания их траекторных параметров с использованием КТЗ БСОИиУ, ориентированных на решение задач относительной навигации при сближении с объектом, является значительное изменение размеров наблюдаемого объекта на изображении. В процессе сближения они изменяются от точечных (1x1 пикселей) до размеров, при которых границы объекта выходят за пределы поля зрения видеодатчиков КТЗ.
На определенном расстоянии до объекта становятся различимы его детали. При дальнейшем сближении с объектом его границы выходят за пределы поля зрения видеодатчиков КТЗ, при этом возникают трудности в оценивании координат и размеров объекта. Для их преодоления требуется найти особые области объекта на изображении, и в дальнейшем оценку его траекторных параметров проводить с использованием данных областей.
Дополнительно к задаче оценивания траекторных параметров объекта может ставиться задача оценивания траекторных параметров конкретного элемента объекта, например, заправочного конуса в случае дозаправки летательных аппаратов (ЛА) в воздухе по методу штанга-конус.
Таким образом, при разработке алгоритмов анализа изображений, полученных с использованием КТЗ БСОИиУ, в общем случае можно выделить следующие задачи: обнаружение малоразмерного объекта и оценивание его траекторных параметров, выделение особых областей объекта и оценивание их параметров, выделение элемента объекта и оценивание его параметров.
Несмотря на значительное число работ, направленных на разработку алгоритмов решения отдельных задач из приведённого списка, на данный момент не предложено универсального подхода для обнаружения и оценивания траекторных параметров объекта на всех этапах сближения с ним.
Исходя из всего вышесказанного, задача разработки алгоритмов обнаружения объектов и оценивания их траекторных параметров с использованием КТЗ БСОИиУ является актуальной.
В данной диссертационной работе предлагается решить данную задачу путём разработки многоэтапных алгоритмов, сочетающих ряд отдельных алгоритмов (будем называть их базовыми). Базовые алгоритмы предназначены для решения задач, возникающих на разных этапах сближения с объектом.
Степень разработанности темы. Вопросам обнаружения объектов и оценивания их траекторных параметров с использованием КТЗ БСОИиУ уделяется большое внимание в отечественной и зарубежной литературе. Значительный вклад в разработку методов и алгоритмов обнаружения объектов и оценивания их траекторных параметров внесли работы таких ученых, как Б.А. Алпатов, П.В. Бабаян, В.К. Баклицкий, П.А. Бакут, В.Г. Бондарев, А.М. Бочкарев, Ю.В. Визильтер, С.Ю. Желтов, В.Г. Лабунец, G. Campa, M.L. Fravolini, W. Pratt.
В ряде работ широко освещены вопросы обнаружения объектов и оценивания их траекторных параметров как при подвижном, так и неподвижном видеодатчике КТЗ. Также существуют работы, в которых решается задача относительной навигации на ограниченном временном участке при сближении с объектом (дозаправка в воздухе летательных аппаратов).
Вместе с тем вопросы обнаружения объектов и оценивания их траекторных параметров с использованием КТЗ БСОИиУ, возникающие в задаче относительной навигации при значительном изменении расстояния до объекта (от расстояния, когда размеры изображения объекта являются точечными, до расстояния, когда видеодатчики КТЗ расположены вплотную к объекту), практически не рассматриваются.
Цель и задачи работы. Цель диссертационного исследования состоит в разработке многоэтапных алгоритмов обнаружения объектов и оценивания их траекторных параметров с использованием КТЗ БСОИиУ, предназначенных для относительной навигации при сближении с объектами в различных условиях наблюдения.
Для достижения поставленной цели требуется решить следующие основные задачи:
– анализ существующих методов обнаружения объектов и оценивания их траекторных параметров для наземной и воздушной относительной навигации;
– разработка многоэтапного алгоритма обнаружения объекта и оценивания его траекторных параметров с использованием КТЗ БСОИиУ, предназначенной для относительной навигации летательных аппаратов при дозаправке в воздухе;
– разработка многоэтапного алгоритма обнаружения объекта и оценивания его траекторных параметров с использованием КТЗ БСОИиУ, предназначенной для относительной наземной навигации;
– синтез алгоритма оценки параметров объекта при наличии близкорасположенных похожих объектов на изображении;
– разработка правил переключения между базовыми алгоритмами в составе многоэтапных алгоритмов обнаружения объекта и оценивания его траекторных параметров;
– экспериментальные исследования эффективности разработанных алгоритмов.
Научная новизна диссертации.
1. Разработаны базовые алгоритмы обнаружения малоразмерного объекта и
оценивания его траекторных параметров на фоне звёздного неба,
отличающиеся совместным использованием процедур оценивания
геометрических преобразований фона и траекторной обработки.
2. Предложены многоэтапные алгоритмы обнаружения объектов и
оценивания их траекторных параметров с использованием КТЗ БСОИиУ,
предназначенных для относительной навигации при дозаправке в воздухе и для
относительной наземной навигации. Отличительной особенностью
предложенных многоэтапных алгоритмов является наличие процедур
переключения между базовыми алгоритмами, основанных на оценках
траекторных параметров объектов и критериях работоспособности.
-
Предложен критерий работоспособности многоэталонного алгоритма определения параметров геометрических преобразований изображений, отличающийся тем, что выполняется оценка отношения сигнал/шум для опорных участков с последующим объединением полученных оценок в единый критерий.
-
Предложен модифицированный разностный корреляционный алгоритм оценивания параметров объектов, отличающийся введением штрафной функции экспоненциального вида и позволяющий повысить точность оценивания параметров объектов при наличии близкорасположенных объектов на изображении и низких отношениях сигнал/шум.
Методология и методы исследования. Теоретические исследования в настоящей работе выполнены на основе методов математической статистики, теории вероятностей, теории цифровой обработки сигналов и изображений.
Моделирование и экспериментальные исследования предлагаемых алгоритмов выполнялись на полунатурных и синтезированных видеосюжетах. Синтез видеосюжетов производился с применением программных средств 3D-визуального имитационного моделирования сцен.
Реализация и внедрение. Разработанные в диссертации алгоритмы были использованы при выполнении научно-исследовательских работ, проводимых в Рязанском государственном радиотехническом университете по заказу
Министерства образования и науки РФ, Федерального агентства по образованию (НИР 17-08Г, НИР 12-09Г, НИР 23-09, НИР 9-10Г, НИР 42-10, НИР 19-14Г) и АО «Государственный Рязанский приборный завод» (НИР 1-08, НИР 3-09, НИР 35-10, НИР 17-12). Полученные результаты диссертационного исследования были также использованы в опытно-конструкторских работах «Нивелир-СОС», «Нивелир-КТА-СОС», проводимых АО «Государственный Рязанский приборный завод».
Теоретическая и практическая значимости работы:
– рассмотрена и решена задача обнаружения и оценивания траекторных параметров объекта при существенном изменении размеров объекта в процессе сближения;
– на основе введённых математических моделей разработаны многоэтапные алгоритмы обнаружения объектов и оценивания их траекторных параметров с использованием каналов технического зрения бортовых систем обработки информации и управления, предназначенных для относительной навигации при сближении с объектами;
– синтезирован алгоритм оценки параметров объекта при наличии близкорасположенных похожих объектов на изображении;
– результаты диссертационной работы использованы в НИР и ОКР, что подтверждается актами внедрения.
Степень достоверности и апробация результатов работы. Основные результаты работы докладывались на следующих конференциях: 5-й международной научно-технической конференции «К.Э.Циолковский – 150 лет со дня рождения. Космонавтика. Радиоэлектроника. Геоинформатика.» ( Рязань – 2007); 6-й всероссийской научно-технической конференции «Искусственный интеллект в XXI веке» (Пенза, 2008); 13-й, 14-й, 16-й и 20-й всероссийских научно-технических конференциях «Новые информационные технологии в научных исследованиях и образовании» (Рязань – 2008, 2009, 2011, 2015); международной научно-технической конференции «Многопроцессорные вычислительные и управляющие системы» (Таганрог – 2009); 8-ой международной конференции «Авиация и космонавтика» (Москва – 2009); 10-й и 18-й международных научно-технических конференциях «Цифровая обработка сигналов и ее применение» (Москва – 2008, Москва – 2016); 15-й, 16-й и 18-й международных научно-технических конференциях «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань – 2008, 2010, 2015); научно-технических конференциях «Техническое зрение в системах управления - 2012» и «Техническое зрение в системах управления - 2016» (Москва – 2012, 2016); международной конференции «SPIE Remote Sensing» (Амстердам –2014).
Достоверность результатов и выводов диссертации подтверждается корректным использованием математического аппарата, результатами имитационного моделирования на ЭВМ и экспериментальными исследованиями.
По теме диссертации опубликовано 22 работы, в том числе 5 статей в журналах, рекомендуемых ВАК для публикации результатов кандидатских
диссертаций. Результаты исследований отражены в 10 отчётах о НИР, прошедших государственную регистрацию.
Положения, выносимые на защиту:
– предложенный многоэтапный алгоритм обнаружения объекта и оценивания его траекторных параметров с использованием КТЗ БСОИиУ, предназначенной для относительной навигации летательных аппаратов при дозаправке в воздухе, позволяет обнаруживать объект приблизительно за 30-35 кадров и оценивать его координаты с частотой правильной локализации на фоне звёздного неба в 2,8 раза большей, а на фоне неба в дневное время в 4,4 раза большей по сравнению с базовыми алгоритмами;
– разработанный многоэтапный алгоритм обнаружения объекта и оценивания его траекторных параметров с использованием КТЗ БСОИиУ, предназначенной для относительной наземной навигации, позволяет обнаруживать объект и оценивать его координаты с частотой правильной локализации на неоднородном фоне в 2,1 раз большей по сравнению с базовым алгоритмом;
– предложенный модифицированный разностный корреляционный алгоритм оценки параметров объекта при наличии близкорасположенных похожих объектов на изображении обеспечивает требуемую точность оценивания параметров объекта при значении отношения сигнал/шум в 2 раза меньшем, чем для разностного корреляционного алгоритма;
– разработанный критерий работоспособности разностного
корреляционного алгоритма обеспечивает уменьшение частоты ошибок второго рода по сравнению с известными критериями от 2 до 12 раз при сопоставимой частоте ошибок первого рода.
Структура и объём диссертации. Диссертация состоит из введения, четырёх глав, заключения, списка литературы (156 источников), изложенных на 238 страницах, содержит 60 рисунков, 3 таблицы и 2 приложения.
Обзор задач, решаемых бортовыми системами обработки информации и управления с использованием каналов технического зрения
К одной из современных сфер применения БСОИиУ относится навигация. Согласно определению [17] навигация – наука о способах выбора пути и методах вождения судов, летательных аппаратов (ЛА) (воздушная навигация, аэронавигация), космических аппаратов (космическая навигация), а также наземной мобильной техники. Задача навигации заключается в нахождении оптимального маршрута (траектории), а также в определении местоположения, направления и значения скорости и других параметров движения мобильного носителя, оборудованного системой навигации.
Выделяют два практически реализуемых класса БСОИиУ для мобильных носителей [18]: – автоматизированные БСОИиУ, решающие весь комплекс навигационных задач с участием человека-оператора на борту таких мобильных носителей, как самолеты, вертолеты, космические корабли, морские суда, автомобили, подводные лодки и т.д.; – автоматические БСОИиУ, полностью решающие аналогичные задачи на борту таких мобильных носителей, как БПЛА и мобильные роботы.
Среди автоматизированных и автоматических БСОИиУ выделяют специальные БСОИиУ, предназначенные для решения следующих задач: – определение траекторных параметров объекта относительно мобильного носителя; – осуществление планирования траектории движения мобильного носителя для выполнения маневра на основе полученной информации и специфики задачи. Описанные задачи относятся к задаче относительной навигации мобильных объектов.
БСОИиУ, предназначенные для относительной навигации объектов, для обеспечения максимальной безопасности и правильности выполнения маневра мобильного носителя в процессе сближения с объектом должны обладать информацией о траекторных параметрах объекта, полученной с высокой точностью, и в случае, если в качестве объекта выступает другой мобильный носитель, иметь возможность обмена этой информацией.
Следует отметить, что объект может быть сотрудничающим, т.е. снабженным оборудованием для участия во взаимодействии с мобильным носителем, или несотрудничающим – без соответствующей аппаратуры.
Один из способов построения системы относительной навигации заключается в использовании навигационных систем, которые должны быть установлены как на мобильном носителе, так и на объекте, и между которыми должна быть обеспечена радиосвязь. Данный способ может применяться только к сотрудничающим объектам. Навигационные системы позволяют определить параметры мобильного носителя и объекта, которые передаются на вычислительный блок системы относительной навигации мобильного носителя. В данном блоке полученные данные переводятся в одну измерительную систему координат и на их основе вычисляются траекторные параметры объекта относительно мобильного носителя.
В настоящее время можно выделить следующие основные направления развития систем навигации мобильных носителей: – инерциальная навигация; – навигация по данным неинерциальных датчиков; – спутниковая навигация; – радионавигация; – навигация по данным видеонаблюдения (для ЛА). Инерциальная навигация производится на основе показаний встроенных инерционных приборов, таких как гироскопы (твердотельные, волоконно-оптические, лазерные), гировертикали, датчики угловых скоростей и т.п., используемых для управления и стабилизации мобильных носителей [19]. Основной недостаток инерциальных навигационных систем (ИНС) заключается в снижении точности измерений параметров объекта со временем, поскольку происходит накопление погрешности в силу интегрального принципа действия. Через час непрерывной работы типовая ошибка определения координат в ИНС составляет в среднем от 1,85 до 6 км [20-22]. Поэтому для навигационного обеспечения продолжительных миссий данные такого рода систем необходимо постоянно корректировать.
Навигация по данным неинерциальных датчиков (например, магнитных) также не обеспечивает достаточной точности определения положения мобильного носителя и обычно используется в комплексе с другими видами навигационных приборов [23].
Принцип работы спутниковых навигационных систем (СНС) [24] GPS, ГЛОНАСС, Galileo основан на измерении расстояния от антенны на объекте, координаты которого необходимо получить, до спутников, положение которых известно с большой точностью. Обеспечение высокой точности позиционирования мобильного носителя достигается использованием различных дифференциальных режимов, что предполагает обработку сигналов, принимаемых одновременно от нескольких базовых спутников и дополнительных наземных или орбитальных ретрансляторов. Поэтому ясно, что погрешность определения навигационных элементов в СНС существенно зависит от числа базовых спутников и ретрансляторов, наблюдаемых из точки приема, и действия различных радиопомех. Особенно остро эта особенность СНС проявляется при полетах в горах, которые представляют существенные препятствия для радиоприема, в сложных метеоусловиях и во время геомагнитных бурь. Кроме того, следует признать, что точность позиционирования мобильных носителей, обеспечиваемая СНС, недоста точна для выполнения скоростных маневров. Типичная ошибка определения координат приемника GPS в горизонтальной плоскости по сведениям СДКМ (Российская система дифференциальной коррекции и мониторинга) на территории РФ на 15 февраля 2016 г. [25] составляет 6-10 метров (в зависимости от точки приёма), а в пространстве – 14-21 метров при использовании данных в среднем от 10-11 спутников. Точность определения координат системой ГЛОНАСС несколько отстаёт от аналогичных показателей для GPS. Согласно данным СДКМ на 15 февраля 2016 [26] ошибки навигационных определений ГЛОНАСС в горизонтальной плоскости составляли 8-26 м (в зависимости от точки приёма), а в пространстве – 16-40 при наблюдении в среднем 8 спутников. В гористой местности в силу неблагоприятных условий распространения радиосигнала, действия помех, эффектов переотражения погрешность определения местоположения мобильного носителя может составлять десятки и даже сотни метров. Кроме того, на некоторых участках сигнал от базовых спутников может, вообще говоря, быть недоступным.
Радионавигационные системы (РНС) различаются по своим возможностям и принципу действия. Для организации их работы необходимы наземные передающие радиостанции или радиолокационные станции. РНС присущи уже упомянутые выше недостатки, связанные с зависимостью точности от условий приема радиосигнала и наличия радиопомех. Типовая ошибка определения местоположения мобильного носителя для систем радионавигации составляет десятки и сотни метров [27].
Разработка базовых алгоритмов обнаружения малоразмерного объекта и оценивания его параметров
Для отыскания решения применяется известный метод RANSAC. После компенсации смещения кадров выполняется процесс обнаружения объектов, состоящий из двух шагов. Отличительной особенностью подхода является комбинирование пространственной процедуры выделения границ и операции межкадрового вычитания фона. Процедура выделения границ включает детектор Кенни и оригинальный способ пороговой обработки. Для повышения достоверности обнаружения производится анализ траекторий движения объекта на основе методов сопоставления с эталоном.
Идея комбинирования пространственных и временных методов обработки информации также описана в [83]. Для исключения ложно выделенных сегментов дополнительно выполняется анализ траекторий движения и выделяется линия горизонта. Для прогнозирования положения обнаруженных объектов на вход алгоритма поступают навигационные параметры от спутниковой системы позиционирования и датчиков ИНС. Для исключения случайно выделенных наземных объектов используется информация от цифровых карт местности.
В работах [84, 85] используются алгоритмы выделения объектов, синтезированные с использованием марковской модели фона, позволяющей учитывать его изменчивость.
Выделение объектов при подвижном датчике изображений рассмотрено в [86, 87, 88, 89]. Для оценивания координат объектов в этом случае дополнительно требуется решить задачу совмещения изображений.
Синтез алгоритма, хорошо зарекомендовавшего себя в задачах выделения движущихся объектов, решаемых БСОИиУ, на основе [86, 87, 89, 90] производится в соответствии с критерием оптимизации Неймана-Пирсона. Данный критерий основан на выборе параметров оптимизации таким образом, чтобы вероятность правильного обнаружения была максимальна и при этом вероятность ложного обнаружения не превышала бы заданную величину. Для описания наблюдаемого изображения используется модель заслона [1].
В данном алгоритме используется оценка фонового изображения, оценка параметров преобразования фонового изображения [91] и величина, зависящая от оценки дисперсии аддитивного шума и значения градиента в каждой точке наблюдаемого изображения.
Решение о принадлежности точки изображения к объекту определяется путем проверки попадания оценки значения яркости данной точки в доверительный интервал яркости, зависящий от вероятности ложного обнаружения и центрированный на оцененной величине яркости фона в данной точке.
Для выделения движущихся объектов также используются методы, основанные на анализе оптического потока [18, 92-94]. Оптическим потоком [18] называется кажущееся движение яркостной картинки, наблюдаемое при движении камеры относительно изображаемых объектов. Можно сказать, что оптический поток описывается изображением, представляющим собой матрицу сдвигов для каждой точки между двумя изображениями. Таким образом, для каждой точки первого изображения требуется поставить в соответствие точку на втором изображении, т.е. решить задачу вычисления оптического потока.
Стандартное решение задачи заключается в использовании дифференциального подхода, основанного на нахождении скоростей точек по разностной схеме.
Динг с коллегами [95] предложил использовать навигационную систему, включающую GPS, инерциальную систему и систему технического зрения с несколькими видеодатчиками, которая выполняет измерения на основе метода оптического потока. Оценивание результатов производится с помощью расширенного фильтра Калмана.
Некоторые исследователи рассматривают ориентирование насекомых в пространстве в процессе полета на основе оптического потока [96]. Методы навигации на основе этой идеи описаны в работе [97]. Методы на основе выделения структурных элементов на изображении используются для оценивания параметров изображения или его части. Данный подход позволяет осуществлять слежение за протяженными объектами. К недостаткам данного подхода обычно относят достаточно высокую вычислительную сложность.
Локальная особая точка изображения (local image feature) - это точка с характерной (особой) окрестностью, которая имеет некие признаки, существенно отличающие её от основной массы точек. Это означает, что особая точка может быть угловой, но она также может быть, например, изолированной точкой локального максимума линии интенсивности или минимумом, концом линии или точкой на кривой, где кривизна локально максимальна. Поскольку локальные точки сильно отличаются от основной массы точек, то их число будет существенно меньше, чем общее число точек образа. К типам локальных особенностей относят углы, пятна, области интереса, края.
Одним из основных алгоритмов для обнаружения и описания локальных особенностей на изображении является SIFT (Scale Invariant Featuer Transform) [98-100]. Данный алгоритм является инвариантным относительно четырех параметров аффинных преобразований, а именно масштаб, перемещение и вращение, но он обладает высокой сложностью обработки. Данный алгоритм можно разделить на две части: определение точек интереса и построение дескрипторов окрестностей данных точек.
Основным моментом в детектировании особых точек является построение пирамиды гауссианов и разностей гауссианов, т.е. в алгоритме используется многомасштабное представление изображения. Точка является особой, если она является локальным экстремумом разности гауссианов. Алгоритм SIFT не работает, если объект имеет отражающую поверхность или выраженную трехмерную структуру, а также если объект имеет самоподобные структуры.
Разработка критериев работоспособности многоэталонного алгоритма и разностного корреляционного алгоритма
Траекторная обработка сегментов, выделенных на фоне неба в дневное время, проводится только по следующим параметрам: площадь сегмента (количество точек), ширина и высота прямоугольника, описанного вокруг сегмента, коэффициент заполнения, который определяется как отношение площади сегмента к площади описывающего его прямоугольника, и усредненная яркость точек сегмента.
Получив оценки параметров сегментов, перейдём к решению задачи обнаружения объекта. Принятие решения об обнаружении объекта на фоне неба в дневное время производится на основе сравнения величин относительных межкадровых изменений оцененных параметров сегмента с пороговыми величинами. Процесс обнаружения в данном случае требуется проводить на каждом кадре, поэтому АО и АМ для решения поставленных задач на фоне неба в дневное время будут совпадать.
Для обнаружения объекта на звездном небе или неоднородном фоне воспользуемся другим подходом. Если в результате удаления малоразмерных сегментов остается один сегмент, то для обнаружения объекта будем использовать критерий обнаружения по размеру. Данный критерий выполняется, если на текущем кадре размеры сегмента превышают заданные пороговые величины Wo6li х Нобн . Если же сегментов несколько, то воспользуемся критерием обнаружения по скорости. Он выполняется на текущем кадре для сегмента с наибольшей скоростью относительно средней скорости фона, т.е. средней скорости сегментов, соответствующих выделенным фоновым участкам. Сегменты, для которых выполняется критерий обнаружения на рассматриваемом кадре будем называть объектами-кандидатами.
Для повышения вероятности обнаружения объекта и снижении вероятности ложного обнаружения предлагается ввести ограничения, применяемые к параметрам анализируемых сегментов.
Во-первых, из списка анализируемых сегментов удалим сегменты, относящиеся к случайным выделениям участков фона из-за наличия шума на изображении. Для этого будем рассматривать только те сегменты, у которых параметр «время жизни», формируемый для каждого сегмента в процессе траекторной обработки, будет превышать заданную величину Ts.
Во-вторых, для принятия решения об обнаружении объекта рассматриваемый сегмент должен быть объектом-кандидатом в течение заданного количества кадров: побн р- для критерия обнаружения по размеру и побн с - для критерия обнаружения по скорости.
В-третьих, при проверке критерия обнаружения по скорости ограничим минимально допустимую скорость объекта относительно средней скорости фона значением AKmin.
В-четвёртых, для обнаружения объекта по скорости будем рассматривать только такие объекты-кандидаты, углы между векторами скоростей которых на соседних кадрах не превосходят заданную величину А(рс. Введение данного ограничения связано с тем, что танкер или автомобиль в процессе сближения резко не изменяет направление своего движения.
В-пятых, если при обнаружении объекта по скорости объект-кандидат на рассматриваемом кадре находится в режиме прогноза, то следует ввести штраф на количество кадров, в течение которых данный сегмент является объектом-кандидатом, уменьшив это количество на пш кадров.
Таким образом, для обнаружения объекта будем использовать правила:
1. Объект обнаружен по размеру, если для единственного выделенного сегмента, у которого параметр «время жизни» превышает величину Tps , выполняется критерий обнаружения по размеру в течение nобн,р кадров.
2. Объект обнаружен по скорости, если рассматриваемый сегмент является объектом-кандидатом, выбранным по критерию обнаружения по скорости с учётом всех перечисленных выше ограничений. Если данное правило справедливо для нескольких сегментов, т.е. их параметры удовлетворяют перечисленным ограничениям, то в качестве объекта выбирается с наибольшей площадью, поскольку эти сегменты, скорее всего, являются частями одного объекта.
После обнаружения объекта его поиск на следующем кадре можно производить по идентификатору, который присваивается в процессе траекторной обработки. Координаты xл,hц ,пикс.(n), yл,hц ,пикс.(n) и размеры Wh (n), Hh (n) обнаруженного объекта АО и АМ на фоне звёздного неба и неоднородном фоне равны оцененным параметрам соответствующего сегмента xsц (n), ysц (n), Ws (n), H s (n) , формируемым в ходе траекторной обработки Координаты xл,hц ,пикс.(n), yл,hц ,пикс.(n) обнаруженного объекта АО и АМ на фоне неба в дневное время равны координатам центра масс наибольшего сегмента, полученного после упрощенной морфологической обработки, а размеры Wh(n), Hh(n) – размерам сегмента Ws (n), H s (n), формируемым в ходе траекторной обработки.
Исследование критерия работоспособности разностного корреляционного алгоритма
Дополнительно введем ограничение на минимальную ширину эталона, чтобы исключить ошибки в вычислении расстояния до объекта по оси z с размерами объекта близкими к точечным, которые могут произойти при низком отношении сигнал/шум на изображении. Верхняя и нижняя границы эталонного участка изображения УЕ,н(п)уЕе(п) ограничиваются соответственно нижней и верхней границей изображения и максимальной высотой эталонного участка (в реализации 100 пикселей) для ускорения работы программы.
На втором этапе происходит формирование зоны поиска Z(n) на правом изображении, таким образом, что его верхняя и нижняя границы yZu(n), yZe(n) совпадают с yh н(п), yh в(п), а левая и правая граница xz л(п), xz пр (п) вычисляются по формулам: 135 xZn (n) = хЕ,л О) - P(n -1) - am, еcли хЕ,Д (n) - P(n -1) - am 1, xZjl(n) = 1, иначе, xZ,np. (и) = XE,np. (") - ДИ " 1) + «зи, еcли XE,np (и) - P(w - 1) + Язи 0 , (2.77) xZ,np.(n) = Wl,np иначе
На третьем этапе проводится сопоставление эталонного участка Е(п) с зоной поиска Z(n) в соответствии с разностным корреляционным алгоритмом. Для этого формируется разностная критериальная функция для каждого возможного сдвига Ах эталонного участка Е(п) относительно зоны поиска Z(n) вдоль оси х в соответствии с выражением: F„ (Ах, п) = X Z(i + Ах, і, п) - E(i, і, п), (78) (i,j)eE(n) 2. где i, j - координаты пикселей в системе координат эталонного изображения (центр системы координат совпадает с левым верхним углом изображения Е(п), а направления осей - с направлениями осей х и у).
Отметим, что в случае, когда видеодатчики стереосистемы не откалиброва-ны, может применяться двумерный разностный корреляционный алгоритм. Значение Ах (и), при котором достигается глобальный минимум критериальной функции Fp(Ax,ri), принимается в качестве величины, характеризующей смещение эталонного участка изображения объекта на Ьл (п) относительно правого изображения: Ax („) = argmm( (Ax,„)). (2.79) iх
Оценивание смещения Ах (п) производится с точностью до целого пикселя, однако возможно субпиксельное уточнение найденных значений для чего на чет 136 вертом этапе алгоритма производится параболическое интерполирование разностной критериальной функции Fp в ближайшей окрестности точки минимума: 2 Fp(Ax +1,n) + Fp(Ax -1,n)-2Fp(Ax ,п) На пятом этапе происходит вычисление диспарантности по формуле: Р(п) = хЕ,л (п) - (xZjl (п) + Ах иЬ (п) -1). (2.81) Вычисляя величину диспарантности Р(п), можно определить расстояние до объекта по оси z, с помощью выражения (2.73).
Для уточнения вычисленного расстояния до объекта по оси z предлагается сглаживать расстояние zh(п) усредняющим фильтром с памятью кг. Для корректного сглаживания требуется накапливать последние kf значений расстояний и проводить повторное накопление в случае повторной инициализации алгоритма. В результате получим оцененное значение zh (п).
Значительное повышение скорости работа алгоритма при вычислении критериальной функции можно обеспечить, используя следующий подход: проводить усреднение яркостей точек изображения объекта и зоны поиска вдоль оси у и вычислять критериальную функцию по одномерным массивам.
Для вычисления координат объекта в измерительной системе координат требуется ввести поправку для пересчета координат. Для этого будем использовать вычисленную оценку расстояния zh (п). Рассмотрим рисунок 2.15.
Центр ЛК отстоит от центра стереосистемы (ЦС) на величину, равную половине базы стереосистемы В/2. Из рисунка видно, что поправка Ах(п), которую требуется вычислить, соответствует диспарантности объекта, сдвинутого на расстояние В/2 от ПК, если она перемещена в центр стереосистемы. B / 2 Zh Ax-5 Wi-b 2 Фокальная плоскость
Для получения координат объекта в системе координат вспомогательного изображения из координат объекта, вычисленных в системе координат левого изображения, требуется вычесть поправку Ах(п). Расстояние до объекта Dh(n), т.е. до точки на поверхности объекта, соответствующей центру масс объекта на наблюдаемом изображении, можно определить по формуле: Dh О) = ]х\ц ,М (п) + у\ц ,М (п) + 2Іц ,М (п), (2.84) где xh ,M(n),yh ,M(n),zh ,Л,(и) - координаты центра объекта в измерительной системе координат, при этом zh м (п) соответствует zh (п) (расстояние до центра объекта по оси z). Вычисление расстояния до конуса осуществляется по формуле (2.84), но в качестве координат объекта в измерительной системе координат используются координаты заправочного конуса.
Поскольку заправочный конус - унифицированное устройство, то для реализации алгоритма по его нахождению на изображении, можно воспользоваться его моделью, т.е. сформировать эталонные изображения конуса с учетом диапазона расстояний до объекта, на котором требуется обнаружить конус.
Впрочем, следует учитывать, что заправочный конус может быть по-разному освещен, в зависимости от яркости различных источников освещения и их расположения (солнце, луна, звезды), что заранее может быть не известным. Кроме того, модель заправочного конуса, на основе которой генерируется эталонное изображение конуса, является неточной. В результате эталонное изображение конуса и изображение конуса, получаемое от левого видеодатчика КТЗ, могут значительно различаться по яркости. Примеры таких ситуаций приведены на рисунке 2.16.
Из рисунка 2.16 видно, что, несмотря на разное освещение поверхности конуса, границы внутренней и внешней областей окружности основания заправляемого конуса на изображениях не изменяются, то есть инвариантны к условиям освещения. Поэтому поиск конуса на текущем изображении целесообразно производить с использованием корреляционно-экстремального алгоритма по контурному изображению, полученному с помощью метода Кэнни [146]. Примеры яркост-ных и контурных изображений для текущего кадра и эталона показаны на рисунке 2.17.