Содержание к диссертации
Введение
1 Анализ проблемы обнаружения и выделения объектов по последовательности изображений 18
1.1 Вводные замечания и качественная постановка задачи обнаружения объектов 21
1.1.1. Алгоритмы обработки гізображений и их основные цели 23
1.1.2 Фотограмметрические системы получения трехмерного изображения 24
1.1.3 Определение и классификация корреляционно-экстремальных систем 27
1.1 4 Использование корреляционной функции для задачи стереоотождествления 28
1.2 Формализация решаемой задачи : 30
1.2.1 Процедура калибровки и взаимного ориентирования камер, расположенных на подвижной платформе 36
2 Разработка алгоритма обработки изображений, осуществляющего стереоотождествление в реальном времени 40
2.1 Выбор решения для проблем, возникающих при стереоотождествлении 41
2.2 Применение корреляционных методов стереоотождествления в решаемой задачи 44
2.3 Выбор области поиска точки на изображении 45
2.4 Представление информации об изображении в виде значений и направлений градиентов 51
2.4.1 Определение перепадов 52
2.4.2 Вычисчение первой производной измерения яркости 53
2.5 Выбор метода решения задачи стереоотождествления 58
2.5.1 Экспериментальный выбор количества уровней пирамиды изображений 60
2.5.2 Процедура уточнения координат найденной точки по яркостным признакам 62
2.5.3 Схема работы алгоритма стереоотождествления 65
2.6 Корреляционное стереоотождествление для верхних уровней пирамиды 67
3 Нахождение трехмерных координат препятствий и получения модели подстилающей поверхности 84
3.1 Алгоритмы решения подзадач расчета трехмерных координат препятствий 85
3.1.1 Расчет трехмерных координат точки на изображении , 55
4 Проверка работоспособности сформированных алгоритмов 95
4.1 Структура системы машинного зрения в задачах обработки в реальном времени на подвижной платформы 95
4.2 Работа алгоритма поиска соответствующей точки изображения 97
4.3 Получение экспериментальных данных по видеопоследовательности 103
4.4 Экспериментальная проверка работоспособности в реальных условиях наблюдения подстилающей поверхности с подвижной платформы
5 Выводы по работе 122
6 Список использованной литературы
- Определение и классификация корреляционно-экстремальных систем
- Выбор области поиска точки на изображении
- Процедура уточнения координат найденной точки по яркостным признакам
- Работа алгоритма поиска соответствующей точки изображения
Введение к работе
Актуальность работы В последние годы увеличилось число задач, относящихся к различным областям, таких как авиационные комплексы, интеллектуальные робототехнические комплексы, комплексы дистанционного зондирования и системы автоматического управления движущимися объектами, требующих автоматизации обработки визуальной информации, осуществляемой цифровыми вычислительными машинами. Для решения этих задач создаются системы обработки визуальной информации. Их проектирование в настоящее время является сложной и актуальной проблемой. Одним из основных направлений создания таких систем является построение наземных бортовых видеоинформационных комплексов, предназначенных для оценки местоположения движущихся объектов.
Функционирование наземных подвижных комплексов, в целях надежности выполнения поставленной задачи, не должно быть автономным, однако возникают задачи, когда принятие решений следует осуществлять, непрерывно анализируя большой массив информации. Для таких целей должны использоваться бортовые системы, автономно функционирующие в реальном масштабе времени.
Характерной чертой существующих бортовых систем является обработка видеоинформации, позволяющая получать сведения о геометрии препятствий (координаты вершин и координаты нормалей), с дальнейшей привязкой их к текстурным координатам изображения. Требование обработки в реальном масштабе времени играет важную роль при использовании результатов в формировании законов управления подвижными объектами.
Другой характерной чертой существующих видеоинформационных систем является наличие в их составе устройств специального подсвета, облегчающего извлечение информации из изображений. Однако такие устройства преимущественно используются на стационарных комплексах.
В этой связи актуальной является постановка и решение задачи обработки данных видеоинформационной вычислительной системы, что при достаточном быстродействии позволит обеспечить задачу формирования управляющих сигналов в реальном масштабе времени. Решение такой задачи требует нахождения новых подходов.
Целью диссертации является повышение эффективности
видеоинформационной вычислительной системы машинного зрения, позволяющей осуществлять в реальном масштабе времени оценку местоположения подвижного объекта относительно препятствий на подстилающей поверхности.
Для достижения поставленной цели решены следующие задачи:
разработана структура многомодульной высокопроизводительной вычислительной системы обработки данных стереоизображений в реальном масштабе времени по информации, получаемой с двух видеодатчиков;
разработан многоэтапный алгоритм функционирования модуля стереоотождествления изображений;
разработан алгоритм функционирования модуля определения трехмерных
координат точек, задающих образ препятствий;
разработан алгоритм функционирования модуля вычисления оценки местоположения препятствий на подстилающей поверхности относительно видеоинформационной системы объекта;
создан метод формирования данных о появлении препятствий в области подстилающей поверхности.
Методы исследований. В работе использовались теоретические и экспериментальные методы исследования.
Теоретические методы основаны на методах теории компьютерного зрения, математической обработки изображений, цифровой фотограмметрии, корреляционной теории, математической статистики, теории оптимизации и функционального анализа, основы которых были заложены в работах Желтова С.Ю., Красилыцикова М.Н., Себрякова Г.Г., Визильтера Ю.В., Путятина Е.П., Форсайта Д.А. и др.
Экспериментальные методы исследования базировались на положениях теории статистического и полунатурного моделирования.
Научная новизна диссертации состоит в том, что в ней впервые решается задача построения трехмерной модели изображения подстилающей поверхности корреляционными методами с подвижной платформы, снабженной видеоинформационной системой, в реальном масштабе времени. При этом система располагает лишь двумя ПЗС-камерами и вьшислительным модулем и не использует устройств специального подсвета, облегчающих извлечение информации из изображений, которые входят в состав стационарных комплексов технического зрения. Также система способна производить обнаружение всех находящихся в зоне наблюдения, протяженностью от 5 до 150 метров и шириной до 10 метров, подвижного средства препятствий, рассчитывая расстояние до них и вычислять их положение относительно подстилающей поверхности с точностью до 8 мм.
Практическая ценность результатов диссертации заключается в создании алгоритмического и программного обеспечения модулей видеоинформационной вычислительной системы, входящих в состав систем оперативного получения информации о наблюдаемой местности.
Достоверность результатов проведенных исследований подтверждена большим объемом математического и полунатурного моделирования на серии тестовых изображений, полученных со стереосистемы, установленной на подвижной платформе.
Внедрение результатов работы
Результаты, полученные в диссертационной работе, были использованы при выполнении:
НИР «Скорость», по Федеральной целевой программе «Национальная технологическая база» (раздел «Информационные технологии»),
НИОКР «Топаз», по заказам ФГУП «МНИИ Интеграл» и Правительства г. Москвы,
НИОКР «Создание программно-аппаратных средств для обучения контролеров навыкам идентификации личности», по заказу ПНИЦ ФСБ России,
НИР «Формат», «Монитор», «Калибр».
Также, алгоритмы функционирования модулей использовались в составе систем безопасности подвижных средств для оценки их собственного положения и
обнаружения препятствия и при решении задач контроля геометрических
характеристик изделий, в реальном масштабе времени, в системах автоматизации производственных процессов. На защиту выносятся:
1. Результаты разработки алгоритмического и программного обеспечения
многомодульной высокопроизводительной вычислительной системы
обработки данных стереоизображений, включающие:
многоуровневый алгоритм функционирования модуля быстрого стереоотождествления снимков, на основе яркостного и градиентного представлений изображений с пирамидальной структурой, - алгоритм функционирования в реальном масштабе времени модуля, построения облака точек подстилающей поверхности.
2. Метод формирования области нахождения препятствий относительно
видеоинформационной системы и заданной подстилающей поверхности.
Апробация работы. Основные результаты работы докладывались на следующих конференциях:
Конференция РОФДЗ МИИГАИК «Фотограмметрия в задачах получения и управления данными», Москва, декабрь 2005 г.
Конференция молодых специалистов ГосНИИАС, Москва, февраль 2006г.
XIV международный научно-технический семинар «Современные технологии в
задачах управления, автоматики и обработки информации» Алушта, сентябрь 2005г.
XV международный научно-технический семинар «Современные технологии в
задачах управления, автоматики и обработки информации», Алушта, сентябрь 2006г.
XVI международный научно-технический семинар «Современные технологии в
задачах управления, автоматики и обработки информации», Алушта, сентябрь 2007г.
Вторая международная Российско-китайская конференция "Проектирование аэрокосмической техники" г.Москва 2007г.
Всеросийская выставка «Системы машинного зрения», Москва, февраль 2008г.
Выставка VIT Expo 2008 "Машинное зрение и системы обработки изображений и системы автоматической идентификации", Москва, март 2008г.
Всеросийская выставка «Системы машинного зрения», Москва, февраль 2008г.
Международный научно-технический семинар "Визуальный компьютинг в фундаментальной науке и академических исследованиях", Москва, 2009г.
Публикации. По теме диссертационной работы опубликовано 13 печатных работ, в том числе две статьи в издании из Перечня ВАК. Общий объем печатных работ - 12 печатных листов, в том числе личный вклад - 6 печатных листов. Результаты исследования отражены в отчетах по НИР.
Объем и структура работы. Диссертационная работа состоит из введения, четырех разделов, выводов и списка литературы из 90 наименований. Общий объем 138 страниц, 3 таблицы, 57 рисунков.
Определение и классификация корреляционно-экстремальных систем
В системе понимания изображений, уровень представления смысловой информации на её выходе может быть различным. В простейшем случае система понимания изображений может просто сообщить о появлении в поле зрения какого-нибудь объекта. В другом, предельном случае система может создавать подробное описание сцены с указанием точных координат местности и объектов на ней относительно системы координат видеоинформационной установки.
Среди подходов к обработке изображений следует выделить направление бинокулярного зрения, которое позволяет осуществить наиболее глубокий-анализ изображений, (Рис. 1.2).
Задачи обнаружения объектов опираются на алгоритмы обработки изображений, которые, в свою очередь, должны получать информацию от видеодатчика, одного, двух (стереопара) или целой группы. Для получения такой, информации разрабатываются системы машинного зрения. В их создании используются технологии создания приборов, схожих по строению с человеческим глазом, наделяя их функциями, которые необходимы для работы. Здесь следует отметить, что использование одного видеодатчика в системе машинного зрения предоставляет лишь монокулярное зрение, позволяющее проводить анализ изменений на плоском изображении. Бинокулярное зрение дает возможность стереоскопического зрения, возможность видеть окружающий мир в трех измерениях, определять расстояние между предметами, воспринимать глубину, телесность окружающего мира. Задачи обнаружения объектов Алгоритмы обработки изображений 1Г Системы машинного зрения v 1 г Монокулярное зрение Бинокулярное зрение чг Фотограмметрические системы получения трехмерного изображения т Взаимное ориентирование камер Рис. 1.2. Направления в задачах обнаружения объектов Фотограмметрия(от фото..., греч. gramma — запись, изображение и ...метрия), — научно-техническая дисциплина, занимающаяся определением размеров, формы и положения объектов по их изображениям на фотоизображениях. Последние получают как непосредственно кадровыми, щелевыми и панорамными фотоаппаратами, так и при помощи радиолокационных, телевизионных, инфракрасных-тепловых и лазерных систем. Технология фотограмметрии, позволяющая определять геометрические свойства объектов по фотографическим изображениям, появилась в середине XIX века, практически одновременно с появлением самой фотографии.
Фотограмметрические системы получения трехмерного изображения позволяют производить измерения объектов бесконтактными способами. Для того, чтобы фотограмметрическая система могла определять трехмерные координаты объектов или местности необходимо, чтобы с видеодатчиками, которыми она располагает предварительно был а. проведена процедура взаимного ориентирования.
В алгоритмах обработки изображений входной и выходной информацией являются изображения. Чаще всего основным термином, используемым при обращении в данную научную область используется слово - зрение. С понятием «зрение» связано несколько часто используемых оборотов: Анализ изображений - фокусируется на работе с 2D (2-Dimensional) изображениями, Компьютерное зрение - обычно понимается как восстановление 3D структуры по 2D изображениями, Машинное зрение, зрение роботов - относится к области решений промышленных, производственных задач (сложилось исторически), Распознавание образов — это распознавание, обучение на абстрактных числовых величинах, полученных, в том числе и из изображений. Поскольку для решения поставленной в диссертации задачи планируется использовать съемку видеодатчиками с подвижной платформы, то такая обработка видеоинформации, среди алгоритмов работы с изображениями, относится к машинному зрению.
Машинное зрение - это научное направление в области искусственного интеллекта и связанные с ним технологии считывания изображений реальных объектов, их обработки и использования полученных данных для автоматического (т. е.- без участия человека) или автоматизированного решения разного рода прикладных задач. Цель компьютерного зрения -принятие решений о реальных физических объектах и сценах, основываясь на воспринимаемых изображениях. Искусственный интеллект, формируемый в задачах, машинного зрения, в частности, решает задачи, планирования! и принятия решений, для систем управления, роботами и» автономных механизмов,\использующих оптические сенсоры..
Одним из наиболее изученных направлений в области машинного зрения является фотограмметрия.
В настоящее время исходные изображения для фотограмметрии получают не только кадровыми, щелевыми или панорамными фотоаппаратами, но и- с помощью радиолокационных, телевизионных, тепловых и лазерных систем.
В простейшем случае пространственные координаты точек объекта определяются путем измерений, выполняемых по двум или, более фотографиям, снятых из разных положений. При этом на каждом изображении отыскиваются общие точки. Затем луч зрения проводится от местоположения фотоаппарата до точки на объекте. Пересечение этих лучей и определяет расположение точки в пространстве. Более сложные алгоритмы могут использовать другую, известную заранее информацию об объекте — например, симметрию составляющих его элементов, в определенных случаях позволяющую реконструировать пространственные координаты точек лишь по одному фотографическому изображению.
Выбор области поиска точки на изображении
Сложность применения корреляционного метода в решаемой задачи поиска стереосоответствия точки левого изображения правому изображения заключается в выборе таких размеров сопоставляемых фрагментов, при которых отличия в тождественных фрагментах еще невелики, а оценка коэффициента корреляции остается достоверной. Недостатком корреляционных методов является чувствительность к масштабным искажениям, присутствующим в отождествляемых фрагментах. Простейший способ уменьшения масштабных различий в левого и правого фрагмента состоит в использовании предварительной аффинной подстройки изображений [3]. Влияние яркостных искажений можно попытаться устранить, отказавшись от сопоставления фрагментов исходных изображений, и перейдя к сопоставлению фрагментов контурных изображений, где выделены края, т.е. переходы между областями с постоянной.яркостью. На таких переходах, как известно,4 градиент яркости имеет максимум, а лапласиан обращается в нуль. Это обстоятельство и используется для, выделения краев. Существенным, моментом является то, что- контуры на изображениях непрерывных поверхностей должны располагаться непрерывно. Это ограничение позволяет в некоторой степени ослабить влияние масштабных искажений. Однако и здесь, как и в корреляционном методе, существует проблема ложного отождествления. Связана она, в частности, с тем, что видимая часть поверхности зависит от ракурса наблюдения и на разных изображениях могут пропадать разные края. Кроме того, сама задача выделения краев только на первый взгляд кажется такой простой. В действительности неизбежное присутствие шумов в изображениях может привести к частичному исчезновению контуров или появлению ложных.
Проблема распознавания носит явно выраженный комплексный иерархический характер и включает ряд основных этапов: восприятие поля зрения, редукция, нормализация выделенных объектов, распознавание. В этой области был изучен ряд работ [59, 68, 78].
Для проведения- процедуры стереоотождествления на всей наблюдаемой области изображения, необходимо выбрать начальную область поиска, с которой начнет работать алгоритм.
Несмотря на многочисленные попытки создания универсальных методов поиска соответствующих точек на стереопаре, эта задача до конца не решена ввиду ее сложности, соответствующей сложности общей задачи понимания изображений. Первые эксперименты в этой области относятся к 50-60-м гг. Основная идея автоматического стереотождествления состояла в том, что в» предположении о достаточно;малых, соответствующих участках, стереопары, подобны и можно преобразовать фотоизображение в электрические сигналы, анализируя, эти сигналы для ряда- точек. С использованием цифровых изображений, получаемых с ПЗЄ-камер видеоинформационной системы; такой подход стал осуществим.
Из-за отсутствия общепринятой терминологии в работе будут употребляться следующие термины.
Под образом на изображении понимается отдельная область изображения в совокупности с информацией, которая может быть получена из этой области, причем размеры и конфигурация области образа могут быть самыми различными.
Мера близости образов - количественная характеристика соответствия образов. Мерой близости может быть максимум или.минимум некоторого-критерия, например максимум корреляционной функции или минимум суммы квадратов расхождений элементов, составляющих образы. В работе будет употребляться- также коэффициент «похожести» сегментов изображения.
Алгоритм функционирования модуля стереоотоэюд ветвления позволяет измерить меру близости образов- соответствующих друг другу. Названия методам обычно даются по типу отождествляемых образов, например площадное, признаковое, символьное стереоотождествление.
Во многих методах стереоотождествления один из образов фиксируется, а соответствующий образ ищется (обнаруживается) на другом изображении с помощью выбранного метода стереоотождествления; Неподвижный образ будем называть эталоном. Эталоном будет служить область в кадре с левой камеры, необходимая для нахождения соответствующей области на правом кадре.
Стратегия стереоотождествления определяет общую схему решения задачи автоматического стереоотождествления. Наиболее распространенные стратегии - иерархическое отождествление и стратегия с применением нейронных сетей. Таблица 2.1 иллюстрирует отличия перечисленных методов друг от друга.
Наиболее известные среди площадных методов следующие: Нормализованная корреляция. Этот метод является наиболее простым и был разработан в числе первых. В работе [11] описана одна из первых систем автоматического стереоотождествления на основе вычисления нормализованной корреляционной функции двух образов, которая дает удовлетворительные результаты для изображений несложных сцен. В дальнейшем в корреляционную схему вводились усовершенствования, например, адаптивное окно корреляции [3] и коррекция геометрических искажений при изменении ракурса [54].
Процедура уточнения координат найденной точки по яркостным признакам
Выбор метода решения задачи стереоотождествления производится на основе анализа реальных изображений подстилающей поверхности. При этом были учтены основные факторы, затрудняющие стереоотождествление: существенные яркостные различия изображений стереопары, возникающие при съемке поверхностей объектов под разными углами; существенные геометрические искажения вследствие потенциально сложного рельефа подстилающей поверхности; возможность наличия на изображениях областей с малой вариацией яркости
Точность привязки к эталонному изображению тем выше, чем более неоднородным являются соответствующие фрагменты изображения. С вычислительной точки зрения, самым простым и эффективным показателем неоднородности фрагмента является дисперсия яркости внутри фрагмента л N N a2(x0,y0,N)= Y Т;(ЛХ + ХО У + УО))2 N N 7ГТ——rZ Т(Лх + хо У + Уо)) {Zl\ + L) X=-N y=-N J где f[x + х0,у + у0)- функция яркости изображения относительно эталона, N- количество пикселей в изображении. Чем выше дисперсия, тем более неоднородным является фрагмент. Пусть изображения имеют размеры MxN пикселей и область перекрытия составляет а процентов. Тогда для эталона/левого изображения, в области перекрытия правого изображения должен быть произведен поиск образа / Это требует порядка MNna операций, где и-число пикселей в эталоне. Если необходимо найти соответствие всем пикселям левого изображения, требуется k=(MNna) операций. Для реальных стереопар а»0.6, М \000, поэтому полное время стереоотождествления становится недопустимо большим.
Для нахождения стереосоответствия точек левого изображения точкам правого изображения осуществляется процедура корреляционного стереоотождествления точки изображения с использованием яркостных признаков. Чтобы найти некоторый пиксель (ячейку) Р левого изображения с координатами (рср,ур) на правом изображении, вся область перекрытия правого изображения должна быть проверена на наличие пикселя Р.
Каждая точка прямоугольной области поиска на правом изображении выбирается в качестве центра изображения, которое сравнивается с выбранным участком на левом изображении, при этом мера сходства задается корреляционной функцией [9] 2 v( + XL У + У і )g(x + XR У + Ун ) - NvS (x,y) (x,y) где \XL Уь) - координаты центра выбранной прямоугольной области на левом изображении; \XR Уя) координаты центра образа, выбранного на правом изображении; v(x + xL, у + yL ) - функция яркости выбранной прямоугольной области на левом изображении; g(x + XR,у + yR) - функция яркости на искомом (правом) изображении; R \\XR Уя): Xmin - XR Хтах Утт - Уя - У max J прямоугольная область поиска на правом изображении; Z-( обозначает суммирование по всем ячейкам(пикселям) эталона; (х,у) N - количество ячеек в выбранной области левого изображения, При этом средняя яркость будет находится по формулам: V=— Т;У(Х + ХЬ У + Уі) g=—YjS(X + XR y + yR) Я (х,у) (х,у) Значения искомых координат \хк Уя) , при которых корреляционная функция достигает максимума, являются решением экстремальной задачи (xR,yR) = avgmaxk(xR,yR) (2.1) xR,yReR Её решение может быть найдено методом субпиксельной корреляции, разработанным Желтовым СЮ. и Себряковым Г.Г.
Однако этот метод не позволяет аналитически построить характеристику, определяющую степень достоверности полученного результата. Поэтому для решения поставленной задачи будет использован метод наименьших квадратов, который, как было показано в [25], эквивалентен методу субпиксельной корреляции и позволяет вычислять ковариационную матрицу оценки параметра, являющуюся характеристикой, определяющей степень достоверности полученного результата.
Поместим начало прямоугольной системы координат оху в середину центрального пиксела выбранной области левого изображения и обозначим для удобства gix y gix+x y+y ) распределение яркостей на участке правого изображения, который соответствует распределению яркостей выбранной области левого изображения. Форма этого участка из-за перспективных искажений наблюдаемой сцены отличается от формы выбранного участка левого изображения. Для компенсации этих искажений поместим начало системы координат ОіхіУі в Центр участка правого изображения так, как показано на (Рис. 2.18). правое изображение левое изображение Рис. 2.18 Взаимное расположение систем координат оху и OjXjyj Пусть координаты любых точек, принадлежащих выбранной области в системах координат левого изображения оху и правого изображения І- ХІ- УІ связаны преобразованиями Ф и у/ с точностью до неизвестного параметра h х1 =ф(х,у,к), ух =ip(x,y,h) (2.2) где h — неизвестный векторный параметр, задающий начало системы координат. Этот вектор определяется значениями горизонтального и вертикального сдвигов, которые последовательно принимают все значения из допустимого диапазона, которые необходимо определить XRmm — XRi XRmax , XRi XRmm + l R , Заметим, что в идеальных условиях, в отсутствии геометрических и яркостных искажений х=х{; у=уі Однако, в реальных условиях, в предположении о независимости геометрических и яркостных искажений левого и правого изображений v(x, у) = wg(xt ,у,) + е(х, у) + Ь, (2.3) где - W , Ъ - мультипликативный и аддитивный параметры яркостных искажений; е(х,у) eN(0, Je) — аддитивный гауссовский шум, v(x, у) - функция яркости выбранной прямоугольной области на левом изображении, - функция яркости на искомом (правом) изображении. Если из значений v(x,y) составить вектор vT = \у1г v2, ..., v ], где v,- -(i=l...N) яркости пикселей области левого изображения, то выражение (2.3) можно рассматривать как нелинейную модель с неизвестными параметрами преобразования (2.2). Заметим, что преобразованием v0( ,;v) = v(x, )-v, g0(x9y) = g(x9y)-g (2 4) из модели (2.3) можно исключить параметр Ь. Для этого подставим (2.4) в уравнение (2.3), тогда соотношение v0 (х, У) + v = wg0 О, У) + е(х, у) + wg + Ъ будет эквивалентно двум соотношениям v = wg + Ъ, и (2.5) v0 (х, у) = wg0 (х, у) + е(х, .у). Параметр Ъ может быть найден из (2.5) после того, как будут найдены преобразования а также параметр w.
Работа алгоритма поиска соответствующей точки изображения
Полученный массив данных трехмерных координат точек наблюдаемой зоны сравнивается с плоскостью, поскольку для подвижной платформы это послужило бы идеальной поверхностью для перемещения. В дальнейшем заданная нами плоскость будет именоваться эталонной поверхностью.
Для получения информации об изменении профиля подстилающей поверхности, определялась высота каждой полученной точки до эталонной плоскости, а информацию о препятствии характеризует вычисленная дальность.
На (Рис. 4.4) изображен тестовый пример обнаружения стереосоответствия точки левого изображения (1) на правом изображении. Информационное окно отображает высоту нахождения точки (/?) относительно подстилающей поверхности.
В качестве проверки разработанных алгоритмов функционирования модулей проводилось тестирования на различных видеопоследовательностях, снятых представленной видеоинформационной системой. На тесовом снимке проверялось отождествление выделяемых точек (Рис. 4.5.). В диалоговом окне выводится информация по каждой найденной точке, с указанием её координат, расстояния до подвижной платформы и высоты относительно подстилающей поверхности. В тестовом приложении реализована функция, позволяющая задавать порог высоты точек, минимально безопасное расстояние до препятствия, а также формировать размер ширины безопасного коридора для подвижной платформы. Превышение данных порогов сопровождается сообщением об опасности столкновения.
Отображением файлов, содержащих трехмерные координаты точек в Х-формате, можно получить ЗЭ-модель, состоящую из облака точек относительно заданной подстилающей поверхности (Рис. 4.6). Представленный пример функционирования разработанных модулей в тестовой программе демонстрирует обнаружение препятствия в зоне наблюдения.
В случае, если безопасный порог дальности до препятствия фиксируется величиной 35 метров, то объект, найденный на расстоянии 142 метра, не воспринимается системой, как опасный для подвижной платформы (Рис. 4.7).
Епи» і»»і«ж кцисдтЛ цшяй о у) . Мана. ИМИ МИ -!. .ЛЯ Рис. 4.7. Обнаружение препятствия в дальней зоне (нет опасности) 106 На приведенном рисунке демонстрируется, что измеренная точка препятствия находится на расстоянии 142 метра и при заданном пороге дальности не представляет опасности для подвижной платформы с видеоинформационной системой.
Если объект обнаружен на расстоянии меньшем, чем задано в качестве безопасного, то система способна классифицировать подобную точку, как предупреждающую (Рис. 4.8).
Точность разработанных алгоритмов функционирования модуля, позволяющих обнаруживать препятствия на пути подвижной платформы, видеоинформационной стереосистемой проверялась при обработке большого количества видеопоследовательностей, снятых при её экспериментальном тестировании на транспортном средстве. Одним из примеров является обнаружение точек одного и того же препятствия (Рис. 4.9, Рис. 4.10), где расстояние между заданными маркерами соответствует масштабу объекта.
Необходимо отметить, что важным моментом в работе системы является её надежность функционирования в изменяемых погодных условиях. Так на (Рис. 4.11) в тестовой задаче изображено обнаружение объекта в дневное время суток, тогда как в темное время суток (Рис 4.12) объект так же смог быть обнаружен системой. Проверка надежности обнаружения точек наблюдаемой сцены проводилась также на видеопоследовательностях, которые были получены в дождливую погоду. Coordnates - -3.5645 -0.100683 -50.979 Distance - 50.979 Height - 0.3135 Рис. 4.12. Обнаружение объекта в темное время суток ПО На (Рис. 4.13) тестовые задачи: демонстрируют работоспос: 2 (5тт системы. Выделенные точкилевогоизображенияюбнаруживаются ц _ иг я изображении; На (Рис. 4.14)) для выделенной точки найдены тре с гугег) координаты, расстояние и;вьісотаотносителБНОїПОдстилающейповер»с::ЕЇОО
Разработка методов определения трехмерных координат препятствий, обнаруженных на подстилающей поверхности перед подвижной платформой и выходящими за заданный порог, производится с целью формирования предупреждающих сигналов, которые будут препятствовать столкновению.
Необходимо отметить, что разработанные алгоритмы позволили обнаруживать сразу несколько препятствий в наблюдаемой зоне, давая информацию о местоположении подвижной платформы относительно них. В дальнейшем это может позволить формировать управляющие воздействия для принятия решения исполнить маневр, предотвращающий столкновение, но не прерывающий движение. Такой маневр может быть полезен в случае, если подвижная платформа с видеоинформационной стереосистемой установлена на мобильный объект. Задание порогового значения для препятствий на подстилающей поверхности позволяет выбирать высоту преодолеваемых объектов У. Это необходимо для того, чтобы получать представление о том, где находится точка и что она характеризует, касательно подстилающей поверхности.
В рамках проверки работоспособности разработанных методов определения трехмерных координат подстилающей поверхности на пути подвижной платформы, обрабатывалась видеопоследовательность, содержащая несколько десятков тысяч кадров.
Примером такой видеопоследовательности служило движение подвижной платформы по дороге с интенсивным движением транспорта, что позволит проверить робастность методов при наличии препятствий.
Обработка видеопоследовательности с использованием разработанного метода стереоотождествления точек и поиска трехмерных координат Полученный массив данных о трехмерных точках решено сравнивать с плоскостью, поскольку для подвижной платформы это послужило бы идеальной поверхностью для перемещения.
На (Рис. 4.16) изображены несколько кадров видеопоследовательности, где подвижная платформа, оснащенная стереосистемой видеонаблюдения двигается со скоростью -60 км/ч в условиях наличия препятствий относительно подстилающей поверхности.
В результате обработки видеопоследовательности система получает на выходе файл с координатами трехмерных точек, выходящих за пределы заданной подстилающей поверхности. На (Рис. 4.17) и (Рис. 4.18) в графическом редакторе представлено отображение облака найденных точек для первой и второй стереопары (Рис.4.16).
