Содержание к диссертации
Введение
1. Тенденции развития систем визуальной навигации автономных мобильных роботов 19
1.1. Автономные мобильные роботы: области применения и решаемые задачи 19
1.2. Средства навигации автономных мобильных роботов 21
1.3. Типовая структура комплекса управления движением автономного мобильного робота 31
1.4. Особенности применения бортовых систем технического зрения для визуальной навигации 35
1.5. Тенденции развития визуальной навигации по материалам охранных документов 41
1.6. Анализ информативности полутоновых изображений 43
1.7. Постановка общей научной задачи и формулировка частных задач диссертационных исследований 51
1.8. Выводы 52
2. Разработка модифицированной структуры робастного алгоритма обнаружения яркой точечной особенности на телевизионных изображениях 55
2.1. Анализ эффективности детекторов особенностей телевизионных изображений при изменении условий наблюдения 55
2.2. Постановка задачи обнаружения точечной особенности в контролируемом пространстве при априорно неизвестных и изменяющихся условиях наблюдения 56
2.3. Разработка модифицированного решающего правила обнаружения яркой точечной особенности 58
2.4. Структура устройства для обнаружения яркой точечной особенности 61
2.5. Вероятность ложных тревог 63
2.6. Оценка эффективности предложенного алгоритма обнаружения яркой точечной особенности в контролируемом пространстве 64
2.7. Выводы
3. Имитационное моделирование для проверки устойчивости и эффективности робастного обнаружителя ярких точечных особенностей изображений 70
3.1. Имитационное моделирование алгоритма обнаружения яркого точечного объекта в контролируемом пространстве 70
3.2. Тестовая проверка устойчивости алгоритма обнаружения яркого точечного объекта в дискретном пространстве 78
3.3. Моделирование процесса обнаружения яркого точечного изображения источника излучения в контролируемом пространстве для оценки эффективности предлагаемого алгоритма 82
3.4. Сравнительный анализ алгоритмов обнаружения яркого точечного изображения источника излучения в контролируемом пространстве 87
3.5. Выводы 96
4. Разработка модифицированной структуры робастного алгоритма обнаружения разноплановых особенностей на телевизионных изображениях 98
4.1. Информативность разноплановых особенностей телевизионных изображений 98
4.2. Разработка модифицированного универсального робастного обнаружителя 102
4.3. Структура универсального робастного обнаружителя 108
4.4. Вероятность ложных тревог 110
4.5. Вероятность правильного обнаружения 111
4.6. Выводы 115
5. Имитационное моделирование универсального робастного обнаружителя для обнаружения разноплановых особенностей 117
5.1. Имитационное моделирование робастного обнаружителя разноплановых особенностей на синтетических изображениях 117
5.2. Имитационное моделирование робастного обнаружителя разноплановых особенностей при изменении условий наблюдения 128
5.3. Анализ контрольного изображения универсальным робастным обнаружителем 137
5.4. Анализ контрольных изображений при изменении условий наблюдения 141
5.5. Выводы 147
Заключение 149
Список использованных источников 153
- Особенности применения бортовых систем технического зрения для визуальной навигации
- Постановка задачи обнаружения точечной особенности в контролируемом пространстве при априорно неизвестных и изменяющихся условиях наблюдения
- Тестовая проверка устойчивости алгоритма обнаружения яркого точечного объекта в дискретном пространстве
- Разработка модифицированного универсального робастного обнаружителя
Особенности применения бортовых систем технического зрения для визуальной навигации
Если радиосигналы от спутников не достигают места эксплуатации АМР в силу особенностей рельефа или характера объекта наблюдения (например, ис следование лунной поверхности, трубопроводных систем, пещер и железобетонных сооружений), то используются автономные системы инерциальной навигации, например, на основе акселерометров, гироскопов, магнитометров [53]. Такие системы, несмотря на полную автономность в процессе эксплуатации могут накапливать ошибки позиционирования, что при длительной эксплуатации может привести к существенной ошибке [32]в определении местоположения и ориентации АМР. Одним из решений снижения ошибки позиционирования АМР состоит в применении систем технического зрения, среди которых наибольшее распространение получили бинокулярные СТЗ (БСТЗ) [43–47,54,55].
Ниже приведена обобщённая последовательность действий БСТЗ для определения положения АМР.
Действие 1. Поиск характерных точек (точек интереса). Выбираются точки, которые могут быть сопряжены в стереопаре и находятся в поле зрения видеокамер в течение заданного интервала. Для отыскания характерных точек в действующих системах используется детектор углов (Харриса или Форстнера). Детектор обрабатывает изображение, выделяя элементы изображения с наибольшим значением отклика в качестве характерных точек. Для уменьшения вычислительной сложности на второе изображение накладывается сетка с размером ячейки меньшим, чем наименьшее расстояние между характерными точками.
Действие 2. Поиск вероятных точек сопряжения. Точки с наибольшим значением отклика детектора углов выбираются в качестве предположительного варианта сопрягаемой точки на втором изображении.
Действие 3. Сопряжение характерных точек. Положение участка пространства определяется путём сопряжения характерных точек. Поскольку видеокамеры откалиброваны, то поиск сопряжённых характерных точек осуществляется на эпиполярной линии со сдвигом в несколько пикселей. В алгоритме используется псевдонормализованная корреляция для определения наилучшего совпадения. Для обеспечения субпиксельной точности, используется подстановка 33 корреляционных отсчётов в квадратичный полином. Максимальное значение полинома выбирается в качестве максимума корреляционной функции.
Пространственные положения точек определяются на основании соотношений эпиполярной геометрии.
В идеальных условиях прямые от характерной точки правого и левого изображения, проходящие через оптические центры видеокамер, должны пересекаться в точке. Из-за наличия шумов, неопределенности параметров модели видеокамеры и ошибок сопряжения эти прямые не всегда пересекаются. Качество сопряжения точек определяет значение наименьшего расстояния между прямыми линиями. Пары с большим расстоянием исключаются из рассмотрения. Качество пары сопряжённых точек зависит от относительного положения точки, наименьшего расстояния между линиями, проходящими через оптические центры видеокамер и точки на правой и левой части стереопары. Вычисление кова-риации позволяет учесть эти факторы.
Действие 4. Слежение за характерными точками. Выделяется область расположения характерных точек, полученных на предыдущем изображении с учётом приблизительной оценки перемещения, полученной от датчиков линейного перемещения. Путём корреляционного поиска в выбранной области стереопар производится точное совмещение характерных точек со второй парой. В результате при перемещении АМР на короткое расстояние формируется следующая стереопара изображений.
Действие 5. Оценка корректности реконструированных точек. Пара сопряжённых точек определяет их новое пространственное положение, сужая границы поиска местоположений точек. Точки, у которых начальные и конечные положения отличаются значительно, исключают из рассмотрения.
Действие 6. Оценка перемещения носителя. Если начальная оценка линейного перемещения является точной, то разница между информацией от системы визуальной навигации и датчиков перемещения должна быть в пределах допустимой погрешности. Оценка траектории движения системой визуальной навигации выполняется в два этапа.
На первом этапе грубая оценка производится методом наименьших квадратов, преимуществом которого является простота, скорость и устойчивость. Недостатком метода является то, что он менее точен за счёт использования весового коэффициента качества наблюдений. Второй этап определения траектории движения предусматривает оценку траектории методом максимального правдоподобия, использующего различие в положениях и связанные ошибки моделей при оценке пространственного положения АМР. Метод максимального правдоподобия непосредственно оценивает поворот по трём осям. Это исключает ошибку, вызванную определением матрицы поворота, которая используется в методе наименьших квадратов. Кроме того, метод наименьших квадратов учитывает модель ошибок, что в конечном итоге улучшает качество оценки траектории движения. Ошибки в системе возникают, когда расстояние между характерными точками является достаточно малым. В этом случае большое число характерных точек будет находиться в малой области пространства. Другой причиной ошибок может стать выбор тени от АМР в качестве области поиска точечных особенностей сцены.
Постановка задачи обнаружения точечной особенности в контролируемом пространстве при априорно неизвестных и изменяющихся условиях наблюдения
Анализ трёх полутоновых изображений разноплановых природных ландшафтов показывает, что, хотя в пределах изображения сцены математическое ожидание изменений интенсивности велико, но между соседними пикселями (элементами разрешения) оно незначительно.
Обратимся к рисунку 1.10, где штриховыми линиями представлены разности интенсивностей между соседними пикселями для трёх строк на рисунке 1.8. Видно, что для малоинформативных областей изображения разность интенсив-ностей близка к нулевому уровню. При этом более отчётливо выделяются контрастные переходы.
Рассматривается случай, когда в контролируемом пространстве присутствуют точечные особенности, которые в выходном сигнале сканирующего фотодетектора представляются отдельными элементами разложения (пикселями). В них накопленные за время наблюдения заряды значительно превышают за ряды, накопленные за то же время наблюдения в окружающих (соседних) фоновых элементах разложения (пикселях). Считается, что в процессе поиска точечной особенности на изображении присутствует априорная неопределённость в отношении статистических параметров фонового излучения, причём как во времени, так и по поверхности спроецированного контрольного поля. Последнее является основанием для поиска решения задачи в классе робастных алгоритмов обнаружения, имеющих устойчивые по отношению к условиям наблюдения структурные и качественные показатели.
Проанализируем случай, когда осуществляется поиск отдельных точечных особенностей в заданном пространстве (контролируемом поле). Пространство проецируется на фотокатод сканирующего фото детектора, роль которого выполняет ПЗС-матрица. В спроецированном на сканирующий фотодетектор контролируемом поле изображение пространства представляется в виде дискретного набора элементов разложения (пикселей), образуя матрицу из Nline горизонтальных строк и Ncolumn вертикальных столбцов (рисунок 2.1). Общее количество элементов разложения (пикселей) в контролируемом поле равно Ncell = Nline Ncolumn- Сигнал с каждого фотоэлемента ПЗС-матрицы (элемента разложения) пропорционален энергии, накопленной за время наблюдения.
Известно, что процесс с фонового элемента подчинён нормальному закону (2.1) с математическим ожиданием иі = иіо и дисперсией а2 , т.е. Pr0(x) = N(m0,a2). Процесс с сигнального элемента также подчинён нормальному закону (2.1) с той же дисперсией a , но с другим математическим ожиданием m = ш , т.е. Prj (х) = N mj, a2). Причём всегда m 1 m).
Заметим, что дисперсия случайного процесса а2 как с фоновых, так и с сигнальных элементов неизменна. Данное предположение оправданно, поскольку в сканирующем фотодетекторе на ПЗС-матрице шумы определяются только тепловыми шумами устройства в отсутствие глубокого охлаждения фотодетектора. Ввиду отсутствия внутреннего заряда в сканирующих фото детекторах на ПЗС-матрицах (в отличие от случая использования диссекторов или матриц на лавинных фотодиодах) дробовыми шумами фонового излучения и излучения источника поиска можно пренебречь. Это же относится к амплитудным шумам и шумам темнового тока.
Особо отметим, что значения математического ожидания случайного процесса с фонового элемента разложения niQ и дисперсия а2 априорно неизвестны. Следовательно, при недостатке априорных данных в отношении среднего значения т0 и дисперсии а2 извлечение информации из наблюдаемого процесса посредством выборки должно быть полным.
В исследуемом случае при обнаружении сигнального элемента разложения при неизвестном уровне с фоновых элементов необходимо организовать взятие дополнительных выборок с выделением информации о шумовом (фоновом) процессе. Использование дополнительной фоновой выборки наряду с анализируемой выборкой в решаемой задаче рассматривается как более полное отображение наблюдаемого процесса в конечномерное выборочное пространство. В нашем случае известно, что выборка X обязана только фоновому процессу (опорная фоновая выборка), а выборка (отсчёт) Y может содержать сигнал (анализируемая выборка).
Экспоненциальное семейство (2.6) допускает редукцию с помощью достаточных статистик T XJ), Т2(Х) и T3(Y) для параметров а(0), Q2(0) и Q3(e) соответственно. Следовательно, в исследуемом случае нет необходимости использовать первоначальные результаты наблюдений (2.2). Здесь класс допустимых решающих процедур не сужается при переходе к вычислению только статистик Tj(X, Y), Т2(Х) и T3(Y) вместо запоминания искомых случайных значений каждого отсчёта х1,х2,х3,хА,х5,х6,х7,хн и у.
Тестовая проверка устойчивости алгоритма обнаружения яркого точечного объекта в дискретном пространстве
И в этом случае устойчивость предложенного алгоритма (2.12)обнаружения точечных особенностей на трёхмерной сцене доказывается поддержанием вероятности ложных тревог в диапазоне значений 0,0097…0,0106при всех возможных значениях математическом ожидании интенсивности (в нашем случае ш0=4...64 и СКОа=4…32).
Графики на рисунке 3.9 представляют проекцию всех полученных в результате имитационного моделирования значений вероятности ложной тревоги на плоскость «Вероятность - математическое ожидание» при произвольных зна чениях СКО интенсивности фоновых пикселей. Анализ результатов моделирования при P лт.зад=0,01 доказывает, что алгоритм устойчив при различных значениях m0 и а.
Таким образом, проведённая тестовая проверка алгоритма обнаружения яркого точечного объекта в дискретном пространстве (2.12) доказывает его устойчивость. Математическое ожидание интенсивности фоновых пикселей . Моделирование процесса обнаружения яркого точечного изображения источника излучения в контролируемом пространстве для оценки эффективности предлагаемого алгоритма
Результаты моделирования на предыдущем этапе подтвердили устойчивость работы предложенного робастного алгоритма по выделению точечных источников в условиях изменения математического ожидания и среднеквадратичного отклонения интенсивности фонового излучения. Для подтверждения эффективности обнаружения яркого точечного изображения источника излучения в контролируемом пространстве произведено моделирование предложенного алгоритма в пакете MATLAB.
В модели контролируемого поля сигнальные элементы расположены в пределах поля размером 256x256 пикселей с шагом 6 по вертикали и горизонтали. Сигнальные элементы размещаются в контролируемом поле, начиная с 2-го элемента второй строки, до предпоследнего элемента предпоследней строки. Разнесение сигнальных пикселей на 6 элементов обусловлено необходимостью исключения взаимного влияния сигнальных пикселей (решение об обнаружении сигнала принимается на основе анализа матрицы из 3x3 элементарных элементов).
Математическое ожидание и СКО интенсивности фонового излучения при моделировании полагались фиксированными ш0=32 и а=8. При моделировании алгоритма при изменении L сигнальная составляющая интенсивности в пикселе принята равной тс =32. Следовательно, математическое ожидание интенсивности в сигнальном пикселе оценивается в т =64. При этом отношение сигнал/шум составляет q = mс/a=4.
В процессе моделирования контролируется среднее значение и дисперсия интенсивности в сигнальных пикселях. Установлено, что отклонение их значений от теоретических не превышает 1 %.
Блок-схема алгоритма моделирования обнаружения яркого точечного изображения источника излучения в контролируемом пространстве для оценки вероятности правильного обнаружения приведена на рисунке 3.10.
В соответствии с блок-схемой алгоритма моделирования первоначально инициализируется массив для хранения количества ложных срабатываний и правильных обнаружений сигнальных пикселей. Затем выбирается начальное значение отношения сигнал/шум q. Производится последовательное изменение значений пороговой константы С. Если координаты обнаруженных точечных особенностей соответствуют заранее известным координатам сигнальных пикселей, то считается, что произошло правильное обнаружение. Если пиксель, в котором произошло срабатывание аппаратуры, не соответствует сигнальному элементу, то фиксируется ложное срабатывание. Число строк и столбцов в контролируемом поле. Массив значений пороговой константы С. Массив значений отношения сигнал/шум Математическое ожидание и СКО интенсивности фона Значение интенсивности сигнала
Инициализация массивов для ложных срабатываний и правильного обнаружения
Блок-схема алгоритма моделирования обнаружения яркого точечного изображения источника излучения в контролируемом пространстве для оценки вероятности правильного обнаружения Программа позволяет оценивать влияние на процесс обнаружения яркого точечного изображения источника излучения в контролируемом пространстве значений пороговой константы L, отношения сигнал/шум q, фоновой и сигнальной интенсивностей m0 и mс в пикселях.
Результаты моделирования в виде зависимости вероятности правильного обнаружения от значений пороговой константы L представлены на рисунке 3.11 при отношении сигнал/шум q=4. Здесь же пунктирной линией представлена теоретическая зависимость.
Графики теоретической и экспериментальной зависимостей вероятности правильного обнаружения от значений пороговой константы при отношении сигнал/шум q = 4
Зависимость теоретическая и экспериментальная зависимости вероятности пропуска сигнала от отношения сигнал/шум q при фиксированном значении пороговой константы L=2 представлены на рисунке 47.
Экспериментальные зависимости подтверждают справедливость возможность использования теоретических соотношений для расчётов вероятности правильного обнаружения. Действительно, расхождение между теоретическими и экспериментальными зависимостями в наихудшем случае не превышает 6 %, а при больших значениях q- 1 %. Необходимо отметить, что при отношении сигнал/шум более 5 вероятность пропуска сигнала при значении пороговой константы L=2 не превышает 0,01. Из зависимостей на рисунке 3.12 следует, что при отношении сигнал/шум q3,5 вероятность пропуска сигнала Pпр больше 0,1. Вероятность же ложной тревоги P лт не превышает 7,74х 10"4 для всех исследованных отношений сигнал/шум q при пороговой константы L=2.
Разработка модифицированного универсального робастного обнаружителя
Отметим, что алгоритм выделения особенностей под номерами 1 и 2, 3 и 4, 5 и 6 на рисунке 4.4 одинаков. Различие заключается только в выборе элементов матрицы (1) для формирования опорной и анализируемой выборок.
Кроме того, из выражений (4.7) - (4.8) следует, что для выделения особенностей под номерами 4, 8 и 9 на рисунке 4.4 применим общий алгоритм. Выносится решение об обнаружении соответствующей особенности, если V140 Y-X З" 2 С - (4.11) В алгоритме проверяется, что участок сцены размером 3x3 пикселя содержит 5 «светлых» пикселей. Расположение их задаётся элементами анализируемой выборки.
Аналогично, решение об обнаружении особенностей под номерами 3, 7 и 10 на рисунке 4.4 с 5-ю «тёмными» пикселями принимается при выполнении того же условия (4.8). Если за выделяемые особенности считать оставшиеся 4 «светлых» пикселя, то алгоритм обнаружения преобразуется к виду V140 Y-X З" / 2 Cth- (4.12) lM-x)2 + Zl=1(yj-Y)2 Сравнение (4.11) и (4.12) доказывает универсальность предлагаемого алгоритма выделения особенностей на изображении сцены. Структура алгоритма определяется только количеством выделяемых особенностей. Индивидуальность же особенностей отражается в формировании опорной и анализируемой выборок.
Особо подчеркнём инвариантность предлагаемого алгоритма выделения особенностей к углу поворота искомого изображения. Так, например, для искомой особенности из 2-х «тёмных» пикселей на рисунке 4.5 а вне зависимости от поворота справедлив алгоритм обнаружения
Преобразованное решающее правило (4.10) определяет структурную схему универсального робастного обнаружителя (рисунок 4.7).
В состав обнаружителя входит оптоэлектронный преобразователь (ОЭП) на ПЗС-матрице, который обеспечивает дискретизацию изображения на пиксели и преобразование оптического излучения в электрический сигнал. С выхода ПЗС-матрицы сигнал поступает в оперативное запоминающее устройство (ОЗУ) для хранения информации об уровне энергии, накопленной в фотоэлементах ПЗС-матрицы текущего кадра.
В зависимости от требуемого быстродействия робастный обнаружитель может быть реализован на процессорах общего назначения, где информация с пикселей изображения обрабатывается обычно последовательно. В многопроцессорной системе для уменьшения времени информация обрабатывается параллельно. С другой стороны, обработка изображения может осуществляться на ПЛИС, как последовательно, так и путём распараллеливания операций. По запросу из ОЗУ в первый формирователь выводится информация об энергии сигнала с участка сцены размером 3x3 пикселя. Таким образом, формируется матрица (4.1), элементы которой представляют значения накопленного заряда в фотоэлементе (напряжения на нагрузочном сопротивлении) матрицы за время наблюдения.
Данные из ОЗУ с участка сцены размером 3x3 пикселя поступают на входы двух формирователей для формирования соответственно анализируемой Г и опорной X выборок. Для анализируемой и опорной выборок вычисляются их средние значения иХ. Кроме того, элементы анализируемой и опорной выборок поступают на вычислители отклонений выборок от их среднего значения.
С выхода вычислителей отклонений после возведения в квадрат информация накапливается раздельно для опорной и фоновой выборок. С выхода накопителей суммы квадратов отклонений для опорной и фоновой выборок после суммирования, извлечения квадратного корня и умножения на масштабный коэффициент подаются на устройство вычитания. Напомним, что значение коэффициента определяет вероятность ложной тревоги.
Структурная схема универсального обнаружителя На выходе устройства вычитания формируется значение функции в левой части неравенства (4.10). Решение о выделении заданной особенности изображения принимается устройство сравнения при положительном уровне с выхода устройства вычитания.
В процессе последующего анализа изображения формирователь матрицы размером 3x3 нового участка сцены. Для этого левый столбец предшествующей матрицы замещается центральным, а центральный столбец - правым столбцом. На место правого столбца копируется информация из ОЗУ. Таким образом, осуществляется в пределах строки последовательное перемещение по трём первым столбцам. По достижению конца строки осуществляется переход к анализу новой строки. По достижению последнего элемента третьей от конца строки обработка изображения сцены считается завершённой.
При необходимости выделения нескольких особенностей на изображении целесообразно применять ПЛИС. В этом случае число одновременное выделяемых особенностей ограничивается только количеством базовых ячеек ПЛИС и производительностью при обработке дискретного изображения. Другим немаловажным достоинством ПЛИС является возможность изменения алгоритма обнаружения за счёт реконфигурации ПЛИС.