Содержание к диссертации
Введение
ГЛАВА 1. Современные системы распознавания препятсвий 13
1.1. Вводные замечания 13
1.2. Телевизионные измерительные системы
1.2.1. Особенности телевизионных измерительных систем 20
1.2.2. Информативность оптического изображения
1.3. Задача распознавания образов 26
1.4. Формирование изображения на матрице телевизионной камеры
1.4.1. Модель камеры-обскура 32
1.4.2. Внутренние параметры телекамеры 33
1.4.3. Оценка расстояния до объекта при использовании монокулярной системы 36
1.5. Краткие выводы 38
ГЛАВА 2. Алгоритм обнаруженя препятсвий на основе анализа изображения с телевизионной камеры 40
2.1. Вводные замечания 40
2.2. Основные требования к системе и оборудованию
2.2.1. Ограничения на модель подстилающей поверхности 41
2.2.2. Подбор характеристик телекамеры 43
2.3. Выделение области интереса 43
2.3.1. Кластеризация областей интереса 45
2.4. Структурная схема и описание этапов работы системы 48
2.4.1. Упрощенная схема работы алгоритма 48
2.4.2. Расчет моделей подстилающей поверхности 53
2.5. Алгоритм удаления тени 56
2.5.1. Введение в теорию 60
2.5.2. Калибровка изображения методом минимизации энтропии 64
2.5.3. Алгоритм восстановления служебного изображения 67
2.6. Навигация в помещении 70
2.6.1. Использование цветовых маяков 72
2.6.2. Расчет маршрута с учетом препятствий 78
2.7. Краткие выводы 79
ГЛАВА 3. Исследование работоспособности системы обнаружения препятсвий при различных условиях 81
3.1. Вводные замечания 81
3.2. Автонастройка внутренних параметров системы 85
3.3. Исследование параметров освещения, влияющих на работу системы
3.3.1. Исследование влияния типа внешнего освещения на точность работы системы 92
3.3.2. Изучение влияния интенсивности освещения на точность обнаружения 94
3.4. Изучение влияния шума на работу системы 96
3.4.1. Виды используемых шумов 96
3.4.2. Влияние уровня шума на точность обнаружения 3.5. Изучения влияния числа кластеров на точность работы 101
3.6. Изучения влияния контрастности на точность работы 103
3.7. Исследование влияния цветовой системы на точность работы системы обнаружения 106 3.8. Краткие выводы 109
ГЛАВА 4. Практическая реализация алгоритма обнаружения препятствий 112
4.1. Вводные замечания 112
4.2. Структурное описание виртуальной среды 113
4.3. Модель мобильной платформы в виртуальной среде 116
4.4. Формирование стратегии поведения модели мобильной роботизированной платформы в виртуальной среде 119
4.5. Интерфейс программы 120
4.6. Примеры работы системы в реальных условиях 122
4.7. Краткие выводы 124
Заключение 125
Список литературы 128
- Особенности телевизионных измерительных систем
- Подбор характеристик телекамеры
- Исследование параметров освещения, влияющих на работу системы
- Формирование стратегии поведения модели мобильной роботизированной платформы в виртуальной среде
Особенности телевизионных измерительных систем
Задача обнаружения препятствия в общем случае сводится к анализу окружения и выделению из полученного изображения информации о его наличии или отсутствии. Системы обнаружения могут быть как активными, так и пассивными. К активным относятся такие системы, которые для получения информации создают некоторый дополнительный сигнал и анализируют потом его отражение. К таким системам относятся активная радиолокация, ультразвуковые системы, лазерные дальномеры и др. Пассивные системы характеризуются тем, что они только лишь анализируют сигналы, поступающие извне. К ним можно отнести телекамеры как в видимом, так и в инфракрасном диапазоне, детекторы частиц, различного рода радиоприемники.
На сегодняшний день существует большое число различных методов, позволяющих находить препятствия как внутри помещений, так и вне их. Наиболее популярными технологиями обнаружения препятствий являются:
1. Методы анализа стереоскопических изображений [15, 26, 28]. С помощью их производится реконструкция трехмерной сцены на основе анализа двух изображений одной и той же зоны, полученной под разными ракурсами. Перед восстановлением трехмерной сцены происходит процедура стереоотождествления – поиск соответствующих точек на обрабатываемых изображениях. Несмотря на то, что многие ученые работали над задачей поиска соответствующих точек на стереопаре, задача до сих пор не имеет точного решения из-за сложности общей задачи понимания изображений [40].
2. Методы активной радиолокации. Они широко используется для решения многочисленных задач как в военной области, так и в ряде мирных областей [38]. Математическая модель описания распространения электромагнитных волн в помещениях должна учитывать множество различных факторов, таких как: потери распространения и отражений от стен и потолков, потери распространения в здании, дифракцию на препятствиях, перемещение объекта, несовпадение поляризации, распределение задержек, размещение антенн. Также можно отметить, что наличие мебели в помещении тоже должно быть учтено в модели. Несмотря на все перечисленные сложности, задача решается. Чаще всего в помещении используются сигналы Wi-Fi. Точность такой системы в лучшем случае составляет порядка 1-3 метров [62].
3. Использование ультразвуковых радаров [24]. Ультразвуковые датчики могут работать на частотах от 40 до 130 кГц. Оценка расстояния производится из расчета времени прохождения между датчиком и препятствием. Можно отметить, что эти датчики имеют очень высокую точность, вплоть до нескольких сантиметров. Использование датчиков позволяет составлять карту возможных препятствий. При работе в помещении с достаточно удаленными объектами могут происходить различные отражения/переотражения сигнала, что приведет к ошибке при составлении карты. Также возможны различные помехи от высокочастотных звуковых устройств, ими могут являться УЗИ в больнице, ультразвуковые дефектоскопы и т. д.
4. RFID метки [13]. Термин радиочастотная идентификация используется с 60-х годов прошлого века. Использование этой технологии предполагает наличие: радиометки (RFID – тега) – метки отслеживаемого объекта, устройства чтения меток, программы, позволяющей декодировать полученный сигнал в подходящий вид информации, пригодный для дальнейшего использования в программе. Работу системы можно описать следующим образом: антенна считывателя генерирует сигнал, который принимается RFID меткой. За счет энергии сигнала происходит появление тока в метке, задействуется чип, который отдает считывателю свой идентификатор. С помощью меток можно закодировать относительно большой объем информации (до 10 Кбайт). Технология обладает высокой скоростью считывания и хорошей точностью распознавания. Из таких меток можно выложить коридор, в котором априори не должно быть препятствий. Из недостатков технологии стоит отметить высокую стоимость изготовления большого числа меток.
5. Лазерные дальномеры [14, 16]. Работу лазерного дальномера можно описать следующим образом – лазер посылает лучи, невидимые для глаза, они отражаются от цели и возвращаются обратно. Далее оценивается время прохождения луча и оценивается расстояние до препятствия. Установленные в дальномерах лазеры работают в инфракрасном диапазоне длин волн. Таким образом, эта система подвержена ошибкам, возникающим из-за большого количества пыли в воздухе, а также из-за различных погодных условий, таких как дождь и туман. Кроме того, угловое разрешение лазерных дальномеров довольно мало, и чтобы просканировать все пространство для построения карты препятствий потребуется значительное время, что недопустимо для систем реального времени.
6. Методы, основанные на измерении оптического потока [40, 91]. Их суть заключается в том, что на изображении по какому-либо критерию находят особые точки. Чаще всего ими являются точки, где есть достаточно большой градиент как по оси x, так и по оси y. При работе системы на каждом кадре происходит выделение этих особых точек и ищется взаимосвязь с предыдущим кадром. Анализ изменения положения этих точек описывает смещение камеры относительно внешних объектов. Препятствия можно обнаружить отклонением векторов от предрассчитанных значений. Использование подхода ограничено наличием четко выраженной текстуры подстилающей поверхности, что затрудняет отслеживание перемещения, а его точность составляет десятки сантиметров [40].
7. Методы, анализирующие текстуры [42, 88]. Задача сводится к разбиению изображения на несколько кластеров с постоянной текстурой, то есть выделению областей, в пределах которых значения текстурных признаков относительно постоянны. В системе обнаружения препятствий текстурную сегментацию можно использовать, если препятствия (классифицируемые объекты) обладают уникальным видом текстуры. Это может иметь большое значение, особенно, когда искомый объект находится на неоднородном фоне. К недостаткам текстурных методов можно отнести высокую вычислительную сложность. Кроме того, большое разнообразие статистических признаков текстур может привести к необходимости предварительного исследования наиболее информативных признаков тех текстур, с которыми будет работать система.
8. Методы, основанные на получении изображений с компонентой глубины – Kinnect [69]. Устройство Kinnect состоит из цветной видеокамеры, микрофонной решетки и двух сенсоров глубины. Сенсоры устойчивы к изменению условий освещения и углу зрения камеры. Точность обнаружения препятствий внутри помещений может достигать 98%. Приблизительные размеры устройства 23 см в длину и 4 см в высоту. Из недостатков системы следует отметить высокую стоимость датчиков.
9. Обработка изображений с помощью нейронной сети [7, 20]. С точки зрения разработчика нейронная сеть предоставляет собой черный ящик, на вход которого поступают какие-то выделенные признаки изображения, а на выходе получают некоторое решение. Опасность использования данного подхода состоит в том, что в ответственный момент система может отработать некорректно, а причина ошибки останется неизвестной. Основная проблема использования сверточных нейронных сетей, особенно популярных в настоящее время, состоит в сложности формирования большой обучающей выборки.
Подбор характеристик телекамеры
Основные задачи в работе системы по обнаружению препятствий методами цифровой обработки телевизионного изображения можно описать следующим образом: 1. выделение модели подстилающей поверхности; 2. выделение и цветовой анализ области интереса; 3. анализ всего изображения на основе полученной информации, обнаружение препятствий на текущем кадре; 4. накопление информации с учетом текущего кадра.
Предлагаемая система обнаружения препятствий основана исключительно на внешнем виде отдельных пикселей. Любой пиксель, который отличается по внешнему виду от земли, будет классифицирован как препятствие. Метод основан на трех предположениях, которые являются разумными для различных внутренних и внешних условий: 1. Препятствия отличаются по внешнему виду от земли. 2. Земля относительно плоская. 3. Нет свешивающихся препятствий. Первое предположение позволяет отличать препятствия от земли, а второе и третье – оценить расстояние между обнаруженными препятствиями и расстояние до камеры.
Классификация пикселей как представляющих препятствие или землю может быть основана на ряде локальных визуальных атрибутов, таких как интенсивность, цвет, границы и текстуры. Важно, чтобы выбранные атрибуты предоставляли информацию, которой достаточно, чтобы система надежно работала в различных средах. Выбранные атрибуты также должны потреблять мало вычислительных ресурсов, чтобы алгоритм мог работать в режиме реального времени, и чтобы не потребовалось вынесенное оборудование. Чем меньше вычислительных ресурсов потребляет система, тем выше число обрабатываемых кадров в секунду, и тем быстрее мобильный робот может безопасно передвигаться.
Чтобы наилучшим способом удовлетворить эти требования, было решено использовать информацию о цвете как основной признак. Несмотря на то, что цветовая информация имеет много достоинств, мало работ сделано в области цветового зрения для мобильных роботов за последнее время. Цвет предоставляет больше информации, чем интенсивность. По сравнению с текстурами, цвет имеет более локальные свойства и может быть вычислен гораздо быстрее. Системы, которые полагаются исключительно на информацию о границах, могут быть использованы только в средах без текстуры пола, как и в средах Shaky и Polly. Также такие системы хуже отличают тени от препятствий по сравнению с системами, основанными на цветовой информации.
Для многих приложений важно оценить расстояние от камеры до пикселя, представляющего препятствие. С монокулярным зрением общий подход к оценке расстояния заключается в предположении, что земля относительно плоская, и нет свисающих препятствий. Если эти два предположения верны, то расстояние – монотонно возрастающая функция высоты пикселей в изображении. Расчетное расстояние до основания любого препятствия является правильным, но чем выше препятствие возвышается над землей, тем больше переоценивается это расстояние. Самый простой способ решения этой проблемы заключается в использовании только пикселей препятствия, которые лежат ниже всех в каждом столбце изображения. Более сложный подход состоит в группировке пикселей препятствия и поиске кратчайшего расстояния до всей группы.
Условие наличия цветности является главным для телекамер, использующихся на мобильных роботизированных платформах. Разрешение матрицы не является очень важным фактором, потому что алгоритм способен обнаруживать препятствия даже при низком разрешении и расфокусированном объективе. Но, объектив следует выбрать достаточно высокого качества, чтобы он давал минимум нелинейных искажений изображения, таких, как дисторсия (рис. 2.1). Дисторсия (бочкообразная и подушкообразная) сильно влияет на точность измерения расстояний. В процессе работы алгоритма фокусное расстояние должно быть фиксированным [45].
Исследование параметров освещения, влияющих на работу системы
Рассмотрим цветное изображение на рис. 2.12а: человек освещен сзади сильным светом. Кроме того, освещение создает область, в которой есть отличные от нуля RGB составляющие пиксели. Так как камера калиброванная, то неизвестно даст ли метод минимума энтропии правильный ответ. Чтобы найти минимум энтропии снова проанализируем проекцию I от 0 до 180 через log-цветности согласно уравнениям (2.6), (2.7) и (2.8). Для каждого угла спроецируем log-цветности и определим энтропию (2.9). Тем не менее, характер данных реальных изображений имеет свои проблемы. На изображении есть шумы, а мы имеем дело с отношениями, и это может повлиять на результат. Начнем с того, что применим фильтр Гаусса к цветовым каналам исходного цветного изображения. Но даже после этого можно ожидать, что некоторые показатели могут быть большими. Таким образом, остается вопрос, что следует использовать в качестве диапазона и числа колонок на гистограмме изображения в градациях серого /.
Далее можно определить диапазон значений инвариантного изображения в градациях серого для каждого угла. График этого диапазона для каждого угла изображен на рис. 2.12б. Пунктирной линией отображается линия для 5-процентилей, сплошная - для 95 перцентилей. Видно, что полный спектр содержит много выбросов. Поэтому имеет смысл исключить эти выбросы из рассмотрения.
Таким образом, используем только средние значения (средние 90% данных) для построения гистограммы. Для формирования соответствующей ширины столбца на гистограмме, используем правило Скотта [94] h=3.5aN-1/3 , где N - размер данных инвариантного изображения для конкретного угла, h -ширина столбца гистограммы. Обратим внимание, что этот размер различен для каждого угла, так как исключена разница в выбросах для каждой проекции. а) входное изображение; б) Диапазон проектируемых данных изменяется с углом. Диапазон: сплошные линии для 5 перцентилей, пунктирные линии для 95 перцентилей После того как оценено с геометрического среднего цветности (2.6), можно перейти к более известной Li цветности, определяемой:
Это наиболее знакомое представление цвета, независимое от величины. Чтобы получить Li цветность г из с, нужно: г =с I У"с (2.10) Так как г є [0,1], то инвариантное изображение в г лучше, чем /. Изображение в градациях серого / для примера показано на рис. 2.13б, а изображение в U цветности для г, определенной через (2.10), показано на рис. 2.13в.
Для восстановления изображения использовался метод, описанный в [76]. Он состоит из 2х частей: нахождения маски тени и восстановления исходного изображения. Первый шаг выполняется путем сравнения исходного изображения с инвариантным изображением с помощью методики Mean-Shift [72]. Ищем пиксели, которые имеют значения выше, чем порог для любого канала в оригинальном изображении, и ниже другого порога в инвариантном изображении, в котором уже нет тени. Эти пиксели помечаются как пиксели края тени, затем утолщаем полученное изображение с помощью морфологических операций. На втором этапе, для каждого канала log-цветности, увеличиваем градиент на границах по всей теневой маске, используя итерационное расширение маски и замену неизвестных производных величин на среднее известных. Затем формируем вторую производную, переводя изображение в пространство Фурье и деля на оператора Лапласа, и возвращаемся к пространству х, у. Граничные условия Неймана оставляют неизвестную аддитивную постоянную в каждой восстановленной точке, поэтому восстанавливаем теневую область до тех пор, пока цвета на краях не будут совпадать с исходным изображением.
В работе основное внимание уделено алгоритму обнаружения препятствий. Но хочется сказать несколько слов о том, как определялось свое местоположение и местоположение конечной цели а) Зависимость энтропии проектируемого изображения от угла; б) инвариантное изображение в градациях серого I; в) инвариантное L1 цветное изображение r;
Технологии 1) и 2) по решению задачи позиционирования в помещении имеют большую погрешность из-за того, что сильно подвержены переотражениям радиосигналов и наводкам от различных радиопомех от внешних источников [2, 25, 42, 46]. Подходы 3) и 4) имеют высокую точность позиционирования, но сильно подвержены помехам. Вдобавок, при функционировании системы в больших закрытых пространствах: складские терминалы, торговые центры, аэропорты и др. – нужно большое число маяков. Это обусловлено их малой дальностью действия, что может повлечь за собой большие экономические затраты. Кроме того, такие маяки, как и в подходах 1) и 2), нуждаются в постоянном электропитании. Подобный фактор может быть тоже экономически невыгодным в зависимости от необходимого времени работы системы.
Проведенный анализ показал, что наиболее надежной технологией для навигации в помещении является использование систем прикладного телевидения.
Для ориентации в пространстве использовались цветовые маяки. Они представляют собой комбинацию из трех различных цветных областей, расположенных близко друг к другу на одной линии (рис. 2.15). В качестве цветных областей можно использовать различные предметы, это могут быть и наклейки разных цветов, нанесенные на одну поверхность. Маяк так же может быть изготовлен с использованием одной наклейки.
Формирование стратегии поведения модели мобильной роботизированной платформы в виртуальной среде
В настоящее время имеется большое число программных пакетов для моделирования, таких как Mat Lab. Главным условием использования той или иной среды является совместимость с разработанным алгоритмом прикладного телевидения. Представленный в работе алгоритм разработан с использованием библиотеки OpenCv [69] на языке с++. В настоящее время разработана очень удобная среда для разработки приложений Unity 3D [88], но в бесплатной версии приложения нет возможности подключения сторонних библиотек. Работа с библиотекой OpenCv поддерживается в симуляторе V-REP [92], но там затруднена работа с определением абсолютных координат объектов, которые попадают в поле зрения камеры. В связи с этим была разработана специализированная виртуальная среда, с использованием бесплатной библиотеки Ogre SDK [83], для отладки алгоритмов компьютерного зрения. Основное назначение созданной виртуальной среды – это исследование алгоритмов прикладного телевидения, но без использования аппаратных средств. В ней возможно моделирование каналов передачи данных, тестирование и реализация алгоритмов, как в уличных условиях, так и в условиях помещения.
Основная структурная часть проекта – это мобильная роботизированная платформа (далее МРП). Для эффективного функционирования которой необходимы не только алгоритмы прикладного телевидения, но и стратегии поведения, позволяющие увеличить автономность платформы и снизить нагрузку на оператора, дав ему возможность решать другие задачи, помимо ручного управления мобильной роботизированной платформой. Моделирование поведенческих стратегий МРП – еще одна задача, которая успешно решается в виртуальной среде.
Пройдя тестирование, реализованные стратегии (модели) поведения МРП могут быть использованы в реальной работе. Следует отметить, что в виртуальной среде можно моделировать как движение наземных средств, так и поведение летательных аппаратов.
Структурное описание виртуальной среды МРП в виртуальной среде представляет собой мобильную гусеничную базу с автономным питанием, установленным бортовым компьютером с набором телевизионных видеокамер, а так же системой беспроводной передачи видеоинформации и телеметрических данных. В виртуальной среде воссоздана модель университетского помещения, в котором проходят занятия студентов. Модель помещения представлена на рис. 4.1. Схема взаимодействия мобильной платформы с оператором/алгоритмом
При старте программы запускается основной класс (Эмулятор), инициализирующий все необходимые объекты: загружает необходимую рабочую сцену, создает платформу. Класс платформы инкапсулирует в себе механическую модель платформы и набор датчиков. Взаимодействие пользователя с платформой осуществляется через класс эмулятора, для обеспечения возможности моделирования канала связи и добавления помех, если это необходимо.
В специализированной виртуальной среде на текущем этапе реализована виртуальная трехмерная модель МРП в виде танка, на башне которого установлена телекамера, которая производит съемку в видимом диапазоне. Изображение, с данной телекамеры, в рамках диссертационной работы является единственным источником данных об окружающей среде, доступным виртуальной модели МРП. Обработка только этих данных должна позволять МРП изменять скорость и направление своего движения.
Для движения реальной МРП управляющими сигналами являются два числа, модуль которых задает мощность правого и левого двигателей, а знак показывает направление вращения вала – вперед или назад. В добавок к этому, установленные на МРП цифровые телекамеры снабжены сервоприводами для поворота в двух плоскостях. Они производят поворот камер с постоянной угловой скоростью, и управляющим сигналом для них служит величина углов поворота. Таким образом, любая команда оператора и любое решение, принимаемое алгоритмом на основе данных обработки системы компьютерного зрения, реализуется в виде комбинации чисел – мощность двигателей и углы поворота камер.
В виртуальной среде стратегия поведения МРП реализуется в виде набора правил, каким образом должно изменяться движение мобильного робота в зависимости от информации, полученной в результате обработки данных системы прикладного телевидения. Структура стратегии поведения приведена на рис. 4.8.