Содержание к диссертации
Введение
Глава 1 Анализ проблем и формулировка задач исследования 11
1.1 Общая характеристика и постановка задач 11
1.2 Анализ состояния исследований и проблем обнаружения объектов на цифровых изображениях 14
1.3 Методы различения дорожных знаков 22
1.4 Проблемы построения информационной технологии и программного обеспечения для обнаружения и различения объектов в реальном времени 25
1.5 Конкретизация задач исследования 27
1.6 Выводы к главе 1 30
Глава 2 Методы и алгоритмы предварительной обработки видеокадров в мобильных системах технического зрения 31
2.1 Формулировка задач предварительной обработки 31
2.2 Выделение областей интереса с использованием алгоритмов цветовой сегментации 33
2.3 Алгоритм обнаружения артефактов на цифровых изображениях 36
2.4 Алгоритм распознавания артефактов, не являющихся элементами изображений знака 38
2.5 Выводы к главе 2 41
Глава 3 Построение метода обнаружения и различения дорожных знаков при вариациях масштаба регистрируемых изображений 43
3.1 Формулирование требований к разрешению исходных изображений 43
3.2 Модель формирования отклика в аккумуляторном пространстве при вариациях масштаба изображений 46
3.3 Свойства откликов обобщенного преобразования Хафа при вариациях масштаба изображений простейших фигур 53
3.4 Технология обнаружения дорожных знаков 58
3.5 Выводы к главе 3 65
Глава 4 Параллельные вычислительные алгоритмы и программный комплекс для обнаружения и различения дорожных знаков в мобильных системах технического зрения 67
4.1 Параллельная реализация вычислительных процедур предварительной обработки и обнаружения в CUDA-среде 67
4.2 Архитектура программного комплекса 75
4.3 Описание экспериментов и результаты лабораторных и натурных исследований 79
4.4 Выводы к главе 4 90
Заключение 91
Список цитируемой литературы 94
- Анализ состояния исследований и проблем обнаружения объектов на цифровых изображениях
- Выделение областей интереса с использованием алгоритмов цветовой сегментации
- Модель формирования отклика в аккумуляторном пространстве при вариациях масштаба изображений
- Архитектура программного комплекса
Анализ состояния исследований и проблем обнаружения объектов на цифровых изображениях
Системы технического зрения со времени появления первых систем, которые разрабатывались для читающих автоматов, прошли уже значительный путь в своем развитии. Их развитие шло как в направлении расширения функциональных возможностей, так и улучшения их технических характеристик.
Успехи в микроэлектронике и оптике стали предпосылкой для появления и бурного развития нового класса так называемых мобильных систем технического зрения, базирующихся на летательных аппаратах, железнодорожных транспортных средствах, морских и речных судах, автомобилях и др.
Этот класс систем обычно характеризуется некоторыми общими основополагающими принципами построения и функциональными характеристиками. В частности, к системам этого класса обычно предъявляются общие требования миниатюризации, высокого быстродействия и надежности, а типичный набор функциональных характеристик включает задачи обнаружения, различения и распознавания заданных объектов и целей.
Указанные типичные требования и характеристики в полной мере относятся к мобильным системам технического зрения в составе интеллектуальной системы автомобильной безопасности. При этом одной из центральных функций мобильной системы технического зрения для обеспечения безопасности дорожного автомобильного движения является задача обнаружения и распознавания дорожных знаков.
Задача обнаружения и различения дорожных знаков заключается в выделении дорожного знака на изображениях, полученных с установленной в передней части автомобиля камеры, и его последующей классификации. Первая попытка описать подобную технологию была предпринята в 1984 году в статье [1], опубликованной в Японии. В работе для обозначения термина «обнаружение» используется слово «детектирование».
Исследование заключалось в том, чтобы протестировать различные методы детектирования дорожных знаков на изображениях окружающей дорожной обстановки. С тех пор большое количество коллективов ученых и компаний автопроизводителей проявили интерес к разработкам такой системы. За это время было исследовано большое число различных методов детектирования и распознавания объектов на изображениях. Но особых успехов удалось достичь только в последние несколько лет, что связано с развитием аппаратной части мобильных систем технического зрения.
В последние годы начали появляться коммерческие образцы интеллектуальных систем автомобильной безопасности, включающие распознавание дорожных знаков. Например, Opel Eye компании Opel, Speed Limit Assist от компании Mercedes-Benz, Traffic Sign Recognition компании Ford и другие. Большинство из них, однако, нацелено на детектирование и распознавание только некоторых типов дорожных знаков: знаки ограничения скорости движения и знак «обгон запрещен».
Распознавание дорожного знака обычно происходит в два этапа: детектирование знака и последующее распознавание. На этапе детектирования изображение обрабатывается для улучшения его качества и подвергается сегментации в соответствии с такими признаками дорожного знака как цвет и геометрическая форма. Обзор существующих методов обнаружения дорожных знаков изложен в подразделе 1.2. Результатом этапа обнаружения является изображение с отмеченными областями интереса, которые пригодны для последующего распознавания дорожного знака.
На этапе различения дорожного знака выделенные области интереса классифицируются, и осуществляется поиск соответствия этих объектов эталонным изображениям дорожных знаков, хранящихся в системе. Выбор метода распознавания очень сильно зависит от результатов детектирования. Примеры исходных кадров, полученных с помощью установленной в автомобиле камеры, показаны на рисунке 1.1. Рисунок 1.1 – Исходные кадры с дорожными знаками Прежде чем перейти к обзору методов обнаружения и различения объектов, кратко рассмотрим основные характеристики дорожных знаков, которые описывают особенности и проблемы их детектирования и распознавания.
Дорожные знаки на дорогах общего пользования устанавливаются в строгом соответствии с правилами. В России на сегодняшний день это ГОСТ 52289-2004 [2]. Цвет, как и форма знака, зависит от его категории: красный круг – запрещающий знак, красный треугольник – предупреждающий, синий квадрат – информационный. Иногда в отдельную группу выделяются информационные знаки и знаки указатели [3].
Форма знака, его размеры и высота положения устанавливаются стандартами. Однако в процессе формирования изображение знака может подвергаться перспективным искажениям из-за угла зрения камеры. Ряд факторов дополнительно затрудняют обнаружение. В частности, искажения, вносимые освещением и погодными условиями, не позволяют полагаться на цвет знака как на основной признак Знаки могут также частично отсвечивать на кадре, могут быть повреждены или загрязнены, несколько знаков могут быть расположены рядом и др.
Выделение областей интереса с использованием алгоритмов цветовой сегментации
Среди основных сложностей, с которыми приходится сталкиваться при решении задач обнаружения и различения дорожных знаков, следует выделить неконтролируемые условия съемки, т.е. случайные погодные условия (туман, снег, дождь), условия освещения, неправильная ориентация объектов, перекрытие прочими объектами. Основные усилия исследователей направлены на разработку методов и алгоритмов, направленных на преодоление указанных трудностей. В частности, как описано выше, используются три основных подхода к детектированию дорожных знаков: подход, основанный на цветовой информации, подход, использующий информацию о форме объекта, и комбинированный подход, учитывающий и цвет, и форму.
Для первого подхода характерны следующие недостатки: – большинство алгоритмов не справляются с обнаружением дорожных знаков при плохих условиях освещения; – проблемы возникают также при плохих погодных условиях (дождь, снег, и др.); – методы оказываются неработоспособными в ситуации, когда часть знака находится в тени, а другая ярко освещена. В более поздних работах в основном используется информация о геометрической форме дорожных знаков. Этот подход также не лишен недостатков: – объекты, имеющие геометрическую форму подобную форме дорожного знака (окна, рекламные надписи и т.д.), также будут детектированы; – дорожные знаки могут быть пропущены при их незначительных повреждениях, например, при их перекрытиях, или повороте относительно камеры; – детектирование и распознавание существенно осложняет тот факт, что автомобиль движется относительно дорожного знака, следовательно, масштабы текущего изображения и эталона могут различаться; – наконец, методы выделения на исходном изображении контуров в вычислительном отношении достаточно сложные, и, как правило, дают множество областей-кандидатов на наличие искомого объекта.
Исходя из сказанного выше, есть основания ожидать, что использование комбинированной информации о цвете и о форме может дать существенное улучшение качества и надежности детектирования и распознавания дорожных знаков. В настоящее время предпринимаются усилия по преодолению указанных выше проблем при помощи комбинации цветовой сегментации и геометрического анализа форм. Однако, большинство исследований с использованием таких методов пока протестированы только в лабораторных условиях [25] – [30]. Возможно, это связано с высокой вычислительной сложностью алгоритмов, что затрудняет создание информационной технологии для обнаружения и распознавания дорожных знаков для функционирования в составе интеллектуальной автомобильной системы технического зрения.
Из сказанного следует, что задача разработки методов и численных алгоритмов детектирования знаков с учетом комбинированной информации о цвете и о форме, которые смогут обеспечить необходимое быстродействие для работы в реальном времени, крайне актуальна. При этом для обеспечения большей эффективности обнаружения дорожных знаков, целесообразно провести исследование возможностей применения для выделения цвета и контуров адаптивных процедур формирования пороговых значений.
К сожалению, даже при учете цветовой и контурной информации на изображении может быть выделено большое количество областей интереса, не являющихся знаками. Связано это с тем, что на изображении могут присутствовать фрагменты других объектов, цветовые и контурные характеристики которых совпадают с характеристиками знаков. Поэтому актуальна также задача построения алгоритмов устранения артефактов на изображениях после цветовой сегментации, осуществляющих распознавание этих артефактов по некоторым дополнительным признакам.
В соответствии с целями диссертационной работы, и учитывая выше сказанное, можно выделить и конкретизировать следующие задачи. – Разработка методов и алгоритмов предварительной обработки видеокадров и создания контурного препарата, обеспечивающего возможность последующего оперативного помехоустойчивого обнаружения знаков в реальном времени. – Создание информационной технологии детектирования, в рамках которой наряду с выделением самого знака осуществляется такое согласование параметров текущего и эталонного изображений, при котором обеспечивается последующее надежное распознавание при минимальных вычислительных затратах. – Построение вычислительного метода и алгоритмов, обладающих значительным потенциалом параллелизма, создающим предпосылки для использования изображений высокого разрешения и построения перепрограммируемой системы, функционирующей в реальном времени.
Модель формирования отклика в аккумуляторном пространстве при вариациях масштаба изображений
В системах обнаружения и различения дорожных знаков расстояние до знака в момент его регистрации ограничено сверху и снизу. Сверху оно ограничено требованием получения изображения с разрешением, достаточным для последующего надёжного распознавания. Ограничение снизу связано с быстродействием алгоритма локализации и распознавания и определяется требованием получения результата распознавания до момента проезда знака при движении автомобиля с максимально допустимой скоростью. Следовательно, хотя масштаб текущих изображений знаков заранее неизвестен, диапазон вариаций масштаба обычно оказывается достаточно ограниченным.
С учетом свойств аккумуляторного отклика для фигуры «треугольник», выявленных выше и иллюстрируемых на рисунке 3.7 алгоритм детектирования предупреждающих знаков строится следующим образом. Для текущего изображения сцены (кадра) с использованием алгоритма Канни создается контурный препарат красного компонента и формируется отклик в аккумуляторном пространстве с использованием эталонного контурного препарата, имеющего заданный (номинальный) масштаб. Перечисленные начальные этапы технологии соответствуют последовательности этапов, показанной на рисунке 3.6.
Далее на поле аккумулятора ищется заданное число точек с максимальным откликом (число точек задается исходя из условия возможности регистрации на одном изображении двух и более знаков) и фиксируем их координаты. Для локализации предупреждающего знака, ориентированного острым углом вверх в качестве первой точки для анализа принимаем точку с максимальным значением координаты по вертикали. Затем проверяем наличие двух точек ниже, симметрично расположенных относительно первой точки. Для трёх найденных таким образом точек проверяется соотношение расстояний между ними, установленное требованиями стандарта к форме знака, и наличие откликов на прямых, между этими точками.
Вследствие того, что красная граница предупреждающих знаков имеет заметную «толщину» после выделения контуров красной компоненты обычно препарат треугольника имеет «двойную» границу. Пример такого дискретного контурного препарата приведен на рисунке 3.6в.
В аккумуляторном пространстве при достаточно заметных вариациях масштаба соответствующий отклик будет иметь вид, показанный на рисунке 3.6г. Поэтому в действительности в аккумуляторном пространстве ищутся не точки, а малые фрагменты с суммарным максимальным откликом, образованным вкладом четырёх точек, являющихся точками пересечения «двойных» контуров в угловых точках изображения треугольника.
Описанный алгоритм обнаружения знаков на видеокадрах был реализован в составе прототипа интеллектуальной автомобильной системы технического зрения. Примеры изображений, полученных из реальных изображений после выделения красного цвета и после предварительной обработки с целью устранения шумов и артефактов, приведены на рисунке 3.10 (цвета изображений инвертированы относительно используемых в программе).
На рисунке 3.11. показаны полученные из этих изображений с использованием алгоритма Канни контурные препараты, которые далее использовались для детектирования с применением преобразования Хафа. Рисунок 3.10 – Бинарные изображения после выделения цвета
Результаты формирования по этим контурным препаратам откликов в аккумуляторном пространстве приведены на рисунке 3.12. Центры наиболее ярких (после инвертирования они наиболее темные) фрагментов на изображениях являются центрами искомых объектов, а размеры фрагментов содержат информацию о различиях размеров текущего и эталонного изображений. Рисунок 3.12 – Аккумуляторные изображения с результатом отклика
Далее с использованием координат центров найденных фрагментов определяются координаты центра треугольника и числовое значение отличия масштаба текущего изображения от эталонного. Эти данные позволяют осуществить преобразование текущего изображения, обеспечивающее достаточно точное совпадение центра и масштаба эталонного и текущего изображений.
После приведения центра и масштаба текущего изображения к эталонному распознавание знака, изображенного внутри красной границы, может осуществляться любым из известных способов. В частности, возможно простое «сличение» соответствующих бинарных изображений. Такой простой способ распознавания оказывается весьма эффективным и надёжным при его реализации на вычислителях с графическими процессорами, поскольку «сличение» в данном случае может быть выполнено на одном такте вычислительного устройства.
В приведенном в первой главе обзоре публикаций уже отмечалось, что многие исследователи на этапе распознавания обнаруженного дорожного знака используют алгоритм сопоставления с эталоном (template matching) [26] – [28]. Связано это с тем, что данный алгоритм чрезвычайно прост и вычислительно нетребователен. При этом он часто демонстрирует эффективные результаты, особенно в случае хорошего качества изображений.
Основной проблемой при этом является невозможность распознавания объекта, если его изображение имеет существенно другой масштаб по сравнению с эталонным изображением. Для успешного распознавания в этом случае используется так называемая пирамида изображений, то есть набор эталонных изображений разных масштабов. Но такой подход сильно увеличивает вычислительную сложность, что делает метод неприменимым в системах технического зрения реального времени.
Одним из основных преимуществ описанного в настоящей работе алгоритма детектирования дорожных знаков является совмещенное с детектированием высокоточное определение координат и масштаба искомого знака на изображении сцены. Это дает возможность точного совмещения текущего изображения знака с его эталонным изображением. Таким образом, для распознавания обнаруженных дорожных знаков мы можем успешно применить алгоритм сопоставления с эталоном, реализуемый на графических процессорах в реальном времени.
Архитектура программного комплекса
Наиболее гибкой платформой, позволяющей вести разработку модулей расширения существующих систем, а также разработку под платформу CUDA, является C++. Кроме того, C++ позволяет создавать многопоточные с использованием технологий OpenMP. Поэтому, несмотря на существование других более комфортных для разработки систем платформ, все описанные алгоритмы реализованы на C++. Интерфейсная часть программы выполнена на C++.
Графический интерфейс GUI связан с алгоритмической частью посредством динамической линковки. Тем не менее, в данном случае для создания GUI используется кроссплатформенная C++ библиотека. В настоящее время известно несколько таких библиотек. Наиболее известные среди них это QT, GTK и библиотека wxWidgets. QT обладает большей концептуальной чистотой и гибкостью в использовании, что предопределило ее использование в настоящей работе.
Третий уровень, не зависящий от других уровней, – это динамические библиотеки, в которых реализованы вычислительные алгоритмы. Если используемый алгоритм вычислительно сложен и доступны аппаратные средства, поддерживающие технологию CUDA, алгоритмы могут вызывать процедуры, реализованные для ГПУ. Заметим, что вычислительные процедуры могут также выполняться в несколько потоков на ЦПУ с использованием OpenMP. Кроме того, система легко масштабируется с использованием обычных схем декомпозиции изображений. «Модуль детектирования пешеходов» и «модуль детектирования дорожной разметки» на рисунке 4.4 – это пример, как можно расширить существующую программную систему. На модуль детектирования пешеходов было получено свидетельство о регистрации программы ЭВМ [84. На программной комплекс было получено свидетельство о регистрации программы ЭВМ [85]. Благодаря использованию кроссплатформенных библиотек OpenCV и QT комплекс работает как на платформе Windows, так и на Unix-подобных операционных системах. Также в работе были использованы результаты, описанные в патенте на изобретение [86].
На рисунке 4.5 представлен вид GUI разработанного приложения в режиме мобильного функционирования. Рисунок демонстрирует работу сквозной технологии детектирования и распознавания предупреждающего знака «Осторожно, дети». Зеленым контуром отмечен найденный знак. В верхнем левом углу отображается распознанный тип обнаруженного объекта.
Описание экспериментов и результаты лабораторных и натурных исследований Экспериментальные исследования работы программного комплекса для детектирования объектов проводились для выяснения следующих показателей и характеристик: – эффективность детектирования и распознавания дорожных знаков; – время обработки одного кадра. В качестве исходных данных использовался набор изображений из базы аннотированных изображений дорожных знаков, снятых в различных условиях освещения и при разном разрешении (расстоянии до знака), а также набор изображений дорожных знаков, полученных в ходе натурных съемок с использованием камер Axis P1347 и GoPro Hero 3 Black Edition.
Для экспериментальных исследований в лабораторных условиях была использована широко известная база дорожных знаков (German Traffic Sign Recognition Base, http://benchmark.ini.rub.de/), содержащая более 50 000 изображений знаков, зарегистрированных в различных условиях. Для оценки качества детектирования подсчитывалось число успешных эпизодов распознавания знаков.
Эта база дорожных знаков наиболее подходит для тестирования разработанных алгоритмов, потому что кроме исходных изображений она также содержит файл с аннотациями к этим изображениям. То есть все дорожные знаки отмечены в этой таблице и есть возможность создать автоматический тест для проверки корректности и эффективности разработанных алгоритмов.
Исходные изображения обладают следующими свойствами. – Изображения содержат от нуля до 6 знаков. – Изображения хранятся в формате PPM. – Размер изображений знаков варьируется от 16х16 до 128х128 пикселей. – Дорожные знаки могут находиться в любой перспективе и при любых условиях освещения. В подразделе 3.1 были сформулированы требования к изображению дорожного знака для его успешного детектирования и распознавания. Так что далеко не все изображения из немецкой базы удовлетворили этим условиям, поэтому тестирования проводилось только на части базы данных.
Аннотации хранятся в CSV файле и содержат точные координаты расположения дорожных знаков на исходных изображениях. Также есть возможность выяснить не только, верно ли был найден знак, но и верно ли он был распознан. При этом, когда на этапе распознавания область-кандидат на наличие знака не подтверждалась, это не засчитывалось как ошибка, потому что такая область считается ложно сдетектированной, но в сквозной технологии она не будет учтена.
При тестировании разработанных алгоритмов на 9987 изображений с запрещающими и предупреждающими знаками процент верно найденных и распознанных знаков составил 97,3%. При этом 2,7% случаев – это отказ от распознавания, когда качество изображения не удовлетворяет условиям, сформулированным в разделе 3.1.
Полученные результаты точности детектирования и распознавания превосходят существующие коммерческие образцы систем распознавания дорожных знаков. В 2012 году сотрудниками журнала «За рулем» были протестированы две системы: Opel Eye и BMW Traffic Sign Recognition. Точность срабатывания по итогам тестов составила 90% встретившихся знаков у системы BMW и только 75% у Opel [87].
При тестировании фиксировалось также время, необходимое для реализации сквозной технологии предварительной обработки, детектирования и распознавания. В таблице 4.3 представлены средние значения времени обработки 1 кадра и количество кадров, обрабатываемых за 1 секунду. В первой и второй строках указано время работы с использованием только центрального процессора, в третьей и четвертой – ЦПУ и ГПУ. Приведенные данные показывают возможность детектирования и распознавания дорожных знаков в реальном времени.
Похожие диссертации на Информационная технология обнаружения и различения дорожных знаков в мобильных системах технического зрения
