Содержание к диссертации
Введение
1 Интеллектуальное видеонаблюдение 12
1.1 Видеофиксация нарушений ПДД 12
1.2 Применение систем видеонаблюдения 15
1.3 Интеллектуальная обработка видео 17
1.4 Обзор алгоритмов построения модели фона 19
1.5 Обзор детекторов объектов
1.5.1 Детекторы пешеходов 25
1.5.2 Детекторы автомобилей 28
1.5.3 Выводы по обзору детекторов 1
.6 Обзор трекеров объектов 29
1.7 Обзор работ по системам дорожного видеонаблюдения 34
1.8 Выводы к главе 35
2 Математическая постановка задачи видеонаблюдения 37
2.1 Постановка задачи построения маски объектов 38
2.2 Постановка задачи обнаружения 40
2.3 Постановка задачи трекинга 42
2.4 Математическая модель нарушения ПДД на нерегулируемом пешеходном переходе 43
2.5 Выводы к главе 51
3 Интеллектуальная система видеонаблюдения 52
3.1 Специфика решаемой задачи видеонаблюдения 52
3.2 Структура системы видеонаблюдения 57
3.3 Построение модели фона 60
3.4 Детектор активности 64
3.5 Детекторы объектов 68
3.6 Трекеры объектов 74
3.7 Анализ траекторий объектов 79
3.8 Выводы к главе 82
4 Экспериментальные исследования системы видеонаблюдения 84
4.1 Оценка качества работы системы 85
4.2 Тестирование производительности системы 87
4.3 Исследование устойчивости системы 89
4.4 Выводы к главе 93
Заключение 94
Литература
- Интеллектуальная обработка видео
- Обзор работ по системам дорожного видеонаблюдения
- Математическая модель нарушения ПДД на нерегулируемом пешеходном переходе
- Исследование устойчивости системы
Интеллектуальная обработка видео
По данных ежегодных отчетов ГИБДД Российская Федерация стабильно занимает одно из первых мест в мире по количеству на душу населения дорожно-транспортных происшествий (ДТП), по числу погибших и раненых. В 2013 году погибло более 27 тыс. человек и пострадало более 250 тыс. человек, что составляет население целого города. Неудивительно, что проблема аварийности на дорогах волнует многих: от высшей законодательной власти до небольших общественных организаций. Ужесточаются штрафы за нарушение правил дорожного движения (ПДД), проводится пропаганда соблюдения правил дорожного движения в школах, СМИ, на телевидении, реформируется система ПДД. Одним из эффективных способов борьбы с нарушениями ПДД является использование камер автоматической фиксации нарушений. Установка таких камер позволяет беспристрастно в круглосуточном режиме фиксировать нарушения ПДД на наблюдаемом участке дороги. Благодаря прогрессу технических средств видеонаблюдения использование камер становится все более доступным, что увеличивает охват контролируемых дорог, уменьшая долю безнаказанных нарушений. Судя по статистике внедрения систем автоматической видеофиксации, этот подход демонстрирует крайне высокую динамику роста. Так, например, в Москве камеры начали устанавливать лишь в 2011 году, в 2012 их было более 260, в 2013 - более 800, в 2014 планируется увеличить их количество вдвое, а в долгосрочной перспективе это число будет доведено до 4 000. Около 95% всех штрафов в Москве выписывается благодаря автоматической видеофиксации. Все это является наглядным подтверждением эффективности систем автоматической фиксации нарушений ПДД и увеличением их значения в этом секторе. Такие системы позволяют обнаруживать такие нарушения, как:
В представляемой работе проводилось исследование, направленное на проектирование системы видеофиксации нарушений на нерегулируемых пешеходных переходах. С точки зрения алгоритмов распознавания видео обнаружения нарушения «непредоставление преимущества в движении пешеходу на нерегулируемом переходе» является принципиально более сложной задачей, чем упомянутые нарушения ПДД, при контроле которых, как правило, достаточно простого алгоритма обнаружения автомобилей на основе вычитания фона, задания геометрии сцены и запрещенных для движения областей или траекторий. Видеонаблюдение же за нерегулируемыми пешеходными переходами требует использования более сложных алгоритмов распознавания, которые способны отличать пешеходов от автомобилей, что не требовалось при наблюдении за автомобильным потоком. Внедрение таких алгоритмов осложняется чувствительностью к помехам, условиям съемки, условиям освещения и многими другими факторами, что существенно снижает точность работы системы. Таким образом, основной проблемой разработки автоматической системы видеонаблюдения за нерегулируемыми пешеходными переходами является неустойчивость необходимых алгоритмов обработки видео в условиях реальной съемки.
Вопрос проектирования интеллектуальных систем видеонаблюдения за нерегулируемыми пешеходными переходами недостаточно освещен в научной литературе. Можно найти лишь упоминание функциональной возможности видеонаблюдения за нерегулируемыми пешеходными переходами в описании некоторых коммерческих систем. Среди десятков коммерческих систем видеонаблюдения лишь четыре декларируют контроль непредоставления преимущества пешеходу на нерегулируемом переходе:
Несмотря на существование ряда коммерческих систем, обладающих названной функциональностью, остается открытым вопрос о количестве ложных срабатываний и количестве пропущенных нарушений при использовании таких систем, что является ключевым фактором при рассмотрении вопроса о практическом внедрении подобных систем видеонаблюдения. Несомненно, что еще предстоит решать такие проблемы, как, например, работа при неблагоприятных условиях съемки и устойчивость к частым перекрытиям участников движения друг другом.
Системой видеонаблюдения [21,22] называется программно-аппаратный комплекс, предназначенный для визуального контроля одного или нескольких объектов наблюдения. Система видеонаблюдения состоит из видеокамер, вычислительных блоков, осуществляющих обработку получаемых видеоданных, хранилища данных и мониторов, отображающих весь собираемый видеопоток данных или выделенные ситуации.
Использование систем видеонаблюдения неуклонно возрастает в последнее время, что связано с широким кругом решаемых такими системами задач. Помимо простого фиксирования происходящего на видео все большую популярность набирают интеллектуальные системы видеонаблюдения [21-24], способные при помощи алгоритмов компьютерного зрения в автоматическом режиме определять «особые» ситуации, снятые на видео, а также оценивать различные характеристики объектов, участвующих в этих ситуациях.
Обзор работ по системам дорожного видеонаблюдения
Пусть { } f і — множество кадров входной видеопоследовательности длиною L. F представляют собой либо двумерные матрицы размером Н х W, если видео черно-белое, либо трехмерные размером Н х W х 3, если видео цветное. Будем рассматривать обработку черно-белого видео (т.к. большинство камер видеонаблюдения черно-белые), тогда F \y, х) — значение пикселя, стоящего на пересечении у-то ряда и ж-ой колонки /-го кадра видеопоследовательности.
Определим задачу построения маски объектов переднего плана, как получение бинарной матрицы А размером Н х W по кадрам входной видеопоследовательности F : Заметим, что в терминах «движущийся объект», «неподвижный фон» есть некоторая неоднозначность, присущая всем задачам, касающихся семантического значения объектов реального мира. Так, автомобиль, остановившийся на некоторое время, должен считаться объектом (А(у, х) = 1), однако простоявший значительное время должен считаться фоном (А(у, х) = 0). Тем не менее, такая неоднозначность не является ключевой проблемой данной задачи. Более того, в одной из наиболее цитируемых работ по моделям фона, перечисляющей фундаментальные принципы их построения, утверждается, что задача должна решаться без учета семантики (Principle 1: No semantics [37]).
В — это матрица такого же размера, как и простейшем случае Т = Т \у,х), однако в ряде мето дов, в том числе и часто используемых, порог бинаризации Т может зависеть от положения пикселя (у, х) (например, метод на основе одной гауссианы [42]) или от номера кадра / (например, метод W4 [46]). В некоторых методах, например, на основе оптического потока [44], модель фона В в явном виде может и не вычисляться.
В подавляющем большинстве работ качество методов построения модели фона или маски объектов оценивается по точности (precision), равной отношению количества правильно отмеченных пикселей к количеству отмеченных пикселей, и по полноте (recall), равной отношению правильно отмеченных пикселей к количеству пикселей, относящихся к объектам в эталоне
Выбор метрики, используемой для оценки соответствующего компонента системы, сделан, исходя из назначения этого компонента и способа использования его выходных данных. Маска объектов переднего плана используется для сокращения площади, обрабатываемой детектором объектов. В идеале детектор объектов должен получить только те области, где есть объекты, и никакие другие. Исходя из этого, для оценки детектора активности модифицируем поняти точности и полноты следующим образом: точность — это отношение площади, переданной детектору объектов и содержащей истинные объекты, ко всей площади, переданной детектору объектов, полнота — это отношение площади, переданной детектору объектов и содержащей истинные объекты, ко всей площади, содержащей истинные объекты.
Качество обнаружения будем измерять при помощи точности и полноты, но с некоторыми изменениями, обусловленными спецификой задачи системы видеонаблюдения. А именно не будут штрафоваться так называемые мулътиобъекты (multiple objects) имулътицели (multiple trackers) [173], т.е. когда одному объекту соответствует несколько целей или одной цели соответствует несколько объектов (рис. 2.2). Такие ситуации не критичны в контексте выявления нарушений непредоставления преимущества в движении пешеходу на нерегулируемом переходе, потому что нам не важно знать точное число пешеходов, важно отме тить места нахождения одного или нескольких пешеходов, а также не отмечать их там, где нет ни одного пешехода. Для автомобилей дублирование целей или объектов не ведет к ошибкам системы, однако при обнаружении нарушения важно не выписывать одному автомобилю несколько штрафов. В этом случае можно применить фильтрацию целей, ограничив снизу расстояние между ними.
Итоговой целью трекинга, как и задачи обнаружения объектов, является поиск положений объектов {Рj }f=i на кадрах видеопоследовательности {F } =1, но трекер в отличие от детектора получает информацию о положениях объектов на предыдущем кадре, т.е. продолжает траектории обнаруженных объектов. Поэтому результат работы трекера измеряется не только метриками покрытия (точность и полнота), но и метрикой согласованности целей на разных кадрах: цель, ведомая трекером, должна соответствовать на разных кадрах одному и тому же объекту: цели с PJ (предыдущий кадр) на Р (текущий кадр)), если цель суще ствовала на предыдущем кадре, иначе Q, = 0. Отношение количества невыполнений этого условия в ходе работы трекера к суммарному числу целей на всех кадрах будем использовать как метрику межкадровой согласованности целей трекера, которую называют количеством несоответствий (mismatch errors, ME [174]):
Для задачи обнаружения нарушений на пешеходном переходе ослабим условие (2.13), так как нас не интересует точная поддержка идентификаторов наблюдаемых объектов, зато для определения нарушений важно знать направление движения объектов (рис. 2.3). Поэтому (2.13) ослаблено до следующего условия: Dir{E{l 1]) = Ліг(Я(/)), (2.15) где Dir(e) Є {-1,+1} — направление движения объекта с идентификатором е (либо слева направо, либо в обратном направлении). Для простоты будем считать, что пешеходы не меняют направления движения в процессе пересечения перехода.
Отметим, что относительно правил дорожного движения на нерегулируемых пешеходных переходах существует ряд споров и неоднозначностей, обсуждение которых оставляется за рамками данной диссертации. Однако заметим, что модель обнаружения нарушений спроектирована нами так, что при помощи параметров модели имеется возможность устанавливать ту или иную трактовку правил. Для более полного понимания приведем еще одну выдержку из правил - определение термина уступить дорогу, который используют в качестве синонима к неопределенному в правилах термину пропустить пешехода: «„ Уступить дорогу (не создавать помех) " — требование, означающее, что участник дорожного движения не должен начинать, возобновлять или продолжать движение, осуществлять какой-либо маневр, если это может вынудить других участников движения, имеющих по отношению к нему преимущество, изменить направление движения или скорость.»
Математическая модель нарушения ПДД на нерегулируемом пешеходном переходе
Далее вокруг каждой отфильтрованной области активности формируется ограничивающий прямоугольник, который будет вырезан из кадра и перенаправлен детектору (рис. 3.9). В связи с тем, что полученные области не идеально повторяют форму пешеходов, не известно, весь ли объект ею покрыт, а если не весь, то какая часть исключена. Поэтому преобразование координат прямоугольника, ограничивающего область {Btopi Bbottomi Biejtl В д ), в координаты прямоугольника, направляемого детектору (Dtop, Bbottam, Bieft, Bright), выглядит Щідш координаты ограничивающего их прямоугольника (результат объединения), А 1\ А 2 , Аитоп — площади прямоугольников. Благодаря выделению областей активности площадь, на которой работает детектор объектов, сокращается на 20-90% (в зависимости от плотности потока пешеходов на переходе). Пример полученных обнаружений пешеходов представлен на рис. 3.9.
Маска активных пикселей помимо сокращения площади, обрабатываемой детектором объектов, также используется для проверки работы детекторов и трекеров. Например, цель трекера может «повиснуть» на фоне (рис. 3.10), что в данной задаче видеонаблюдения может быть критично. Например, если повисшая цель соответствует пешеходу и находится на переходе или в области ожидания, то это может вызвать фиксацию ложного нарушения. Поэтому для проверки рассчитывается доля активных пикселей R \y, х) под целью с центром в (у, х) (т.е. в области U(y, х) ) и если она ниже некоторого порога, то это сигнализирует об ошибке трекера и цель следует удалить. — количество активных пикселей под целью трекера с координатами (у, х), Hwmdow, Wwmdow — высота и ширина окна цели трекера. Для эффективного вычисления количества активных пикселей C Jive(y,x) применялась схема интегральных сумм. По маске активных пикселей для каждой позиции (у,х) считалось количество активных пикселей S (y,x) в прямоугольнике с углами в (1,1) и (у, х), что можно вычислить за время O(HW)
Цель трекера, «повисшая» на фоне; б) Маска активных пикселей; в) Положения целей трекера, где доля активных пикселей превышает заданный порог, т.е. допустимые положения цели. (размер кадра в пикселях) для всех S \y, х):
На основе проведенного обзора существующих решений в области обнаружения объектов и анализа их эффективности сделан выбор в пользу детектора на основе гистограмм ориентированных градиентов на классификаторе SVM с линейный ядром [72] (рис. 3.11). Использована реализация алгоритма, доступная в библиотеке VLFeat [179].
Для обучения детекторов автомобилей и пешеходов выполнен поиск баз изображений. Первоначально для детектора пешеходов использовались данные из [180], представляющие несколько видеопоследовательностей, заснятых на пеше Отрицательные примеры для обучения детектора пешеходов: а-в) «простые» примеры; г-е) «сложные» примеры, т. е. похожие на пешеходов. ходном переходе, с разметкой положений объектов на каждом четвертом кадре, что в сумме дало порядка 900 положительных примеров. Это множество расширено до 2200 примеров за счет автоматической разметки промежуточных кадров при помощи линейной интерполяции траекторий. Кроме того, ручной фильтрацией из обучающего множества удалены примеры сидячих людей и людей, видимых спереди или сзади, так как эти примеры не важны для решаемой задачи, но увеличивают внутриклассовую изменчивость примеров, чем мешают обучению детектора. Такое расширение множества примеров увеличило полноту на 15% (табл. Исходный набор (900 положительных примеров) 1.0000 0.7007 0.8240
Расширенный набор (2200 положительных примеров) 0.9954 0.8571 0.9211 Расширенный со сложными отрицательными примерами 0.9973 0.7551 0.8587 ложных положительных срабатываний детектора желательно выбирать «сложные» для классификатора отрицательные примеры, т.е. похожие на пешеходов (рис. 3.12). Таким образом, классификатор SVM построит границу «пешеход — не пешеход» более точно. Как видно из табл. 3.2, применение этой техники несколько увеличило точность, но значительно уменьшило полноту, поэтому оставлен вариант без «сложных» отрицательных примеров.
Тестирование детектора пешеходов, обученного на упомянутых выше данных, на других данных показало высокий процент пропущенных объектов, что, вероятно, связано с небольших количеством уникальных пешеходов, заснятых на видео (но в разных местах кадра). В этой связи проведен поиск дополнительных данных, чтобы уменьшить число пропущенных детектором объектов. Выбрана база данных [181], представляющая изображения порядка 800 уникальных пешеходов. Как и в базе [180], каждый пешеход заснят несколько раз, что в сумме дало около 96 тысяч положительных примеров. Ввиду ограниченности вычислительных ресурсов, использованных в исследовании, невозможно при обучении классификатора SVM использовать столько положительных примеров, поэтому в дополнение к алгоритму извлечения сложных отрицательных примеров применен подобный механизм и к сложным положительным примерам.
Исследование устойчивости системы
В таблице табл. 4.2 представлено время работы отдельных операций на отрезке видеопоследовательности длиною в 5000 кадров, выполняемых при функционировании представляемой системы видеонаблюдения, в секундах и в процентах от общего времени работы системы. Эксперименты проводились на процессоре Inter Core і5 2.67 GHz в однопоточном режиме.
Чтение входных данных, масштабирование, преобразование типов и цветовых пространств суммарно занимает более 20%, что для несложной предобработки файла размером 100 MB излишне много. Таблица 4.2: Время выполнения отдельных операций, выполняемых системой видеонаблюдения, в миллисекундах на один кадр и в процентах от общего времени работы при обработке
Трекинг объектов на основе особых точек, несмотря на выполнение работы по распознаванию образов, занимает менее 5% от общего времени работы системы видеонаблюдения.
Обновление модели фона, представляющее несколько простых операций над кадром, занимает небольшой процент времени — менее 3%.
Операции детектора активности (построение маски, подавление «известной» активности, морфологические операции, выделение прямоугольников и объединение пересекающихся прямоугольников) занимают 37.5%. Основной процент дают морфологические операции над маской активности и последующее выделение прямоугольников вокруг активных областей (34.7%). Однако отметим, что эти операции имеют существенный потенциал для ускорения за счет применения более специализированных алгоритмов. Например, операции эрозии и дилатации, осуществляемые сейчас как свертка маски активности и структурного элемента, можно заменить на расширение или сужение областей активности при помощи поиска в ширину. Время работы будет пропорционально размеру кадра — O(HW). Поиск в ширину можно применить и для выделения прямоугольников. Треть времени работы системы занимает работа детектора объектов (обнаружение объектов в прямоугольниках). Около 63% от этого времени занимает процесс извлечения признаков, около 30% — перебор возможных положений и вычисление похожести части кадра на модель заданного класса объектов. Подавление немаксимумов — лишь 0.1%.
Работа модели анализа траекторий занимает менее 1 % времени, так как представляет собой простейшие операции над данными, размер которых пропорционален числу наблюдаемых в кадре объектов.
Таким образом, ряд возможностей оптимизации основывается на переводе системы с пакета Matlab на один из компиляторов языка C++, отличающиехся, как правило, большим быстродействием. Использование пакета Matlab для проведения исследования было основано на возможности иметь более широкий спектр алгоритмического обеспечения, используемого при проектировании систем видеонаблюдения. Ведь помимо обеспечения для Matlab, в том числе написанного сторонними разработчика, существуют ряд оберток для вызова функций из библиотек, написанных на других языках программирования, в том числе из функционально богатой библиотеки OpenCV.
Кроме того, для увеличения производительности можно воспользоваться тем, что разработанное алгоритмическое обеспечение систем видеонаблюдения удобно распараллеливается в несколько потоков выполнения, что в условиях стремительно совершенствующегося мультипроцессорного аппаратного обеспечения может быть крайне полезно.
В разделе представлены результаты экспериментов с добавлением к входным данным гауссовского шума и шума типа «соль и перец», а также изменений, имитирующих неблагоприятные погодные условия (туман, дождь, неравномерное освещение) при отслеживании пешеходов на данных из [180]. Эксперименты продемонстрировали степень чувствительности системы к шумам. При добавлении гауссовского шума с нулевым средним и вариацией var = 0.01 (максимальную возможное значение пикселя составляет 1.0) система перестает функционировать т. е. нет ни одного обнаружения объекта. Пример кадра после применения шума с такой вариацией представлен на рис. 4.1. Гауссовский шум вносит дополнительную вариацию в карту градиентов кадра, а используемые в системе детектор и трекер извлекают именно градиентные признаки. Применением сглаживающего фильтра можно восстановить работу системы, но с несколько меньшими показателями качества (табл. 4.3), так как исходная карта градиентов все-таки искажается. обнаружения, т. е. с меньшей похожестью участка кадра на модель детектора (стр. 24), и остаются только те, которые и в условиях тумана имеют четкие границы с фоном. Чем жестче такая «фильтрация», тем точность ближе к 100% и тем ниже полнота, пока не останется ни одного обнаружения, что соответствует неработающей системе (табл. 4.5). Восстановить работу системы можно при помощи применения специальных алгоритмов детуманизации (defogging) [32]. Отметим, что небольшая разница глубин точек наблюдаемой сцены или даже информация о простой геометрии сцены делает эту задачу значительно проще, чем удаление тумана в общем случае. Альтернативным вариантом борьбы с такой «фильтрацией» может служить уменьшение порога минимальной похожести, что снизит строгость «фильтрации».
Неравномерное освещение сцены разнородно влияет на градиенты в различных частях сцены: где-то усиливаются нужные края, где-то ненужные (рис. 4.5). Поэтому точность работы бессистемно зависит от неравномерности освещения. Полнота же при увеличении степени неравномерности падает, что связывается с тем, что трекер (который, согласно табл. 4.1, главным образом обеспечивает полноту отслеживания пешеходов) не успевает адаптировать свою модель при перемещении объекта между частями сцены с различной освещенностью.
В данной главе были представлены результаты экспериментального исследования разработанной интеллектуальной системы видеонаблюдения за нерегулируемыми пешеходными переходами. Было оценено качество работы, производительность и устойчивости к внешним условиям, способным осложнить работы системы. Точность обнаружения нарушений составляет около 63%, а полнота — 47 %. Скорость работы на процессоре с тактовой частой 2.67 GHz при использовании одного потока медленнее скорости работы в режиме реального времени в два раза, однако экспериментальное исследование показало существенный потенциал для ускорения работы представленной системы видеонаблюдения. Слабая устойчивость к неблагоприятным погодным условиям показала необходимость дополнения системы специальными алгоритмами для восстановления работы системы.
Экспериментальное исследование характеристик системы видеонаблюдения показало приемлемое качество и скорость работы для ее внедрения в реальную инфраструктуру дорожного наблюдения.
Похожие диссертации на Модельно-алгоритмическое обеспечение интеллектуальной системы видеонаблюдения за нерегулируемыми пешеходными переходами
