Содержание к диссертации
Введение
Глава 1. Обзор систем мониторинга 8
1.1. Задачи мониторинга автотранспорта и состояния дорог 8
1.2. Автотранспортные потоки и дорожные условия как объекты управления 10
1.3. Методы мониторинга транспортных потоков и состояния автомобильных дорог 14
1.4. Существующие решения в задачах распознавания образов и анализа изображений 22
Выводы по главе 1. Цели и задачи исследования 40
Глава 2. Аппаратные средства реализации задачи мониторинга 41
2.1. Цифровые источники информации 41
2.2. Программная реализация взаимодействия с цифровым устройством 47
2.3. Системы технического зрения 56
2.3.1. Использование методов сегментации 58
2.3.2. Применение движения 60
2.3.3. Описание свойств объекта 62
2.3.4. Качество изображения 67
Выводы по главе 2 72
Глава 3. Мониторинг автотранспортных потоков 73
3.1. Матрица изображения 73
3.2. Описание цветовой модели 76
3.3. Представление информации на кадре видеопотока 78
3.4. Анализ кадров видеопотока 82
3.5. Метод базового пикселя и базовой матрицы 84
3.6. Оценка направления движения 96
3.7. Оценка ускорения 98
3.8. Оценка типа АТС 100
3.9. Оценка скорости АТС с использованием контрольных детекторов 103
3.10. Оценка скорости АТС по длине задержки 112
3.11. Метод базовых матриц 114
3.12. Фиксация АТП на многополосной дороге с ограниченной видимостью 118
3.13. Идентифицирование одновременной фиксации АТС для двух КО 121
Выводы по главе 3 123
Глава 4. Анализ качества дорожного покрытия 128
4.1. Постановка задачи 128
4.3. Анализ матрицы изображения 137
4.4. Детектирование движения в кадре 152
4.5. Идентификация формы зафиксированных объектов 154
4.6. Вычисление площади 158
4.7. Вычисление объема неоднородности 161
4.8. Вычисление площади больших неоднородностей 162
4.9. Сканирование фотопотока 164
4.10. Оценка точности 167
4.11. Навигационные системы мониторинга 170
Выводы по главе 4 175
Общие выводы диссертационной работы 177
Литература 179
Приложение 1 188
Приложение 2 189
Приложение 3 190
Приложение 4 191
- Автотранспортные потоки и дорожные условия как объекты управления
- Существующие решения в задачах распознавания образов и анализа изображений
- Программная реализация взаимодействия с цифровым устройством
- Представление информации на кадре видеопотока
Введение к работе
Актуальность работы. Увеличение числа автомобилей в городах (со 180 в 1997 г. [авт./1000 чел.] до 350 в 2007 г. [авт./1000 чел.]) приводит к росту числа дорожно-транспортных происшествий на протяжении уже многих лет (1997 г. — 156515, 2007 г. - 233809). Современные автотранспортные потоки характеризуются насыщенностью, динамизмом и неустойчивостью. Организационные мероприятия по планированию и управлению транспортными потоками способствуют упорядочиванию движения автомобилей на улично-дорожных сетях и развитию транспортных сетей. Разработка новых технических решений в организации и управлении автотранспортными потоками повышает уровень безопасности дорожного движения. При реализации таких мероприятий особая роль принадлежит внедрению информационно-технических средств, систем контроля и управления с применением электронно-вычислительных машин, математики, информатики, связи и телевидения для управления движением в масштабах крупного района или целого города.
В работе представлены технологии и методы построения системы стационарного и мобильного видео- (аудио-) мониторинга и анализа содержания автомобильных дорог с использованием математического аппарата в разработке средств распознавания образов.
Цель работы. Основой задачей создания системы интеллектуального мониторинга и анализа является своевременное измерение и обработка данных в режиме реального времени и передача информации о параметрах автотранспортного потока и состоянии улично-дорожной сети. Полученные данные используются для принятия решений с целью:
• увеличения пропускной способности дороги (перекрестка),
• обеспечения безопасности движения,
• минимизации вредного воздействия на окружающую среду,
• обеспечения относительно комфортного движения автомобилистов.
Объект исследования — технические средства, системы контроля и процессы управления дорожным движением, состояние дорожного покрытия, безопасность движения и соблюдение правил дорожного движения.
Теоретической и методологической основой исследования послужили научные труды по проблемам оптимизации планирования, организации и управления автотранспортными потоками, снижения числа ДТП и уменьшения негативного воздействия автомобильного транспорта на окружающую среду, исследования в области безопасности движения с учетом технического состояния дорожной сети, натурные исследования, методы технического зрения, многомерного статистического анализа, системного анализа, математические методы распознавания и анализа изображений, а также методы параллельной обработки фото- и видеоинформации в режиме реального времени.
Научная новизна. Создание комплекса технических методов построения системы мониторинга дорожного движения, методов обеспечения безопасности дорожного движения с учетом технического состояния дорожного покрытия, разработка алгоритмов мониторинга дорожного покрытия и автотранспортных средств (АТС) в режиме реального времени.
Практическая значимость работы состоит в разработке и внедрении аппаратно-программного комплекса мониторинга, объединяющего в едином модуле технологические, организационные и диспетчерские функции.
Результаты диссертационной работы приняты к использованию Федеральным Управлением автодорог Центральной России (ФУАД ЦР). Предложенные автором математические модели и алгоритмы программных средств вычислительной техники используются в МАДИ (ГТУ) при преподавании дисциплин студентам первого («Аппаратные и программные средства информатики»), второго и третьего курсов («Компьютерная графика») специальности Прикладная математика.
Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на:
• Международном транспортном форуме по проблемам безопасности дорожного движения (г.Москва, Кремль, Государственный Кремлевский дворец, 15 декабря 2004 г.);
• семинаре «Научно-практические задачи развития автомобильно-дорожного комплекса в России», (г.Москва, МАДИ, 26 октября 2005 г.);
• IX Международной конференция «Интеллектуальные системы и компьютерные науки» (г.Москва, МГУ, 23-27 октября 2006 г.);
• семинаре «Научно-практические задачи развития автомобильно-дорожного комплекса в России» (РАН, МТУ СИ, 27 ноября 2007 г.);
• выставке «Достижения МАДИ (ГТУ)» (2005-2007 гг.).
Публикации. По результатам исследований опубликовано 9 работ, в том числе 2 статьи, включенные в Перечень ведущих рецензируемых научных изданий ВАК РФ.
Структура и объем диссертации. Диссертация состоит из введения, 4-х глав, основных и общих выводов, библиографического списка из 101 наименования и 4 приложений.
Работа содержит 187 страницу основного текста, 151 иллюстрацию и 21 таблицу.
Автотранспортные потоки и дорожные условия как объекты управления
Для управления дорожным движением необходима периодическая информация о постоянных параметрах и о среднегодовых значениях переменных параметров. На основании этой информации осуществляется выбор стратегии управления, очередность выполнения ремонтных работ и уровень содержания сети дорог.
Для оперативного управления движением необходима непрерывная информация о текущих изменениях геометрических параметров и состояния дорог. На основании этой информации осуществляется организация работ по содержанию автомобильных дорог, выбираются схемы организации движения, регулирование скорости движения и другие ограничения.
Эти особенности необходимо учитывать при сборе информации о дорожных условиях, а также при разработке методов сбора, периодичности получения, времени хранения и использовании этой информации.
Условия движения реальная обстановка на дороге, в которой движется автомобиль в данный момент (дорожные условия, транспортный поток и состояние окружающей среды, т.е. метеорологические условия).
Дорожные условия (Д или ДУ) — совокупность геометрических параметров и транспортно-эксплуатационных качеств дороги, имеющих непосредственное отношение к движению. Дорожные условия являются важнейшей составной частью условий движения и определяющими в формировании режимов движения, его удобства и безопасности. Дорожные условия включают в себя геометрические параметры дороги, ее транспортно-эксплуатационные характеристики, инженерное оборудование и обустройство, здания и сооружения для обслуживания водителей, пассажиров, транспортных средств, для дорожно-эксплуатационной службы и др. Все эти элементы оказывают влияние на состояние дороги, взаимодействие автомобиля с дорогой, самочувствие водителя и в конечном итоге на режим и безопасность движения [6].
Указанная совокупность параметров может быть разделена на две группы: постоянные и переменные. К постоянным относятся параметры и характеристики дорог, которые не меняются во времени в процессе эксплуатации или изменяются очень редко (во время реконструкции или капитального ремонта). Это параметры продольного профиля, радиусы кривых в плане, длины прямых и кривых и др.
К переменным относятся параметры и характеристики дорог, изменяющиеся в течение года в результате сезонных колебаний метеорологических условий и качества содержания дороги. Это - состояние покрытия и обочин, ширина проезжей части и обочин, наличие и состояние съездов и пересечений, состояние инженерного оборудования дорог [18].
Транспортный лоток (ТП) — совокупность движущихся автомобилей на дороге. Транспортный поток является частично управляемой системой комплекса, так как его характеристики могут регулироваться (ограничение въезда определенных типов автомобилей, перенос движения на параллельные маршруты и полосы или сдвиг движения во времени и т.д.).
Режим движения характеризуется скоростью движения автомобилей (одиночных и всего потока), интервалами между автомобилями в потоке, т.е. плотностью потока, количеством обгонов и перестроений и их траекториями, режимом разгонов и торможений. Режим движения является важнейшей выходной характеристикой функционирования всего комплекса и интегрально отражает его эффективность и качество.
Управление дорожнылш движением неразрывно связано с управлением функционирования автомобильной дороги и автомобильно-дорожной системы и включает в себя комплекс целенаправленных воздействий на водителей, дорожные условия, транспортные потоки и режимы движения, основанных на анализе информации об условиях движения, в целях достижения высокой пропускной и провозной способности дорог, экономической эффективности перевозок, удобства и безопасности движения.
Дороэюные условия характеризуются: геометрическими параметрами дороги, коэффициентом сцепления (шероховатостью покрытия, ровностью покрытия, неожиданными препятствиями, например, выпавшими из кузова грузового автомобиля предметами и т.п.).
Метеорологические условия характеризуются: метеорологической дальностью видимости (МДВ), осадками, туманом, гололедом, силой и направлением ветра, объемом снегопереноса, температурой приземного слоя воздуха, влажностью воздуха [18].
Изучение закономерностей движения вблизи крупных городов дает основание сделать вывод о необходимости разработки специальных автоматизированных систем управления движением на сети автомобильных дорог, целью которых является повышение эффективности работы автомобильного транспорта за счет рационального распределения транспортных потоков, выбора оптимальных режимов движения и гибкого управления ими с учетом постоянно меняющихся условий движения и уровня загрузки. Исходя из этой цели, могут быть определены и основные задачи функционирования такой системы управления. К ним относятся: сбор, анализ и переработка информации об условиях движения на сети автомобильных дорог, на отдельных магистралях и на отдельных участках дорог; принятие решения о наиболее целесообразных маршрутах движения, исходя из загрузки сети дорог и условий движения в данный момент времени; рациональное распределение потоков движения по сети автомобильных дорог путем обеспечения водителей с помощью средств управления информацией об условиях движения, рекомендуемых маршрутах и режимах движения; сбор и хранение технической и экономической информации об условиях движения, необходимой дорожным органам для планирования работ по ремонту и содержанию сети пригородных дорог.
Существующие решения в задачах распознавания образов и анализа изображений
Распознавание образов - это типичная задача, которую человеку приходится решать. Для этого он использует ресурсы своего мозга, которые оцениваются, например, таким показателем, как число нейронов, равное 1010 [50]. Длительное время вопросы распознавания рассматривались человеком лишь с позиций методов биологии и психологии. При этом целью изучения являлись в основном качественные характеристики, не позволяющие вскрыть и точно описать соответствующий механизм. Если и получались числовые характеристики, то они, как правило, были связаны с изучением рецепторов, таких как органы зрения, слуха, осязания. Что же касалось характеристик принятия решений, то до математической оценки дело не доходило [70]. И только кибернетика, наука, которую провозгласил Н.Винер в 1948 году, позволила ввести в изучение психологического процесса распознавания образов, лежащего в основе принятия любых решений, количественные методы, что открыло принципиально новые возможности в исследовании и проектировании автоматизированных и интеллектуальных систем распознавания [9].
Создание устройств, которые выполняют функции распознавания различных объектов, во многих случаях открывает возможность частичной замены человека как элемента сложной системы специализированным автоматом. Такая замена позволяет расширить возможности различных систем, выполняющих сложные информационно-логические задачи. Однако следует заметить, что качество работ, выполняемых человеком на любом рабочем месте, зависит от квалификации, опыта, добросовестности и его состояния. В то же время автомат, его заменяющий, действует однообразно и обеспечивает всегда одинаковое качество, если его работа исправна [18].
Но не только указанная замена и освобождение человека от выполнения рутинных операций является причиной создания и поиска путей алгоритмизации ряда систем распознавания. В некоторых случаях человек вообще не в состоянии решать эту задачу со скоростью, задаваемой обстоятельствами, независимо от качеств и психологического состояния принимающего решение (например: противоракетный маневр самолета в сложных метеоусловиях, вывод из рабочего режима атомной электростанции и т.п.). Автомат же с такими задачами может легко справиться.
Итак, основные цели замены человека в задачах распознавания сводятся к следующим: освобождение человека от однообразных рутинных операций для решения других, более важных задач, повышение качества выполняемых работ, повышение скорости решения задач. В течение достаточно продолжительного времени проблема распознавания привлекает внимание специалистов в области прикладной математики, а затем и информатики. Большая часть основополагающих работ в области распознавания образов была написана в 20-40-е годы XX века, среди авторов - Р.Фишер, Н.Колмогоров, А.Хинчин. В это время была основана теория статистических решений. В результате были найдены алгоритмы, обеспечивающие отнесение нового объекта к одному из заданных классов, что явилось началом планомерного научного поиска и практических разработок. В рамках кибернетики начало формироваться новое научное направление, связанное с разработкой теоретических основ и практической реализации устройств, а затем и систем, предназначенных для распознавания объектов, явлений и процессов [27]. В последующем математический аппарат теории распознавания расширился за счет применения: разделов прикладной математики, теории информации, методов алгебры логики, математического программирования и системотехники. Отечественные ученые, внесшие существенный вклад в эту дисциплину: Журавлев Ю.И. [32, 35-43, 51], Михалевич B.C. [68], Глушков В.М. [23-25] и др. Развитие математического аппарата теории распознавания позволило создать новое направление развития интеллектуальных технических систем на автотранспорте. Стремительное развитие автомобильного транспорта приводит к возникновению транспортных проблем, прежде всего, в городских дорожных сетях: рост интенсивности транспортных потоков опережает рост пропускной способности городских сетей, увеличение числа автомобилей опережает рост парковочных мест, необходимых для временного размещения автомашин. Помимо решения транспортных проблем за счет строительства новых дорог, многоярусных парковок и т.д., существует возможность решения существенной части этих проблем с помощью информационных технологий — интеллектуальных транспортных систем (ИТС). Внедрение ИТС приводит к повышению эффективности функционирования существующих транспортных сетей.
Внедрение ИТС требует развития средств мониторинга дорожного движения. Организация видеомониторинга транспорта требует интеллектуального анализа изображения для автоматического выявления каких-либо событий [25]. В качестве основных компонентов ИТС можно привести следующие задачи видеонаблюдения за транспортом: Мониторинг транспортных потоков - измерение характеристик транспортных потоков (скорость, состав, плотность и т.д.), выявление заторов на участках городской сети и дорожных магистралях, автоматическое обнаружение дорожно-транспортных происшествий и т.п. Указанная информация, собираемая на городской дорожной сети, необходима для информационного обеспечения участников дорожного движения и автоматизированного управления дорожным движением с учетом текущей обстановки. Кроме того, актуальная информация о загруженности междугородных магистралей позволяет соответствующим службам рассчитывать скорость износа дорожного полотна и, соответственно, планировать проведение ремонтных работ. Мониторинг правонарушений - контроль проезда автомашин на «красный», выезд на встречную полосу, обгон или разворот в запрещенном месте и т.п. Мониторинг парковок — автоматическое определение занятости парковочных мест (для крупных открытых парковок), детектирование событий, связанных с возможным нанесением ущерба автомобилю, оставленному на парковке, обеспечение безопасности и удобства пользования парковками. Указанная информация призвана повысить безопасность и удобство пользования услугами парковок [97]. Компоненты ИТС для задач видеонаблюдения за дорожной инфраструктурой: Мониторинг качества дорожного покрытия - автоматическое определение качества покрытия, а именно данные о количественном содержании на дорожном покрытии ям, трещин, заплат, выбоин и других дефектов, влияющих на условия движения автотранспорта. Мониторинг дорожной разметки - определение качества представленной информации о направлении движении транспортных потоков по дорожному полотну.
Программная реализация взаимодействия с цифровым устройством
Полный видеокадр, состоящий из двух полей Видеоинформация хранится на жёстком диске компьютера в файлах разрешения .AVI (Audio Video Interleaved). Эти файлы, а так же другие типы медиаданных (звук, графика) обрабатываются системами цифрового нелинейного монтажа, DNLH-системами (digital non-linear editing).
Основное преимущество универсального формата AVI, в отличие от потоковых форматов типа MPEG, МРЗ (MPEG Audio Layer 3), состоит в том, что «стандартных» AVI-файлов практически не существует: AVI - фактически не более чем «контейнер», который содержит общее описание содержимого в стандартизованном виде.
Воспроизведением AVI-файлов в ОС Windows управляет универсальная среда компании Microsoft, состоящая из интерфейса высокого уровня - MCI (Media Control Interface) или MCI API (Application Programming Interface) и низкоуровневых МСІ-драйверов. Формат AVI (Audio Video Interleave -чередование аудио и видео) позволяет одновременно хранить изображение и звук. При воспроизведении видеопоток и дорожки звукового канала (waveform audio, или WAV) анализируются, разделяются и обрабатываются драйверами различных устройств.
Рассмотрим архитектуру программной реализации взаимодействия с цифровым устройством для решения прикладных задач. Разработка программной реализации взаимодействия с цифровой видеокамерой лежит в основе набора низкоуровневых программных интерфейсов, используемых для управления рядом аппаратных компонентов компьютера - DirectX Foundation. В состав этих интерфейсов входят; DirectDraw - для быстрого доступа к видеопамяти, DirectSound - для вывода аудиоинформации на звуковую карту, DirectPlay - для организации многопользовательской работы через модем, локальную сеть или Internet, Directlnput - для обработки ввода информации с клавиатуры, от мыши или джойстика и Direct3D - ядро поддержки трехмерной фафики, используемое совместно с DirectDraw.
Архитектура Microsoft DirectX DirectX Foundation предоставляет в распоряжение разработчиков единый набор программных интерфейсов, который обеспечивает доступ ко всем возможностям, реализованным на уровне аппаратного обеспечения, - 3D-ускорителям, звуковым картам и т.п. Эти программные интерфейсы, называемые низкоуровневыми функциями, включают ускорение отображения двумерной графики, поддержку устройств ввода информации - джойстиков, мышей и клавиатур, управление микшированием аудиоинформации и ее вывод.
Программное взаимодействие с данными компонентами позволяет разработчику получить доступ к работе программной архитектуры компьютера, в частности, к работе со звуком, анимацией, видео.
Программное взаимодействие с Microsoft DirectShow, как компонентом, представляющим архитектуру для реализации потокового воспроизведения на платформе Microsoft Windows с поддержкой мультимедийных потоков, позволяет обеспечить высококачественный захват и воспроизведение мультимедийных файлов, расположенных на локальном компьютере и на серверах в Интернете. DirectShow обеспечивает запись видеоизображения, вопроизведение дисков DVD, монтаж видеоматериалов, декодирование видео с аппаратным ускорением и настройку аналоговых и цифровых сигналов телевещания, а пакет фильтров DirectShow позволяет получить доступ к цифровым видеопотокам формата DV, получаемым с цифровых устройств, работающих используя Fire Wire.
Описанная топология взаимодействия компьютера и видеокамеры DV, используя цифровой интерфейс FireWire, является низкоуровневой. Все описанные взаимодействия осуществляются посредством написания соответствующих программ на различных языках программирования, используя SDK (Software Development Kit). В настоящий момент в области разработки SDK для работы с цифровыми видеокамерами наиболее распространены две группы разработчиков. Первая группа разработчиков DSPack создали SDK, которое бесплатно распространяется в сети Интернет и может быть использовано любым программистом. Другая группа разработчиков компании DATASTEAD сделала SDK для работы с видеопотоками и распространяет его на платной основе.
Представление информации на кадре видеопотока
Очень важно остановиться на качестве и ракурсах съемки, полученных с цифровых источников. Качество представляемого изображения и соответственно цифровой матрицы цветности влияет на используемые алгоритмы распознавания образов. Рассмотрим различные кадры съемки АТП и их оценку.
Примеры различных ракурсов съемки (а-м) Каждый кадр представляет собой проекцию видимых объектов на матрицу камеры и, следовательно, набор пикселов, каждый из которых имеет собственный физический размер, зависимый от ракурса съемки. На рис. 37(a) представлен кадр, на котором изображен участок дорожного полотна и обозначены два пиксела, расстояние между которыми m строк. На рис. 37(6) представлена схема боковой проекции выделенных пикселов на плоскость (в рассматриваемом случае плоскость определена плоскостью дорожного полотна), а на рис. 37(в) представлена схема верхней проекции. Физические размеры пиксела (1) и (2) - площади соответствующих участков дорожного полотна различны и в рассматриваемом случае представлены в виде трапеции, как перспективы прямоугольника.
Представленное описание ракурса съемки дает представление параметра эффекта глубины пространства изображения и его перспективы — объекты, которые находятся дальше, имеют меньшую проекцию на ПЗС-матрице, чем те, которые находятся ближе.
Последовательность кадров ПЗС матрицы, полученных с определенным интервалом, называется видеопотоком. Рассмотрим поток кадров, полученных с использованием цифровой видеокамеры стандарта DV.
Анализ данных графиков показывает последовательность кадров, на которых было выявлено возмущение, в качестве которого выступает АТС. Исследование графика позволяет выявить номера кадров входа (115-й кадр) и выхода (129-й кадр) объекта, время его нахождения в границах заданного пиксела (при D = 25 кад./сек., t = 0,56 сек).
Для реализации алгоритма распознавания интервала кадров видеопотока, в котором находится АТС, необходимо произвести разделение пиксела фона дорожного полотна от АТС. Для этого при воспроизведении видеофрагмента заданное значение Мп[300, 423] для нулевого кадра, в котором АТС отсутствует (фон, дорожное полотно), сравним со значением цвета пикселя в текущем кадре видеопотока (сравниваем Мо[300, 423] и Мк [300, 423]). Использование следующей формулы позволяет получить вектор М\ который содержит информацию о наличии или отсутствии АТС на заданном пикселе. . Если (Лд/о - Лд/ )2 + (GWG - GA/1 )2 + (Bu i - BMi )2 К, то М\ = \ иначе M k = 0 К— коэффициент сравнения Коэффициент К представляет собой число, соответствующее минимальной разности между фоном дорожного полотна и фоном АТС. Для задания данного коэффициента необходимо произвести анализ ряда последовательных кадров видеопотока для нахождения среднего значения вектора RGB для дорожного полотна и для АТС, используя расстояние между векторами цветности.
Значения расстояния между векторами цветности ряда последовательных кадров (1 мин., 24 сек.) Значение расстояния или значение коэффициента сравнения является в среднем величиной постоянной для видеопотоков. Очевидно, что в рассмотренном примере значение расстояния для кадра №118 5, в данном случае необходимо произвести сглаживание соседних элементов, т.к. если принять тот факт, что в кадре № 117 и № 120 АТС присутствовало, а в № 119 нет, то «выбивание» данного значения расстояния ложно.
Индекс матрицы к определяет номер кадра, для которого получена матрица. Таким образом, при скорости воспроизведения видеопотока с частой 25 кадров в секунду объем полученных матриц за минуту составляет 1500 матриц (за 1 секунду 25 кадров, за 60 секунд 1500 кадров и соответственно матриц).
