Содержание к диссертации
Введение
Глава 1... Устройства и способы измерения параметров движения протяженных объектов 9
1.1. Обобщенная архитектура системы видеонаблюдения 9
1.2. Устройства на основе доплеровского эффекта 13
1.3. Понятие протяженного объекта в системах видеонаблюдения 15
1.4. Обзор устройств и систем измерения скорости протяженных объектов с использованием видеокамер 18
1.4.1. Методика измерения скорости по всплескам яркости 19
1.4.2. Методика выделения характерных точек 19
1.4.3. Методика локализации зон видеоизображения 20
1.4.4. Методика измерения скорости движения объектов, движущихся вдоль оси видеокамеры 22
1.5. Методика выделения характерных областей 24
1.6. Перспективы развития направления 40
Выводы во главе 1 40
Глава 2 Методика измерения с обработкой совокупности строк 42
2.1. Определение наличия протяженного объекта в зоне действия системы видеонаблюдения 44
2.2. Методика измерения смещения по строкам высотой 1 пиксель 48
2.3. Методика измерения смещения по совокупности строк изображения 56
2.4. Параметры прямоугольной области 63
Выводы во главе 2 71
Глава 3 Алгоритмы повышения точности 72
3.1. Оценка результатов измерений 72
3.2. Алгоритм поиска блока в расширенной области 87
3.3. Увеличение периода измерений 92
Выводы во главе 3 99
Глава 4 Техническая реализация 100
4.1. Результаты экспериментов 100
4.1.1. 4-осный полувагон 101
4.1.2. 4-осная цистерна для бензина и светлых нефтепродуктов 106
4.1.3. Трамвай 111
4.1.4. Электровоз постоянного тока ВЛ10 115
4.1.5. Ночная съемка эвакуатора 119
4.2. Структурная схема системы 123
4.3. Программное обеспечение системы измерения скорости движения протяженного объекта 124
Выводы во главе 4 126
Заключение 127
Список используемой литературы 130
Приложени
- Устройства на основе доплеровского эффекта
- Методика измерения смещения по совокупности строк изображения
- Алгоритм поиска блока в расширенной области
- 4-осная цистерна для бензина и светлых нефтепродуктов
Введение к работе
Актуальность темы. Настоящее время характеризуется бурным развитием систем видеонаблюдения и внедрением их во все сферы деятельности (промышленность, транспорт). Дополнительно к традиционному наблюдению за объектом системы видеонаблюдения обладают потенциальными техническими возможностями решать целый ряд задач. По мнению таких компаний как IBM и Cisco создание интегрированных систем видеоаналитики является важным направлением развития систем видеонаблюдения. Актуальными задачами, которые должны решать системы видеоаналитики в ближайшем будущем, являются: идентификация объектов и определение трасс их движения, измерение скорости движения объектов, внедрение систем видеонаблюдения в АСУ ТП, работающих в режиме реального времени, а также эффективное использование цифровых каналов за счет предобработки видеосигнала для передачи данных при определении дополнительных параметров объектов. Причем, если задачи определения появления посторонних объектов, их идентификации и построения трасс движения объектов в какой-то мере решены, то задача измерения, передачи и архивирования данных о параметрах движения протяженных объектов (скорости, ускорения) с помощью систем видеонаблюдения в режиме реального времени остается практически нерешенной.
Теоретическим и практическим вопросам разработки алгоритмов, способов, методов и устройств измерения скорости объектов посвящены работы российских ученых A.M. Абакумова, И.А. Бережной, В.А. Денцкевича, П.К. Кузнецова, B.C. Ляпидова, В.Ю. Мишина, В.И. Семавина, В.Н. Зыкова, В.К. Иванова, В.В. Сергеева, В.В. Мясникова и ряда зарубежных специалистов: P. Pirim, Tomio Echigo и др.
Однако существующие алгоритмы и устройства измерения скорости объектов, особенно протяженных, не обладают достаточным быстродействием, масштабируемостью и точностью, что позволяло бы системам видеонаблюдения работать в режиме реального времени.
Кроме того, скорость передаваемой с видеокамеры информации в формате HDTV составляет порядка 25 Мбит/с, из-за чего нередко возникают проблемы, вызванные нехваткой производительности используемых телекоммуникационных каналов. Поэтому в системах видеонаблюдения, число которых в стране исчисляется десятками тысяч, важно эффективно использовать цифровые каналы с малой шириной полосы пропускания за счет предобработки видеосигналов для передачи данных о параметрах движения объектов.
В связи с этим, в условиях возрастающих требований к расширению функциональных возможностей систем видеонаблюдения, работающих в режиме реального времени, актуальной является задача разработки методики и алгоритмов обработки сигналов видеосистем для измерения скорости движения протяженных объектов, позволяющих системам работать в режиме реального времени и сократить объем передаваемой по каналу связи и архивируемой информации.
Целью работы является расширение функциональных возможностей систем видеонаблюдения для измерения параметров движения протяженных объектов, путем разработки методов и алгоритмов обработки видеосигналов.
Для достижения поставленной цели в диссертационной работе решаются следующие основные задачи:
Анализ существующих методов и устройств измерения скорости протяженных объектов.
Разработка методики обработки видеоизображения с целью получения информации о параметрах движения протяженных объектов.
Анализ влияния неинформативных факторов на измерение параметров движения протяженных объектов и разработка алгоритмов снижения этого влияния.
Создание программного обеспечения, позволяющего реализовать разработанную методику и алгоритмы измерения параметров движения протяженных объектов в режиме реального времени с требуемой про-
6 изводительностью и точностью в условиях воздействия внешних факторов. 5. Экспериментальная проверка разработанной методики и алгоритмов измерения скорости движения протяженных объектов в составе системы видеонаблюдения. Методы исследования включают основные положения корреляционного анализа передачи и цифровой обработки сигналов систем видеонаблюдения, отдельных аспектов теории вероятности и математической статистики, теории погрешностей, объектно-ориентированного программирования.
Достоверность положений работы подтверждена экспериментальной проверкой разработанных методов и алгоритмов измерения скорости движения протяженных объектов в составе системы видеонаблюдения. Научная новизна заключается в следующем:
Предложена методика обработки совокупности строк изображения, подтвержденная патентом№ 2398240, которая позволяет получать информацию о параметрах движения протяженных объектов и, тем самым, расширить функциональные возможности систем видеонаблюдения.
Разработан алгоритм поиска коррелированных областей смежных кадров видеоизображений, который позволяет повысить производительность обработки сигналов систем видеонаблюдения и сократить объем передаваемой информации по каналу связи.
Разработаны алгоритм обработки сигналов систем видеонаблюдения, компенсирующий влияние неинформативных факторов, и методика повышения точности измерения при малой скорости движения протяженного объекта за счет увеличения анализируемого временного интервала.
Практическая ценность работы.
1. Предложенная методика и разработанные алгоритмы обработки сигналов систем видеонаблюдения позволили разработать технические требования для проектирования аппаратуры измерения параметров движения протяженных объектов в режиме реального времени.
2. Разработано программное обеспечение для измерения скорости движения протяженных объектов в составе систем видеонаблюдения.
Основные положения, выносимые на защиту:
Методика обработки совокупности строк изображения с целью получения информации о параметрах движения протяженных объектов.
Алгоритм поиска коррелированных областей смежных кадров видеоизображений, позволяющий повысить производительность обработки сигналов систем видеонаблюдения.
Алгоритмы повышения точности измерения скорости движения протяженных объектов.
Апробация работы. Основные результаты диссертационной работы доложены и обсуждены на следующих конференциях и семинарах: на XII, XIII и XV российской научной конференции профессорско-преподавательского состава, научных сотрудников и аспирантов (Самара, 2005г., 2006г.); На Международной научно-технической конференции «Радиотехника и связь» (Саратов, СГТУ, 2007); На 7-ой международной научно-технической конференции «Проблемы техники и технологии телекоммуникаций» (Самара, ПГАТИ, 2006 г.); На конференции по проблемам техники и технологий телекоммуникаций: «Оптические технологии в телекоммуникациях» (Уфа, 2007г.); XV Российская научная конференция профессорско-преподавательского состава, научных сотрудников и аспирантов (Самара, ПГАТИ, 2008); На Международной научно-технической конференции «Радиотехника и связь» (Саратов, СГТУ, 2009); Конференции «Наука и образование транспорту» - (Самара, СамГУПС, 2009); Десятая Международная научно-техническая конференция «Проблемы техники и технологии телекоммуникаций» (Самара, ПТиТТ, 2009); XI Международная научно-техническая конференция «Проблемы техники и технологии телекоммуникаций» (Уфа, УГАТУ, 2010); XVIII Российская научная конференция профессорско-преподавательского состава, научных сотрудников и аспирантов (Самара, ПГУТИ, 2011).
Реализация результатов работы.
Разработаны технические требования к аппаратуре измерения скорости движения вагонов на сортировочных горках, утвержденные Департаментом автоматики и телемеханики ОАО «РЖД». Работа выполнялась в соответствии с планом НТР ОАО "РЖД" на 2010 год и использована в Ростовском филиале ОАО «НИИАС» РЖД.
Разработанные алгоритмы и программы внедрены в составе программных средств системы видеонаблюдения ст. Кинель Куйбышевской железной дороги, что позволило макетному образцу измерять скорость движения отцепов на сортировочной горке с требуемой точностью в режиме реального времени.
Публикации. По теме диссертации опубликовано 20 печатных работ, в том числе 4 печатных работы в изданиях перечня, рекомендованного ВАК для публикации работ, отражающих основное научное содержание диссертаций, а так же получен патент на изобретение и свидетельство об официальной регистрации программы для ЭВМ.
Структура и объем работы. Работа состоит из введения, четырех глав и заключения, изложенных на 140-а страницах, списка использованных источников из 122-х наименований и 4-х приложений на 28-и страницах. Диссертация содержит 120 рисунков и 7 таблиц. Общий объем диссертации 168 страниц.
Устройства на основе доплеровского эффекта
Большое количество существующих систем [2, 3, 23], предназначенных для измерения скорости движения как протяженных, так и непротяженных объекта, основано на эффекте Доплера [4, 5].
Доплеровский радар Сущность эффекта заключается в том, что если источник волн движется относительно среды, то расстояние между гребнями волн (длина волны) зависит от скорости и направления движения. Если источник движется по направлению к приёмнику, то есть догоняет испускаемую им волну, то длина волны уменьшается. Если удаляется - длина волны увеличивается. где со0 - частота, с которой источник испускает волны, с - скорость распространения волн в среде, v - скорость источника волн относительно среды (положительная, если источник приближается к приёмнику и отрицательная, если удаляется).
Частота, регистрируемая неподвижным приёмником: Аналогично, если приёмник движется навстречу волнам, он регистрирует их гребни чаще и наоборот. Для неподвижного источника и движущегося приёмника. и — скорость приёмника относительно среды (положительная, если он движется по направлению к источнику).
Подставив значение частоты из формулы (1.3) в формулу (1.1), получим формулу для общего случая.
Способ и устройство измерения скорости движения объектов [3] был предложен российскими учеными Черновым П.В., Чекурсковым В.В., Лукошковым B.C., Париловым В.А. и Колесниченко Н.Н. В его основе лежит непрерывное излучение СВЧ-сигнала, прием отраженного от объекта сигнала и его последующая обработка после гомодинного преобразования. Затем осуществляется обработка выборок сигнала с помощью дискретного преобразования Фурье с использованием алгоритма Герцеля, при этом в промежутках между выборками определяют значение промежуточного преобразования выборки сигнала, основная часть вычислений производится в промежутках между выборками, применяют весовую обработку входных данных, суммирование входных данных с наложением во времени, "скачущее" дискретное преобразование Фурье [641, 7, 8]. На основе способа, описанного выше, реализован ряд устройств:
Ручные доплеровские радары «Сокол-М-С» [9] и «Сокол-М-Д» [10] предназначены для измерения скорости автотранспорта в общем потоке с диапазоном измеряемых скоростей от 20 до 250 км/ч;
Ручные доплеровские радары «Искра-1», «Искра-1-В» и «Искра- 1-Д» [11] предназначены для измерения скорости автотранспорта в общем потоке с диапазоном измеряемых скоростей от 30 до 220 км/ч;
Ручной доплеровский радар «Луч-2» [12] предназначен для измерения скорости автотранспорта в общем потоке с диапазоном измеряемых скоростей от 20 до 199 км/ч; Радиолокационный индикатор скорости для железнодорожных вагонов РИС-ВЗ [13] с рабочим диапазоном от 1,5 до 35 км/ч.
Системы на основе эффекта Доплера обладают функциональными ограничениями. Измеритель обязательно должен устанавливаться вдоль оси движения объекта и при наличии многих объектов необходимо использовать много измерителей, что усложняет и удорожает систему.
Методика измерения смещения по совокупности строк изображения
Рассмотренные ранее методики измерения смещения изображения протяженного объекта [3, 33, 34] характеризуются рядом недостатков, которые обуславливаются высокой потребностью вычислительных ресурсов, а так же высокой погрешностью измерения. Поэтому был предложена методика обработки совокупности горизонтальных строк высотой т пикселей [46].
Способ предполагает анализ двух последовательных кадров протяженного объекта. На модели ( рис. 2.16 и рис. 2.17) за период следований кадров изображение объекта смещается на некоторую величину s, которую необходимо определить для измерения параметров движения протяженного объекта (см. выражения 1.1 и 1.2).
В границах протяженного объекта выделяется совокупность горизонтальных строк т по всей длине кадра (
Обработка совокупности строк высотой т пикселей, вместо целого кадра, дает существенную экономию вычислительных ресурсов, что позволяет работать программному обеспечению в режиме реального времени.
При размере кадра х у пикселей, получаемую матрицу изображения можно записать в виде матричной функции следующего вида:
Для анализа выделенной совокупности строк высотой т пикселей воспользуемся функцией, позволяющей определить суммарный уровень яркости (СУЯ) каждого столбца высотой т и шириной 1 пиксель, которая имеет следующий общий вид:
Таким образом, для каждой совокупности строк получено следующее представление суммарного уровня яркости каждого столбца в зависимости от координаты X (см. рис. 2.20 и рис. 2.21). Этот суммарный уровень яркости представляет собой столбчатую диаграмму уровней яркости по всей длине кадра:
Суммарный уровень яркости для кадра п+1 Смещение столбчатых диаграмм характеризует перемещение объекта за период следований кадров.
Для поиска смещения одной столбчатой диаграммы относительного другой возможно использовать несколько способов: - определение максимума корреляционной функции; - определение минимума структурной функции.
Рассмотрим поиск смещения с помощью корреляционной функции Пирсона [99]. Для этого воспользуемся формулой: Корреляционная функция в общем виде: где X(t) и Y(t) — случайные процессы; M[X(t)] - математическое ожидание; a(X(t)) - среднеквадратическое отклонение.
В нашем случае, при t=x, случайные процессы X{t) = Fn (х) и Y(t) = Fn+l (х + s) имеют дискретное равномерное распределение, т.е. где Fn (х) и Fn+l (x + s) — функции суммарного уровня яркости для кадров п и п+1 соответственно; s - величина смещения функций суммарного уровня яркости для кадров пи п+1 относительно друг друга, которая характеризует скорость движения объекта. После преобразования корреляционная функция (2.14) примет вид: раскрыв математическое ожидание и - среднеквадратическое отклонение, получим: где x2-xl — это ширина изображения.
После упрощения (2.16) получим следующее выражение, описывающее корреляционную функцию между столбчатыми диаграммами:
Графически зависимость корреляционной функции от смещения выглядит следующим образом (см. рис. 2.22):
Зависимость корреляционной функции от смещения Как видно из графика при значении смещения стремящегося к значению 45-47 пикселей функция стремится к максимальному значению - 1.
Таким образом, можно определять смещение протяженного объекта за период следований кадров, а, следовательно, скорость движения объекта.
Использование структурной функции, которая в общем виде определяется следующим образом: где X(t) и Y(t) - случайные процессы.
При минимальном различии параметров случайных процессов структурная функция будет стремиться к нулю.
В нашем случае, при t=x, случайные процессы X(t) = Fn(x) и Y{t) = Fn+l (х + s), тогда выражение (2.18) примет вид:
Графически зависимость структурной функции от смещения изображения протяженного объекта выглядит следующим образом (см. рис. 2.23).
Зависимость структурной функции от смещения Как видно из графика при значении смещения стремящегося к значению 45-47 пикселей функция стремится к минимальному значению - 0, что соответствует результату, полученному при использовании корреляционной функции. Однако, функция (2.19) является более гладкой по сравнению с корреляционной функцией (2.17), что снижает вероятность ошибки. Причем это различие для разных объектов может и не быть. Поэтому необходимо эти функции анализировать для конкретных объектов. Для представленных кадров п и п+1 (см. рис. 2.16 и рис. 2.17) является искомым смещением.
Матрицы ПЗС с каждым годом имеют все большую и большую плотность элементов, поэтому в предельном случае при устремлении шага всех дискретных переменных к нулю, можно перейти к интегральному исчислению [41], а, следовательно, можно функцию изображения f представить в виде пространственно-временной функции сигнала видеосистем:
Проводя аналогию с математическими выкладками для последовательности кадров, получаем функцию суммарного уровня яркости:
Для простоты Fn(x(t)) — это функция суммарного уровня яркости для первого кадра, a Fn+] (x(t)) — для второго кадра через интервал времени г. После определения функций суммарного уровня яркости, можно перейти к структурной функции: где s — это величина, с которым происходит сдвиг Fn (x(t)) относительно функции Fn+l(x(t)), описывающий смещение изображения объекта. Функцию (2.22) можно привести к виду, в которой будет выражаться зависимость пространственно-временных функций двух смежных изображений:
Так как пределы интегрирования для пространственно-временных функций изображений fn (x(t), y(tj) и fn+l (x(t) + s, y(t)) одинаковые, то можно объединить два подынтегральных выражения:
Таким образом, предлагаемое преобразование может быть использовано совместно с устройствами видеорегистрации, плотность матриц которых настолько большая, что шаг всех дискретных переменных стремится к нулю.
Алгоритм поиска блока в расширенной области
Смещение изображения при наличии вибрации видеокамеры, вызванной движением объекта, в общем случае может составлять несколько пикселей. Поэтому вокруг эквивалентной области на следующем кадре п+1 выделяется расширенная прямоугольная область, высота которой равна d+2 пикселей (от d—l до d+\ пикселей), а длина составляет т+2 пикселей (от т—\ до т+\ пикселей), тем самым, получается расширенная прямоугольная область с центральным элементом, соответствующим найденной эквивалентной прямоугольной области.
Кроме центрального элемента внутри расширенной прямоугольной области выделяется массив Q(q) из 8-ми аналогичных прямоугольных областей, смещенных на один пиксель относительно центрального элемента (влево, вправо, вверх, вниз).
Далее производится вычисление минимального значения массива Q(q). Если вновь найденное минимальное значение меньше ранее найденного минимального значения соответствующего эквивалентной области, то такая аналогичная область, в свою очередь, становится эквивалентной областью. После чего повторно выделяется расширенная прямоугольная область с высотой п+2 пикселей и длиной т+2 пикселей вокруг новой найденной эквивалентной прямоугольной области. Цикл повторяется до тех пор, пока вновь найденное минимальное значение не будет больше ранее найденного минимального значения эквивалентной прямоугольной области. Значение смещения изображения следующего п+\ кадра относительно текущего и-го, соответствующее минималь В разделе 4.1.1 приводилось описание проведенного эксперимента с 4-осным вагоном. Во время видеосъемки шел снег, и была вибрация видеокамеры. Эквивалентная область на следующем кадре п+\ была найдена со смещением в 11 пикселей. Используя описанный выше алгоритм, определим, насколько точно получилось найти смещение изображения протяженного объекта.
Для пары последовательных кадров рис. 4.1 и рис. 4.2 для каждой из областей массива Q(q) рассчитывается структурная функция S(s) по формуле 2.19 (см. таблицу 3.4).
Согласно алгоритму, представленному на рис. 3.15, создается новая расширенная прямоугольная область вокруг новой эквивалентной прямоугольной области. Результат расчета структурной функции S(s) представлен в таблице 3.4.
Повторный поиск эквивалентной прямоугольной области не дал положительного результата. Поэтому при смещении по оси х в 11 пикселей, смещение протяженного объекта будет следующим:
На графике (см. рис. 3.17) представлен суммарный уровень яркости выделенной прямоугольной области и найденной эквивалентной прямоугольной области. а
Совмещение столбчатых диаграмм прямоугольных областей Из графика (см. рис. 3.17) следует, что столбчатые диаграммы прямоугольной области текущего /-го кадра и эквивалентной прямоугольной области следующего /+1 кадра различаются незначительно, но это различие существует. Разработанный алгоритм создания расширенной прямоугольной области и поиска в ней эквивалентной области позволяет компенсировать низкочастотные помехи, такие как вибрация протяженного объекта, обусловленная неров ностями пути, вибрация видеокамеры и тем самым снизить погрешность измерения.
4-осная цистерна для бензина и светлых нефтепродуктов
Ниже приведен результат эксперимента с 4-осная цистерной для бензина и светлых нефтепродуктов (см. рис. 4.11 и рис. 4.12). Используя методику, предложенную в разделе 2.3, на каждом изображении выделяется совокупность строк высотой т пикселей (см. рис. 4.13 и рис. 4.14). Для анализа выделенной совокупности строк высотой т пикселей используется функция, позволяющая определить суммарный уровень яркости (СУЯ) каждого столбца высотой т и шириной 1 пиксель (2.13). Таким образом, для каждой совокупности строк получается следующее представление суммарного уровня яркости в зависимости от координатьпХ (см. рис. 4.15 и рис. 4.16): Суммарный уровень яркости для кадра п+1 Для поиска смещения выделенного блока на кадре п+1 относительного другого на кадре п используются несколько способов, описанных ранее для идеализированной модели: - определение максимума корреляционной функции; - определение минимума структурной функции. Рассмотрим поиск смещения с помощью корреляционной функции Пирсона [99]. Для этого воспользуемся формулой 2.17
Графически зависимость корреляционной функции от смещения выглядит следующим образом (см. рис. 4.17): Зависимость корреляционной функции от смещения Теперь рассмотрим структурную функцию, которая определяется формулой 2.26. Графически зависимость структурной функции от смещения выглядит следующим образом (см. рис. 4.18). Как видно из графика при значении смещения стремящегося к значению 14 функция стремится к минимальному значению - 0, но при этом не достигает точки 0, что вызвано влиянием шума. Для проводимого эксперимента это искомое смещение. Используя методику, предложенную в разделе 2.3, на каждом изображении выделяется совокупность строк высотой т пикселей (см. рис. 4.21 и рис. 4.22). Для анализа выделенной совокупности строк высотой т пикселей используется функция, позволяющая определить суммарный уровень яркости (СУЯ) каждого столбца высотой т и шириной 1 пиксель (2.13).
Для каждой совокупности строк получается следующее представление суммарного уровня яркости в зависимости от координаты X (см. рис. 4.23 и рис. 4.24): Суммарный уровень яркости для кадра п+1 Для поиска смещения выделенного блока на кадре п+1 относительного другого на кадре п используются несколько способов, описанных ранее для идеализированной модели: - определение корреляционной функции; - определение структурной функции. Рассмотрим поиск смещения с помощью корреляционной функции Пирсона [99]. Для этого воспользуемся формулой 2.17: Графически зависимость корреляционной функции от смещения выглядит следующим образом (см. рис. 4.25): Kn(s) jkljkl Зависимость корреляционной функции от смещения Теперь рассмотрим структурную функцию, которая определяется формулой 2.26. Графически зависимость структурной функции от смещения выглядит следующим образом (см. рис. 4.26).
Как видно из графика при значении смещения стремящегося к значению 24 функция стремится к минимальному значению - 0, но при этом не достигает точки 0, что вызвано влиянием шума. Для проводимого эксперимента это искомое смещение, подтвержденное достоверными измерительными устройствами.
