Содержание к диссертации
Введение
1. Современные методы повышения эффективности анализа видеоизображений статических и динамических объектов 19
1.1. Приборы и методы представления и восприятия видеоизображений. Модели цифровых сигналов 19
1.2. Анализ и классификация современных алгоритмов обнаружения движения 25
1.3. Применение теории графов для обнаружения движущихся объектов 40
1.4. Основные показатели достоверности обнаружения динамических объектов 48
1.5. Методы стабилизации параметров видеоизображений . 62
1.6. Анализ достоинств и недостатков существующих методов выделения динамических объектов 65
1.7. Цели и задачи диссертационной работы 75
2. Исследование, разработка и анализ быстрых алгоритмов выделения движения 79
2.1. Вывод соотношений, определяющих допустимые значения линейного коэффициента порога в методе вычитания фона при обнаружении движения 79
2.2. Исследование влияния фоновых шумов на достоверность обнаружения динамических объектов и разработка алгоритма пороговой компенсации 104
2.3. Параллельно-конвейерный алгоритм обнаружения движения и выделения соответствующих областей в последовательности видеоизображений 113
2.4. Градиентный анализ границ областей движения при визуализации объектов, покидающих зону наблюдения 117
2.5. Обнаружение движения под действием гравитационных сил с учетом пропуска кадров 120
2.6. Алгоритм распознавания остановки объекта в системе видеонаблюдения с детектором движения 123
2.7. Метод распознавания объектов, движущихся в запрещённых направлениях 127
3. Разработка методик и алгоритмов повышения достоверности обнаружения динамических объектов 133
3.1. Анализ пространственных перемещений на основе принципа однозначного назначения 133
3.2. Анализ пространственных траекторий на основе принципа множественного назначения 139
3.3. Ограниченная задача о максимальном взвешенном паросо-четании (ОЗМВП) 146
3.4. Жадные приближённые алгоритмы решения ограниченной задачи о максимальном взвешенном паросочетании 153
3.5. Точное решение ОЗМВП для небольших размеров входных данных 163
3.6. Быстрый алгоритм выравнивания локальной яркости видеоизображений в условиях переменного освещения 172
3.7. Разработка алгоритма стабилизации изображения с учётом движения объектов в кадре 178
4. Описание приборов, алгоритмов и экспериментов. Результаты внедрения и методики оценки достоверности результатов 182
4.1. Функциональная схема и основные параметры компьютерных систем видеонаблюдения 182
4.2. Описание схем построения производственных образцов аппаратуры 188
4.3. Экспериментальные результаты проверки обнаружения динамических объектов 192
4.4. Методика оценки достоверности обнаружения динамических объектов 205
4.5. Внедрение результатов разработки алгоритмов повышения эффективности визуализации динамических объектов 207
Заключение 210
Литература 212
- Приборы и методы представления и восприятия видеоизображений. Модели цифровых сигналов
- Вывод соотношений, определяющих допустимые значения линейного коэффициента порога в методе вычитания фона при обнаружении движения
- Анализ пространственных перемещений на основе принципа однозначного назначения
- Функциональная схема и основные параметры компьютерных систем видеонаблюдения
Введение к работе
Актуальность проблемы. Одним из наиболее эффективных средств сбора информации являются компьютерные системы видеонаблюдения. Почти до конца XX века все существующие системы были ориентированы на работу оператора, который не только принимает решения, но и обязан внимательно следить за происходящим в поле зрение видеокамер. С увеличением числа видеодатчиков, число операторов таких систем растёт пропорционально.
Система видеонаблюдения, соответствующая современным требованиям, обязана быть более автоматизированной. В процессе поиска система должна выбрать из всего имеющего объёма информации наиболее интересные для аналитика данные и представить их в удобном для дальнейшего анализа виде. Для удобства пользователя представление результатов должно быть интуитивно понятным, а качество результатов достаточным для работы аналитика. Такая система должна обладать интеллектуальными функциями анализа изображений, распознавания объектов и ситуаций.
Достигнутый техническим прогрессом к началу XXI века уровень производительности ЭВМ существенно оживил область интеллектуальной обработки видеоинформации компьютерными системами. Большой вклад в область информационной обработки, классификации и распознавания видеосигналов внесли известные учёные, работающие в России и за рубежом: Ю.И.Журавлев, В.Н.Вапник, А.И.Галушкин, Л.П.Ярославский, B.D.Lukas, T.Kanade, R. Collins, A.Lipton, C.Stauffer, W.E.L.Grimson и другие.
В последнее время актуальной является задача автоматического выделения динамических объектов в режиме реального времени на видеопоследовательностях, получаемых компьютерными видеосистемами. Кроме того, из-за большого количества информации, получаемой видеосистемами, важной является задача обнаружения динамических объектов определённого типа, обладающих некоторыми признаками, или проявляющих определённое поведение.
Широкое распространение методов распознавания объясняется тем, что для их применения требуется значительно меньшая точность описания исследуемых явлений, чем при применении других математических методов. ЭВМ позволяют математикам проводить экспериментальные исследования. Сначала изучается реальная задача распознавания, выдвигается гипотеза и затем проводится эксперимент, который подтверждает или опровергает гипотезу. Строгие математические обоснования в таких случаях часто не проводятся. Это привело к построению большого числа экспериментальных (эвристических) алгоритмов распознавания, не достаточно обоснованных, но дающих в некоторых ситуациях удовлетворительный результат. Теоретическое обоснование алгоритмов позволит улучшить их показатели, что непосредственно повлияет на эффективность визуализации динамических объектов, и поэтому исследования и разработки в этом направлении являются актуальными.
Цель работы. Цель диссертационной работы — повышение эффективности визуализации и достоверности автоматической регистрации динамических объектов в компьютерных аналитических видеосистемах за счёт разработки алгоритмов анализа видеоизображений для выделения нерегулярностей определённых типов и их классификации, а также разработка алгоритмов распознавания
ситуационного поведения динамических объектов.
Задачи работы. Для достижения поставленной цели необходимо решить следующие задачи:
Провести теоретический анализ метода вычитания фона и влияния коэффициентов этого метода на ошибки первого и второго рода, установить предельные значения указанных коэффициентов.
Разработать эффективный алгоритм, позволяющий осуществлять выбор коэффициентов метода вычитания фона в автоматическом режиме для минимизации ошибок первого и второго рода.
Разработать алгоритмы для выявления ситуационного поведения динамических объектов: обнаружение движения в поле сил тяготения по параболе с учётом пропуска кадров, распознавание остановки объекта, распознавание траекторий объектов, движущихся в запрещённых направлениях.
Обобщить задачу о максимальном взвешенном паросочетании в двудольном графе на случай множественного назначения и разработать эффективный алгоритм сопоставления объектов на различных кадрах при условии разделения некоторых объектов на части.
Исследовать зависимость результатов работы алгоритмов компенсации дрожания камеры от плотности движения в сцене наблюдения и разработать устойчивый алгоритм стабилизации изображения с учётом движения объектов в кадре.
Разработать быстрый алгоритм выравнивания яркости в случае локального изменении освещённости наблюдаемой сцены.
Методы исследования. Для теоретического и практического решения поставленных задач использовались теория и алгоритмы цифровой обработки сигналов, теория графов и алгоритмы на графах, теория вероятности и математическая статистика, теория численных методов, теория алгоритмической сложности, математическое моделирование вычислительных систем, теория и методы оптимизации, дифференциальное и интегральное исчисление, теория рядов и сходимости, комбинаторика, теория производящих функций.
Научная новизна состоит в разработке, анализе и применении в компьютерных видеосистемах алгоритмов повышения эффективности визуализации и достоверности автоматической регистрации динамических объектов. При выполнении диссертационной работы получены следующие новые научные результаты:
Впервые теоретически получены предельные значения коэффициента обновления в методе вычитания фона. Для повышения достоверности автоматической регистрации динамических объектов предложен модифицированный алгоритм вычитания фона, который использует два различных коэффициента (коэффициент обновления и коэффициент порога) вместо одного.
Разработан алгоритм пороговой компенсации, выбирающий коэффициент обновления в методе вычитания фона таким образом, чтобы ошибка первого рода (ложные срабатывания), обусловленная шумами изображения (квантовыми, дробовыми, теневыми шумами, током смещения, шумом считывания, дискретизацией) была не выше 0,003% в час, а также минимизирующий ошибку второго рода (пропуск объектов) при фиксированной ошибке первого рода.
Предложен параллельно-конвейерный алгоритм обнаружения движения, который сокращает время обработки одного кадра в 3-4 раза и при этом не уменьшает достоверности обнаружения динамических объектов.
Для повышения эффективности визуализации разработаны алгоритмы выявления ситуационного поведения динамических объектов: обнаружение динамических объектов, двигающихся в поле сил тяготения; распознавание остановки объекта; распознавание траекторий объектов, движущихся в запрещённых направлениях.
Для повышения эффективности визуализации при решении задачи о сопоставлении объектов между кадрами предложено использовать множественное назначение. Обобщена задача о максимальном взвешенном паросочетании в двудольном графе на случай ограниченного взвешенного паросочетания, к которому сведена задача о множественном назначении. Разработан алгоритм сопоставления объектов на различных кадрах при условии разделения некоторых объектов на части.
Разработан устойчивый алгоритм стабилизации изображения с учётом движения объектов в кадре.
Разработан быстрый алгоритм выравнивания яркости в случае локального изменении освещённости.
Практическая значимость. Разработанные в диссертации теоретические расчёты, способы и алгоритмы используются в семействе компьютерных видеосистем: «Orwell2k», «Orwell2k-Barrier», «Orwell2k-Cinema» и др., разработанных на предприятии ГУП НПЦ «ЭЛВИС».
Используемый в системах «Orwell2k» и «Orwell2k-Cinema» параллельно-конвейерный алгоритм позволил сократить время обработки одного кадра в 3-4 раза, что, в свою очередь, позволило сократить число используемых в системе серверов в 3 раза. Для ЭВМ с процессором Intel Core 2 Duo, 2,66 ГГц, сокращение составило с 8мс до 2-3 мс на кадр размера 352x288. Указанное улучшение производительности распространяется на ЭВМ любой конфигурации.
Алгоритм пороговой компенсации снижает ошибку первого рода (ложные срабатывания), обусловленную шумами яркости изображения (квантовыми, дробовыми, теневыми шумами, током смещения, шумом считывания, дискретизацией) до значения не выше 0,003% в час, а также минимизирует ошибку второго рода (пропуск объектов) при фиксированной ошибке первого рода.
За счёт использования разработанного в диссертации алгоритма обнаружения динамических объектов, которые появляются в зоне обзора камеры и двигаются под действием только гравитационных сил, видеодетектор «Orwell2k-Barrier» позволяет своевременно предупредить факты хищений, контрабанды, преднамеренных попыток переброса взрывчатых веществ на охраняемые объекты, незаконной передачи предметов.
Разработанный алгоритм обнаружения динамических объектов, двигающихся в запрещённых направлениях, позволяет автоматизировать фиксацию нарушений и контроль за дорожной обстановкой.
Достоверность результатов обусловлена применением общепринятых математических методов, и подтверждается хорошей сходимостью теоретических оценок с результатами экспериментальных исследований и испытаний.
Внедрение результатов. Результаты диссертационной работы внедрены в компьютерной видеосистеме «Orwell2k». Система введена в эксплуатацию на периметре и в зоне авиационной деятельности центра деловой авиации аэропорта Домодедово (система РАЯЖ 46652.001-ОС .ПЗ), при строительстве территории 1-го пускового комплекса II очереди особой экономической зоны ППТ «Липецк» (проект Система видеонаблюдения СПО 105-КТСО-СТН, РАЯЖ 46352.003) и на других объектах. Применение систем подтверждено актами о внедрении.
Личный вклад. Все выносимые на защиту научные положения, проведённые в рамках диссертационной работы, теоретические и экспериментальные исследования, разработка и внедрение выполнены автором лично или при его непосредственном участии.
На защиту выносятся:
Вывод предельных значений коэффициента обновления в методе вычитания фона.
Алгоритм пороговой компенсации, выбирающий коэффициент обновления в методе вычитания фона таким образом, чтобы ошибка первого рода (ложные срабатывания), обусловленная шумами яркости изображения была не выше 0,003% в час, а также минимизирующий ошибку второго рода (пропуск объектов) при фиксированной ошибке первого рода.
Параллельно-конвейерный алгоритм обнаружения движения, сокращающий время обработки одного кадра в 3-4 раза.
Алгоритмы распознавания ситуационного поведения динамических объектов: обнаружение динамических объектов, двигающихся в поле сил тяготения; распознавание остановки объекта; распознавание траекторий объектов, движущихся в запрещённых направлениях.
Модифицированный алгоритм Хатчинсона для генерации коллекции ограниченно растущих строк а\а^ ... ап, позволяющий пробегать лишь по ограниченным разбиениям.
Сведение задачи сопоставления объектов на различных кадрах при условии разделения некоторых объектов на части, к ограниченной задаче о максимальном взвешенном паросочетании (ОЗМВП). Алгоритм решения ОЗМВП для случая небольших входных данных, использующий модифицированный алгоритм Хатчинсона. Три приближенных алгоритма для общего случая.
Алгоритм стабилизации с учётом движения объектов в кадре.
8. Алгоритм выравнивания яркости при локальном изменении освещённости.
Апробация работы. Результаты диссертационной работы докладывались
на XLVII и XLVIII научной конференции МФТИ, а также на XV, XVI и XVII конференциях молодых учёных, аспирантов и студентов по современным проблемам машиноведения в институте машиноведения им. А.А. Благонравова РАН. Компьютерные видеосистемы семейства «Orwell2k», в которых внедрены результаты работы, демонстрировались на 13 выставках.
Публикации. Основное содержание диссертации отражено в 23 опубликованных работах, в том числе 5 статьях в журналах, входящих в перечень, утверждённый ВАК. Без соавторов опубликовано 9 статей. В соавторстве получены 2 патента на изобретения, 3 свидетельства на полезную модель и 1 свидетельство о регистрации программы.
Структура и объём диссертации. Диссертация состоит из введения, четырёх глав, заключения, списка основных обозначений, списка литературы и приложений. Работа содержит 240 страниц, из них 177 страниц основного текста, 43 рисунка и 13 таблиц на 27 страницах, список литературы из 107 наименований и приложения на 16 страницах.
Приборы и методы представления и восприятия видеоизображений. Модели цифровых сигналов
История получения стабильных во времени изображений начинается с 1816 года, когда изобретатель и исследователь Нисефор Ньепс получил первые фотографии. Одновременно с Ньепсом над способом закрепления изображения в камере-обскуре работал известный французский художник Дагер. Позже Дагер заключил с Ньепсом соглашение о совместном сотрудничестве над изобретением и они продолжили работу вместе. Однако, Ньепс умер в 1833 году, так РІ не опубликовав свой способ при жизни. Дагер же продолжил свои исследования. Датой изобретения фотографии считают 1839, когда Дагер открыл способ, в котором получают сразу позитивное зеркальное изображение, что упрощает процесс, но делает невозможных копирование [1].
Главным толчком к развитию электронных сенсоров было изобретение телевидения. В 1907 году профессор Б. Л. Розинг представил первую пробную электронную систему телевидения, за что Русское техническое общество присудило ему золотую медаль и премию имени К. Ф. Сименса. Однако последующее развитие и коммерческое внедрение телевидение получило в США, благодаря ученику Б. Л. Розинга В. К. Зворыкину [2]. Разработанная В.К.Зворыкиным новая система катодной приёмной и передающей-телевизионной аппаратуры открыла перспективы, о которых механическое телевидение не могло и мечтать. Свои результаты Зворыкин изложил в докладе, прочитанным им в Научно-техническом обществе электриков (Ленинград) во время пребывания в СССР летом 1933 г. Передача изображений в целиком электрической системе без каких бы то ни было движущихся механических частей осуществлялась при помощи электронной трубки, называемой иконоскопом.
Создание в 1969 году нового типа твердотельного телевизионного фотоэлектрического прибора, получившего название прибора с зарядовой связью (ПЗС), обеспечило быстрый прогресс в создании твердотельных датчиков видеосигнала. На базе кристалла кремния оказалось возможным создать сравнительно недорогие ПЗС-структуры, в которых имеются как светочувствительные элементы, так и сдвиговые регистры, обеспечивающие последовательное преобразование пачек зарядов в видеосигнал. К числу чрезвычайно ценных характеристик ПЗС относятся практически нулевой уровень шумов, высокий квантовый выход, имеющий максимум около 600 нм, и широкий динамический диапазон. ПЗС был изобретён Уиллардом Бойлом (Willard Boyle) и Джорджем Смитом (George Smith) в компании Bell Laboratories [3, 4]. В 1970-х годах приборы с зарядовой связью стали широко использоваться в телевизионных системах для астрофизических исследований [5]. Сегодня основное применение ПЗС находит в качестве безвакуумного твердотельного аналога видикона для восприятия и обработки информации в телевидении, устройствах технического зрения, видеокамерах, электронных фотоаппаратах. В январе 2006 Бойл и Смит получили премию Чарльза Старка Дрейпера от Национальной технической академии за их работы над прибором с зарядовой связью.
В ПЗС-датчике находится прямоугольная решётка из узлов, на которой собираются электроны, покрытая тонкой кремниевой пластинкой, для регистрации количества световой энергии. Электроны, появляющиеся на каждом узле, собираются за фиксированный период времени Т.
Ответная реакция каждого элемента пропорциональна интегралу световой энергии, попадающей на поверхность этого элемента за время экспозиции; это свойство используется в астрономии и других приложениях, где требуется получать изображения с низким уровнем шума. Уменьшение шума достигается за счёт того, что чувствительным элементам дают возможность интегрировать принимаемый световой сигнал в течение минут или даже часов.
Следует отметить, что цифровая выходящая информация в большинстве ПЗС-камер преобразуется в аналоговый видеосигнал, а лишь потом попадает в механизм захвата кадра, который создаёт окончательное цифровое изображение.
Опишем кратко модель формирования изображения, предложенную в [6, 7]. Мы будем рассматривать изображение как двумерную функцию вида /(яг, у). Значение функции / в точке с пространственными координатами (х, у) является положительной скалярной величиной, физический смысл которой определяется источником изображения. Если изображение генерируется в результате физического процесса, его значения пропорциональны энергии излучения некоторого физического источника, например, энергии электромагнитных колебаний, вследствие чего функция f(x,y) должна быть ненулевой и конечной, т. е.
Вывод соотношений, определяющих допустимые значения линейного коэффициента порога в методе вычитания фона при обнаружении движения
Первым шагом к обнаружению движения служит разделение пикселов изображения на движимые и неподвижные. Возможно одно из двух: точка (ж, у) принадлежит стационарному фону (гипотеза Щ) или точка (х,у) принадлежит движущемуся объекту (гипотеза Hi). Алгоритм обнаружения движения должен определить некоторую индикаторную функцию шп(д;, у). Если тп(хі у) = О, значит, согласно критерию данного алгоритма, принята гипотеза HQ, если тп(х: у) = 1, то принята гипотеза Hi. Наиболее распространённым алгоритмом для выделения движущихся точек является так называемый алгоритм вычитания фона. Предположим, что для каждого пиксела с координатами (ж, у) значение яркости в случае, если этот пиксел является неподвижным, равно В(х,у). Определим функцию тп(х,у) следующим образом: где Т — некоторый порог движения. Все точки, для которых пгп(х, у) = = 1, считаются подвижными на n-ом кадре, а для которых тпп(х,у) = = 0, считаются точками фона. Если шум яркости точки имеет нормальное распределение Л/"(0,ст2), то можно было бы взять Т = Зет. К сожалению, нам не известно ни значение дисперсии а2, которое может быть разным в каждой точке, ни значение яркости неподвижных точек В(х,у).
Как уже отмечалось выше, наибольшее распространение получил метод вычитания фона, в котором используется адаптивное накопление средней интенсивности. Основная идея, впервые описанная в [38], состоит в том, что для каждого пиксела (х,у), интенсивность которого на n-ом кадре равна 1п(х,у), мы храним в памяти так называемое скользящее среднее интенсивности Вп(х,у), которое задаются следующим образом: где а Є (0,1) — постоянная величина, характеризующая степень обновления. На первом кадре фон совпадает с изображением, а на каждом новом кадре Вп(х, у) изменяется по формуле (2.2). Для оценки уровня шума вводится изменяющийся порог где ат Є (0,1) — коэффициент обновления порога, а То — начальная завышенная оценка шума. В общем случае а ф а?. Функция тп(х, у) теперь будет определяться как где d — линейный коэффициент порога. Докажем, что Вп(х,у) оценивает яркость фоновых точек, а Тп(х,у) является оценкой среднеквадратичного отклонения шума, а также определим, чему должно равняться значение коэффициента d [85]. Анализ алгоритма Пусть {ап} 0 — последовательность одинаково распределённых независимых случайных величин с математическим ожиданием Мап = т и дисперсией Dan = а2. Несмотря на то, что яркость в точке прошла процедуру квантования и может быть представлена лишь дискретным набором значений, мы будем считать, что последовательность {an} L0 представлена непрерывными случайными величинами с непрерывными функциями распределений, а процесс округления эквивалентен сложению с ещё одной случайной величиной, по модулю не превышающей максимально возможной разницы при квантовании. В частности, для яркости изображения наиболее часто используется модель с нормальным распределением Af(m, а2). Пусть {Ьп}=0 — последовательность, определённая следующим образом: где а Є (0,1). То есть последовательность {&n} Lo определена как скользящее среднее последовательности ап с коэффициентом обновления а. Можно показать, что 1) математическое ожидание М(Ъп) — т для любых п, 2) последовательность дисперсий Ъп сходится: lim D(bn) = -,\, 3) если ап Л/"(т, а2), то Ьп Af(m, аа2/(2 — а)). Последнее утверждение следует из первых двух и того факта, что Ъп — линейная комбинация нормально распределённых случайных величин, следовательно Ьп распределена нормально.
Анализ пространственных перемещений на основе принципа однозначного назначения
Впервые идея применить задачу о максимальном взвешенном паросоче-тании (ЗМВП) для построения траекторий особых точек была предложена в работе [30]. Формулировка задачи выглядит следующим образом. Пусть даны два множества особых точек L = {р\ \ і = 1,2, ...,ni} на изображении 1\ и R — {pj j = 1, 2,... ,72-2} на изображении І2, тогда мы можем определить неориентированный взвешенный граф G = (У, Е) следующим образом: V = L U R, Е — {eZJ}. Каждому ребру ец {% = 1,2, ...,ni, j = 1, 2,..., П2), которое связывает вершины р\ из 1\ и pj из І2, приписан вес w(eij) — p(p},Pj). Здесь функция р: L х R — R+ определяет меру схожести двух точек на разных кадрах. Требуется найти паросочетание М С Е максимального веса в графе G. Такое паросочетание фактически соответствует наилучшему продолжению траекторий особых точек. Обобщим задачу продолжения траекторий на случай с областями движения и динамическими объектами. Напомним, что после того, как алгоритмы обнаружения движения разделили точки на подвижные и неподвижные, множество подвижных точек разбивается алгоритмом закраски на несколько подмножеств, которые мы называем областями движения. Любая область движения состоит из близких между собой по расстоянию пикселов. Кроме того, область движения всегда принадлежит конкретному кадру, характеризуется положением на этом кадре, формой и площадью, которые определяются расположением движущихся точек, входящих в рассматриваемую область. Множество областей движения мы будем обозначать 1Z = {rtk}-, t = 1,2,... — номер кадра, к = 1,2,..., m(t), где m(t) — количество областей в кадре t. Подмножество областей движения, которые обнаружены на кадре с номером , будем обозначать 7lt. Наша цель — соединить области движения на разных кадрах таким образом, чтобы они образовали оптимальное множество вершинно-независимых путей. Такие пути мы будем называть траекториями. Напомним формальное определение. Траектория — это последовательность областей rtnkn, ті = l,N, такая, что t{ tj для і j. Момент времени t\ называется моментом появления объекта, момент времени ідг + 1 — моментом исчезновения. Если нам удастся получить такие последовательности областей, то будет решена задача построения траекторий динамических объектов, что в свою очередь позволяет увеличить эффективность визуализации этих объ- Рисунок 3.1. Продолжение траекторий. ектов. Оптимальность построения траекторий — наиболее ключевое понятие в данной задаче. Как было уже отмечено в главе 1, её можно определить, если сформулировать задачу в терминах теории графов. Следуя этой логике, мы будем считать, что в любой момент времени t уже построено некоторое множество Ot — {Oi, О2,... Oje t} траекторий, которые назовём объектами. Объекты представляют из себя последовательность областей движения на кадрах, которые предшествуют текущему кадру t. Определим неориентированный взвешенный двудольный граф G = (V, Е) следующим образом: V — Ot U 7Zt, Е = {е }. Каждое ребро ец соединяет вершины Оі Є Ot и rtj Є IZt. Вес каждого ребра wij = гу(е ) определяет меру схожести объекта с областью нового кадра. Чтобы получить траектории всех динамических объектов на кадре , необходимо продолжить траектории, полученные на предыдущем кадре, теми областями, которые выделены на текущем. Критерием оптимальности построения траекторий будет служить суммарный вес построенных продолжений. Таким образом, мы приходим к задаче однозначного назначения объектов и областей движения. Задача однозначного назначения — это задача построения паросочета-ния с максимальным суммарным весом в графе G. Решение задачи сопоставит объектам текущего кадра новые области движения, при этом каждому объекту будет сопоставлено не более одной области движения, а каждой области движения сопоставлено не более одного объекта. Говоря формальным языком, решение задачи о максимальном взвешенном паросочетании определяет две функции соответствия 7]:Ot —» 7ltUem :7Zt — OtU є. Здесь є — специальный элемент, который служит образом для объектов (областей движения), не участвующих в паросочетании. Объект Ot будет временно пропавшим, если он не сопоставлен ни одной из областей движения в результате решения проблемы о назначении: rj(Ot) = є. После решения проблемы о назначении некоторые области движения могут оказаться не сопоставленными никаким объектам. Тогда мы будем говорить о появлении новых объектов. Любая область движения г, не имеющие прообраза ту-1 (г), то есть (г) = є, определяет новый объект, который будет входить во множество объектов следующего кадра Ot+i.
Функциональная схема и основные параметры компьютерных систем видеонаблюдения
В последнее время широкое применение в различных областях науки, техники и промышленности нашли компьютерные видеосистемы [94, 96, 100, 101]. С участием автора данной диссертации на предприятии ГУП НПЦ «ЭЛВИС» было разработано семейство систем компьютерного зрения "Orwell2k", имеющие широкий диапазон применения: приём, обработка, запись, хранение и анализ видеосигналов; обнаружение, идентификация и распознавание различных объектов; вывод полученной после обработки информации пользователю и взаимодействие с пользователем. Среди указанных применений особую роль играет процесс осуществления указанных операций с динамическими объектами. При участии автора разработана универсальная схема построения компьютерных видеосистем (см. рис. 4.1). Компьютеры, входящие в систему, соединяются между собой с помощью локальной вычислительной сети (ЛВС). Видеокамеры, получающие информацию о происходящем в поле их зрения, подключаются к компьютерным серверам через платы видеозахвата или сетевые видеосервера. Существует несколько типов видеокамер, в частности: Стационарные (обзорные) Поворотные Стационарные видеокамеры — это неподвижно закреплённые камеры, зона обзора которых фиксирована и в процессе работы системы не меняется или меняется крайне редко вмешательством человека. Такие видеокамеры, как правило, используются с ишрокофокусными объективами для того чтобы получить изображение большой области. оворотные видеокамеры — это контейнер, внутри которого находится видеокамера и объектив, установленный на специальном механизме (поворотном устройстве). Поворотные устройства предназначены для телекамер с дистанционным управлением. Они обеспечивают поворот в горизонтальной (до 360) и в вертикальной (до 180) плоскостях, либо только в горизонтальной. Система посылает сигналы управления камерами, которые преобразуются в заданные механические перемещения. Как правило, на поворотные устройства устанавливают трансфокаторы — объективы с переменными фокусными расстояниями, для того, чтобы можно было манипулировать углом обзора. За счёт изменения положения поворотного устройства и угла обзора видеокамеры можно получать более детальные снимки динамических объектов, попадающих в поле зрения обзорных камер. В купольной камере в контейнер, выполненный в виде стеклянного купола, помещено поворотное устройство, на котором установлена видеокамера (без контейнера) и моторизированный объектив (трансфокатор). За счёт оптимального интегрирования стеклянного купола, поворотного устройства, видеокамеры с объективом удаётся резко повысить скорость и точность установки поворотного устройства, так как поворотное устройство работает с грузом существенно меньшего веса, чем при использовании внешнего поворотного устройства. Но при этом в купольных камерах, в отличие от поворотных, угол обзора больше. На рисунке 2 показаны снимки купольной и стационарной камер, сделанные в один и тот же момент времени. Алгоритмы обнаружения динамических объектов выделяют на изображении обзорной камеры подвижные объекты. Затем сервер системы видеонаблюдения, получив информацию об обнаруженных объектах, посылает сигнал предварительно откалиброван-ной купольной камере, которая перемещает объектив в сторону объектов. Затем купольная камера передаёт более детальное изображение людей. Аналоговые камеры могут передавать изображение в систему двумя способами: либо через плату видеозахвата, встроенную в сервер системы, либо через специальные устройства, называемые сетевые видеосервера для преобразования видеосигнала в поток данных для передачи по ІР-сетям. Существуют также так называемые IP-камеры, которые предназначены для передачи изображения через встроенный сервер на компьютер посредством сети по протоколу TCP/IP. Компьютеры, входящие в систему получают изображение от таких камер сразу в цифровом виде. Основное преимущество сетевых видеосерверов перед ІР-камерами — это возможность самостоятельно выбирать уже зарекомендовавшие себя телевизионные камеры под требуемые условия эксплуатации (зиачитель- ные перепады освещённости, видеонаблюдение «день-ночь»). Итак, видеосигнал от камер поступает на обработку с помощью либо плат видеозахвата, установленных на компьютерах, либо по сети посредством сетевых видеосерверов. Кроме того, камеры на поворотных устройствах имеют дополнительные подключения к компьютерам, чтобы система имела возможность изменять зону обзора таких камер, программно управляя положением поворотного устройства, увеличением и фокусным расстоянием системы линз. Цифровое видео хранится на жёстких диске серверов, входящих в систему и индексируется в общей базе данных, что позволяет осуществлять быстрый и эффективный поиск нужных кадров. Компьютерную видеосистему можно условно разделить на две части. Первая часть занимается приёмом, обработкой, хранением и анализом видеосигналов — серверная часть, а вторая взаимодействием с пользователями системы — клиентская часть. Все видеокамеры и компьютерные серверы, обрабатывающие информацию с камер, входят в первую часть. Клиентская часть состоит из компьютерных терминалов (АРМ оператора), позволяющих пользователям получать обработанную информацию, а также принимать решения по настройке и управлению системой. Клиентские компьютеры могут быть подсоединены к системе непосредственно через её локально-вычислительную сеть, либо связываться с серверами посредством Internet. Основное отличие компьютерных видеосистем от врщеосистем вообще заключается в применении достаточно сложных алгоритмов обработки и распознавания изображений с целью обнаружения различных регулярностей/нерегулярностей (объектов и ситуаций) заданного вида на последовательности обрабатываемых кадров.
