Содержание к диссертации
Введение
Глава 1. Обзор методов выделения движения 15
1.1. Постановка задачи 15
1.2. Основные обозначения 18
1.3. Глобальные методы 21
1.4. Локальные методы 23
1.5. Мультимасштабный подход 26
1.6. Фазовый метод вычисления оптического потока 28
1.7. Выводы 28
Глава 2. Алгоритмы вычисления оптического потока 30
2.1. Регуляризованное вычисление оптического потока 30
2.2. Применение медианного фильтра в мультимасштабном вычислении оптического потока 40
2.3. Комбинированный мультимасштабный алгоритм вычисления оптического потока 41
2.4. Выводы 42
Глава 3. Выделение движущихся объектов с использованием оптического потока 43
3.1. Выделение движущихся объектов как задача сегментации . 43
3.2. Комбинированные алгоритмы сегментации 50
3.3. Выделение объектов в затрудненных условиях съемки 55
3.4. Выводы 57
Глава 4. Программная инструментальная система визуальной разработки и испытания алгоритмов 59
4.1. Анализ существующих инструментальных систем 60
4.2. Примеры диаграмм разработанной программной инструментальной системы 63
4.3. Описание выполнения диаграммы 67
4.4. Результаты разработки визуальной программной инструментальной системы 71
Глава 5. Параллельная реализация алгоритмов выделения объектов 72
5.1. Анализ алгоритмов вычисления оптического потока 73
5.2. Разработка параллельной реализации алгоритма медианной фильтрации изображений 76
5.3. Оценка скорости выполнения комбинированного алгоритма вычисления оптического потока 81
5.4. Выводы 82
Глава 6. Экспериментальное исследование комбинированных алгоритмов 83
6.1. План экспериментального исследования комбинированного алгоритма вычисления оптического потока 84
6.2. Результаты экспериментального исследования комбинированного алгоритма вычисления оптического потока 86
6.3. План экспериментального исследования алгоритмов выделения движущихся объектов .' 89
6.4. Результаты экспериментального исследования алгоритмов выделения движущихся объектов 91
6.5. Сравнение комбинированного алгоритма вычисления оптического потока с глобальными алгоритмами 97
6.6. Оценка скорости выполнения разработанных алгоритмов выделения движущихся объектов 97
6.7. Выводы 98
Заключение 100
Литература 104
- Комбинированный мультимасштабный алгоритм вычисления оптического потока
- Выделение объектов в затрудненных условиях съемки
- Примеры диаграмм разработанной программной инструментальной системы
- Разработка параллельной реализации алгоритма медианной фильтрации изображений
Введение к работе
Актуальность работы Системы видеонаблюдения находят широкое применение в задачах борьбы с терроризмом, охраны объектов, мониторинга дорожного движения. Эти задачи являются чрезвычайно актуальными и затрагивают многие стороны жизни человека.
С появлением дешевых цифровых видеорегистраторов стало возможным обрабатывать измерительные данные при помощи компьютера, что привело к появлению широкого спектра новых задач в цифровой обработке сигналов. Примерами таких задач являются охрана периметра и внутренней территории объекта, обнаружение и распознавание лиц, распознавание движения, слежение за спортивными мероприятиями.
В данной работе исследуется задача выделения движущихся объектов в последовательностях видеокадров. Разработанные автором алгоритмы и их программная реализация представляют интерес для организаций, занимающихся обеспечением безопасности на предприятиях, складах, вокзалах и предотвращением террористических актов. Для организации видеонаблюдения требуется большое количество видеокамер. В результате имеет место интенсивный поток измерительной информации, и для его анализа требуются эффективные и экономные алгоритмы автоматизированного анализа.
Появление параллельных графических процессоров, позволяющих выполнять научные расчеты, делает актуальной задачу разработки эффективных и устойчивых параллельных алгоритмов, выполняющихся на графическом процессоре и позволяющих автоматизировать выделение движущихся объектов в видеопоследовательности высокой четкости в реальном масштабе времени. Такие алгоритмы могут использоваться как для анализа измерительной информации, полученной с обзорной видеокамеры высокой четкости, так и для параллельной обработки информации с нескольких следящих или обзорных видеокамер низкого или среднего разрешения.
Современные методы анализа последовательностей видеокадров основаны на методах выделения движения. Полученную информацию о движении можно использовать для дальнейшего анализа, комбинируя ее со статическими данными отдельных кадров. Движение характеризует оптический по-ток(ОП), который является оценкой перемещения пикселей от кадра к кадру. Для вычисления оптического потока наиболее часто используются локальные и глобальные дифференциальные алгоритмы. Локальные дифференциальные алгоритмы позволяют достаточно быстро вычислить оптический поток, но точность полученного ОП в некоторых случаях является недостаточной для устойчивого выделения движущихся объектов. Глобальные методы вычисления ОП являются более точными, но их вычислительная сложность не позволяет их использовать в некоторых задачах реального времени. Поэто-
му разработка точных вычислительно эффективных алгоритмов вычисления ОП, а также алгоритмов, обеспечивающих надежное оперативное выделение движущихся объектов в реальном масштабе времени на основе ОП, и создание параллельной программной реализации разрабатываемых алгоритмов являются актуальными задачами.
Исследование и разработка алгоритмов обработки видеоданных, как правило, требует проведения трудоемкого вычислительного эксперимента на модельных и реальных данных большого объема. Поэтому важно корректно организовать вычислительный процесс при модификации и тестировании алгоритмов. Таким образом, создание программной визуальной инструментальной системы, позволяющей частично автоматизировать организацию вычислительного процесса, также является актуальной задачей.
Целью диссертационной работы является разработка алгоритмов и программ, позволяющих устойчиво выделять движущиеся объекты и оценивать их параметры в последовательностях видеокадров в режиме реального времени. При этом целевой аппаратной платформой является персональный компьютер с установленным графическим процессором. Разработанные алгоритмы должны быть вычислительно эффективными и устойчивыми.
Основные задачи работы:
Разработка алгоритма вычисления оптического потока, позволяющего вычислять оптический поток в режиме реального времени за счет параллельной обработки и обладающего свойством устойчивости (робаст-ности) относительно возмущений входных данных.
Разработка комбинированных алгоритмов и программной реализации выделения движущихся объектов на неподвижном и малоподвижном фоне на основе совместного анализа полученных оценок оптического потока и статических признаков в отдельном кадре.
Разработка алгоритмов и программных средств, позволяющих выделять движущиеся объекты в осложненных условиях съемки, в том числе быстродвижущиеся одиночные объекты в условиях сильного зашум-ления, а также множественные объекты в условиях резкого изменения яркости отдельных фрагментов динамической сцены.
Разработка параллельной программной реализации алгоритмов на графическом ускорителе.
Разработка программной инструментальной системы визуальной реализации и испытания алгоритмов обработки видеокадров, позволяющая интерактивно модифицировать исследуемые алгоритмы и анализировать их поведение на модельных или реальных входных данных, а также исследовать реализованные на графическом процессоре алгоритмы.
Методы исследований базируются на методах организации вычислитель-
ных процессов и компьютерных экспериментов по испытанию и исследованию алгоритмов, на методах вычислительной математики и статистического оценивания, на методах решения некорректных задач, на методах преобразований и анализа изображений.
Научная новизна работы состоит в следующем:
Совместное использование регуляризованных оценок и медианой фильтрации в комбинированном мультимасштабном локальном алгоритме вычисления оптического потока, обеспечивающее повышение точности и устойчивость полученных оценок.
Разработка эффективных комбинированных алгоритмов выделения движущихся объектов на основе совместного анализа оптического потока и статических признаков отдельного кадра.
Параллельное представление и программная реализация разработанного алгоритма вычисления оптического потока, ориентированное на выполнение на графическом процессоре.
Адаптация алгоритмов выделения движущихся объектов к осложненным условиям наблюдения: а) на основе линейной модели движения высокоскоростных объектов на подвижном фоне в условиях сильного зашумления, б) на основе модели импульсного изменения яркости объектов динамической сцены.
Смешанное визуально-текстовое представление алгоритмов, интерактивная коррекция и организация вычислительного процесса в программной инструментальной системе реализации и испытания алгоритмов обработки видеокадров.
Практическая значимость Программная реализация предложенных параллельных алгоритмов выделения движущихся объектов на основе оптического потока может успешно применяться в задачах охраны периметра и территории объектов благодаря возможности обработки поток видеоизмерений с нескольких измерительных устройств. Применение быстрых алгоритмов вычисления оптического потока позволяет обрабатывать измерения в режиме реального времени, а в режиме постобработки существенно повысить оперативность анализа данных. Разработанные алгоритмы выделения движущихся объектов, адаптированные к осложненным условиям наблюдения в некоторых реальных задачах (быстрое по сравнению с темпом регистрации данных движение, сильное зашумление, значительное изменение яркости объектов динамической сцены), оказываются работоспособными в тех случаях, когда существующие стандартные алгоритмы не дают надежных результатов. Программная реализация разработанных алгоритмов вычисления оптического потока на параллельном графическом процессоре может при-
меняться во многих задачах: при сжатии и передаче видеоинформации, в робототехнике и стереозрении, в задачах идентификации личности.
Разработанная программная инструментальная система визуальной реализации исследования алгоритмов может быть использована для различного рода испытаний алгоритмов, обрабатывающих последовательности многомерных данных, в том числе алгоритмов, выполняющихся на графическом процессоре.
На защиту выносятся следующие основные результаты и положения:
Комбинированный мультимасштабный регуляризованный устойчивый алгоритм вычисления оптического потока.
Алгоритмы выделения движущихся объектов на основе оценок оптического потока, в том числе быстродвижущихся объектов при большой зашумленности видеокадров и множественных объектов при импульсном изменении яркости.
Параллельная реализация разработанных алгоритмов.
Программная инструментальная система визуальной реализации и испытания алгоритмов обработки видеоданных.
Внедрение работы. Результаты работы были использованы в НИР, проводимой в ОАО «НИЦ ЭТУ», и использованы в учебном процессе кафедры МО ЭВМ СПбГЭТУ «ЛЭТИ».
Апробация работы. Основные положения, результаты исследований и выводы, содержащиеся в диссертационной работе, обсуждались в широком кругу специалистов, ученых и разработчиков систем слежения в УНИЦ ПСКС «ЛЭТИ», на конференциях ППС СПбГЭТУ «ЛЭТИ», а также на научно-технических конференциях:
«Технологии Microsoft в теории и практике программирования», г.Санкт-Петербург, 2007 г.
VI Всероссийская межвузовская конференция молодых ученых, г. Санкт-Петербург, 2009 г.
«Технические средства противодействия террористическим и криминальным взрывам», г. Санкт-Петербург, 2009 г.
«Информационно-измерительное обеспечение полигонных (космодром-ных) испытаний вооружения и военной техники», г. Великий Новгород, 28-30 июня 2006 г.
Публикации. По теме диссертации опубликованы 5 научных работ, из них 3 - статьи, 2 - работы в материалах конференций. 2 статьи опубликованы в журналах, входящих в перечень ведущих периодических изданий (ВАК).
Структура и объем диссертации. Диссертационная работа состоит из введения, шести глав с выводами, заключения, одного приложения и списка литературы, включающего 102 наименования. Основная часть работы изложена на 112 страницах машинописного текста и содержит 67 рисунков.
Комбинированный мультимасштабный алгоритм вычисления оптического потока
Разработка алгоритмов вычисления оптического потока и их программная реализация — сложная задача, требующая проведения большего количества вычислительных экспериментов. Большинство из проводимых экспериментов являются трудоемкими задачами, для проведения которых требуется оптимальная организация вычислительного процесса, интерактивное изменение параметров алгоритмов и самих алгоритмов, интерактивное исследование поведения алгоритмов при различных входных параметрах . Как оказалось, существующие инструментальные системы не предоставляют всех необходимых функциональных возможностей.
На основании опыта разработки и программной реализации алгоритмов обработки видеопоследовательностей были сформулированы следующие основные варианты использования программной инструментальной системы. 1. реализация последовательного алгоритма с возможностью интерактивного исследования поведения алгоритма при различных входных воздействиях; 2. интерактивное внесение изменений в реализацию алгоритма без необходимости перезапуска и перекомпиляции программы, в том числе использование модели «ленивых вычислений» для получения необходимых данных; 3. реализация параллельного алгоритма на графическом процессоре, ин терактивное внесение модификаций в реализацию, интерактивное исследование поведения параллельного алгоритма при различных входных воздействиях, возможность сравнения результатов параллельной и последовательной реализации алгоритма при одних и тех же входных воздействиях; 4. организация хранения различных модификаций алгоритма, одновременное сравнение результатов выполнения различных модификаций при одинаковых входных данных. Не смотря на обилие существующих средств разработки и анализа алгоритмов, ни одно из них не поддерживает все перечисленные варианты использования в полной мере. Поэтому в работе была поставлена задача разработки программной инструментальной системы визуальной реализации и испытания алгоритмов. С этой целью в разделе 4.1 будет дано краткая характеристика существующих аналогичных инструментальных систем с точки зрению удовлетворения поставленным вариантам использования. В разделе 4.2 будут описаны примеры диаграмм, демонстрирующих ключевые варианты использования программно инструментальной системы, а также примеры диаграммы стандартных алгоритмических конструкций. В разделе 4.4 будет описаны результаты разработки программной инструментальной системы визуальной разработки алгоритмов. Перечислим некоторые наиболее популярные средства написания прототипов вычислительных алгоритмов. Наиболее известные - это: matlab, simulink, mathcad, labview. К менее известным свободным аналогам можно отнести scilab, scicos, octave. Условно разделим представленные средства на две группы: классические системы, в которых вычислительный алгоритм определятся с помощью традиционной программы на каком-либо языке программирования, и визуальные системы, в которых программа определяется с помощью диаграммы, описывающей функциональные блоки и потоки данных между блоками. Системы второй группы поддерживают парадигму визуального программирования. К системам первой группы относятся matlab [81, 82], mathcad [83], scilab [84], octave [85]. Все перечисленные системы имеют мощный процедурный язык программирования, встроенные математические библиотеки для решения стандартных вычислительных задач, возможность создания пользовательского интерфейса для определения параметров вычислительного эксперимента. К системам визуального программирования относятся Lab View [86, 87], simulink [88], scicos. Эти системы поддерживают парадигму визуального программирования — способ создания программы для ЭВМ путём манипулирования графическими объектами вместо написания её текста. Системы Simulink и Scicos позволяют использовать комбинированное текстово-визуальное описание программы, в то время как LabVIEW позволяет задавать программу только на визуальном языке G. Перечислим основные выявленные неудобства использования перечисленных инструментальных средств: Рабочий цикл разработки вычислительного алгоритма требует обязательного перезапуска программы при внесении в неё каких-либо изменений. При этом результаты предыдущих вычислений всех операций теряются. Было бы удобнее иметь систему кэширования вычисленных данных, чтобы минимизировать необходимость выполнения повторных вычислений. Текстовые средства разработки являются достаточно гибкими, но не всегда достаточно наглядными. Наоборот, визуальные средства наглядно представляют программу, но иногда не достаточно гибки для решения поставленной вычислительной задачи. Было бы интересно иметь комбинированное средство текстово-визуальной разработки программы вычислительного алгоритма. Такая возможность реализовано в системах simulink и scicos, однако применять такой подход не очень удобно. Создание пользовательского интерфейса требует написание дополнительного кода в системах тестового программирования. В визуальных системах, например в Lab VIEW это реализовано таким образом, что определенным блокам соответствуют определенные элементы управления. Было бы удобно, если бы пользовательский интерфейс создавался с минимальным вмешательством разработчика по описанию типов данных и взаимосвязей между данными. Во всех этих системах использование существующих библиотек обработки изображений, таких как vigra и itk, связано с большими сложностями создания программной обертки для вызова функций библиотек из инструментальной системы. Для этих графических библиотек существуют уже созданные программные обертки для языка Python , поэтому если бы инструментальная система была реализована на языке Python, вызов функций обработки изображений не представлял бы сложности.
Анализ существующих средств показал целесообразность создания собственной комбинированной визуальной среды разработки и тестирования алгоритмов на основе языка Python. Основными целями при этом были: обес печить удобное тестирование и анализ алгоритмов; обеспечить наглядное представление алгоритмов; обеспечить высокую скорость выполнения алгоритмов; обеспечить унифицированный адаптируемый пользовательский интерфейс; повысить структурированность представления алгоритма.
Выделение объектов в затрудненных условиях съемки
В процессе разработки алгоритмов выделения движущихся объектов и их программной реализации был сформулирован набор вариантов использование, которыми должна обладать программная инструментальная система для обеспечения удобного и наглядного цикла разработки алгоритмов.
Новизна разработанной программной системы заключается в комбинированном трехуровневом представлении алгоритма в виде диаграммы. Нулевой уровень представления алгоритма является укрупненным информационным графом алгоритма, показывающим поток данных между его частями. Первый уровень представления алгоритма кроме потока данных между отдельными блоками диаграммы показывает код подпрограммы, регулирующей семантику каждого блока. Третий уровень представления позволяет редактировать код подпрограммы каждого блока диаграммы, как обычную текстовую программу. Кроме того, разработанная программная система позволяет интерактивно разрабатывать параллельные программы для графических процессоров.
Разработанная инструментальная система будет использована для дальнейших исследований. В пятой главе с её помощью будет разработана эффективная параллельная реализация комбинированного алгоритма вычисления оптического потока на графическом процессоре. В шестой главе будет проведено экспериментальное исследование комбинированного алгоритма вычисления оптического потока и комбинированного алгоритма выделения движущихся объектов.
Поскольку в целевую установку исследования в части программных средств решения задачи выделения движения объектов входило требование реализуемости разрабатываемых алгоритмов в режиме реального времени, то оно в значительной степени определило как класс возможных алгоритмов с точки зрения их алгоритмической сложности, так и возможность их эффективной реализации на выбранной аппаратной платформе. Не исключая в использования в дальнейшем более мощных специализированных вычислительных средств, в рамках данного исследования была принята ориентация на использование в качестве аппаратных средств ускорения вычислений современных массовых графических процессоров.
С этой точки зрения алгоритмы, реализованные в рамках описанной в главе 4 инструментальной системы, были запрограммированы так, что их наиболее узкие с точки зрения производительности места были реализованы на языке C++. Эти же фрагменты программ являлись и предметом дальнейшего анализа с точки зрения целесообразности и возможности их распараллеливания для реализации на графическом процессоре. Далее представлен такой анализ и способы параллельной реализации соответствующих фрагментов алгоритмов и программ. В 5.1 описывается параллельная реализация ключевого с точки зрения требования реального времени процедуры вычисления оптического потока. Представленная реализация должна обеспечить быстрое выполнение этой базовой подзадачи при выделении движущихся объектов. В 5.2 описывается параллельная реализация алгоритма медианной фильтрации изображения, который является наиболее трудоемким шагом при вычислении оптического потока. В 5.3 предложен анализ скорости выполнения предложенного комбинированного алгоритма вычисления оптического потока. Принятые ограничения на скорости выполнения разработанных алгоритмов потребовали их частичной реализации на графическом процессоре. Результаты экспериментальных исследование алгоритмов показали [89], что при использовании графических процессоров можно добиться увеличения производительности некоторых из них до 400 раз. В среднем, увеличение производительности достигает 50-90 раз. Модель программирования в CUDA предполагает группирование потоков. Потоки объединяются в блоки потоков (thread block) — одномерные или двумерные сетки потоков, взаимодействующих между собой при помощи разделяемой памяти и точек синхронизации. Программа (ядро, kernel) исполняется над сеткой (grid) блоков потоков (thread blocks). Одновременно исполняется одна сетка. Каждый блок может быть одно-, двух- или трехмерным по форме, и может состоять из 512 потоков на текущем аппаратном обеспечении [90]. В [91, 92] описаны основные стратегии разработки эффективных реализаций алгоритмов на GPU. При разработке и анализе «узких» мест алгоритма выделения движущихся объектов стало ясно, что наиболее трудоемким шагом является вычисление алгоритм вычисления оптического потока. В [66, 93] была представлена реализация современных вариационных алгоритмов вычисления оптического потока на графических процессорах. При этом максимальная производительность алгоритма tvll составляла 21 кадр в секунду для разрешения 320 х 240 пикселей. Алгоритм Humber-Ll вычислялся со скоростью 1.4 кадра в секунду для разрешения 640 х 480 пикселей. Анализ современных исследований показал, что существующие методы не позволяют вычислять оптический поток в режиме реального времени. Использование простой модели вычислений в разработанных алгоритмах вычисления оптического потока позволяют рассчитывать на создание параллельной реализации, позволяющей вычислять оптический поток в режиме реального времени для размера видеокадров 1024 х 1024 и более. Проведем анализ производительности локальных алгоритмов вычисления оптического потока с точки зрения выполнения на графическом процессоре. Основные операции, которые необходимо реализовать на GPU, представлены в таблице 5.1. Все перечисленные в таблице 5.1 операции являются поточечными в пространстве кадров, поэтому легко могут разделены на произвольное количество потоков (вплоть до одного потока на один пиксель). Операции с № 1, 2, 4 реализуются на основе фильтра «свертка», для которого существует эффективная реализация на графическом процессоре. Операции № 3, 8 реализуются с использованием стандартных возможностей GPU (текстурная фильтрация и интерполяция). Для вычисления операций № 5, 6 существуют математические выражения, позволяющие эффективно вычислить их значения.
Примеры диаграмм разработанной программной инструментальной системы
В диссертационной работе были поставлены следующие задачи: разработать алгоритмы выделения движущихся объектов, позволяющие одновременно обрабатывать несколько видеопотоков с низким и средним разрешении, или 1-2 видеопотока высокой четкости. В качестве целевой платформы из соображений экономической эффективности был выбран современный персональный компьютер с установленным графическим процессором.
Требования высокой производительности определили класс используемых алгоритмов. Были предложены 2 модификации, позволяющие повысить точность вычисления оптического потока локальным дифференциальным методом. Первая модификация заключается в использовании медианного фильтра с большим радиусом. Использование медианного фильтра для корректировки поля оптического потока уже предлагалось ранее, однако в данной работе используется другая интерпретация медианного фильтра: медианный фильтр выступает аналогом сглаживающего члена, присутствующего в глобальных методах вычисления ОП. По этой причине если в дрзтих работах для фильтрации используется окно радиусом 3x3 или 5x5, то в этой работе предлагается использовать окно порядка 15x15 или 25x25.
Вторая модификация основана на методах решения некорректных задач. К минимизируемому функционалу предлагается добавить регуляризующий член. Выбор коэффициента регуляризации базируется на оценках неточности вычислений матрицы градиента Н, вектора производных по времени В, оценки скорости перемещения, а также обратно пропорционален числу обусловленности матрицы НТН.
Эффективность разработанных модификаций была подтверждена сравнительным анализом локальных дифференциальных алгоритмов с использованием предложенных модификаций и без. Для проведения анализа использовались стандартные модельные видеопоследовательности, разработанные группой американских ученых в 2006 году. Анализ результатов показал, что разработанные модификации в среднем на 48% уменьшают ошибку измерения вектора оптического потока для данных модельных последовательностей. По сравнению с одними из наиболее точных на сегодняшний день разработанные алгоритмы увеличивают ошибку в среднем на 138%. Достигнутая точность оказалось достаточной для разработки комбинированных алгоритмов выделения движущихся объектов в видеопоследовательностях.
Требования к быстродействию разрабатываемых алгоритмов чрезвычайно сузило класс рассматриваемых алгоритмов сегментации. На основе алгоритма вычисления ОП было разработано 4 алгоритма выделения движущихся объектов, отличающиеся друг от друга по способу формирования поля признаков и способу выделения объектов. Для их сравнительного анализа были разработаны характерные модельные последовательности, имеющие характеристики реальных последовательностей (освещенности,уровню шума, размеров присутствующих объектов, скорость перемещения). В качестве измеряемых характеристик использовалось количество пропущенных и ложных объектов, характеризующих общую устойчивость выделения объектов. Разработанный комбинированный алгоритм позволяет существенно снизить число пропускаемых объектов в процессе выполнения алгоритма выделения движущихся объектов. В первом анализируемом случае среднее число пропущенных объектов в кадре снизилось с 0.22 до 0, а во втором случае с 0.6 до 0.17.
Для достижения требуемых характеристик была разработана параллельная программная реализация разработанных алгоритмов на графических процессорах. Основной трудностью при реализации алгоритма на графическом процессоре является организация эффективного доступа к памяти. Классы используемых алгоритмов изначально подбирались таким образом, чтобы обеспечить высокий прирост производительности при реализации алгоритмов на графическом процессоре, что позволило обеспечить требуемый прирост производительности. В результате, Разработанный алгоритм вычисления оптического потока работает приблизительно в 20 раз быстрее глобального метода вычислений TVL1, а алгоритм выделения движущихся объектов удовлетворяет поставленным требованиям производительности.
Для исследования алгоритмов и их параллельной реализации на графическом процессоре была создана специальная инструментальная визуальная программная система реализации и испытания алгоритмов. Основные её преимущества заключаются в эффективной организации вычислительного процесса и в возможности разработки и испытания параллельных алгоритмов, работающих на графическом процессоре.
Научная новизна работы заключается в следующем: а) комбинированный локальный дифференциальный алгоритм вычисления оптического потока, сочетающий медианный фильтр и регуляризованную оценку; б) комбинированный алгоритм выделения движущихся объектов на основе алгоритма вычисления оптического потока, удовлетворяющий заданным требованиям; в) параллельная реализация предложенных алгоритмов вычисления оптического потока и выделения движущихся объектов на целевой аппаратной платформе; г) модель смешанного представления алгоритма и организация вычислительного процесса в программной инструментальной системе реализации и испытания алгоритмов.
Практическая значимость проделанной работы заключается в следующем: разработанные алгоритмы устойчивого выделения движущихся объектов в реальном времени являются эффективными и позволяют одновременно обрабатывать измерения с нескольких видеорегистраторов в режиме реального времени, что позволяет их применять в различных задачах мониторинга, таких как охрана периметра и территории объектов, слежение за дорожным движением, анализ спортивных мероприятий; разработанный визуальный программный инструментальный комплекс может быть использован для анализа широкого класса обработки видеоданных.
Разработка параллельной реализации алгоритма медианной фильтрации изображений
По сравнению с одними из наиболее точных на сегодняшний день разработанные алгоритмы увеличивают ошибку в среднем на 138%. Достигнутая точность оказалось достаточной для разработки комбинированных алгоритмов выделения движущихся объектов в видеопоследовательностях.
Требования к быстродействию разрабатываемых алгоритмов чрезвычайно сузило класс рассматриваемых алгоритмов сегментации. На основе алгоритма вычисления ОП было разработано 4 алгоритма выделения движущихся объектов, отличающиеся друг от друга по способу формирования поля признаков и способу выделения объектов. Для их сравнительного анализа были разработаны характерные модельные последовательности, имеющие характеристики реальных последовательностей (освещенности,уровню шума, размеров присутствующих объектов, скорость перемещения). В качестве измеряемых характеристик использовалось количество пропущенных и ложных объектов, характеризующих общую устойчивость выделения объектов. Разработанный комбинированный алгоритм позволяет существенно снизить число пропускаемых объектов в процессе выполнения алгоритма выделения движущихся объектов. В первом анализируемом случае среднее число пропущенных объектов в кадре снизилось с 0.22 до 0, а во втором случае с 0.6 до 0.17.
Для достижения требуемых характеристик была разработана параллельная программная реализация разработанных алгоритмов на графических процессорах. Основной трудностью при реализации алгоритма на графическом процессоре является организация эффективного доступа к памяти. Классы используемых алгоритмов изначально подбирались таким образом, чтобы обеспечить высокий прирост производительности при реализации алгоритмов на графическом процессоре, что позволило обеспечить требуемый прирост производительности. В результате, Разработанный алгоритм вычисления оптического потока работает приблизительно в 20 раз быстрее глобального метода вычислений TVL1, а алгоритм выделения движущихся объектов удовлетворяет поставленным требованиям производительности.
Для исследования алгоритмов и их параллельной реализации на графическом процессоре была создана специальная инструментальная визуальная программная система реализации и испытания алгоритмов. Основные её преимущества заключаются в эффективной организации вычислительного процесса и в возможности разработки и испытания параллельных алгоритмов, работающих на графическом процессоре.
Научная новизна работы заключается в следующем: а) комбинированный локальный дифференциальный алгоритм вычисления оптического потока, сочетающий медианный фильтр и регуляризованную оценку; б) комбинированный алгоритм выделения движущихся объектов на основе алгоритма вычисления оптического потока, удовлетворяющий заданным требованиям; в) параллельная реализация предложенных алгоритмов вычисления оптического потока и выделения движущихся объектов на целевой аппаратной платформе; г) модель смешанного представления алгоритма и организация вычислительного процесса в программной инструментальной системе реализации и испытания алгоритмов.
Практическая значимость проделанной работы заключается в следующем: разработанные алгоритмы устойчивого выделения движущихся объектов в реальном времени являются эффективными и позволяют одновременно обрабатывать измерения с нескольких видеорегистраторов в режиме реального времени, что позволяет их применять в различных задачах мониторинга, таких как охрана периметра и территории объектов, слежение за дорожным движением, анализ спортивных мероприятий; разработанный визуальный программный инструментальный комплекс может быть использован для анализа широкого класса обработки видеоданных.
Кроме того, разработанный алгоритмы были применены в задаче выделения одиночного быстродвижущегося объекта в условиях сильного зашум-ления. Применение стандартных корреляционных методов в этих условиях приводит к множественным ложным целям. Вычисление оптического потока позволяет получить дополнительную информацию о перемещении видеокамеры и прогнозировать положение движущегося объекта в следующем кадре, что позволяет выделять движущийся объект с использованием калмоновской фильтрации. В результате, поставленная в диссертационной работе задача была успешна решена.
