Метод пространственно-временной обработки несинхронизированных видеопоследовательностей в системах стереовидения Пьянков, Дмитрий Игоревич

Введение к работе

Актуальность работы. В настоящее время стереовидеопоследова- тельности используются в киноиндустрии, в технических, геоинформационных системах, системах контроля и навигации. Стереовидеопоследова- тельность можно преобразовать под метод просмотра при помощи ана- глифных очков, линейной поляризации или затворных ЖК-панелей; с другой стороны, на основе стереовидеопоследовательности можно извлечь глубину сцены и вычислить расстояние до объектов относительно центра камер. Методы оценки движения и интерполяции кадров могут применяться при сжатии изображений, преобразовании форматов видео, повышении качества видеоматериалов. Методы интерполяции видеопоследовательностей позволяют восстанавливать поврежденные кадры, делают движение объектов плавным при просмотре.

Наиболее активные разработки в сфере пространственной и временной коррекции видеопоследовательностей проводятся такими российскими университетами, как: Институт систем обработки изображений РАН (г. Самара), Московский государственный университет, Санкт- Петербургский государственный университет информационных технологий, механики и оптики, Ярославский государственный университет и ряд других организаций. Следует отметить вклад российских ученых, таких как чл.-корр. РАН, д.ф.-м.н. К.В. Рудаков, чл.-корр. РАН, д.т.н. В.А. Сой- фер, д.т.н. В.П. Пяткин, д.т.н. Л.М. Местецкий, д.т.н. В.В. Сергеев, к.т.н. А.А. Лукьяница, д.ф.-м.н. Ю.В. Визильтер. Большой вклад в развитие теории обработки изображений внесли A.C. Алексеев, Т.Б. Борукаев, P.E. Быков, Г.И. Василенко, Ю.Г. Васин, К.К. Васильев, Г.Л. Гимельфарб, Ю.И. Журавлев, B.C. Киричук, Г.П. Катыс, В.Р. Крашенинников, А.П. Немирко, А.И. Перов, Ю.П. Пытьев, Ю.Г. Сосулин, A.A. Спектор, Я.А. Фурман, Н.Г. Федотов и другие. Среди зарубежных учреждений, занимающихся данной тематикой, можно отметить University of California, Massachusetts Institute of Technology, (США), The University of Queensland (Австралия), University of Manchester, Cambridge (Англия), Soongsil University (Южная Корея), University of Muenster (ФРГ).

Однако до сих пор существуют проблемы при построении стереови- деопоследовательностей на основе несинхронизированных видеопоследовательностей. Стереокадры должны быть максимально синхронизированы между собой. С одной стороны проблема решается при помощи аппаратной синхронизации и калибровки камер до стереосъемки. С другой стороны, не всегда имеется возможность калибровки камер до начала стереосъемки, к тому же сцена может быть снята одной и той же камерой с разных ракурсов. Бюджетный вариант видеокамер не позволяет достичь синхронной записи при частоте 24-30 кадров в секунду ввиду различных факторов: различного времени доступа к устройству хранения, несинхронного старта и т. д. Это обуславливает необходимость длительной обработки и коррекции двух видеопоследовательностей в видеоредакторах, что возможно лишь с участием оператора. Таким образом, данное направление нуждается в совершенствовании методов и алгоритмов пространственно- временной коррекции видеопоследовательностей в задачах стереовидения.

Целью диссертационной работы является повышение качества обработки несинхронизированных видеопоследовательностей в системах стереозрения, видеоредактирования, геоинформационных системах.

Поставленная цель определила необходимость решения следующих

задач:

1. Провести анализ методов, алгоритмов и систем оценки движения и интерполяции, совмещения видеопоследовательностей.

2. Разработать метод временной обработки несинхронизированных видеопоследовательностей на основе оценки движения для построения интерполированных кадров видеопоследовательностей.

3. Усовершенствовать метод пространственной обработки видеопоследовательностей на основе ректификации некалиброванных видеокадров для совмещения видеопоследовательностей.

4. Создать алгоритм пространственно -временной коррекции несин- хронизированных видеопоследовательностей в задачах стереовидения.

5. Создать экспериментальный программный комплекс по оценке движения, интерполяции и ректификации некалиброванных видеопоследовательностей.

6. Провести экспериментальные исследования эффективности разработанных алгоритмов на тестовых выборках.

Область исследования. Работа выполнена в соответствии с пунктом 12 «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» паспорта специальностей ВАК (технические науки, специальность 05.13.01 - системный анализ, управление и обработка информации).

Методы исследования. При выполнении диссертационной работы использовались методы теории обработки информации, методы аналитической геометрии, теория распознавания образов, теория математической морфологии, методы объектно-ориентированного программирования.

Научная новизна диссертационной работы состоит в следующем:

1. Разработан метод временной обработки видеопоследовательностей, основанный на двухэтапной оценке движения видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением при помощи моментов Зернике и Ху, позволяющий скомпенсировать шумы, дрожание камеры, повысить устойчивость к аффинным преобразованиям объектов в задаче построения интерполированных кадров стереовидеопоследовательностей.

6. 1. Разработан метод временной обработки видеопоследовательностей на основе применения статистик высших порядков, позволяющий производить оценку движения для видеопоследовательностей с медленной скоростью передвижения объектов в задаче построения интерполированных кадров стереовидеопоследовательностей.

   2. Усовершенствован метод пространственной обработки видеопоследовательностей, повышающий количество и качество точных соответствий между некалиброванными кадрами видеопоследовательностей на основе процедуры исключения ложных точек, отличающийся устойчивостью фундаментальной матрицы и точностью карт диспаритета при ректификации.

   3. Создан алгоритм пространственно-временной коррекции видеопоследовательностей, позволяющий повысить качество анализа данных в задачах стереовидения при обработке несинхронизированных видеопоследовательностей.

   Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы предназначены для практического применения в программно-аппаратных комплексах видеоредактирования, для анализа данных, полученных аэрофотосъемкой и спутниковой фотографией, в системах стереозрения. На основе диссертационных исследований разработана библиотека программных модулей для создания систем оценки движения и интерполяции кадров видеопоследовательностей, для построения стереовидеопоследовательности из несинхронизированных видеопоследовательностей.

   Реализация результатов работы. Разработанная программа «Анализ методов оценки движения на основе инвариантных моментов в задаче интерполяции видеопоследовательностей (MotionMoments v.1)» зарегистрирована в Российском реестре программ для ЭВМ г. Москва, 16 ноября 2012 г. (свидетельство № 2012660384).

   Получен акт о передаче алгоритмического и программного обеспечения для редактирования видеопоследовательностей и дальнейшего использования в ООО «ДИИП» (г. Санкт-Петербург) от 18 марта 2013 года. Получен акт об использовании материалов диссертационного исследования в учебном процессе Сибирского государственного аэрокосмического университета. Разработанные алгоритмы и программное обеспечение используются в учебном процессе при проведении лекций, лабораторных и практических занятий по дисциплинам «Теоретические основы цифровой обработки изображений», «Алгоритмы обработки изображений и видеопоследовательностей», «Анализ сцен и машинное зрение» в Сибирском государственном аэрокосмическом университете им. академика М. Ф. Решет- нева.

   Основные положения, выносимые на защиту:

   6. 3. 1. Разработанный метод временной обработки видеопоследовательностей с применением моментов Зернике для видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением, зашумленными областями движения.

         2. Разработанный метод временной обработки видеопоследовательностей с применением статистик высших порядков для видеопоследовательностей с медленной скоростью передвижения объектов.

         3. Усовершенствованный метод пространственной обработки видеопоследовательностей для повышения качества ректификации некалиб- рованных кадров видеопоследовательностей.

         4. Алгоритм пространственно-временной обработки несинхронизи- рованных видеопоследовательностей в задачах стереовидения.

         Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на XII, XIII и XVI международных научных конференциях «Решетневские чтения» (Красноярск, 2008, 2009, 2012 гг.), Х! всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан- Удэ, 2012), всероссийских конференциях «Техническое зрение в системах управления» (Москва, 2012, 2013), всероссийских научных конференциях студентов, аспирантов и молодых ученых «Наука. Технологии. Инновации» (Новосибирск, 2008, 2009, 2010, 2012), 13-й и 15-й международной конференции и выставке «Цифровая обработка сигналов и ее применение» (Москва, 2011, 2013), 16-й международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2010), I всероссийской научной конференции молодых ученых «Теория и практика системного анализа» (Рыбинск, 2010), всероссийских конференциях «Актуальные проблемы авиации и космонавтики» (Красноярск, 2008, 2009), VII всероссийской научно- практической конференции с международным участием «Информационные технологии и математическое моделирование» (Анжеро-Судженск, 2008), а также на научных семинарах лаборатории систем цифровой обработки изображений СибГАУ.

         Публикации. По результатам диссертационного исследования опубликовано: 21 печатная работа, из них 3 статьи в научных изданиях из перечня ВАК, 17 тезисов докладов, 1 свидетельство, зарегистрированное в Российском реестре программ для ЭВМ.

         Структура работы. Работа состоит из введения, трех глав, заключения, списка литературы и приложения. Основной текст диссертации содержит 129 страниц, изложение иллюстрируется 39 рисунками и 13 таблицами. Библиографический список включает 172 наименования.

         Похожие диссертации на Метод пространственно-временной обработки несинхронизированных видеопоследовательностей в системах стереовидения

         

         Алгоритмы и методы обработки информации в системах контроля качества процессов крашенияГайнуллин Марат Фаритович

         

         Инвариантный метод анализа распределенных систем обработки информацииАбрамов Сергей Степанович

         

         Методы и системы автоматизации обработки результатов биомониторинга потенциально опасных объектовЯнников Игорь Михайлович

         

         Метод обработки информации для систем адаптивного вычисления прямых тригонометрических функцийФилиппов Алексей Константинович

         

         Синергетический метод синтеза систем хаосодинамической обработки информацииКапустина, Анастасия Сергеевна

         

         Математические модели и методы для автоматизированных систем обработки структурированной информацииЗимакова Мария Вячеславовна

         Методы обработки экспериментальных данных гидроакустических систем для их настройки в условиях воздействия внешней средыТрусова, Оксана Ивановна

         

         Инвариантные методы повышения помехоустойчивости в системах обработки информацииМалинкин, Евгений Витальевич

         

         Модели и методы оптимизации структуры иерархических систем обработки информацииГубко, Михаил Владимирович

         

         Метод и алгоритмы обработки информации в системе поддержки принятия решений процесса получения защитной азотно - водородной атмосферы в производстве метизовВишнякова, Ирина Леонидовна