Введение к работе
Актуальность работы. В сфере профессионального кино и телевидения широко востребованными задачами являются реконструкция оригинальной отснятой видеопоследовательности (компенсация примитивной наложенной графики) и улучшение видеопоследовательности (компенсация изображения произвольного объекта сцены малого размера, удаление царапин, пятен). Методы реконструкции изображений также могут применяться для улучшения спутниковых фотографий и данных лазерной локации. Первые работы в области реконструкции видеопоследовательностей появились в середине 2000-х гг. в Massachusetts Institute of Technology, University of California (США), Universite de Technologie de Compiegne (Франция), Delft University of Technology (Нидерланды), Soongsil University (Южная Корея). Позже аналогичные работы стали появляться в России: в Вычислительном центре РАН (г. Москва), Институте систем обработки изображений РАН (г. Самара), МГУ, МФТИ, С.-ПбГУ. Следует отметить вклад российских ученых, таких как чл.-корр. РАН, д.ф.-м.н. К.В. Рудаков, д.т.н. В.П. Пяткин, д.т.н. Л.М. Местецкий, д.т.н. В.В. Сергеев, к.т.н. А.А. Лукьяница и другие. Однако до сих пор существуют проблемы как теоретического, так и практического характера, связанные как правило, сложными случаями реконструкции реальных видеопоследовательностей (при аппроксимации движения в кадре объектов интереса в кадре, стыковке оригинального и реконструированного материала, синтезе фоновой текстуры), а также с большими вычислительными затратами.
Целью диссертационной работы является повышение качества обработки и повторного использования оригинального видеоматериала в системах видеоредактирования и видеоархивах.
Для реализации поставленной цели необходимо решить следующие задачи.
Провести анализ методов, алгоритмов и систем локализации и компенсации областей искусственно наложенной графики и объектов малого размера, используемых при реконструкции видеопоследовательности.
Разработать модели локализации и реконструкции изображения искусственно наложенной графики, артефактов изображения и объектов малого размера в сложных статических и динамических сценах.
Разработать способ выбора методов наложения текстурных фрагментов для компенсации фона сцены или объекта с признаками движения и без признаков движения на основе нейросетевого подхода.
Усовершенствовать алгоритм локализации искусственно наложенной графики, артефактов изображения в пространственно-временной области.
Создать алгоритм реконструкции изображения под искусственно наложенной графикой, артефактами и объектами сцены малого размера, основанный на анализе обобщенных параметров.
Разработать программное обеспечение для реконструкции видеопоследовательности в областях искусственно наложенной графики, артефактов изображения и объектов малого размера.
Провести экспериментальные исследования эффективности разработанных алгоритмов на тестовых выборках.
Область исследования. Работа выполнена в соответствии с пунктами 5 «Разработка специального математического и программного обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации» и 12 «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» паспорта специальностей ВАК (технические науки, специальность 05.13.01 -системный анализ, управление и обработка информации).
Методы исследования. При выполнении диссертационной работы использовались методы теории моделирования, теория анализа и синтеза, теория обработки информации, методы линейной алгебры, методы объектно-ориентированного программирования.
Научная новизна диссертационной работы состоит в следующем:
Разработана модель локализации и реконструкции искусственно наложенной графики в видеопоследовательностях, позволяющая восстанавливать пикселы фона под искусственно наложенной графикой, артефактами изображения и объектами сцены малого размера, предполагающая учет параметров текстуры в пространственно-временных окрестностях зон компенсации.
Разработан метод реконструкции текстуры, позволяющий выбирать способ реконструкции текстуры и восстанавливать области пропущенных пикселов в зависимости от наличия движения в сцене и анализа окружающей текстурной области, позволяющий выбрать способ реконструкции с применением нейросетевого подхода.
Создан алгоритм реконструкции изображения в ограниченной пространственно-временной области, основанный на различных подходах к текстурной реконструкции на основе анализа обобщенных текстурных параметров, признаков движения окрестностей зон компенсации, параметров цветности в компенсируемых областях.
Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы ориентированы на практическое применение в программном обеспечении подготовки эфира и телевизионных трансляций, программно-аппаратных комплексов видеоредактирования, работы в видеоархивах, а также может использоваться для анализа данных полученных аэрофотосъемкой, спутниковой фотографией, лазерной локацией и другими системами датчиков, данные которых можно представить в виде последовательностей изображений. В рамках диссертационного исследования создано специализированное экспериментальное программное обеспечение для реконструкции видеопоследовательностей.
Реализация результатов работы: программа «Комплекс распознавания номерных знаков транспортных средств (Gatekeeper) зарегистрирована в Реестре программ для ЭВМ г. Москва, 22 апреля 2004 г. (свидетельство №2004610994), программа «Видеоредактор» зарегистрирована в Реестре программ для ЭВМ г. Москва, 25 марта 2010 г. (свидетельство №2010612230). Получен акт о передаче алгоритмического и программного обеспечения для редактирования видеопоследовательностей и разделения их на сцены для дальнейшего использования в ООО «ДИИП» (г. Санкт-Петербург) от 20 апреля 2010 года. Получен акт об использовании результатов диссертационных исследований в учебный процесс Сибирского государственного аэрокосмического университета.
Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на всероссийской конференции «Актуальные проблемы космонавтики» (Красноярск, 2008, 2009 г.), международной научной конференции «Решетневские чтения» (Красноярск, 2008, 2009 г.), международной научно-технической конференции «Кибернетика и высокие технологии XXI века» (Воронеж, 2008 г.), всероссийской научной конференции студентов, аспирантов и молодых ученых «Наука. Технологии. Инновации (Новосибирск, 2008, 2009 г.), межрегиональная научно-практической конференции «Молодежь Сибири - науке России» (Красноярск, 2008, 2010 г.), международной конференции и выставке «Цифровая обработка сигналов и ее применение» (Москва, 2008, 2009, 2011 г.), всероссийской научно-практической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2009 г.), всероссийская научно-практической конференции-конкурсе «Технологии Microsoft в теории и практике программирования» (Томск, 2010 г.), всероссийской научной конференции молодых ученых «Теория и практика системного анализа» (Рыбинск, 2010 г.), Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых с международным участием «Молодежь и современные информационные технологии» (Томск, 2011 г.).
Публикации. По результатам диссертационного исследования опубликовано 20 печатных работ, из них 4 статей (3 статьи в изданиях, рекомендованных ВАК), 14 тезисов докладов, 2 свидетельства, зарегистрированных в Российском реестре программ для ЭВМ.
Структура работы. Работа состоит из введения, трех глав, заключения, списка литературы и приложения. Основной текст диссертации содержит 109 страниц, изложение иллюстрируется 16 рисунками и 20 таблицами. Библиографический список включает 134 наименования.
