Содержание к диссертации
Введение
1. Аналитический обзор известных подходов и методов видеокомпрессии 18
1.1. Анализ особенностей цифрового представления видеоинформации 18
1.2. Обзор основных подходов к цифровой видеокомпрессии 20
1.2.1. Методы внутрикадровой цифровой видеокомпрессии 21
1.2.2. Методы межкадровой цифровой видеокомпрессии , 37
1.3. Использование алгоритмов внутрикадрового и межкадрового кодирования в
Современных междун а родных стандартах видеокомпрессии 45
1.3.1. Стандарты mpeg 46
1.3.2. Рекомендации н.26х, 48
1.4. Методы оценки качества кодирования 51
1.4.1. Объективные оценки качества кодирования 51
1.4.2. Субъективные оценки качества кодирования 53
1.5. Выводы 56
2. Разработка алгоритмов высокопроизводительного внутрикадрового видеокодирования на основе алгоритмов оптимизированных дельта-преобразований второго порядка 57
2.1. Ан ал из требований к алгоритмам внутрикадрового кодирования на основе Дельта-преобразований 57
2.2. Основные достоинства и недостатки известных алгоритмов дельта-преобразований 58
2.3. Постановка задачи дельта-преобразования второго порядка 62
2.4. Базовые алгоритмы двоичного дельта-преобразования 64
2.4.1. Оптимизированные дельта-преобразования второго порядка па основе вторых разностей 64
2.4.2. Модифицированный алгоритм двоичного дельта-преобразования со сглаживанием 65
2.5. Комбинированный алгоритм дельта-преобразований для видеокодирования 69
2.6. Разработка алгоритма внутрикадрового видеокодирования 78
2.7. Теоретическая оценка вычислительной трудоемкости разработанного алгоритма внутрикадровой компрессии видеопоследовательностей 81
2.8. Дополнительные методики повышения эффективности кодирования видеоизображений 83
2.8.1. Преобразования цветовых пространств 83
2.8.2. Локальное прореживание изображений , 84
2.8.3. Предварительная обработка изображений 86
2.8.4. Статистическое кодирование результатов работы алгоритма внутрикадровой компрессии 87
2.9. Методика управления степенью компрессии внутрикадрового кодера для стабилизации выходной битовой скорости видеокодера 89
2.10. Выводы 90
Разработка алгоритмов высокопроизводительного межкадрового видеокодирования 93
3.1. Анализ требований к алгоритмам межкадрового кодирования 93
3.2. Анализ особенностей разностных кадров 95
3.3. Базовый алгоритм межкадрового кодирования изображений 98
3.4. Оценка теоретически возможного коэффициента компрессии разностных
Кадров при использовании разработанного алгоритма межкадрового кодирования 105
3.5. Теоретическая оценка вычислительной трудоемкости разработанного
Алгоритма межкадровой компрессии видеопоследовательностей 106
3.6. Разработка алгоритма быстрого выбора оптимальной шаблонной матрицы. 108
3.7. Дополнительные методики повышения степени компрессии межкадрового Кодера 110
3.8. Методика управления степенью компрессии межкадрового кодера для Стабилизации выходной битовой скорости видеокодера 114
3.9. Алгоритм адаптивного управления скоростью выходного потока видеокодера 116
3.10. Выводы 118
Программная реализация разработанных алгоритмов компрессии видеоданных 120
4.1. Основные требования к программной модели разработанных алгоритмов Эидеокодирования , 120
4.2. Структурная схема кодера видеоданных 122
4.3. Формат хранения/передачи закодированных данных 130
4.4 разработка программной модели системы передачи видеоинформации с Компрессией в режиме реального времени по ір-сети 131
4.5. Разработка совместимого с ос microsoft windows программного модуля Видеокодека для системы видеоконференцсвязи 133
4.6. Выводы 136
5. Результаты экспериментальных исследований разработанной программной модели видеокодека 138
5.1. Методика проведения экспериментальных исследований 138
5.2. Оценка зависимости качественных характеристик внутрикадрового Кодирования и степени компрессии опорных кадров от параметров алгоритма внутрикадрового кодирования 141
5.2.1. Оценка зависимости качественных характеристик кодирования и степени компрессии от изменения веса кванта модуляции , 141
5.2.2. Оценка зависимости качественных характеристик кодирования и степени компрессии от порогового значения ошибки для введения отсчета дикм146
5.2.3. Оценка зависимости качественных характеристик кодирования и степени компрессии от порогового значения ошибки для локальной поддискретизации 151
5.3. Оценка зависимости качественных характеристик видеокодирования и
Степени компрессии видеопоследовательностей от параметров алгоритма
Межкадрового кодирования 156
5.4. Экспериментальные оценки быстродействия разработанной программной
Модели кодека видеопоследовательностей 160
5.4.1. Экспериментальная оценка зависимости качественных характеристик кодирования от скорости выходного потока кодера 161
5.4.2. Экспериментальная оценка зависимости быстродействия разработанной программной модели видеокодека от параметров изображения 164
5.4.3. Оценка производительности программной модели на основе алгоритмов внутрикадрового и межкадрового видеокодирования с оптимизацией на основе технологии ммх., 166
5.4.4. Оценка зависимости потерь пакетов от свободной полосы пропускания канала связи и их влияние на субъективные оценки качества воспроизводимого изображения 168
5.4.5. Оценка влияния буферизации на приемной стороне на величину задержки и неравномерности воспроизведения видеопотока 171
5.4.6. Оценка максимального количества одновременно.. 172
5.5, Исследование возможностей по использованию интегрированного в операционную систему видеокодека в работе сторонних программных продуктов, направленных на обработку и передачу видеоинформации 174
5.6. Выводы 180
Заключение 183
Список использованных источников
- Методы внутрикадровой цифровой видеокомпрессии
- Оптимизированные дельта-преобразования второго порядка па основе вторых разностей
- Базовый алгоритм межкадрового кодирования изображений
- Оценка зависимости качественных характеристик внутрикадрового Кодирования и степени компрессии опорных кадров от параметров алгоритма внутрикадрового кодирования
Введение к работе
Актуальность
В настоящее время одной из наиболее быстро развивающихся областей информационной отрасли является направление мультимедиа-технологий, включающее в себя такие задачи как ввод, компрессия, обработка, передача и отображение аудио-, видео- и графической информации. Наибольший интерес из перечисленных задач представляет задача компрессии видеоинформации, включающая в себя не только методы быстрой обработки больших объемов данных, но и концептуально новые подходы к кодированию информации, ориентированные непосредственно на формат представления видеоданных. Современные методы кодирования и компрессии видеоинформации находят применение в разнообразных областях; от передачи и хранения оцифрованных видеоматериалов до спутниковых цифровых телекоммуникационных систем. Внимание к компрессии видеоинформации особенно возросло в последнее десятилетие в связи с появлением и доступностью цифровых телекоммуникационных систем и в, частности, систем телеконференцсвязи и систем 1Р-видеотелефонии.
Создание новейших цифровых устройств обработки, передачи и хранения видеоданных связано с радикальным изменением технологических возможностей современных процессорных систем. Использование новейших процессоров с производительностью несколько миллиардов операций в секунду и многозадачных операционных систем обеспечивает реализацию обработки нескольких видеопотоков в режиме реального времени, что невозможно было осуществить ранее. В то же время при анализе пригодности существующих алгоритмов для задач обработки видеоданных в реальном масштабе времени следует учитывать достаточно высокую стоимость подобного рода вычислительных средств, а также непрерывно возрастающие требования к качеству передаваемого видеосигнала.
Критерии качества преобразованного и передаваемого видеоматериала в современных системах обработки и передачи видеоинформации достаточно высоки, и требуемое качество видеосигнала должно быть не хуже, чем при обычном телевещании. Однако, как правило, эти требования вступают в противоречие с требованиями приемлемой производительности алгоритма компрессии и стоимости арендуемого канала связи. На сегодняшний день, по существу, для достижения высокого качества видеосигнала необходим канал, пропускная способность которого, с учетом наличия большого числа пользователей в данном канале, обеспечивала бы в пересчете на одного пользователя ту же эквивалентную скорость передачи информации, которая предоставляется при передаче телевизионной картинки (=270 Мбит/с). Практически это означает, что при реальном трафике, совместно используемом большим числом клиентов, требуемая пропускная способность канала должна составлять единицы и десятки Гбит/с [1].
С другой стороны, известные алгоритмы и методы видеокомпрессии обладают сравнительно малым коэффициентом компрессии при низкой трудоемкости и высоком качестве кодирования или характеризуются высоким коэффициентом компрессии при высокой трудоемкости. Алгоритмы, обладающие высоким коэффициентом компрессии, являются либо ориентированными только на определенный класс или тип видеосигнала и не могут использоваться для видеосигналов произвольной природы, либо имеют высокую трудоемкость, что делает затруднительным построение на их базе систем реального времени с обработкой нескольких видеопотоков одновременно. Решение данной проблемы видится в использовании более простых методов обработки видеопотоков, особенно в рамках многоканальных систем реального времени.
Кроме того, использование алгоритмов и методов компрессии видеоинформации в системах многоканальной связи требует решения других сложных задач. В частности, необходимо выявление и устранение
возникающих в процессе передачи видеосигнала ошибок, появление которых связано с особенностями применяемых для передачи видеоданных протоколов и сред передачи информации. Также определенную трудность представляет разработка эффективного механизма управления скоростью выходного битового потока для более эффективного распределения полосы пропускания канала связи между множеством абонентов при условии минимизации времени, затрачиваемого на обработку.
Таким образом, является актуальной разработка алгоритма, решающего на основе единого математического аппарата задачу эффективной компрессии видеоданных с низкой трудоемкостью, при достаточном уровне качества, без жесткой привязки к характеру видеоданных, с возможностью управления скоростью выходного битового потока.
В качестве решения подобной многокритериальной задачи в данной работе рассматривается применение оптимизированных алгоритмов дельта-преобразования второго порядка и алгоритмов усеченного блочного кодирования. Алгоритмы оптимизированных дельта-преобразований второго порядка отличаются простотой реализации, широким динамическим диапазоном и высокой скоростью восстановления данных [2, 3, 4, 5]. Вопросы построения алгоритмов дельта-преобразования второго порядка освещены в работах Р. Стила [6], А.В. Шилейко, Г.Г. Меньшикова, de Jeager F. и многих других. Важной проблемой для применения известных алгоритмов дельта-преобразования второго порядка долгое время оставалась нестабильность (неустойчивость) преобразований, в результате эти алгоритмы оказывались мало пригодны для практического использования.
Алгоритмы дельта-преобразований второго порядка, характеризующиеся стабильностью и оптимизацией по быстродействию и точности, впервые были освещены в работах П.П. Кравченко [7, 8, 9, 10].
На их базе возможно построение более совершенных методов, основывающихся на математическом аппарате дельта-преобразований и
обеспечивающих качество и степень компрессии, приемлемую для большинства современных приложений, с сохранением основных достоинств алгоритмов дельта-преобразований - простоты реализации и высокого быстродействия. С этой точки зрения является актуальной задача исследования возможности применения и разработки алгоритма компрессии видеоданных на основе оптимизированных дельта-преобразований второго порядка.
Алгоритмы усеченного блочного кодирования изначально были ориентированы на компрессию простых типов видеоданных. Их характеризует низкая трудоемкость, низкий (порядка 4-8) коэффициент компрессии видеоинформации и невысокое качество восстановленного видеосигнала. Однако, на базе заложенных в алгоритм принципов также возможно построение эффективных методик компрессии видеоинформации с высокими показателями быстродействия и качества.
В данной работе исследуются вопросы адаптации алгоритмов оптимизированных дельта-преобразований второго порядка и алгоритмов усеченного блочного кодирования для быстродействующей компрессии оцифрованных видеосигналов.
Применение алгоритмов оптимизированных дельта-преобразований второго порядка и алгоритмов усеченного блочного кодирования для компрессии оцифрованных видеосигналов требует решения ряда специфических задач, представленных в данной диссертационной работе, и учитывают особенности представления видеосигналов в цифровом виде.
Таким образом, исследования, ставящие целью разработку алгоритмов и программных средств быстродействующей компрессии видеоданных в рамках решения отмеченных выше проблем, являются актуальными и представляют научный и практический интерес.
Объект исследования
Высокопроизводительные методы и алгоритмы компрессии видеоданных на основе оптимизированных дельта-преобразований второго порядка и
усеченного блочного кодирования, а также профаммные средства компрессии видеоданных.
Цель и задачи работы
Целью настоящей работы является разработка метода и алгоритмов кодирования видеоданных на основе оптимизированных дельта-преобразований второго порядка и усеченного блочного кодирования, а также разработка программной модели разрабатываемых алгоритмов компрессии видеоданных.
Для достижения поставленной цели в диссертации решаются следующие задачи:
Анализ существующих методов и алгоритмов компрессии видеоданных, выявление их достоинств и недостатков;
Анализ методов оценки качества кодирования видеоданных;
Разработка быстродействующего алгоритма внутрикадровой компрессии видеоданных на основе единого алгоритмического подхода с использованием алгоритмов оптимизированных дельта-преобразований второго порядка со сглаживанием;
Разработка быстродействующего алгоритма межкадровой компрессии видеоданных на основе алгоритма усеченного блочного кодирования;
Разработка алгоритма управления скоростью выходного битового потока видео кодека;
Разработка формата хранения и передачи видеоданных;
Разработка программной модели быстродействующего кодека видеоданных с использованием алгоритмов оптимизированных дельта-преобразований второго порядка и алгоритмов усеченного блочного кодирования;
Разработка программного кодека видеоданных с возможностью его последующего использования в различных приложениях операционной системы;
Разработка программного модуля видеокодирования для системы мультимедийного общения (система видеоконференцсвязи «дельта-конференция»);
10) Проведение экспериментальных исследований программной
модели видеокодека.
Основные научные результаты
Разработан быстродействующий комбинированный алгоритм внутри кадровой компрессии видеосигналов, объединяющий преимущества алгоритмов оптимизированных дельта-преобразований второго порядка со сглаживанием, алгоритмов дельта-преобразований первого порядка и алгоритмов дифференциальной импульсно-кодовой модуляции, отличающийся низкой трудоемкостью как при декодировании, так и при кодировании видеоданных за счет применения разностных алгоритмов кодирования с низкой вычислительной трудоемкостью и высоким качеством кодирования видеоинформации;
Разработан быстродействующий алгоритм межкадровой компрессии видеоданных на основе алгоритма усеченного блочного кодирования с использованием шаблонных матриц, отличающийся низкой трудоемкостью как при декодировании, так и при кодировании видеоданных за счет применения разностных алгоритмов кодирования с низкой вычислительной трудоемкостью и высоким качеством кодирования видеоинформации;
Предложен алгоритм быстрого поиска оптимальной шаблонной матрицы для алгоритма межкадровой компрессии, обеспечивающий существенное повышение скорости кодирования видеоданных за
счет уменьшения вычислительной трудоемкости операции поиска и использования операций быстрого табличного выбора индекса матрицы; 4) Предложен алгоритм управления скоростью выходного битового потока видеокодека, базирующийся на использовании разработанных алгоритмов компрессии и предназначенный для использования в системах с адаптацией к пропускной способности канала связи. Основные положения, выносимые на защиту
Быстродействующий алгоритм и программная реализация внутрикадровой компрессии видеоданных с использованием алгоритмов оптимизированных дельта-преобразований второго порядка, дельта-преобразований первого порядка и дифференциальной импульсно-кодовой модуляции;
Быстродействующий алгоритм и программная реализация межкадровой компрессии видеоданных на основе алгоритма усеченного блочного кодирования с использованием шаблонных матриц;
Алгоритм и программная реализация быстрого выбора оптимальной шаблонной матрицы для алгоритма межкадровой компрессии;
Алгоритм и программная реализация управления скоростью выходного битового потока видеокодера.
Практическая ценность
Практическую ценность работы представляют:
1) Быстродействующий комбинированный алгоритм внутрикадровой компрессии видеосигналов, объединяющий преимущества алгоритмов оптимизированных дельта-преобразований второго порядка со сглаживанием, алгоритмов дельта-преобразований
первого порядка и алгоритмов дифференциального импульсно-кодового кодирования;
2) Быстродействующий алгоритм межкадровой компрессии
* видеосигналов, построенный на принципах усеченного блочного
кодирования с использованием шаблонных матриц;
Алгоритм быстрого выбора оптимальной шаблонной матрицы для алгоритма межкадрового видео кодирования;
Формат хранения выходного потока кодирующего устройства для хранения и передачи закодированных видеоданных;
(* 5) Программный модуль для компрессии и декомпрессии видеоданных;
Динамическая библиотека, содержащая программные процедуры компрессии и декомпрессии видеоданных;
Оценки и рекомендации по выбору наилучших параметров для кодирования видеоданных;
Программная система мультимедиа общения - система многоточечной видеоконференцсвязи "Дельта-конференция" с функцией видеоконференции на основе разработанных алгоритмов компрессии.
Данная работа представляет интерес для программной реализации задач быстрой компрессии и восстановления оцифрованных видеоданных произвольной природы. Особый интерес представляет использование разработан ного алгоритма в системах с одновременной обработкой нескольких потоков видеоданных. В частности, характерным примером эффективного использования практически всех полученных в диссертационной работе результатов является применение разработанного видеокодека в действующей системе многоточечной видеоконференцсвязи "Дельта-конференция11,
Методы исследования
При выполнении данной работы использовался математический аппарат теории оптимизированных дельта-преобразований второго порядка, теории
кодирования информации, теории вероятностей, теории дифференциального и
интегрального исчислений.
Апробация работы
'' Результаты работы докладывались и обсуждались на Международных,
Всероссийских научно-технических конференциях, в том числе на:
III Международной конференции 'Телевидение: передача и обработка изображений", Санкт-Петербург, 2003;
Международной научно-технической конференции "Интеллектуальные системы (IEEE AIS*03)"h "Интеллектуальные САПР (CAD-2003)",
* Москва, 2003;
~ V Международной конференции "Digital Signal Processing and its Application", Москва, 2003;
Международной научно-технической конференции "Informatics, Mathematical Modeling and Design, Владимир, 2004;
Всероссийской конференции студентов, аспирантов и молодых ученых "Технологии Microsoft в теории и на практике", Москва, 2005.
м Работа выполнялась в рамках х/д НИР:
№ г.р. 01,200.100690 - «Разработка принципов и положений видеокодирования на основе оптимизированных дельта-преобразований второго порядка»;
№ г,р. 01.200.11468-«Разработка алгоритмов и программной модели кодека внутрикадрового кодирования видеоданных на основе оптимизированных дельта-преобразований второго порядка. Проведение испытаний разработанного алгоритма компрессии»;
4 - № г.р. 01.200.202147 -«Разработка алгоритмов межкадрового
кодирования и адаптивного управления скоростью выходного потока кодера видеопоследовательностей»;
№ г.р, 01200216955 —«Программная реализация системы передачи видеоинформации с компрессией в режиме реального времени по IP-сети. Проведение экспериментальных исследований»;
№ г.р. 01200407218-«Разработка программной системы конференцсвязи с поддержкой функций документ-конференции и аудиовидеоконференции для локальных ІР-сетей».
Вышеперечисленные НИР выполнялись совместно с
ОАО ВНИИ ТР (г. Москва)
Результаты работы используются в учебном процессе в дисциплинах:
«Цифровое управление, сжатие и параллельная обработка информации на основе алгоритмов оптимизированных дельта-преобразований»;
«Теория кодирования информации».
Достоверность полученных в диссертации результатов подтверждается разработкой действующей программной библиотеки для компрессии и восстановления видеоданных, проведенными экспериментальными исследованиями, а также действующей программной системой В КС "Дельта-конференция".
Публикации
Результаты, полученные в работе, нашли отражение в 36 печатных работах, среди них 7 статей и 2 свидетельства Всероссийского бюро по патентам и товарным знакам:
№ 2004610864 «Программа компрессии видеоинформации с использованием алгоритмов оптимизированных дельта-преобразований второго порядка»;
№2004610863 «Программа многосторонней видеоконференцсвязи для корпоративных локальных ІР-сетей «Дельта-конференция»,
Структура работы
Материал основной части диссертационной работы изложен на 196 страницах машинописного текста. Диссертация состоит из введения, пяти
Методы внутрикадровой цифровой видеокомпрессии
При внутрикадровой компрессии кодируемый кадр видеопоследовательности рассматривается как независимое изображение. При этом внутри изображения наблюдается высокая корреляция между смежными пикселами и монотонное снижение корреляции с увеличением расстояния между ними.
Методы цифровой внутрикадровой компрессии, нашедшие практическое применение, могут быть разделены на две категории: алгоритмы, нацеленные на сохранение частотных характеристик сигнала, и алгоритмы, предполагающие сохранение формы сигнала. К первой группе относятся алгоритмы, использующие перевод и последующую обработку сигнала в частотной области, в частности, алгоритмы Фурье- или вейвлет-подобных преобразований. Данные методы обычно отличаются достаточно высокой эффективностью кодирования (соотношением степени компрессии и качества кодирования), но в то же время и большой трудоемкостью, которая ограничивает область их практического применения в приложениях, где необходима параллельная обработка нескольких видеопотоков в реальном или близком к реальному масштабе времени без использования специального аппаратного обеспечения. Ко второй группе можно отнести алгоритмы импульсно-кодовой, дифференциальной импульсно-кодовой модуляции и дельта-преобразований, характеризующиеся относительно высоким быстродействием и простотой реализации. Недостатком известных алгоритмов данной группы в большинстве случаев является их недостаточно высокая эффективность для большинства современных приложений.
Рассмотрим основные методы статистической компрессии информации без потерь, направленные на сохранение формы сигнала и применяемые в алгоритмах внутрикадрового и межкадрового кодирования.
1. Групповое кодирование (кодирование групп серий, RLE) [11]. В основу положена модель монохромного изображения, где каждая сканируемая строка рассматривается как марковская цепь первого порядка, в которой цвет элемента изображения у} зависит лишь от цвета предыдущего элемента. В соответствии с этим методом серия повторяющихся величин заменяется единственной величиной и количеством. Кодирование длин серий наиболее выгодно в случае бинарного изображения.
2. Кодирование по Хаффману [12]. Решается задача построения эффективного кода, которая заключается в том, что при известном одномерном распределении вероятностей р(у) символов конечного алфавита т (\m\=L) среди всех возможных кодов с основанием а 2 находится такой код, для которого среднее количество кодовых знаков на символ исходной последовательности, определяемое выражением: было бы минимальным.
Это означает, что при построении такого эффективного кода учитывается статистика исходной последовательности, а именно: наиболее вероятным символам приписываются наиболее короткие кодовые комбинации и, наоборот, наименее вероятным символам - наиболее длинные кодовые комбинации.
3. Автоматное сжатие [13]. Кодер/декодер рассматривается как конечный автомат, изменяющий свое состояние и выходное слово под действием очередной буквы входного алфавита. Начиная с простой таблицы кодов, алгоритм добавляет в таблицу данные для каждого уникального сочетания величин, которое обнаруживает.
Автоматное сжатие используется во многих существующих архиваторах, носит имя схемы сжатия LZW и полагается на обнаружение повторяющихся участков.
4. Арифметическое сжатие [14]. Подобно кодированию по алгоритму Хаффмана используются более короткие коды для часто появляющихся участков и более длинные коды для редко появляющихся, но, как в схеме сжатия LZW, данный метод кодирует последовательность величин, а не сами величины. Фактически арифметическое сжатие близко подходит к теоретическим пределам для сжатия и является очень эффективным в случае, когда большинство данных состоят из одной и той же последовательности.
В большинстве современных архиваторов для компрессии без потерь используется не один, а два и более алгоритмов кодирования [15]. Применение данных алгоритмов для кодирования видеоинформации является наиболее оптимальным в случаях, когда какие-либо искажения или потери при кодировании недопустимы. Это может быть вызвано как спецификой области применения, так и правовыми или политическими вопросами.
Оптимизированные дельта-преобразования второго порядка па основе вторых разностей
Ниже приводится описание модифицированного алгоритма дельта-преобразований второго порядка со сглаживанием. Сглаживание выполняется при реализации алгоритма кодирования с использованием усредненного значения приращения кодируемой функции на интервале [i г+т]. Описание процессов кодирования и декодирования можно представить в виде [92, 93]: Кодирование: Л Zt=Yi-yf, ЧуГ = (у»т-УіУп; Vzt = VYt - ууГ; Ff = zt + 1.5Vz ; + (0.5( Wif/c - 0.125c)sign(Vz ,); A»i = - «№); / (2.3) Декодирование: viv, = vy;-+v2yM; J%і = Г, + VF/+,; c c; c 0. _У где n - размер окна сглаживания исходного сигнала.
Отличием данного алгоритма от (2.1) является использование для вычисления приращения ошибки Vz , значения Vy/. Пример преобразования на основе данного алгоритма и графики характера поведения декодированной функции при различных значениях параметра размера окна сглаживания приведены на рисунке 2.3.
Характер поведения функции Vy,c и, как следствие, декодированной функции VYj зависит от значения т. При т 1 алгоритм позволяет ослабить влияние высокочастотных составляющих благодаря усреднению приращений кодируемых функций на интервале [i,i+m] предстоящего преобразования. Усреднение приращений на интервале [i, i+m] имеет эффект применения к исходной функции низкочастотного фильтра. Причем, большее значение m соответствует применению более "сильного" фильтра. Следствием этого является возможность появления более пологого характера декодированной функции.
Следует отметить, что использование больших значений т может привести к увеличению ошибки преобразования, вызываемому не столько недостаточной точностью отработки алгоритмом изменений кодируемой функции, сколько большей степенью сглаживания интенсивно изменяющихся участков.
Пример преобразования видеосигналов различного типа с использованием данного алгоритма приведен на рис.2.4.
Таким образом, использование алгоритмов оптимизированных дельта-преобразований второго порядка позволяет обеспечить качество, аналогичное алгоритмам дельта-преобразованиям первого порядка при 2-4-кратном уменьшении частоты дискретизации.
Рассматриваемый алгоритм дельта-преобразований второго порядка со сглаживанием хорошо подходит для компрессии видеоданных благодаря своей простоте и достаточно высоким показателям качества кодирования. Но при этом он обладает некоторыми особенностями, связанными с высокой инерционностью используемой для аппроксимации сигнала функций, вызывающими ухудшение визуального качества кодирования на участках с большим количеством высокочастотных составляющих. Визуально подобное ухудшение воспринимается как «размазывание» участков кодируемых изображений. С целью устранения данного недостатка предлагается разработанный комбинированный алгоритм дельта-преобразований, который сочетает в себе преимущества дельта-преобразований первого и второго порядка и обеспечивает более точное соответствие субъективных спектральных характеристик закодированного и исходного изображений.
Основной особенностью комбинированного алгоритма дельта-преобразований для кодирования видеоданных является возможность адаптивного выбора алгоритма (порядка) дельта-преобразования в зависимости от характера участка изображения: на участках с большим перепадом амплитуд целесообразным является использование алгоритма дельта-преобразования второго порядка, тогда как на участках с малыми высокочастотными изменениями амплитуд предпочтительным является переключение на алгоритм дельта-преобразований первого порядка [109].
Для определения необходимости изменения типа применяемой для аппроксимации видеосигнала функции используется анализ знаков вторых разностей декодированных видеоданных (квантов модуляции), В таблице 2.2 приведены рассматриваемые в разрабатываемом алгоритме случаи поведения аппроксимируемой функции и соответствующие им множества значений анализируемых параметров.
Базовый алгоритм межкадрового кодирования изображений
В качестве базовой схемы межкадрового кодирования предлагается использование разностной схемы кодирования кадров с возможным поблочным подавлением ошибки на основе быстродействующего варианта алгоритма кодирования с преобразованием, в котором вместо набора ортогональных матриц предлагается использовать эвристически сформированный на основе экспериментальных исследований набор матриц (в общем случае необязательно ортогональных), содержащих значения "1" и "-1" и отражающих наиболее часто встречающиеся структуры разностных блоков [99]. Для поиска шаблонной матрицы, аппроксимирующей блок разностного кадра с наименьшей ошибкой, используется операция поэлементного перемножения матрицы исходного блока и шаблонной матрицы. Каждому закодированному с использованием алгоритма подавления ошибки блоку соответствуют два значения, передаваемые в канал связи: - номер матрицы, в которой структура значений "1" и "-Iм в наибольшей степени (в смысле средней ошибки) соответствует структуре кодируемого блока ошибки; - коэффициент масштабирования шаблонной матрицы, минимизирующий ошибку кодирования амплитуд блока (может передаваться в полноразрядном или проквантованном формате).
Ключевыми возможностями, определяющими перспективность использования данного подхода в сочетании с предлагаемым алгоритмом видеокомпрессии, являются: - высокая производительность, определяемая наличием лишь элементарных операций сложения/вычитания (умножение на "1" и "-І") и сдвига, а также возможностью эффективной групповой реализации всех операций на современных процессорах с технологиями ММХ и SSE [100]; - согласованность блочной структуры межкадрового кодирования со структурой внутрикадрового кодера; - возможность обеспечения необходимого качества межкадрового кодирования путем последовательного применения операций подавления ошибки в разностных блоках; - возможность восстановления декодированного изображения с различным качеством в зависимости от вычислительных ресурсов системы воспроизведения.
Обработка разностного кадра выполняется поблочно (размер блока 4x4 пиксела). Структурная схема работы алгоритма межкадрового поблочного кодирования представлена на рис. 3.4.
На первом этапе оценивается среднее изменение интенсивности сигнала между кадрами в пределах обрабатываемого блока. Если разброс значений текущего блока относительно их среднего арифметического Р\ не превышает предельно допустимой границы, то блок не подвергается дальнейшему кодированию (фрагмент изображения не изменился) и в выходной поток записывается только среднее значение (возможно, с квантованием и статистическим кодированием). В противном случае разности между средним значением блока и исходными значениями каждого пиксела блока Sy подвергаются дополнительному кодированию с целью сокращения ошибки.
Алгоритм дополнительного кодирования разработан с учетом основных положений преобразования Уолша-Адамара, однако вместо использования полного набора базисных ортогональных матриц, состоящих из значений "Iм и "-1", предлагается использовать эвристически сформированный на основе экспериментальных исследований набор матриц (в общем случае необязательно ортогональных), отражающих наиболее часто встречающиеся структуры разностных блоков. Примеры типовых конфигураций подобных матриц приведены в работе [102].
Для поиска шаблонной матрицы, с наименьшей ошибкой аппроксимирующей значения блока, используется операция поэлементного перемножения матрицы исходного блока на шаблонную матрицу с последующим нахождением среднего значения по матрице-результату.
Аппроксимация разностного блока выполняется путем масштабирования шаблонной матрицы (умножение на масштабный коэффициент). Замена исходного разностного блока на номер шаблонной матрицы К2 и коэффициента масштабирования Р2 (возможно, проквантованный) позволяет сократить количество информации о блоке, передаваемой декодеру.
При необходимости обеспечения более точного кодирования блока операция аппроксимации разностного блока может быть выполнена еще раз. В этом случае будет передана еще одна пара значений А"з и Р .
Оценка зависимости качественных характеристик внутрикадрового Кодирования и степени компрессии опорных кадров от параметров алгоритма внутрикадрового кодирования
Результаты экспериментальных исследований по оценке зависимости эффективности кодирования (степени компрессии и точности кодирования) от величины кванта модуляции приведены на рис.5.1.
Зависимости коэффициента компрессии и пикового отношения сигнал/шум от изменения веса кванта модуляции для внутрикадровой компрессии а - зависимости коэффициента компрессии компоненты яркости Ксж(У) и величины пикового отношения сигнал/шум C/LUn(Y) от изменения веса кванта модуляции; 6 - зависимости коэффициентов компрессии и пикового отношения сигнал/шум компонент цветности СЬ и Сг от изменения веса кванта модуляции.
Анализ полученных зависимостей позволяет сделать вывод о том, что изменение веса кванта модуляции не оказывает существенного влияния на изменение коэффициента компрессии. Некоторое увеличение коэффициента компрессии достигается при величине кванта модуляции от 2 до 4 достигается за счет повышения скорости изменения демодулированной функции и некоторого сокращения числа пикселов, в которых для подавления ошибки дельта-преобразования требуется введение ДИКМ-отсчета (рис,5.2). При весе кванта модуляции, превышающим пороговое значение ошибки для введения ДИКМ-отсчета пропорционально возрастает средняя ошибка кодирования с использованием дельта-преобразования, что влечет за собой необходимость более частого использования ДИКМ-отсчетов и снижает коэффициент компрессии. Количестио пикселов (%) 100,(
Также представляет интерес анализ изменения процентного соотношения пикселов, закодированных с использованием алгоритмов дельта преобразований первого и второго порядков. Как и предполагалось, алгоритм дельта-преобразования второго порядка используется лишь на тех участках, где скорость изменения декодированной функции первого порядка недостаточно высока. С увеличением веса кванта модуляции повышается предельная скорость изменения аппроксимирующей функции дельта-преобразований первого порядка (за счет снижения точности кодирования на гладких участках) и процент пикселов, закодированных с ее применением увеличивается (рис.5.3).
Увеличение веса кванта модуляции приводит к некоторому ухудшению качества восстановленного изображения, как по количественным, так и по субъективным оценкам. При этом характер поведения кривой пикового соотношения сигнал/шум изображения соответствует субъективной оценке качества восстановленного изображения (рис.5.4). 10,0 Вес кванта модуляции
Ухудшение качества проявляется в виде регулярных колебательных изменений декодированной функции, которые особенно заметны на сравнительно гладких компонентах цветности СЬ и Сг. Поэтому наиболее целесообразным является использование веса кванта модуляции, не превышающим 2 для компонент цветности, и не превышающим 4 для компонент яркости, так как процент последней в компрессированном битовом потоке достигает 80-90% от общего объема и даже незначительное увеличение коэффициента компрессии компоненты Y приводит к заметному повышению коэффициента компрессии всего изображения.
