Содержание к диссертации
Введение
ГЛАВА 1. Архитектура современных видеокодеков 11
1.1 Развитие направлений видеокодирования 11
1.1.1 Видеокодеки на основе ДКП преобразования 11
1.1.2 Видеокодеки на основе вейвлет-преобразования 20
1.2 Анализ относительной вычислительной сложности видеокодека 27
1.3 Исследование методов межкадровой и внутрикадровой обработки сигналов ТВ изображений 30
1.3.1 Анализ алгоритмов оценки движения 30
1.3.2 Оценка эффективности интерполяционной фильтрации в стандартах видеокодирования 36
1.3.3 Контроль параметров и выбор режимов кодирования в стандарте H.264/AVC 45
1.4 Выводы 51
ГЛАВА 2. Исследование и разработка алгоритмов компенсации пространственных и временных искажений в системах цифрового телевидения 53
2.1 Обзорный анализ алгоритмов устранения блочных искажений 53
2.2 Анализ эффективности фильтров деблокинга в стандартах видеокомпрессии Н.263, MPEG-4 Visual, H.264/AVC, VC-1 63
2.3 Моделирование шума квантования в сжатых при помощи ДКП изображениях 77
2.4 Исследование алгоритма устранения блочных искажений с адаптивным добавлением шума 90
2.5 Разработка алгоритма устранения блочных искажений на основе селективной частотной фильтрации 98
2.5.1 Анализ структуры матриц коэффициентов ДКП 98
2.5.2 Разработка метода селективной частотной фильтрации 104
2.5.3 Разработка метода взвешенного суммирования блоков обработки 108
2.6 Разработка метода уменьшения эффекта мерцания в стандарте H.264/AVC 112
2.6.1 Анализ причин возникновения эффекта мерцания 112
2.6.2 Модификация методики выбора режима внутрикадрового предсказания и режима кодирования макроблоков 114
2.7 Исследование зависимости коэффициента передачи пространственных частот от скорости движения объекта 117
2.8 Выводы 120
ГЛАВА 3. Исследование и разработка методов эффективного сжатия видеопоследовательностей с наличием локальных изменений сигнала яркости в системах цифрового телевидения 122
3.1 Исследование взвешенного предсказания в стандарте H.264/AVC... 122
3.2 Разработка алгоритма селективного взвешенного предсказания 131
3.2.1 Разработка методов детектирования градационных переходов и сегментации изображения 131
3.2.2 Определение параметров селективного взвешенного предсказания 135
3.2.3 Внедрение алгоритма селективного взвешенного предсказания в кодеки стандарта H.264/AVC 136
3.3 Выводы 139
ГЛАВА 4. Разработка устройств компенсации пространственно-временных искажений в системах цифрового телевидения и результаты экспериментальных исследований 140
4.1 Разработка устройства устранения блочных искажений на основе селективной частотной фильтрации 140
4.1.1 Результаты программного моделирования 142
4.2 Результаты программного моделирования метода уменьшения эффекта мерцания в кодеке стандарта H.264/AVC 147
4.3 Разработка устройства селективного взвешенного предсказания 148
4.3.1 Результаты программного моделирования 149
4.4 Выводы 155
Заключение 156
Список литературы 158
Приложение 1 175
- Оценка эффективности интерполяционной фильтрации в стандартах видеокодирования
- Исследование алгоритма устранения блочных искажений с адаптивным добавлением шума
- Разработка методов детектирования градационных переходов и сегментации изображения
- Разработка устройства устранения блочных искажений на основе селективной частотной фильтрации
Введение к работе
Актуальность темы. С широким распространением таких технологий, как цифровое телевидение, потоковое видео через Интернет и т.д., компрессия видеоданных, т.е. обработка с целью сокращения объема информации, стала существенным компонентом широковещательного и развлекательного медиа. Успех цифрового телевидения основан в частности на стандарте MPEG-2, который был разработан более 15 лет назад. В настоящий момент существуют более совершенные стандарты видеокодирования, например, H.264/AVC, который, как показывает анализ рынка аппаратных разработок в области видеокодирования, направлений научных исследований и обзора доступной литературы, займет лидирующее положение среди форматов сжатия видео в ближайшее время. Однако применение более совершенных методов кодирования не позволяет в полной мере избежать появления характерных для видеокодеков искажений. Так как компрессия видеоданных - это всегда компромисс между коэффициентом сжатия и потерями в качестве, то такой процесс сопровождается возникновением в кодированном сигнале искажений, как пространственного, так и временного характера.
Специфика таких искажений различна для областей использования стандартов видеокодирования в широком диапазоне: от захвата и воспроизведения видео на мобильных устройствах с ограниченными вычислительными ресурсами до HDTV кинотеатров. Стоит отметить, что проблема компенсации и устранения искажений становится актуальной при кодировании с достаточно низкой скоростью битового потока. Особенную актуальность подобные исследования приобретают в связи с переходом России на цифровое телевещание.
Существенный вклад в разработку цифровых систем сжатия и обработки изображений, а также методов и аппаратуры измерения качества в цифровых телевизионных (ТВ) системах, внесли теоретические и практические работы СИ. Катаева, М.И. Кривошеева, В.Н. Безрукова, А.С. Селиванова, Б.П. Хромо-
го, Ю.Б. Зубарева, В.П. Дворковича, а также ряда зарубежных специалистов: Г. Салливана, Т. Вайгэнда, Дж. Вудса, А. Таураписа, А. Бовика и других.
Несмотря на растущий объем памяти носителей информации и увеличение пропускной способности каналов связи, повышение эффективности сжатия видеоматериала по-прежнему остается актуальной задачей, поскольку требования к качеству видео растут вместе с доступными вычислительными ресурсами. Задачи увеличения эффективности кодирования неразрывно связаны с задачами повышения качества изображения, поэтому проведение исследований и разработка алгоритмов компенсации и устранения искажений в кодированном сигнале телевизионных изображений является актуальным направлением исследований.
Цель и задачи работы. Целью настоящей диссертационной работы является разработка эффективных методов и устройств компенсации пространственных и временных искажений в системах цифрового телевидения, учитывающих специфику кодирования и преобразования сигналов, а также разработка и моделирование алгоритмов, реализующих предложенные методы. Для достижения поставленной цели в работе решаются следующие научно-практические задачи:
Анализ архитектуры современных стандартизированных и альтернативных видеокодеков с целью выявления характерных искажений в кодированном сигнале ТВ изображений;
Исследование и разработка алгоритмов компенсации пространственных искажений в системах сжатия статических и динамических изображений с поблочной обработкой изображения;
Исследование и разработка методов компенсации временных искажений в системах цифрового телевидения;
Исследование и разработка методов эффективного сжатия видеопоследовательностей с наличием локальных изменений сигнала яркости.
Методы исследования. При решении поставленных задач в работе использованы современные методы цифровой обработки изображений, статистической радиотехники, спектрального анализа и программирования.
Личный вклад. Все основные научные результаты, изложенные в диссертации, получены автором лично.
Научная новизна работы.
Получены аналитические выражения для частотных характеристик фильтров интерполяции в стандартах H.264/AVC, MPEG-4 Visual, AVS, на основе которых проведена оценка эффективности фильтрации.
Разработан алгоритм устранения блочных искажений на основе селективной частотной фильтрации.
Предложена модификация методики выбора режима внутрикадрового предсказания и режима кодирования макроблоков с целью уменьшения эффекта мерцания при использовании кодеков стандарта H.264/AVC.
Разработан алгоритм селективного взвешенного предсказания с целью повышения эффективности кодирования видеопоследовательностей с наличием локальных изменений сигнала яркости.
Практическая ценность работы.
Разработанный алгоритм устранения блочных искажений с селективной частотной фильтрацией встроен в программный кодек Н.263+.
Использование алгоритма селективного взвешенного предсказания и модифицированной методики выбора режима внутрикадрового предсказания и режима кодирования макроблоков в кодеках стандарта H.264/AVC не требует изменения синтаксиса стандартного битового потока.
Разработаны структурные схемы для устройств селективного взвешенного предсказания и деблокинга на основе селективной частотной фильтрации.
Реализация результатов работы. Результаты диссертации использованы при разработке специальных устройств телевизионного контроля объектов во
ФГУП МКБ «Электрон», а также внедрены в учебный процесе Московского технического университета связи и информатики в рамках дисциплин «Телевидение» и «Видеотехника». Реализация результатов работы подтверждена соответствующими актами.
Апробация результатов работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на конференции профессорско-преподавательского, научного и инженерно-технического состава МТУ СИ, 2006 г.; на Московских отраслевых научно-технических конференциях «Технологии информационного общества», 2007, 2008 гг.; на 5-й и 7-й международных научно-технических конференциях «Фундаментальные проблемы радиоэлектронного и оптоэлектронного приборостроения» Intermatic, 2006, 2008 гг.; на 14-й всероссийской и 16-й международной научно-технических конференциях «Современное телевидение», 2006, 2008 гг.; на 63-й Научной сессии РНТОРЭС им. Попова, 2008 г.; на 5-й Международной научно-технической конференции «Молодые ученые - науке, технологиям и профессиональному образованию», 2008 г.
Публикации. По теме диссертации опубликовано 13 работ, в том числе две статьи в ведущих рецензируемых журналах, входящих в перечень ВАК.
Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и трех приложений, изложена на 193 страницах, иллюстрирована 86 рисунками, содержит 19 таблиц. Библиография включает 174 наименования.
Основные положения, выносимые на защиту.
Результаты оценки эффективности интерполяционной фильтрации в стандартах H.264/AVC, MPEG-4 Visual, AVS.
Алгоритм устранения блочных искажений на основе селективной частотной фильтрации позволяет повысить качество декодированных видеопоследовательностей.
Модифицированная методика выбора режима внутрикадрового предсказания и режима кодирования макроблоков уменьшает эффект мерцания при кодировании видеопоследовательностей по стандарту H.264/AVC.
Алгоритм селективного взвешенного предсказания позволяет увеличить эффективность кодирования по стандарту H.264/AVC видеопоследовательностей с наличием локальных изменений сигнала яркости.
Результаты экспериментального исследования разработанных алгоритмов.
В первой главе рассмотрена архитектура современных видеокодеков, проведен обзор перспективных направлений видеокодирования: многоракурсного видеокодирования и кодирования с генерацией масштабируемого битового потока. Проанализированы методики межкадровой и внутрикадровой обработки сигналов ТВ изображений в стандартных и альтернативных видеокодеках. Оценена относительная вычислительная сложность видеокодека на примере кодека JM 13.2. Получены аналитические выражения для частотных характеристик интерполяционных фильтров в стандартах MPEG-4 Visual, H.264/AVC, AVS, и оценена эффективность фильтрации. Проведен анализ основных пространственных и временных искажений в видеокодеках.
Во второй главе проведены исследования и разработка алгоритмов устранения пространственных и временных искажений. Рассмотрены и классифицированы алгоритмы устранения блочных искажений, Проведено сравнение эффективности фильтров устранения блочных искажений в кодеках стандартов H.264/AVC, MPEG-4 Visual, Н.263+, VC-1 по критерию пикового отношения сигнал/шум и критерию структурного подобия. Измерена также вычислительная сложность алгоритмов деблокинга с учетом количества инструкций, затрачиваемых на обработку одного кадра. Предложена модификация алгоритма устранения блочных искажений на основе добавления шума в изображение с последующим его удалением. Разработан алгоритм удаления блочных искажений на основе селективной частотной фильтрации. Предложена модификация мето-
дики выбора режима внутрикадрового предсказания и режима кодирования макроблоков в стандарте H.264/AVC с целью уменьшения эффекта мерцания. Проведено исследование зависимости коэффициента передачи пространственных частот от скорости движения объекта.
В третьей главе исследован алгоритм взвешенного предсказания в стандарте Н.264. Показан недостаток применения взвешенного предсказания в случае локальных изменений сигнала яркости между текущим и опорным изображениями. Предложен алгоритм селективного взвешенного предсказания, учитывающий локальные изменения сигнала яркости, и обоснована возможность его внедрения в кодеки стандарта H.264/AVC без необходимости изменения синтаксиса стандартного битового потока.
В четвёртой главе разработаны устройства для алгоритмов деблокинга на основе селективной частотной фильтрации и селективного взвешенного предсказания. Приведены результаты экспериментального исследования предложенных алгоритмов.
В заключении диссертационной работы представлены основные выводы по результатам выполненной работы.
В приложении 1 приведены графики зависимостей критериев объективного качества изображений (пиковое отношение сигнал/шум, метрика структурного подобия) от скорости битового потока, полученные в ходе эксперимента по сравнению эффективности работы алгоритмов деблокинга в стандартах MPEG-4 Visual, VC-1, H.264/AVC и Н.263+.
В приложении 2 приведен исходный код на языке Си для алгоритма устранения блочных искажений на основе селективной частотной фильтрации.
В приложении 3 приводятся акты об использовании результатов диссертационной работы.
Оценка эффективности интерполяционной фильтрации в стандартах видеокодирования
Для анализа нестационарных процессов, в которых информативным является сам факт изменения частотно-временных характеристик сигнала (примерами таких сигналов являются речь, музыка, изображение), нашли свое применение функции, способные выявлять как частотные, так и временные характеристики, т.е. обладающие частотно-временной локализацией. Одним из способов решения данной задачи является использование математического аппарата вейвлет-функций, в частности, вейвлет-декомпозиции сигнала, при котором, в отличие от оконного преобразования Фурье, базисную функцию не только смещают во времени, но и масштабируют, чтобы получить многократное перекрытие сигнала. В целях компрессии полученные при анализе вейвлет-коэффициенты определенным образом квантуются и энтропийно кодируются. Стоит отметить, что именно схема квантования, как уже отмечалось, в значительной степени определяет эффективность алгоритма сжатия.
На работе [17] основано семейство алгоритмов, построенных на сортировке вейвлет-коэффициентов по степени их вклада в качество результирующего изображения (для их последующей последовательной передачи), в общем случае они именуются алгоритмами вложенных нуль-деревьев (embedded zeroree wavelets - EZW). Алгоритм кодирования изображений при помощи пространственно-упорядоченных иерархических деревьев (SPIHT - set partitioning into hierarchical trees) [18] имеет более простую структуру и превосходит EZW по эффективности за счет кодирования не одиночных, а параллельных нульде-ревьев [19].
Кодеком неподвижных изображений, использующим вейвлет-преобразование также является JPEG-2000 [20], который решил несколько недостатков своего предшественника, JPEG [21]. Проведение обработки над целым изображением, а не его частями, позволило избавиться от блочных искажений и получить хорошее качество при достаточно больших коэффициентах сжатия. Для вычисления вейвлет-преобразования в стандарте определены два биортогональных вейвлет-фильтра - фильтр Добеши (9,7) для сжатия с потерями и фильтр с целочисленными коэффициентами (5,3) для сжатия без потерь (цифры показывают количество коэффициентов в фильтрах анализа/синтеза). Для кодирования вейвлет-коэффициентов в кодеке JPEG2000 применяется не алгоритм нульдерева, а разработанный Д.Таубманом простой и эффективный алгоритм кодирования ЕВСОТ. В стандарте предполагается, что вейвлет-преобразование осуществляется не путем рекурсивной свертки с импульсными характеристиками фильтров (схема Молла), а на основе лифтинговой схемы.
Однако JPEG-2000 получил ограниченную поддержку со стороны производителей оборудования и разработчиков программного обеспечения. В [22, 23, 24] проведено сравнение возможностей, предлагаемых кодеком JPEG-2000, с кодеками JPEG-LS [25] (кодирование неподвижных изображений без потерь), MPEG-4 VTC [26] (метод кодирования текстуры) и JPEG. Сравнение проводилось по критериям эффективности сжатия, сложности и поддерживаемых возможностей. Было показано, что базовый профиль кодека JPEG почти в три раза быстрее и проще по вычислительной сложности, чем JPEG-2000, который сжимает изображения с лучшим качеством при прочих равных условиях. Фактически классический JPEG по-прежнему доминирует на потребительском рынке, и подавляющая масса изображений в Интернете закодирована при помощи этого старого стандарта. В настоящее время не наблюдается убедительных предпосылок изменения сложившейся ситуации, поэтому, учитывая также все время возрастающие требования пользователей к качеству изображения, разработка эффективных алгоритмов постобработки (деблокинг, дерингинг и т.д.) по-прежнему является актуальным направлением исследований [27].
Одним из видеокодеков, в котором ДКП заменено на вейвлет-преобразование, является Dirac1. Кадр последовательности foreman, закодированной кодеком Dirac с низкой скоростью битового потока, показан на рис. 1.7г, на нем видны блочные искажения, характерные для оценки и компенсации движения на основе блоков.
Пространственно-временная декомпозиция сигнала видеопоследовательности нашла применение в так называемых трехмерных видеокодеках, которые можно разделить на две группы с разной очередностью преобразований: двумерная пространственная фильтрация с последующей временной фильтрацией (2D+t) [28-30] и временная фильтрация с последующей пространственной фильтрацией (t+2D) [31, 32]. В таких кодеках сначала осуществляется разложение группы кадров на временные субполосы и затем проводится вейвлет-преобразование этих субполос. Группа кадров содержит 2" кадров, где п - количество временных субполос, на которые производится декомпозиция.
Временная фильтрация может производиться как с компенсацией движения, так и без нее. На рис. 1.7в показан кадр видеопоследовательности foreman, сжатый трехмерным кодеком 3D SPIHT, в котором временное преобразование производится без компенсации движения. Наличие сильных искажений обусловлено движением объектов, которое влечет за собой несовпадение их пространственных координат во времени, тем самым теряется эффективность декомпозиции сигнала во временном направлении.
На рис. 1.76 тот же кадр сжат трехмерным кодеком MC-EZBC [33] с компенсацией движения. Так как оба кадра сжаты с одинаково низким битрейтом (0.13 бит/пиксель), то становится очевидной преимущество временной фильтрации с компенсацией движения. Оценка движения, как правило, производится между двумя смежными кадрами с помощью алгоритма иерархического поиска. Одной из реализаций временного фильтра является лифтинговая схема с компенсацией движения (MCLIFT).
Исследование алгоритма устранения блочных искажений с адаптивным добавлением шума
К первой категории относятся алгоритмы, изменяющие структуру преобразования на стадии кодирования, такие как рекурсивное блочное кодирование [113], преобразование с перекрытиями смежных блоков [115, 116, 143], комбинированный подход к преобразованию [117]. В [114] сегментация изображения перед кодированием производится с перекрытием блоков, при декодировании перекрывающиеся элементы восстановленных блоков усредняются. Недостатком такого подхода является увеличенный объем данных на выходе кодера. При перекрытии смежных блоков базисными функциями в [115, 116, 143] избыточности в цифровой поток на выходе кодера не вводится. При комбинированном подходе [117], исходное изображение делится на две составляющие, одна из которых сжимается без потерь, вторая кодируются блочным ДКП. Недостатком перечисленных алгоритмов является необходимость внесения серьезных изменений в архитектуру стандартизованных кодеков.
Для применения совместно с существующими аппаратными или программными реализациями классического ДКП в [119] предлагается использо-. вание схемы ДКП с частотным искривлением (warped DCT), которая при одной и той же эффективности кодирования дает заметный выигрыш в ПОСШ: от 1 до 3 дБ [119]. Особенно эффективно применение ДКП с частотным искривлением при высоких битрейтах и для изображений с большим высокочастотным наполнением. Однако алгоритм [119] проигрывает JPEG на скоростях кодирования ниже 0.5 бит/пиксел по причине того, что на объем цифрового потока на выходе кодера начинает существенно влиять передающаяся совместно с закодированным изображением дополнительная информация о выбранной матрице преобразования, которая выбирается из предустановленного набора матриц на передающей стороне.
Помимо изменения структуры преобразования, возможна предобработка изображения перед кодированием с целью минимизации артефактов сжатия. Такой подход используется в работе [157], где производится предобработка диффузионной фильтрацией, и в работе [158], где помимо уменьшения блочных искажений говорится об улучшении эффективности кодирования. Причи ной, по которой такой прием работает, является то, что разные входные сигналы могут приводить к одинаковым реконструкциям сигнала при применении деблокинг-фильтра. В результате, кодируя модифицированную версию изображения, возможно получить лучший по качеству результат.
Ко второй категории алгоритмов устранения блочности относятся алгоритмы, связанные с постобработкой изображения. Они наиболее широко распространены, и в свою очередь могут быть разделены на две категории [102]. Задачей алгоритмов первой категории является визуальное улучшение качества изображения. Такие алгоритмы обычно не делают акцент на восстановление изображения наиболее близко к оригиналу, а заботятся о лучшем качестве его восприятия зрительной системой человека. Алгоритмы второй категории рассматривают задачу реконструкции как задачу реставрации, т.е. восстановления изображения наиболее близко к оригиналу без наличия артефактов.
В алгоритме [173] предложен метод взвешенного суммирования симметрично расположенных пикселей. Значение элемента изображения р{ вычисляется как линейная комбинация четырех пикселей, симметричных текущему относительно горизонтальной и вертикальной центральных осей блока обработки размером Sf (2.1). Блоки обработки размером 8x8 представлены на рис. 2.2(a). На рис. 2.2(6) приведены два примера четверки симметрично расположенных пикселей, пунктирными линиями обозначены центральные оси блока обработки. веса, с которыми суммируются пиксели. Отличительной особенностью данного алгоритма является то, что в процессе фильтрации принимают участие все пиксели изображения. В случае, когда декодированное изображение представлено только DC коэффициентами, алгоритм взвешенного усреднения симметрично расположенных пикселей показывает хорошие результаты. В [103] предложен первый итеративный алгоритм, основанный на теории проекций на выпуклые множества (POCS). Основной идеей семейства этих алгоритмов является восстановление изображения при наличии нескольких критериев. При каждой итерации алгоритма изображение модифицируется с целью соответствия каждому из предъявленных критериев. Их в [103] предлагается два. Первый предполагает отсутствие высокочастотных искажений, вызванных блокинг-эффектом, и первым шагом алгоритма является низкочастотная фильтрация. Второй критерий основан на предположении, что декодеру известен диапазон квантования коэффициентов ДКП. Этот критерий служит для определения того, что ДКП коэффициенты «сглаженного» изображения остаются в том же диапазоне квантования как и в изначально сжатом изображении. При выходе значения коэффициента за определенный интервал, он приравнивается соответствующему ближайшему значению из интервала (минимальному или максимальному). Это является вторым шагом итерации. Итерации производятся до тех пор, пока не будет достигнута сходимость, т.е. не будут удовлетворяться все предъявленные критерии. Помимо двух упомянутых, возможно предъявление других критериев [104-107, 111, 112, 146]. Алгоритмы POCS обычно работают с хорошим качеством, например, в [108] блочные артефакты удаляются почти полностью, однако есть у них два недостатка. Во-первых, за- ранее нельзя сказать, сколько итераций потребуется алгоритму для сходимости, а при ограничении количества итераций нельзя быть уверенным в качестве вы ходного изображения, из чего следует неприменимость такого итеративного подхода в приложениях реального времени. Во-вторых, они требовательны к вычислительным ресурсам. Итеративным также является алгоритм [109], в котором предложен статистический подход к фильтрации. Пусть у - сжатое изображение и z - его реконструкция. Тогда задача восстановления изображения сводится к нахождению изображения 2, такого, что выполняется равенство (2.2), т.е. находится оценка по критерию максимума апостериорной вероятности [144, 145, 152, 157]. Статистической моделью изображения служит марковское случайное поле с распределением Гиббса. При байесовском подходе критерий оптимальности связывают с так называемой функцией потерь (стоимости), характеризующей потери из-за отклонения оценки от истинного значения параметра [159]. Функцией потерь в данном случае является функция Хьюбера, способствующая сохранению четкости границ на изображении. Недостатком алгоритма является долгое время его выполнения. В [ПО] предложен неитеративный POCS алгоритм, качество которого схоже с классическими POCS, но при меньших вычислительных затратах. Авторы [150] отмечают похожесть своего алгоритма по методике на POCS алгоритм [112], однако он неитеративен. Также авторы вводят оценку «грубости» блока.
Разработка методов детектирования градационных переходов и сегментации изображения
На уровне отсчетов алгоритм деблокинга анализирует неоднородность вдоль границ блока и затем определяет, является ли неоднородность блочным артефактом или это элемент текстуры или объекта исходного изображения. После определения силы каждой границы, следующий шаг динамически выбирает фильтры для применения поперек границ блоков 4x4. Решение о принадлежности границы к блочности или реальному изображению выносится на основе вычисления абсолютных разностей между несколькими парами отсчетов поперек границы между блоками. Таблица со значениями коэффициентов фильтров, выбираемых для фильтрации, приведена в спецификации [4].
На рис. 2.11 приведена Y-компонента первого кадра CIF видеопоследовательности «foreman», который был сжат кодеком JM 13.2 с выключенным (рис. 2.11(a)) и включенным (рис. 2.11(6)) фильтром деблокинга. Параметр квантования принимался равным 48. При включенном фильтре качество изображения по критерию ПОСШ возросло на 0.58 дБ, также отмечается возросшее субъективное качество при некоторой потери четкости. Фильтр демонстрирует хорошую работу, одной из причин которой является уменьшенный размер блока обработки. Однако из-за этого также увеличивается вычислительная сложность всего алгоритма, поэтому актуальным будет проведение сравнение всех трех упомянутых стандартизованных фильтров для исследования отношения сложность-качество.
Фильтр деблокинга в VC-1 может изменять лишь по одному пикселю с каждой стороны границы блока, в отличие от Н.264, который изменяет до трех пикселей с каждой стороны границы блока. Такое ограничение связано с результатами тестирования разработчиками алгоритма фильтрации на видео высокого разрешения. В результате этих тестов выявлено негативное влияние фильтра большой длины на текстуру и «зерно» кинопленки. Принимая во внимание, что в Н.264 единицей обработки является блок 4x4, то при длине фильтра до 3-х пикселов возможна фильтрация одного и того же пикселя дважды. Такое невозможно в VC-1, поскольку центральные пиксели блока не затрагиваются фильтрацией. Поэтому при одной и той же силе фильтрации картинка, зако дированная с помощью VC-1, будет выглядеть четче, чем она же, закодированная с помощью Н.264.
Проведем сравнение эффективности работы каждого из алгоритмов фильтрации в вышеперечисленных стандартах, основываясь на количественных оценках критерия пикового отношения сигнал-шум (ПОСШ), критерия структурного подобия (SSIM) [71], а также вычислительной сложности [169]. Метрика SSIM является объективным критерием качества изображения и рассмотрена ниже.
Для сравнения использовался Н.263 кодек, разработанный компанией Telenor R&D (TMN 3.0). Помимо параметров, определенных по умолчанию, были постоянно включены следующие опции: режим улучшенного предсказания, режим с улучшенными РВ-кадрами, режим улучшенного внутриблокового кодирования.
В качестве кодека MPEG-4 Visual был выбран кодек открытого проекта Xvid1 версии 1.1.3. Последовательности кодировались в два прохода. Фильтр устранения последствий эффекта Гиббса не включался. Тип квантования для всех последовательностей кроме 1920х1080@50 - h263, для последовательностей crowdrun и ducks использовалось mpeg квантование. Кодирование и декоди-рование производились из-под VirtualDub версии 1.7.6.
В качестве кодера MPEG-4 AVC взят кодер открытого проекта х264 версии 808. Помимо параметров, определенных по умолчанию, были включены следующие опции: возможность использовать до пяти опорных кадров при оценке движения и возможность преобразования 8x8. Декодирование производилось декодером JM 13.2.
В качестве кодера VC-1 использовался поставляемый вместе с Microsoft VC-1 Pro Encoder SDK пример кодера элементарных потоков RAW2ES. Декодирование производилось декодером 6-й версии компании ARM Ltd, разработанным по заказу Microsoft для общества инженеров кино и телевидения (SMPTE).
Замеры осуществлялись при помощи MSU Video Quality Measurement Tool версии 1.52. Использовались метрика пикового отношения сигнал-шум (ПОСШ), взятая из-за широкой распространенности, и метрика структурного подобия (SSIM), которая совмещает в себе оценки яркости, контраста и структуры изображений [71] и является обобщением универсального показателя качества [72]. Отсутствие корреляции между объективной метрикой ПОСШ и субъективными оценками демонстрируется в работе [157]. На рис. 2.12 приведен график, из которого следует, что экспертные оценки (MOS) не всегда совпадают с оценкой качества изображения по критерию ПОСШ [157].
Разработка устройства устранения блочных искажений на основе селективной частотной фильтрации
В случае В-слайсов, т.е. когда используются два списка опорных изображений, формула (3.2) принимает вид (3.3). В стандарте Н.264 возможно три вида взвешенного предсказания для макроблоков разных слоев [4]: 1. макроблок Р-слоя: «явный» взвешенный прогноз; 2. макроблок В-слоя: «явный» взвешенный прогноз; 3. макроблок В-слоя: «неявный» взвешенный прогноз. В «явном» типе весовые множители определяются кодером и пересылаются в заголовке слайса (табл. 3.1) . Один и тот же весовой фактор и сдвиг ассоциированы с каждым опорным индексом для всех слайсов текущего изображения, но передаются в заголовке каждого из слайсов текущего изображения из соображений устойчивости к ошибкам. При использовании «неявного» типа прогноза множители вычисляются по относительным временным позициям опорных кадров списков 0 и 1. Чем ближе по времени опорный кадр к текущему, тем больше соответствующий весовой множитель. При вычислении весовых факторов и сдвигов используется 16-битная арифметика.
Впервые ВП появилось в неофициальной версии кодека JM 5.0g. Существует два варианта включения ВП в эталонном программном обеспечении JM. Можно явно указать кодеру использовать ВП путем установления флагов WeightedPrediction и WeightedBiprediction в конфигурационном файле. Для учета случаев, когда взвешенное предсказание может оказаться бесполезным (далее этот случай будет рассмотрен на примере), в кодере JM реализован алгоритм многопроходного кодирования, при котором изображение кодируется несколько раз в разных режимах: без взвешенного предсказания, с явными весами (для Р-слайсов), с явными и неявными весами для В-слайсов. При переборе всех возможных вариантов кодирования (до трех) следует учитывать, что время кодирования изображения увеличивается в соответствующее число раз. Для поддержки такой функциональности кодеру требуется сгенерировать несколько структур параметров изображения, так как разные методы взвешенного предсказания задаются параметрами этой структуры (в JM эта опция включается установкой флага GenerateMultiplePPS в конфигурационном файле). Выбор наилучшего варианта при использовании многопроходного режима кодирования осуществляется на основе оптимизационной техники Лагранжа. Для включения этого варианта необходимо установить флаги RDPictureDecision и GenerateMultiplePPS равными единице, при этом значения флагов WeightedPrediction и WeightedBiprediction игнорируются [66]. Необходимо отметить, что параметр UseWeightedReferenceME, определяемый в конфигурационном файле, отвечает за включение/отключение использования взвешенного предсказания во время оценки движения. Когда его значение равняется единице, оценка движения выполняется с учетом весовых коэффициентов, что дает более точный результат, однако требует больших вычислительных затрат. Об использовании взвешенного предсказания сигнализируют два флага в структуре параметров изображения (PPS): для Р-слайсов - флаг weighted__pred_flag, для В-слайсов - флаг weighted_bipred_idc.
«Неявный» взвешенный прогноз эффективен при кодировании кадров градационного перехода в отсутствии движения между кадрами. В этом случае первый и последний кадры перехода можно закодировать, используя только внутрикадровое сжатие, и все остальные кадры перехода закодировать как В-кадры с «неявным» ВП (рис. 3.1). В итоге градационный переход не потребует бит для кодирования, кроме заголовков кадров. Возможно, потребуется вставлять I-кадры в последовательность В-кадров при достаточно длинных градационных переходах. Сложность состоит в том, что начальный и конечный кадры перехода должны быть определены точно (что невозможно сделать, кодирую видеопоследовательность в один проход), иначе для кодирования промежуточных В-кадров потребуется много разностной информации.
Если движение во время перехода есть, то эффективней воспользоваться явным взвешенным предсказанием.
Рассмотрим три варианта кодирования тестовой последовательности foreman кодеком JM13.2, в начале которой введен градационный переход (fade-in) от затемненного изображения к основной сцене (рис. 3.2). В первом варианте последовательность закодирована без использования взвешенного предсказания. Во втором варианте использовалось «явное» ВП только при компенсации движения. В третьем варианте «явное» ВП использовалось и при компенсации движения, и при оценке движения. Для всех трех вариантов были ис- пользованы одинаковые условия кодирования: базовый профиль, параметр квантования 20.
В таблице 3.2 приведены показатели эффективности кодирования второго кадра последовательности, по ним видно, что лучший вариант кодирования -третий, с включенным взвешенным предсказанием.
