Содержание к диссертации
Введение
1. Алгоритмы устранения избыточности в видео потоках формата MPEG-2. Достоинства и недостатки . . 9
1.1 Устранение пространственной и временной избыточности в формате MPEG-2. 9
1.2. Устранение временной избыточности в формате MPEG-2 с учетом информации о векторе движения . 18
1.3. Основные типы искажений при цифровом кодировании. 25
Выводы и постановка задачи исследований. 31
2. Оценка корреляционной связи между скоростью кода в канале и интегралом модуля межкадровой разности . 33
2.1. Обоснование выбора тестовых сюжетов для исследования корреляционной связи и оценки эффективности использования схемы компенсации движения.
2.2. Исследование взаимосвязи между интегралом модуля межкадровой разности и скоростью кода . 36
2.3. Место и структура блока сокращения временной избыточности цифрового видео потока.
Выводы. 53
3. Оценка скорости кода по ненулевым спектральным коэффициентам . 54
3.1. Определение зависимости скорости кода от количества ненулевых спектральных коэффициентов в макроблоке. 54
3.2. Аппроксимация регрессионной прямой . 59
Выводы. 64
4. Оценка эффективности использования векторов движения в формате MPEG-2 . 65
4.1. Визуальная оценка качества тестовой последовательности. 65
4.2. Верность воспроизведения дискретных изображений. 73
4.2.1. Парные меры качества изображения . 73
4.2.2. Оценка верности воспроизведения изображения для тестовой последовательности.
4.3 Оценка корреляционной связи между интегралом модуля межкадровой разности и скоростью кода. 90
4.3.1 Расчет коэффициента корреляции между интегралом модуля межкадровой разности, ограниченного порогом и скоростью кода для блока поэлементной разности. 90
4.3.2. Зависимость коэффициента корреляции от фактора квантования и размера зоны поиска.
4.4. Визуальная оценка качества тестовой последовательности из двух различных кадров, кодированной с использованием информации о векторе движения. 102
Выводы. 111
Заключение. 112
Список литературы. 114
Приложение!. 121
Приложение2. 122
- Устранение временной избыточности в формате MPEG-2 с учетом информации о векторе движения
- Исследование взаимосвязи между интегралом модуля межкадровой разности и скоростью кода
- Аппроксимация регрессионной прямой
- Парные меры качества изображения
Введение к работе
Актуальность темы. В современных цифровых системах вещательного телевидения, а также в компьютерных системах связи используются форматы MPEG-2 и MPEG-4. В связи с этим продолжает оставаться актуальной разработка методов и устройств сокращения избыточности цифровых видеопотоков. Основным направлением диссертационной работы является обнаружение резкой смены сюжета при использовании алгоритмов компенсации движения, разработка методов и алгоритмов обнаружения векторов движения, а также оценка эффективности их работы. Эффективность работы методов и алгоритмов оценивается по таким параметрам, как величина искажений декодированного изображения и скорость кода в канале.
Актуальность исследований связана с возникновением переходных искажений при резкой смене сюжета или быстрых перемещениях. В силу специфики кодирования в формате MPEG-2 и MPEG-4 переходные искажения могут распространяться на всю последовательность группы кадров. Гибкость семейства форматов MPEG заключается в том, что они не регламентируют алгоритм поиска векторов движения. В потоке необходимо передать данные о самом векторе и ошибку предсказания. По этому можно совершенствовать аппаратуру, с целью улучшения качества изображения и увеличения степени сжатия в соответствии с технологической базой или внедрением новых ускоренных алгоритмов определения векторов не внося корректировок в сам формат. Любой ускоренный алгоритм имеет свои недостатки. Поиск же векторов методом полного перебора практически невозможно реализовать сточки зрения аппаратных затрат.
Целью диссертационной работы является разработка и исследование алгоритмов и способов компенсации движения и построение обнаружителя смены сюжета. В силу того, что классы изображений на входе кодирующего устройства могут быть различными, ставилась задача оптимизации алгоритмов компенсации движения к резким изменениям сюжета.
Исходя из цели работы, задачами решаемыми в диссертации являются:
Исследование зависимости между значениями интеграла модуля межкадровой разности и скоростью кода в канале для блока поэлементной разности, полученного в соответствии с форматом MPEG-2.
Разработка алгоритма для предсказания скорости кода в канале.
Построение обнаружителя смены сюжета. Адаптация существующих алгоритмов к ситуации, когда приходится находить не вектор движения, а вектор «подобия» с целью минимизации потерь качества изображения и достижения максимального сжатия.
Разработка метода для оценки эффективности работы алгоритмов компенсации движения.
Применение разработанных алгоритмов для решения практических задач.
РОС НАЦИОНАЛЬНАЯ? БИБЛИОТЕКА I
Основные методы исследования. В работе использованы методы дискретной математики, корреляционного анализа, методы цифровой обработки сигналов изображения, оценка качества дискретных изображений, имитационное моделирование.
Научная новизна исследований состоит в следующем:
предложен метод комплексного решения задачи анализа и компенсации движения в формате MPEG-2, позволяющий обнаруживать резкую смену сюжета и определять оптимальный порог для типовых сюжетов;
предложен метод оценки работы алгоритма компенсации движения по минимуму скорости кода в канале при ограничении на отношение сигнал/шум;
разработана адаптивная схема компенсации движения с обнаружителем резкой смены сюжета по интегралу модуля межкадровой разности в кодирующем устройстве MPEG-2;
установлено, что значения интеграла модуля межкадровой разности и скорости кода в канале коррелированны между собой для ограниченного количества сюжетов;
установлена линейная связь к получено аналитическое выражение между скоростью кода для макроблока и количеством ненулевых спектральных, коэффициентов в этом макроблоке.
Практическая - значимость работы. Включенные в диссертацию результаты получены автором в рамках работы ОКР «Мультиканал», проводимой в соответствии с Федеральной, целевой, комплексной программой «Создание технических средств связи, телевидения и радиовещания», и заключаются в следующем:
Предложен новый метод и получено аналитическое выражение для предсказания скорости кода в канале по ненулевым спектральным коэффициентам, которые могут быть использованы в инженерных расчетах.
Разработано программное обеспечение, позволяющее оценить корреляционную связь между интегралом модуля межкадровой разности и скоростью кода в канале.
Разработано программное обеспечение, позволяющее оценить эффективность работы алгоритма компенсации движения.
Разработан программный комплекс, позволяющий моделировать различные вицы движения и оценивать качество декодированного изображения.
Результаты диссертационной работы используются в кодирующем устройстве MPEG-2 в части реализации адаптивного подбора коэффициентов квантования.
На защиту выносятся следующие основные положения: для обнаружения резкой смены сюжета вводится порог для интеграла модуля межкадровой разности, тем самым обеспечивается уменьшение максимальной ошибки декодированного изображения;
эффективность работы схемы компенсации движения может быть оценена по минимуму скорости кода в канале при ограничении на отношение сигнал/шум;
для уменьшения ошибки передачи при заданной скорости передачи необходимо учитывать не только смену сюжета, но и соотношение скоростей кода в соседних кадрах;
для уменьшения ошибки передачи в реальном времени следует воспользоваться предсказанием скорости кода в канале; в частности, скорость кода в канале может быть предсказана по количеству ненулевых спектральных коэффициентов в макроблоке.
Апробация работы. Основные положения и результаты работы докладывались и обсуждались на следующих конференциях:
5-ая Международная конференция «Распознавание - 2001», 23-26
октября, 2001 г., Курск.
Международная конференция «Телевидение: передача и обработка
изображений», 21-22 мая, 2002 г., Санкт-Петербург.
3-ая Международная конференция «Телевидение: передача и обработка
изображений», 5-6 июня 2003 г., Санкт-Петербург. Публикации. По теме диссертации опубликовано 2 статьи, 1 публикация в сборнике материалов научно-технической конференции и тезисы к 2 докладам на международных научно-технических конференциях.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы, включающего 71 наименование, и двух приложений. Основная часть работы изложена на 94 страницах машинописного текста. Работа содержит 38 рисунков и 9 таблиц.
Устранение временной избыточности в формате MPEG-2 с учетом информации о векторе движения
В процессе развития сюжета изображения во времени отдельные объек ты перемещаются в плоскости кадра из-за собственного движения, перемещения камеры, масштабирования изображения. Соответствовать друг другу по положению на объекте и иметь наибольшую корреляцию величин яркости будут несоответствующие друг другу по координатам в кадре элементы изображения.
Время от времени происходит смена сюжета. Изменения в изображении могут быть глобальными, во всем пространстве кадра (например, когда режиссер переключает трансляцию с одной камеры на другую), или локальными, охватывающими лишь несколько ограниченных участков изображения, которые могут быть связаны со скачкообразными перемещениями объектов в « сюжете или резкими изменениями их яркости. Самое значительное распространение в настоящее время получил метод гибридной обработки движущихся изображений, в котором используется анализ движения внутри трехмерного блока по оси времени и двумерное групповое кодирование (например, ДКП ) в пространстве [2].
Точное равенство возможно здесь лишь при условии, что движение объекта исчерпывается плоскопараллельным смещением, его освещенность постоянна, градиент яркости фона равен нулю и все объекты в каждом блоке движутся с одной и той же скоростью, выражаемой целыми числами элементов изображения за смену кадра но обеим пространственным осям.
Данные подходы применяются для анализа и компенсации движения в формате цифрового вещания MPEG-2. В этом формате не регламентируется сам алгоритм компенсации движения. В потоке выделяется место для значения вектора и ошибки предсказания.
Вектора движения позволяют сократить временную избыточность изображения. В соответствии со стандартом, разностный блок, (ошибка предсказания) переносится в частотную область. Полученные спектральные коэффициенты, согласно таблице 7-6 [7] делятся на фактор квантования. Результат округляется, и кодируется кодами переменной длины, где скорость кода в канале зависит от количества нулевых и ненулевых коэффициентов, при этом сканирование коэффициентов в блоке производится в зигзагообразном порядке [7].
Изображение на входе кодирующего устройства носит случайный характер, приходится анализировать вектора «подобия», поэтому не очевидно, что найденный вектор обеспечит минимальную скорость кода в канале. Возникает проблема переходных процессов, связанная с резкой сменой сюжета. Если учитывать, что интервал между двумя опорными кадрами составляет, как правило, около десяти кадров, то переходной процесс будет распространяться на всю последовательность.
Для примера рассмотрим два изображения, в одном из которых значение сигнала будет соответствовать уровню черного, а в другом уровню белого. Интеграл модуля межкадровой разности для данного случая будет максимальным, но скорость кода в канале при этом (в силу особенностей ДКП) -минимальна. Таким образом, целесообразно исследовать статистическую взаимосвязь между интегралом модуля межкадровой разности и скоростью кода в канале. Для оценки вектора движения используются два кадра і и і+l, причем над і-м кадром произведено инверсное преобразование ГОСТ, т.е. он является восстановленным, і+l кадр разбивается на макроблоки. В соответствующей зоне і-го кадра со смещением на один элемент изображения в некоторой области ищется наиболее похожий макроблок. Размер области ограничивается вычислительными затратами.
На сегодняшний день, для определения похожих блоков используют либо квадратичную меру, либо абсолютную. Причем, с точки зрения уменьшения вычислительных затрат, последняя предпочтительнее.
Удобство стандарта заключается в том, что он не определяет алгоритмы поиска векторов движения и методы их оценки. В потоке должен быть передан лишь сам вектор и ошибка предсказания. Это позволяет усовершенствовать структуру кодера, не внося каких-либо изменений в стандарт.
Поскольку поиск векторов движения является наиболее трудоемкой работой, эффективность алгоритма компенсации движения является критическим фактором, влияющим на возможность реализации всего алгоритма кодирования. Метод полного перебора не может обеспечить поиск векторов движения в сколько-нибудь большом окне, так как объем операций, необходимых для проведения такого поиска оказывается неприемлемо большим. Вот некоторые примеры ускоренного анализа векторов движения.
Логарифмический поиск. Это один из наиболее ранних предложенных ускоренных методов анализа движения [2], в котором поиск ведется в направлении минимизации ошибки на каждом шагу по осям І, j.
Методика поиска показана нарис. 1.2.1 . На первом этапе поиск ведется среди точек, обозначенных цифрой 1. После нахождения промежуточного оптимума (обозначенного как «1») диапазон поиска сужается вплоть до нахождения конечного оптимума. Комбинированный поиск по двум направлениям. Методика поиска показана на рис. 1.2.2 . В этом методе, начиная с центра макроблока, приводится полный перебор по горизонтали, в результате чего находится точка 1, являющаяся локальным минимумом в строке. Затем поиск ведется по вертикали и находится точка 2, локальный минимум в столбце. Процедура поиска продолжается с чередованием направлений и с уменьшением диапазона поиска вплоть до нахождения конечного оптимума [2].
Трех шаговый поиск. Получивший широкое распространение и идейно схожий с логарифмическим поиском, данный метод находит промежуточный оптимум среди 9 пикселей [2]. Методика поиска показана на рис. 1.2.3 . Иерархический поиск, В возможных реализациях данного метода сначала поиск проводится по передискретизованному в 2 или 4 раза макроблоку, и вектор движения, найденный для передискретизованному размеру макроблока 4x4 элементов изображения, затем уточняется для макроблока 8x8 элементов изображения и, наконец, для макроблока 16x16 элементов изображения.
Иерархический поиск представляется особенно эффективным для изображений с высоким пространственным разрешением, например, для телевидения высокой четкости. Он также находит свое применение в пространственно масштабируемых вариантах стандарта MPEG-2.
Методы фазовой корреляции. Данные методы основаны на преобразовании Фурье. При преобразовании пространственный сдвиг изображения соответствует добавлению к фазе каждой частоты величины, пропорциональной значению вектора движения. Поэтому при выполнении обратного преобразования от разницы фаз спектральных компонент двух соседних кадров на корреляционной поверхности образуется пик, координаты которого совпадают с координатами вектора движения. В силу того, что вклад в Фурье спектр вносят элементы изображения одновременно всей пространственной области, метод фазовой корреляции не позволяет однозначно определить, какому из объектов соответствует найденный вектор движения и, требуется дополнительный анализ. Преимуществом метода фазовой корреляцией является то, что вектор движения можно определить в достаточно большой области. При этом на корреляционной поверхности может возникнуть несколько пиков, положение которых соответствует векторам движения каждого из объектов. С увеличением размера области поиска увеличивается и количество различных движущихся объектов, тем самым значительно возрастает сложность определения векторов движен ия [11].
Исследование взаимосвязи между интегралом модуля межкадровой разности и скоростью кода
Видеосигнал на входе кодирующего устройства S(x,y,t) представляет случайный процесс { }, где ie[0..N] , N — количество различных сюжетов, стремящееся к бесконечности. Случайный процесс характеризуется набором плотностей вероятности { («)} и набором АКФ {K,(x,y,t)}. В случае, когда сюжет мало изменяется с течением времени, случайный процесс можно считать стационарным процессом в широком смысле. В случае резкой смене сюжета условия стационарности нарушаются. Для эффективного кодирования необходимо обнаружить смену сюжета. Оптимальный обнаружитель смены сюжета должен оценивать два параметра - плотность вероятности сюжета и его автокорреляционную функцию. Для стационарного случайного процесса средний квадрат его изменения за время т есть [20]: E[{x(t)-x(t+r) 7] = 2[г„(0)-г„(г)] 9 где г«(т)- значение корреляционной функции; г«()" значение корреляционной функции при т =0 (дисперсия случайного процесса). При вынесении значения корреляционной функции в нуле за скобку получается соотношение для связи среднего квадрата изменения случайного процесса за время т с коэффициентом корреляции: E[{x(0-x(t+r) }2] = 2rJoll-p] (2.1.1) где Р - коэффициент корреляции. При т равном времени кадра средний квадрат межкадровой разности связан с коэффициентом корреляции соотношением 2.1.1., т.е. средний квадрат межкадровой разности является мерой корреляции кадров. На практике, при аппаратной реализации, с целью сокращения вычислительных затрат используют не средний квадрат межкадровой разности, а модуль межкадровой разности (абсолютную оценку). В этой главе производится исследование зависимости между интегралом модуля межкадровой разности (DFD) и скоростью кода. Структура алгоритма построения зависимости изображена на рис.2.2.1. Для исследования зависимости используется черно-белый кадр размером 720x576 элементов изображения. В кадре выделяется блок размером 16x16 (назовем его «основной» блок). Вычисляются разности между значениями сигналов этого блока и остальными блоками размером 16x16 (определим их как «исследуемые» блоки) по всему полю изображения с некоторым шагом. Для каждого блока поэлементной разности вычисляются интеграл модуля межкадровой разности и скорость кода (Code Length (CL)). Для определения скорости кода в формате MPEG-2 блок разности подвергается прямому дискретно-косинус ному преобразованию Фурье. Полученный блок спектральных коэффициентов считывается в зигзагообразном порядке, и последовательности нулевых и не нулевых коэффициентов кодируются кодами переменной длины. По результатам строится зависимость, где но оси абцисс откладываются значения скорости кода - L (CL), а по оси ординат значения абсолютной оценки блоков д (DFD — displayed frame difference). Скорость кода измеряется в битах, DFD — безразмерная величина. Эта процедура повторяется для каждого блока изображения с шагом 16 элементов изображения в горизонтальном и вертикальном направлениях. Выборка проводилась и для блоков со смещением один элемент изображения. Характер этих зависимостей не отличался от зависимостей со смещением 16 элементов изображения. Поэтому с целью уменьшения временных затрат графики строились для блоков со смещением 16 элементов изображения.
Полученные результаты отображены на рисунках 2.2.2. - 2.2.6. Графики представлены в виде двумерной гистограммы и представляют двумерное распределение случайной величины, где яркость элемента гистограммы обуславливает количество событий с данным значением скорости кода и интеграла модуля межкадровой разности. Максимальное значение одного элемента гистограммы равно 255. Графики построены для факторов квантования равных 1,5, 10, 15, 20, 25. Данные значения факторов квантования в соответствии с таблицей 7-6 [7] дают коэффициенты деления спектральных трансформант 2, 10, 30, 40, 50 соответственно, для передачи спектральных трансформант с требуемой точностью. Точность передачи спектральных коэффициентов ограничена пропускной способностью канала передачи.
Нормальное (студийное) качество обеспечивается при значениях фактора квантования равных примерно 5-10, что примерно соответствует скорости кода в канале 6-8 Мбит/с. На рис. 2.2.7 - 2.2.9 графики представлены в аксонометрическом виде. Для этих графиков фактор квантования равен 1, а размер зоны поиска вектора движения равен элементам изображения. По оси Z откладывается количество совместных событий N с данным значением скорости кода и интегралом модуля межкадровой разности.
Аксонометрическая проекция зависимости CL от DFD для изображения №3. Графики для всех типов изображений имеют нелинейный характер и довольно большой разброс значений скорости кода CL при фиксированном значении DFD. Интенсивности графиков для изображения №1 и №3 на малых факторах квантования показывают, что гистограмма размыта, т.е. вероятность получения максимальной и минимальной скорости кода при одном и том же значении DFD одинакова. Для изображения №2, насыщенного мелкими деталями, гистограмма смещена по оси X (CL) в сторону больших значений. Это естественно, т.к. мелкоструктурное изображение на малых факторах квантования даст максимальную скорость кода в канале.
На всех графиках при ближайшем рассмотрении можно выделить зону с малым разбросом значений скорости кода при фиксированном значении интеграла модуля межкадровой разности.
Проводился анализ зависимости скорости кода в канале от интеграла модуля межкадровой разности для зашумленных изображений рис. 2.2.8 -2.2.9. Исследовались зависимости для тестовых изображений №1-№3 с различными значениями отношения сигнал/шум. На изображения накладывался нормальный гауссовский шум при помощи пакета Adobe Photoshop. Зависимости имели тот же самый характер, а при уменьшении отношения сигнал/шум гистограммы распределений принимали такой же характер, как и гистограмма распределения мелкоструктурного изображения (тестовое изображение №2).
Аппроксимация регрессионной прямой
При рассмотрении регрессии, когда у рассматривается как зависимая переменная, а х - как объясняющая, уравнение регрессионной прямой имеет вид: У = Ь0 + Ь1Х (3 2.1) В нашем случае зависимой переменной х является скорость кода (L), а объясняющей переменная у (количество ненулевых элементов). При переходе от одной постановки задачи к другой нельзя просто из уравнения 3.2.1 выразить х через у. Это связано с тем, что эмпирические точки лежат не на прямой, а подвержены рассеянию. Фиксированному значению д: может соответствовать несколько значений у, а данному значению у — несколько значений переменной х. Чем больше разброс точек на диаграмме рассеяния, тем больше будут отличаться друг от друга регрессионные прямые.
Алгоритм был применен в кодирующем устройстве MPEG-2 для предсказания скорости кода в канале и корректировки фактора квантования. Известно, что на выходе кодирующего устройства необходимо ставить буферную память, которая позволяет поддерживать постоянную скорость кода. Когда свободное пространство в памяти становится небольшим, необходимо увеличивать фактор квантования, чтобы снизить скорость кода. В тоже время, когда память освобождается можно уменьшить фактор квантования, тем самым, увеличивая скорость кода и повышая точность спектральных коэффициентов. Говоря другими словами необходимо динамически отслеживать степень заполнения буферной памяти. На рис.3.2.1а изображен фрагмент стандартной динамической тестовой последовательности "Diva with Noise", изображение на фоне шумового поля. В области, где находится изображение, необходимо поддерживать фактор квантования небольшим, добиваясь минимума искажений для изображения. В области же шумового поля, фактор квантования нужно увеличить, для уменьшения скорости кода и предотвращения переполнения буферной памяти.
Методика применялась для анализа скорости кода для блока поэлементной разности, найденного как разность между опорным блоком и блоком, найденным с учетов информации вектора движения. Если скорость кода блока поэлементной разности больше, нежели опорный блок, то, с точки зрения сокращения потока целесообразно передавать опорный блок. Остается открытым вопрос, как это скажется на качестве изображения, ведь, как это было показано в главе 2, скорость кода в канале и степень похожести блоков слабо коррелированные величины. Следовательно, может оказаться, что при малой скорости кода для макроблока поэлементной разности, два макроблока: опорный и макроблок найденный при помощи вектора движения существенно различаются. Вопросы качества для данной ситуации будут рассмотрены в главе 4. Алгоритм подсчета ненулевых коэффициентов может найти прямое применение и для поиска векторов движения. Очевидно, что данный подход обеспечит максимальное сжатие, но применение его будет ограниченным. Во первых реализация этого алгоритма потребует большого объема вычислений, т.к. не избежать процедуры косинусного преобразования Фурье. Метод предсказания скорости кода по ненулевым спектральным коэффициентам может найти применение в программных кодерах, где не требуется кодирования реального времени, например в системах архивации. Можно снизить и объем вычислений, т.е. брать "неполное" косинусное преобразование, например только суммы без перемножения на косинусы, т.е. судить о спектре по начальным спектральным суммам. Этот вариант был проверен в кодирующем устройстве для предсказания степени заполнения буферной памяти и показал свою работоспособность. Во-вторых возникает проблема качества. Если ограничений по качеству нет, то можно напрямую использовать данную методику. Но если существуют повышенные требования к качеству, то при больших значениях DFD неясно какие искажения могут возникнуть в восстановленном изображении. Некоторые проблемы зависимости качества изображения от значения DFD рассмотрены в главе 4.
При кодировании изображения для хранения и передачи информации необходимо сохранить качество воспроизводимого изображения. Качество изображения можно оценивать двумя путями: либо оценивать верность изображения, либо оценивать дешифрируемость изображения. Эти два способа относятся к количественным мерам (объективным) оценки качества изображения и во многом помогают избавиться от трудоемкой и подчас не точной современной методики оценки качества изображения посредством субъективной экспертизы. Известны также случаи, когда при плохих показателях количественных мер оценки качества субъективная экспертиза дает хороший результат. Поэтому для оценки качества оцифрованного изображения можно воспользоваться комплексной оценкой.
В настоящее время наиболее распространенным и самым надежным способом является субъективная экспертиза. Изначально сжатие подразумевает потери информации и эти потери не должны восприниматься человеческим глазом. В этом случае экспертная оценка является наиболее эффективной. Существуют два вида экспертных оценок: абсолютные и сравнительные. В первом случае наблюдатель оценивает качество изображения по заранее известной шкале, потом экспертные оценки суммируются и вычисляется средний бал. В другом случае восстановленное после кодирования изображение сравнивается с эталонным.
Парные меры качества изображения
В настоящем разделе рассматривается вопрос о верности воспроизведения изображения цифровых видеосигналов. Количественные меры верности меры должны хорошо согласовываться с результатами субъективных оценок для широкого класса изображений, не требуя для этого чересчур сложных вычислений. Количественные меры верности воспроизведения одноцветных изображений делятся на две группы: одиночные и парные. Одиночная мера представляет собой число, сопоставляемое любому изображению на основе анализа его структуры. Парная мера является числовым результатом взаимного сравнения двух изображений [6]. В данном случае наиболее приемлема парная мера, где сравниваются изображение кодированное без учета векторов движения и изображение восстановленное с учетом векторов движения с входным изображением.
Парные меры качества изображения подразумевают сопоставление эталонного (идеального) изображения F(x, у) с его искаженным вариантом F(x,y). В системах цифровой обработки изображений для определения критерия верности удобнее использовать дискретные отчеты, а не аналоговое изображение. Непосредственный способ получения таких критериев верности состоит в простой «дискретизации» аналоговых критериев, т.е. заменой интегралов на суммы.
Как было показано выше, на реальных изображениях с ростом величины DFD корреляционные связи между фрагментами изображений существенно снижаются, поэтому гарантировать снижение скорости кода практически невозможно. Поэтому НСКО определялось в комбинированной процедуре: до некоторого значения DFD, называемого пороговым, восстановление фрагментов производилось с учетом векторов движения, а при его превышении - без учета. Процедура выполнялась для двух ситуаций. Для изображения восстановленного при помощи векторов движения и для изображения восстановленного без векторов движения. 4.2.2 Оценка верности воспроизведения изображения для тестовой последовательности.
В работе производилась оценка верности воспроизведения изображения для тестовой последовательности рис.2.1.1, включающей два кадра изображения, мало отличающиеся друг от друга, т.е. все перемещения происходят в пределах зоны поиска. Оценка верности проводилась для различных факторов квантования. Верность изображения рассчитывалась в соответствии с 4.2.1.2 и 4.2.1.3 для восстановленных изображений при помощи векторов движения и без векторов движения. В качестве эталонного изображения использовалось исходное изображение (не прошедшее тракт кодирования). В силу того, что на визуальное восприятие влияет точность воспроизведения контуров, в тестовом изображении выделялись контура, и верность изображения оценивалась в соответствии с соотношениями 4.2.1.2 и 4.2.1.3.
Из графиков видно, что действительно НСКО уменьшается с увеличением порогового значения DFD, причем резко уменьшается до значения DFD порядка 4000 для всех критериев и для всех факторов квантования, кроме F=l. После 4000 НСКО либо слабо меняется, либо не изменяется совсем. Для фактора квантования F=l график становится практически не изменяющимся после значения DFD, примерно равное 2000. Поведение графиков при значениях DFD превышающих 4000 объясняется малыми смещениями объектов в тестовом изображении, нет таких ситуаций, когда смещение объекта больше, чем размер зоны поиска векторов движения. Тем самым всегда находится макроблок подвергшийся смещению. Значений DFD превышающих порог 16000 для данного тестового изображения не существует. Можно сказать, что при статических видеопоследовательностях и видеопоследовательностях претерпевающие незначительные изменения использование векторов движения приводит к улучшению визуального восприятия декодированного изображения.
