Содержание к диссертации
ВВЕДЕНИЕ 5
1. ОЦЕНКА КАЧЕСТВА СЖАТЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ
ТРАДИЦИОННЫХ ЭТАЛОННЫХ КРИТЕРИЕВ 17
1.1. Стандарт JPEG 17
Алгоритм сжатия - Baseline JPEG 18
Основные характеристики стандарта JPEG 18
1.2. Стандарт JPEG2000 21
1.2.1. Основные характеристики стандарта JPEG2000 21
1.3. Алгоритм SPIHT 24
Прогрессивная передача в алгоритме SPIHT 26
Основные характеристики алгоритма SPIHT 27
Субъективные критерии качества 28
Объективные критерии качества 30
Пиковое отношение сигнал/шум 31
Недостатки объективных критериев оценки качества изображений, базирующихся на среднеквадратичной ошибке 32
Модификация ПОСЛІ с учетом характеристик зрительной системы человека 34
Универсальный индекс качества 35
Сравнительный анализ алгоритмов сжатия изображений относительно критериев ПОСШ и УИК 39
Краткие выводы 46
2. НЕЭТАЛОННЫЕ АЛГОРИТМЫ ОЦЕНКИ КАЧЕСТВА
JPEG - ИЗОБРАЖЕНИЙ 47
Вводные замечания 47
Неэталонный индекс качества 49
Расчет неэталонного индекса качества 49
Нормализация оценки НИК 51
Результаты тестирования НИК 54
2.3. Нейросетевой неэталонный индекс качества 57
Расчет нейросетевого неэталонного индекса качества 57
Обучение и работа нейронной сети 65
Результаты тестирования ННИК 71
2.4. Неэталонный индекс блочности 73
Математическая модель блочности 73
Представление модели блочности в пространстве ДКП 76
Измерение артефактов блочности с учетом характеристик зрительной системы человека 77
Результаты тестирования НИБ 79
Сравнительный анализ предложенных неэталонных алгоритмов оценки качества n>EG - изображений 81
Краткие выводы 85
3. НЕЭТАЛОННЫЙ АЛГОРИТМ ОЦЕНКИ КАЧЕСТВА
ИЗОБРАЖЕНИЙ, СЖАТЫХ НА ОСНОВЕ
ВЕЙВЛЕТ - ПРЕОБРАЗОВАНИЯ 86
Вводные замечания 86
Статистическая модель изображения в вейвлет-области 89
Алгоритм неэталонной оценки качества изображений
стандарта №02000... 93
Расчет неэталонного индекса качества 93
Вычисление значений порогов 94
Упрощение модели 98
Оптимизация параметров НИК2000 99
Результаты тестирования НИК2000 101
Краткие выводы 105
4. УЛУЧШЕНИЕ Л^ЕО-ИЗОБРАЖЕНИЙ НА ОСНОВЕ АЛГОРИТМА
УДАЛЕНИЯ БЛОЧНОСТИ 107
Вводные замечания 107
Алгоритм уменьшения артефактов блочности 109
Нахождение краев объектов на изображении 111
Алгоритм постобработки для границ второго типа 113
Алгоритм постфильтрации в пространстве ДКП
границ второго и третьего типа 115
4.2.4. Ограничение коэффициентов ДКП после процедуры
постфильтрации 117
Настройка параметров алгоритма удаления блочности 118
Анализ работы алгоритма удаления блочности 124
Анализ ПОСШ обработанного изображения 124
Анализ НИБ обработанного изображения 126
Визуальный анализ работы алгоритма 127
Сравнение времени работы различных алгоритмов
улучшения JPEG - изображений 129
4.5. Краткие выводы 130
ЗАКЛЮЧЕНИЕ 132
СПИСОК ЛИТЕРАТУРЫ 135
ПРИЛОЖЕНИЕ 1. Описание алгоритма сжатия Baseline TPEG 153
ПРИЛОЖЕНИЕ 2. Описание алгоритма сжатия JPEG2000 158
ПРИЛОЖЕНИЕ 3. Описание алгоритма сжатия SPIHT 168
ПРИЛОЖЕНИЕ 4. Краткое описание психометрического эксперимента ....176
ПРИЛОЖЕНИЕ 5. Тестовые изображения 180
Введение к работе
Актуальность темы
Проводимые во всех технически развитых странах разработки алгоритмов и аппаратуры сокращения объема и рационального пакетирования видео-, аудио- и сопутствующей информации являются основой создания систем эффективного использования каналов связи, сохранения действующих частотных планов, высвобождения значительной части частотного ресурса для передачи потребителям дополнительных видов услуг — видеотелефона, мобильной и стационарной телеконференц-связи, многопрограммного интерактивного телевидения, телевидения высокой четкости, многопрограммного звукового вещания, цифрового кино. Разработка алгоритмов и соответствующей аппаратуры цифрового сжатия различных видов информации для их передачи по каналам связи как альтернативы аналоговым системам проводится уже более 20 лет. Был получен ряд важных результатов в плане разработки алгоритмов сжатия (включая стандарты JPEG (JPEG-2000), MPEG-1, MPEG-2, MPEG-4, Н.261, Н.263, H.264/AVC для статических и динамических изображений различного разрешения) [1-40, 103, 126, 127, 130].
Проблема создания высококачественной системы цифровой передачи видеоинформации - это главным образом проблема быстрого и эффективного ее сжатия - наиболее ресурсопотребляющей части всей системы [21-23]. Ее эффективность существенно влияет на качество воспроизводимой информации [1-3,24,36,40]. Кодирующее устройство решает сложные задачи в реальном времени и производит большое количество операций обработки, определяющих качество цифрового преобразования сигналов изображения и звукового сопровождения [16-17, 26-27, 29, 40]. Декодер, как правило, менее сложен и должен получать и восстанавливать данные [36, 40].
Особенную важность подобные исследования приобрели в связи с переходом к цифровому телерадиовещанию, и в частности к многопрограммному цифровому телевидению, вызванным присоединением России к общеевропейской системе DVB (Распоряжение Правительства Российской Федерации от 25.05.2004 № 706-р «О внедрении в Российской Федерации европейской системы цифрового телевизионного вещания DVB»). Практически во всех странах Европы определены сроки полного перехода на цифровое вещание (в пределе до 2012 г.). Обоснование и сроки внедрения цифровых систем вещания в России приводятся в проекте Концепции федеральной целевой программы «Развитие телерадиовещания в Российской Федерации (2007-2015 гг.)» [1-3].
Значительный вклад в разработку теории и алгоритмов ЦОИ внесли как отечественные ученые Ю.В. Гуляев, Ю.И. Борисов, Ю.Б. Зубарев, М.И. Кривошеев, В.П. Дворкович, А.В. Дворкович, Л.П. Ярославский, В.А. Сойфер, Ю.С. Радченко, так и зарубежные - С. Митра, Р. Гонсалес, Р. Вудс, Т. Чан, А. Бовик, Ю. Неуво, Я. Астола, К. Егиазарян и др. [1-56, 66-75].
Алгоритмы сжатия занимают значительное место в теории цифровой обработки изображений [23, 39, 40]. Связано это с тем, что изображения, представленные в цифровой форме, требуют для хранения довольно большого объема памяти, а при передаче их по каналам связи требуется значительное время [14,21-23,26,29,36]. Так, для изображения с разрешением 1280x1024 точек (типовое разрешение 19-дюймового монитора), с 24 битами на отсчет потребуется 1280x1024x24=3,75 Мбайт памяти. Чтобы передать его по типовому каналу со скоростью 128 Кбит/с, потребуется около четырех минут.
В то же время изображения содержат информацию, которая является избыточной, т.е. части памяти и полосы частот канала тратятся на нее. Алгоритмы сжатия уменьшают объем избыточной информации. Их можно разделить на два класса [36, 40, 77]:
алгоритмы сжатия без потерь (рис. В. 1а); алгоритмы сжатия с потерями (рис. В Л б).
Алгоритмы сжатия без потерь
Кодирование длин серий
Метод группового кодирования
Алгоритм Хаффмана
Арифметическое кодирование
а)
Алгоритмы сжатия с потерями
Перспективные
технологии
сжатия
Дискретное
косинусное
преобразование
Фрактальное кодирование
Нейросетевые методы сжатия
Стандарт JPEG
Вейвлет-преобразование
Стандарт JPEG2000 Алгоритм SPIHT
б) Рис. В.1. Алгоритмы сжатия цифровых изображений: а) без потерь; б) с потерями
Алгоритмы сжатия без потерь основаны на исключении избыточной статистической информации. К ним относятся: кодирование длин серий (Run-Length Encoding, RLE), метод группового кодирования (Lempel-Ziv-Welch, LZW), хаффмановское кодирование, арифметическое кодирование и др. «Сжатие без потерь» означает, что процесс обратим, т.е. информацию можно восстановить при декодировании в первоначальном виде [23-24,29, 40, 54].
Алгоритмы сжатия с потерями основаны на том, что в изображении содержится информация, слабо воспринимаемая человеческим глазом. Такой вид избыточности называется психофизиологической избыточностью [41,80]. Снижение такой избыточности состоит в исключении несущественных частей изображения, которые человеческий глаз не воспринимает в силу психофизиологических особенностей. Критериями исключения такой информации являются параметры рецепторов зрительного анализатора получателя видеосообщений. При этом часть информации безвозвратно теряется. Восстановить ее при декодировании невозможно [71-72,81].
Например, глаз человека не различает цвет мелких деталей изображения [80-82]. Следовательно, можно хранить только яркость деталей, а цветность отбросить и таким образом уменьшить объем информации..Этот метод давно применяется в телевидении. Разбиение непрерывного потока изображения на кадры также пример исключения психофизиологической избыточности [82, 160-161].
JPEG (Joint Photographic Expert Group - объединенная группа экспертов в области фотографии) - это первый международный стандарт ІБОЯЕС для сжатия неподвижных цифровых изображений [17, 124]. Целью алгоритма JPEG является сжатие изображений любого размера, в любых цветовых пространствах, при достижении оптимального баланса между коэффициентом компрессии и качеством декодированного изображения. Несмотря на широкую популярность стандарта JPEG в последние два десятилетия, развивающиеся интерактивные мультимедиа приложения в проводных и беспроводных коммуникациях, а также Интернет-приложения, потребовали новых возможностей, отсутствующих в JPEG [17]. Все это послужило основой для разработки и сертификации нового стандарта -JPEG2000, принятого на рубеже веков.
Алгоритм сжатия, используемый в стандарте JPEG2000, основан на вейвлет-разложении изображения [103]. Стандарт JPEG2000 показывает
свою эффективность в широком спектре приложений: передача изображений в сети Интернет, цифровая фотография, создание цифровых библиотек, базы данных изображений, цветное копирование, сканирование, печать, компьютерная графика, обработка медицинских изображений, мобильная связь третьего поколения (3G), приложения клиент-сервер, электронная коммерция и др. [34, 103].
Отбрасывание части информации при использовании стандартов сжатия изображений JPEG и JPEG2000 делает актуальным вопрос об объективной оценке качества восстановленных изображений [40-43]. На современном этапе развития систем сжатия изображений существует несколько наиболее популярных критериев оценки их качества (рис. В.2) [29, 32-33].
Критерии оценки качества изображений
Субъективные
Объективные
Средняя экспертная оценка MOS
Эталонные
Неэталонные
Пиковое
отношение
сигнал / шум
(ПОСШ)
Универсальный
индекс
качества
(УИК)
Коэффициент
структурного
подобия
(КСП)
?
Рис. В.2. Классификация критериев оценки качества изображений
Наиболее надежным и верным способом оценки качества изображения является субъективная экспертиза [16-21]. В самом деле, расчет средней экспертной оценки (Mean opinion score, MOS) долгое время считался наиболее надежным методом [29]. Схема проведения подобного
эксперимента стандартизована и основывается на рекомендации Международного Союза Электросвязи [18]. Однако такой подход требует работы большой группы людей, дорог в практическом применении и, как правило, не подходит для использования в реальных ситуациях [26,29,37,41,148].
Основной задачей разработки объективных систем оценки является создание алгоритма, который мог бы автоматически и с большой степенью достоверности оценить качество предложенных изображений [41-43]. Термин «достоверный» в данном случае означает, что такой алгоритм должен оценивать качество так, как усредненно оценила бы его группа экспертов. Очевидно, что развитие подобных алгоритмов несет в себе большой потенциал с точки зрения использования в реальных системах сжатия изображений [56]:
Во-первых, такие алгоритмы могут использоваться для контроля качества в системах сжатия визуальной информации.
Во-вторых, подобные алгоритмы найдут применение в оценке и сравнении различных стандартов сжатия изображений.
В-третьих, они могут быть встроены в систему обработки и передачи визуальной информации с целью оптимизации параметров на различных этапах преобразования изображений.
Исторически сложилось так, что объективные методы для оценки качества основывались на простых математических выражениях, таких как среднеквадратичная ошибка (СКО) и пиковое отношение сигнал/шум (ПОСШ) [26,29,170-171]. Это объясняется сравнительно малой изученностью вопроса о работе зрительной системы человека (ЗСЧ) и отсутствием соответствующих статистических данных [41,71-73,146]. Также широкая распространенность данных метрик объясняется простотой в их вычислении. Относительно недавно были предложены более сложные в вычислении алгоритмы - универсальный индекс качества (УИК) и коэффициент структурного подобия (КСП), которые в ряде приложений
показывают хорошую согласованность с субъективными экспертными оценками [70, 72-73].
Используемые сегодня метрики имеют один существенный недостаток - они требуют наличия изображения-оригинала (эталона), необходимого для проведения оценки. Однако на практике инженерам в подавляющем большинстве случаев приходится сталкиваться с ситуацией, когда эталонное изображение недоступно. В этом случае возникает необходимость в создании неэталонных критериев, способных оценивать качество изображения «вслепую» [41, 168-169, 173].
Задача неэталонной оценки качества изображений вызывает в последние годы повышенный интерес исследователей [41]. Большая часть предлагаемых алгоритмов разработана для конкретных типов априори известных искажений в изображении. Например, ряд критериев разработан для оценки изображений, имеющих размытую структуру [157]. В связи с бурным развитием мультисервисных сетей передачи информации, одной из перспективных областей применения неэталонных алгоритмов на сегодняшний день является оценка качества сжатых изображений и видеопоследовательностей [160-167]. Поэтому разработка неэталонных критериев оценки качества изображений применительно к системам сжатия визуальной информации представляет собой актуальную научно-техническую задачу.
Основной целью работы является улучшение характеристик систем сжатия статических изображений путем объективной оценки искажений, вносимых на этапе преобразования.
Для достижения указанной цели в диссертационной работе решаются следующие задачи:
- разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе дискретного косинусного преобразования;
разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе вейвлет-преобразования;
проведение эксперимента по оценке корреляции между предложенными объективными критериями качества сжатых изображений со средними экспертными оценками.
улучшение качества сжатых изображений стандарта JPEG путем удаления артефактов блочности.
Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, математического анализа, теории вероятностей, математической статистики, линейной алгебры. Для практической реализации алгоритмов применялись современные численные методы и методы объектно-ориентированного программирования на языке C++.
Достоверность полученных научных результатов. Достоверность полученных научных результатов обусловлена применением адекватного математического аппарата, подтверждается их согласованностью с результатами проведенного компьютерного моделирования и сопоставлением полученных результатов с научными данными, известными из российской и зарубежной литературы.
Научная новизна. В рамках данной работы получены следующие новые научные результаты.
Разработаны алгоритмы неэталонной оценки качества сжатых изображений стандарта JPEG, основанные на измерении уровня блочности в восстановленном изображении.
Предложен алгоритм неэталонной оценки качества сжатых изображений стандарта JPEG2000, основанный на изменениях в
статистической модели изображения, вызванных квантованием вейвлет-коэф фициентов. 3. Разработан и исследован алгоритм удаления блочности в изображениях, сжатых на основе дискретного косинусного преобразования.
Практическая ценность
Разработаны неэталонные алгоритмы оценки качества изображений, сжатых на основе дискретного косинусного и вейвлет-преобразований.
Проведен масштабный эксперимент по оценке корреляции между объективными критериями качества сжатых изображений со средними экспертными оценками.
Предложенные неэталонные алгоритмы оценки качества могут быть использованы в системах обработки и передачи визуальной информации, цифрового телевидения, радиолокации, связи, классификации и распознавания образов и в других прикладных задачах цифровой обработки изображений.
Результаты работы внедрены в соответствующие разработки Ярославского филиала ОАО «МобильныеТелеСистемы», ЗАО «ИТ-Центр-Ярославль», г. Ярославль.
Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ им. П.Г. Демидова в рамках дисциплины «Цифровая обработка изображений», а также в научно-исследовательские работы при выполнении исследований в рамках гранта РФФИ № 60-08-00782 «Развитие теории цифровой обработки сигналов и изображений в технических системах» (2006-2008 гг.).
Все результаты внедрения подтверждены соответствующими актами.
На защиту диссертации выносятся следующие основные результаты:
Алгоритмы неэталонной оценки качества изображений, сжатых на основе дискретного косинусного преобразования.
Алгоритм неэталонной оценки качества изображений, сжатых на основе вейвлет-преобразования.
Результаты сопоставления предложенных объективных неэталонных оценок качества сжатых изображений со средними экспертными оценками.
Алгоритм удаления артефактов блочности из изображений стандарта JPEG.
Апробация работы. Результаты работы обсуждались на следующих научно-технических семинарах и конференциях:
Восьмая - десятая международная конференция и выставка «Цифровая обработка сигналов и ее применение» (г. Москва, 2006 - 2008 гг.).
Третья международная научно-техническая конференция «Современные телевизионные технологии. Состояние и направления развития» (г. Москва, МНИТИ, 2006 г.).
Юбилейная научно-техническая конференция «Инновации в радиотехнических информационно-телекоммуникационных технологиях» (г. Москва, МАИ, 2006 г.).
Четырнадцатая - пятнадцатая международная научно-техническая конференция «Информационные средства и технологии» (г. Москва, МЭИ, 2006-2007 гг.).
Девятая — десятая Всероссийская научная конференция «Информационные технологии в электротехнике и электроэнергетике» (г. Чебоксары, 2006-2007 гг.)
65-я научная сессия, посвященная Дню Радио (г. Москва, 2007 г.).
Третья Всероссийская научная конференция «Проектирование научных и инженерных приложений в среде MATLAB» (г. Санкт-Петербург, 2007 г.)
Пятнадцатая международная научно-техническая конференция «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (г. Рязань, 2008 г.).
Публикации. По теме диссертации опубликовано 19 научных работ, из них 2 статьи в журналах, рекомендованных ВАК («Цифровая обработка сигналов», «Проектирование и технология электронных средств»), 2 статьи в сборнике научных трудов физического факультета ЯрГУ и 15 докладов на научных конференциях.
Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 188 наименований, и 5 приложений. Она изложена на 181 странице машинописного текста, содержит 62 рисунка и 7 таблиц.
Благодарности. Автор выражает слова глубокой благодарности своему научному руководителю профессору Юрию Александровичу Брюханову за помощь на всех этапах выполнения данной работы. Отдельная благодарность члену-корреспонденту РАН, профессору -Ю.Б. Зубареву, профессорам В.П. Дворковичу, В.В. Витязеву, А.А. Ланнэ, М.А. Щербакову, а также преподавателям ЯрГУ Л.Н. Казакову, И.Т. Рожкову, В.И. Ярмоленко, Е.И. Кротовой, А.Н. Креневу, В.А. Тимофееву, К.С. Артемову, Т.К. Артемовой, И.В. Изотовой, работы которых оказали значительное влияние на формирование взглядов автора в данном научном направлении. Эти взгляды формировались также в совместной работе с коллегами по лаборатории «Цифровые цепи и сигналы» кафедры динамики электронных систем ЯрГУ, среди которых
особенно хочется отметить Ю. Лукашевича, А. Ганина, Д. Волкова, В. Кобелева, С. Бухтоярова, И. Апалькова, Д. Куйкина, Д. Зараменского, В. Волохова, В. Бекренева, А. Абдуллоева, Е. Соколенко, М. Голубева.
Особая благодарность доцентам ЯрГУ Андрею Леонидовичу Приорову и Владимиру Вячеславовичу Хрящеву за постоянную поддержку во время обучения в аспирантуре и подготовки данной диссертации.
