Содержание к диссертации
Введение
Глава 1. Анализ характеристик передачи элементов структуры сигналов телевизионных изображений в цифровых системах телевидения с внутрикадровым сжатием 12
1.1. Основные качественные характеристики и параметры структуры телевизионных изображений 12
1.2. Преобразования тонкой структуры изображений в цифровых системах телевидения с внутрикадровым сжатием 30
1.3. Анализ искажений низкочастотных составляющих телевизионных изображений при внутрикадровом сжатии 41
1.4. Основные направления увеличения качественных показателей телевизионных изображений при сжатии в пространстве кадра 45
1.5. Выводы: 48
Глава 2. Анализ характеристик преобразования сигналов изображения при сжатии по стандарту jpeg 51
2.1. Разработка принципов анализа характеристик спектра блоков дискретизации изображения с четным (нечетным) числом отсчетов в горизонтальном и вертикальном направлении в пространстве растра 51
2. 1. 1. Анапа характеристик спектра ортогональных структур квазипериодической дискретизации в системах телевидения 57
2.1.2. Принципы построения и анализа характеристик спектра структур
квазипериодической неравномерной дискретизации телевизионных изображений 59
2.2. Анализ характеристик спектра типовых для сжатия по стандарту jpeg фрагментов телевизионных изображений 71
2.2.1. Обзор блоков изображения с типичным распределением пространственной структуры
2.2.2. Разработка метода анализа пространственного спектра изображения для систем с использованием блочного стробирования при сжатии 79
2.2.3. Разработка метода анализа пространственного спектра в пределах блока с четным числом элементов на основе применения многократной свертки 86
2.2.4. Исследование характеристик спектра блока изображения, содержащего пространственную структуру типа "точка" 93
2.2.5. Преобразования спектра постоянной составляющей блока изобраэ/сения при наличии яркостиого перепада (границы) в блоке 104
2.2.6. Исследование преобразования спектра постоянной составляющей блока изображения при наличии в блоке структурной составляющей "контур" 119
2.3. Разработка операций алгоритма сжатия, обеспечивающего увеличение эффективности внутрикадрового сжатия по стандарту jpeg 131
2.4. Выводы 138
Глава 3. Разработка метода сжатия обеспечиваю-щего учет анизотропии пространственного спектра элементов структуры текущего телевизионного изображения 140
3.1. Определение критериев выделения яркостного перепада в локализованном фрагменте изображения 140
3.2. Разработка алгоритма сжатия элементов структуры с изотропной функцией пространственного спектра в пределах стробирующего блока 146
3.3. Определение критериев селекции структуры изображения по характеру ее распределения в пределах блока и в смежных областях изображения 152
3.4. Разработка алгоритма сжатия элементов структуры изображения с существенной анизотропией функции пространственного спектра в пределах стробирующего блока. 159
3.5. Разработка принципов сжатия тонкой структуры телевизионных изображений. 164
3.6. Выводы 170
Глава 4. Разработка устройства сжатия и реставра-ции пространственных структурных составляющих изображения .. 172
4.1. Разработка устройства селекции и сжатия структурных составляющих изображения 172
4.2. Разработка метода реставрации декодированного изображения с использованием данных, полученных в результате раздельного кодирования составляющих изображения 186
4.2.1. Разработка операций реставрации фоновой составляющей изображения на приемной стороне канапа связи. 186
4.2.2 разработка операций реставрации протяэ/сенных границ раздела фоновых составляющих изображения 187
4.2.3. Разработка операций реставрации тонкой структуры изображения 189
4.3. Выводы 191
Глава 5. Результаты экспериментального исследования разработанного метода сжатия изображения 192
5.1. Выбор исходных изображений 192
5.2. Промежуточные результаты работы алгоритма кодирования 194
5.3. Объективные оценки качества декодированного изображения при использовании разработанного метода. Сравнение полученных результатов с существующими аналогами 197
5.3.2. Объективная оценка качества передачи низкочастотных и высокочастотных составляющих изображения 200
5.3.3. Сравнение объективных показателей качества с алгоритмом jpeg. 203
5.4. Субъективные оценки качества декодированных изображений при использовании метода селективной идентификации с раздельным кодированием структурных составляющих изображений 207
5.5. Выводы 216
5.6. Перспективы развития 217
Заключение 218
Список литературы 221
Приложение. Исходный код программной реализации устройства сжатия и реставрации пространственных структурных составляющих изображения 230
- Преобразования тонкой структуры изображений в цифровых системах телевидения с внутрикадровым сжатием
- Анапа характеристик спектра ортогональных структур квазипериодической дискретизации в системах телевидения
- Разработка алгоритма сжатия элементов структуры с изотропной функцией пространственного спектра в пределах стробирующего блока
- Разработка метода реставрации декодированного изображения с использованием данных, полученных в результате раздельного кодирования составляющих изображения
Введение к работе
Актуальность работы.
Анализ телекоммуникационного рынка показывает, что спрос на услуги передачи и взаимообмена визуальной информацией неуклонно растет. Это дает все основания полагать, что передача визуальной информации в системах связи следующего столетия займет одно из центральных мест.
Подтверждением этому являются динамично развивающиеся системы мобильной связи третьего поколения (3G), системы VoD (Video on Demand), сеть Internet, которые все больше ориентируются на предоставление услуг взаимообмена визуальной информацией.
Наибольшее распространение из всех направлений развития систем сжатия получили методы и устройства на основе компактного дискретного косинусного преобразования (КДКП). Однако кодирование на основе КДКП с последующим отсечением коэффициентов вносит ряд искажений в структуру изображения. Так, например, в пространственной области изображения наблюдаются искажения тонких протяженных структур, а именно падение яркости исходной структуры, что приводит к уменьшению ее контрастности по отношению к яркости фона блока, изменение геометрии объектов, сопоставимых по размеру с размером блока, изменение средней яркости блока за счет нарушения взаимной компенсации амплитуд гармоник в спектре блока.
Улучшение субъективного качества может быть достигнуто только при существенном снижении степени сжатия, что несомненно снижает эффективность и ограничивает область применения данных алгоритмов.
Проведенные эксперименты показали, что в наибольшей степени искажениям подвергается тонкая пространственная структура (элементы) изображения. К такого рода элементам можно отнести точечные объекты, протяженные контура и границы объектов изображения. Также, вследствие того, что при КДКП используется ограниченный фрагмент изображения и степень внесенных искажений в каждом отдельном фрагменте оказывается различной, на результирующем изображении возникает заметная блочная структура, которая также негативно сказывается на субъективной оценке общего качества изображения.
Перспективной представляется разработка такого алгоритма кодирования изображений, который позволил бы осуществить независимую обработку в пространстве кадра различных структурных составляющих изображения, таких как фоновая составляющая, границы и контура, текстура изображения. Раздельное кодирование структурных элементов позволит независимо выбирать степень сжатия для каждого вида составляющих структуры изображения. Это позволит достигать максимальных степеней сжатия на менее информативных для конкретного пользователя участках изображения и повысить качество тех участков, на которых концентрируется большая часть внимания при визуальном контроле. Так, например, точная передача контуров и границ на изображении позволяет наблюдателю эффективно распознавать объекты изображения, а раздельное кодирование текстуры и фоновой составляющей позволяет устранить искажения, сопутствующие сжатию методами на основе КДКП, и резко повысить четкость тонкой структуры изображения.
Таким образом, научный поиск и исследования в направлении классификации различного типа структурных составляющих изображений и последующего их раздельного кодирования, а также разработки алгоритмов и устройств на базе полученных научных результатов являются актуальными.
Цель работы.
Целью настоящей диссертационной работы является разработка методов
селективной идентификации и разделения составляющих изображения, кодирования выделенных составляющих и построения алгоритмов и устройства реализации разработанных методов. Для достижения поставленной цели в работе осуществлено следующее:
? анализ внутри блочных и межблочных искажений на декодированных изображениях, сжатых при помощи КДКП, для различных видов тестовых изображений;
? исследование и моделирование импульсной характеристики фильтра низких пространственных частот зрительной системы человека, позволившие конкретизировать размеры фрагмента изображения, над которым реализуются операции селекции, и минимизировать заметность межблочных искажений;
? разработка метода анализа пространственного спектра изображения для систем с использованием блочного стробирования при сжатии;
б
? анализ характеристик спектра типовых, для сжатия по стандарту JPEG, фрагментов телевизионных изображений;
? анализ характеристик преобразования спектра изображений в последовательности независимых блоков дискретизации в телевизионных системах с цифровым сжатием;
? определение критериев выделения яркостного перепада в локализованном фрагменте изображения, разработка операций алгоритма селекции блоков с наличием яркостного перепада и блоков с относительно равномерным распределением яркости;
? разработка алгоритма сжатия элементов структуры с изотропной функцией пространственного спектра в пределах стробирующего блока;
? определение критериев селекции структуры изображения по характеру ее распределения в пределах блока и в смежных областях изображения;
? разработка алгоритма сжатия элементов структуры изображения с существенной анизотропией функции пространственного спектра в пределах стробирующего блока;
? разработка принципов сжатия тонкой структуры телевизионных изображений;
? разработка алгоритмов и функциональной схемы устройства кодирования и декодирования изображения с использованием раздельного кодирования структурных составляющих;
? разработка методов реставрации декодированного изображения с использованием раздельного кодирования структурных составляющих;
? комплексное моделирование алгоритмов кодирования и декодирования с использованием раздельного кодирования и реставрации изображений;
? экспериментальное исследование параметров разработанного алгоритма раздельного кодирования структурных составляющих.
Методы исследования
При решении поставленных задач в работе используются теория телевидения, радиотехники, математики и программирования: теория цифровой обработки и дискретизации сигналов; теория функций, спектрального и функционального анализа; методы численного анализа и программирования.
Научная новизна. 1. Разработан эффективный метод селективной идентификации структурных составляющих изображения на основе анализа пространственного спектра блока.
2. Разработаны новые методы сжатия и реставрации выделенных структурных составляющих изображения.
3. Определены критерии выделения яркостного перепада в пределах отдельного блока.
4. Определены критерии выделения текстуры изображения в пределах
блока.
5. Предложен новый метод анализа пространственного спектра в пределах блока с четным числом элементов на основе применения многократной свертки.
6. Построены и проанализированы пространственные спектры блока при наличии в нем различного рода структурных составляющих изображений.
7. Рассчитана и смоделирована импульсная характеристика фильтра низких пространственных частот зрительной системы человека. Данный расчет позволил обоснованно выбрать размерность блока изображения подвергающегося преобразованию. Применение полученных результатов позволило устранить "блокинг-эффект" на декодированном изображении.
Практическая ценность.
1. Сформулированы основные принципы и критерии выделения структурных составляющих различного типа в пределах блока изображения.
2. Разработана программная реализация метода селективной идентификации различных структурных составляющих изображений.
3. На основе разработанных алгоритмов кодирования и декодирования создан пакет программ для внутрикадрового кодирования натуральных черно-белых изображения.
4. Разработана функциональная схема устройства и определены направления его практической реализации.
5. Показаны основные направления развития предложенного раздельного кодирования структурных составляющих изображения, использования его для повышения эффективности сжатия натуральных изображений. Апробация результатов работы.
Положения диссертационной работы обсуждались на российских и международных научно-технических конференциях и семинарах:
1. Научно-техническая конференция профессорско-преподавательского, научного и инженерно-технического состава, МТУСИ, Москва, 2002 г, 2003 г.;
2. Пятый, шестой международный конгресс HAT "Прогресс технологий телерадиовещания", Москва, 2001-2002;
Публикации. По материалам диссертационной работы опубликовано 7 печатных работ. Материалы работы представлены в научно-технических отчетах по НИР в рамках Федеральной целевой научно-технической программы "Исследования и разработки по приоритетным направлениям развития науки и техники гражданского назначения" на 2001 г и целевой НИР по разработке специального цифрового оборудования для передачи видеоинформации с повышенным качеством.
Личный вклад.
Все основные научные результаты, изложенные в диссертации, получены автором лично.
Основные положения, выносимые на защиту.
1. Результаты анализа внутри блочных и межблочных искажений при сжатии алгоритмом, основанном на КДКП.
2. Метод анализа пространственного спектра изображения для систем с использованием блочного стробирования при сжатии.
3. Метод анализа пространственного спектра в пределах блока с четным числом элементов на основе применения многократной свертки.
4. Результаты анализа пространственных спектров блоков при различных вариантах распределения пространственной структуры изображения в пределах блока.
5. Алгоритм выделения яркостного перепада в блоке изображения. Алгоритм селекции структуры по характеру ее распределения в пределах блока.
Алгоритм сжатия элементов структуры с изотропной функцией пространственного спектра в пределах стробирующего блока. Алгоритм кодирования границы раздела фоновых составляющих изображения. Алгоритм селекции и кодирования отсчетов текстурной составляющей.
6. Методы и алгоритмы интегрально-дифференциальной реставрации кодированных структурных составляющих различного типа.
7. Результаты экспериментальных исследований предложенного метода и разработанного устройство селектирования и кодирования структурных составляющих изображения.
Объем и структура работы. Диссертационная работа состоит из введения, пяти глав, заключения и приложения. Работа изложена на страницах машинописного текста. Список литературы включает 107 наименований.
Во введении обоснована актуальность темы настоящей диссертационной работы, охарактеризовано состояние исследуемого вопроса, определены цель, задачи и методы исследований. Сформулирована научная новизна, практическая значимость результатов работы и положения, выносимые на защиту. Представлены состав и краткое описание работы, приведены сведения об апробации работы и публикациях автора.
В первой главе проведено экспериментальное исследование и анализ искажений пространственной структуры изображений, возникающих вследствие применения алгоритма сжатия, основанного на КДКП с последующим отсечением коэффициентов. Рассмотрены искажения высокочастотных и низкочастотных элементов структуры изображений. Исследованы межблочные искажения на ВЧ и НЧ составляющих изображения. Показано, что основной причиной межблочных искажений на НЧ является возникновение ошибок квантования коэффициентов КДКП в соседних блоках, а на ВЧ - геометрические искажения из-за ортогональной природы ядра преобразования. Приведены изображения с характерными искажениями. Разработана упрощенная модель функционирования зрительной системы человека, на основе которой проведен анализ работы зрительной системы человека при видеоконтроле низкочастотных составляющих изображения. Выявлена роль фильтра низких пространственных частот в цепи обратной связи. Исследована импульсная характеристика фильтра низких пространственных частот, входящего в разработанную схему функционирования зрительной системы человека. Доказано, что применение цифрового фильтра с такой импульсной характеристикой обеспечит наиболее эффективное подавление межблочных границ из-за согласованности его характеристик со спецификой спектров телевизионных изображений, ортогональной структурой распределения и формой самих блоков.
Во второй главе проведен анализ характеристик спектров для различных структур дискретизации. Приведена классификация фрагментов изображения по характеру распределения пространственной структуры в пределах фрагмента. Разработан метод анализа пространственного спектра изображения для систем с использованием блочного стробирования при сжатии. В ходе решения данной задачи определен спектр структуры дискретизации с четным числом отсчетов в горизонтальном и вертикальном направлениях. На основе предложенного метода анализа спектра были исследованы характеристики спектров блоков с типичным распределением пространственной структуры при дискретизации последовательностью блоков. В качестве примеров распределения пространственной структуры в пределах блока исследованы спектры блока при наличии в нем одиночной точки, протяженной линии различной толщины и направления, границы раздела двух составляющих различной яркости. Проведенное исследование характеристик спектра блока выявило то, что при наличии в блоке пространственной структуры типа "граница" или "контур" спектр блока непременно расширяется в направлении ортогональном направлениям "границы" или "контура". Следовательно, исследуя высокочастотную область спектра, мы можем судить о наличии или отсутствии в блоке подобного рода структурных составляющих изображения.
В третьей главе представлены результаты разработки метода селективной идентификации структурных составляющих различного типа, реализованы алгоритмы сжатия выделенных составляющих.
Предложенный подход к сжатию спектра изображений дает следующие преимущества:
Разделение изображения в пространстве кадра на составляющие позволяет выбирать различную степень сжатия для каждой составляющей, что обеспечивает более высокое качество передачи информативных, для наблюдателя, участков изображения и возможность увеличить степень сжатия на менее информативных;
? Точная передача текстуры обеспечивает высокую четкость реставрированного изображения, что недостижимо при кодировании по современным стандартам сжатия JPEG и Wavelet;
? Независимое кодирование фоновой составляющей делает возможным применение операций удаления "блокинг-эффекта";
? Предложенные алгоритмы обеспечивают более высокую степень сжатия по сравнению с существующими аналогами или обладают более высокой субъективной оценкой качества при фиксированной степени сжатия.
В четвертой главе "Разработка устройства сжатия и реставрации пространственных структурных составляющих изображения" приведены алгоритмы реставрации, для каждого типа, сжатых структурных составляющих. Разработано устройство селекции и сжатия структурных составляющих изображения, приведена структурная схема разработанного устройства. Смоделированы алгоритмы реализации устройства селекции и сжатия структурных составляющих изображения.
В пятой главе "Результаты экспериментального исследования разработанного метода сжатия изображения" приводятся результаты экспериментального исследования разработанного метода кодирования изображений. Обосновывается выбор исходных изображений. Приводятся промежуточные результаты функционирования разработанного алгоритма, объективные и субъективные оценки качества декодированного изображения. Выполняется сравнение предложенного алгоритма с JPEG.
Полученные результаты свидетельствуют об эффективности предложенного метода и целесообразности развития направления селективного кодирования натуральных изображений.
В заключении диссертационной работы приводятся основные выводы по результатом выполненной работы.
В приложении диссертационной работы представлены исходные коды разработанного программного обеспечения.
Преобразования тонкой структуры изображений в цифровых системах телевидения с внутрикадровым сжатием
В настоящее время в основном развиваются методы сжатия спектра ТВ сигнала, основанные на усечении объема видеоинформации в реальном или спектральном (частотном) пространстве. При этом внимание уделяется сохранению точности передачи деталей и структурных составляющих спектра ТВ изображений на приемную сторону канала связи. Сжатие достигается в основном за счет усечения составляющих спектра элементов структуры изображения, которые вносят относительно небольшой вклад в общую "энергетику" ТВ изображения и соответственно слабо влияют на качество воспроизводимого изображения. В то же время передача этих деталей существенно загружает канал связи. Подобным образом работает метод внутрикадрового сжатия JPEG.
Как видно искажения структуры телевизионных изображений возникают на стадии квантования спектральных коэффициентов пространственных частот, полученных в результате ДКП преобразования. Как следствие усечения в спектре высокочастотных составляющих по направлениям в реальном пространстве, сопряженным с направлениями усечения протяженности спектра, возникает сопутствующее уменьшение крутизны резких перепадов уровня видеоинформации в пространстве каждого кадра, что отражается (по этим направлениям) увеличением протяженности и снижением относительного уровня тонкой пространственной структуры (мелких деталей) телевизионных изображений.
Проведенные эксперименты [8] наглядно демонстрируют возникновение искажений при реализации операций кодирования алгоритма JPEG. В качестве тестовых сигналов были выбраны изображения размером 8x8 элементов, что соответствует размеру окна преобразования стандартного алгоритма кодирования JPEG. Исследовалась зависимость яркости "логической точки" декодированного изображения от коэффициента масштабирования матрицы квантования и контраста исходного изображения, а также яркость "логического фона" декодированного изображения от коэффициента масштабирования матрицы квантования и контраста исходного изображения.
Из рисунка видно, что при увеличении коэффициента масштабирования яркость точки быстро падает, что можно объяснить малой мощностью ВЧ составляющих спектра блока изображения, содержащего точку. При увеличении коэффициента масштабирования, значения коэффициентов оказываются меньше шага квантования и округляются до нулевого значения и при обратном преобразовании не восстанавливаются. В результате сумма амплитуд гармоник в области изображения, содержащего точку, уменьшается, что приводит к падению яркости точки. В результате усечения ВЧ спектральных составляющих, нарушается взаимная компенсация амплитуд гармоник в спектре блока, что приводит к увеличению суммы амплитуд гармоник в областях блока, за пределами точки (НЧ составляющие перестают компенсироваться ВЧ составляющими) и проявляется в размытии точки и некотором увеличении средней яркости фона. При больших коэффициентах масштабирования точка полностью сливается с фоном. Все эти искажения происходят тем быстрее, чем ниже контраст исходного изображения.
Аналогичный эксперимент был проведен для тестового изображения содержащего объект, сопоставимый по размерам с размерами блока. В качестве объекта был выбран круг радиусом 3 пикселя. Исследовалась зависимость яркости "круга" декодированного изображения от коэффициента масштабирования матрицы квантования и контраста исходного изображения, а также яркости "логического фона" декодированного изображения от коэффициента масштабирования матрицы квантования и контраста исходного изображения.
При увеличении коэффициента масштабирования яркость круга и контраст изображения медленно падает, что можно объяснить большой долей в энергии блока пикселей, принадлежащих кругу, и большой мощностью ВЧ составляющих спектра блока изображения, содержащего круг (протяженность границ круга больше, чем у точки). При больших коэффициентах масштабирования круг сливается с фоном. При увеличении диаметра круга увеличивается вес ВЧ составляющих в спектре блока, так как увеличивается протяженность границ круга. Доля энергии пикселей, принадлежащих кругу, в энергии блока также увеличивается. При прочих равных условиях слияние круга с фоном будет происходить при бо льших значениях коэффициента масштабирования. В результате можно сделать вывод, что для изолированных структурных элементов размером более четверти блока, попадающих в блок, характерны геометрические искажения (выпрямление границ), а в конечном варианте изменение формы до формы блока. Визуально на декодированном изображении такой элемент будет восприниматься как квадрат.
В реальных изображениях очень часто встречаются такие мелкоструктурные составляющие, как тонкие протяженные линии. Рассмотрим искажения, возникающие в таких структурах при реализации операций кодирования по стандарту JPEG.
В ходе эксперимента были исследованы: зависимость яркости "логической линии" от контраста исходного изображения и коэффициента масштабирования матрицы квантования, зависимость яркости "логического фона" от контраста исходного изображения и коэффициента масштабирования матрицы квантования, зависимость яркости "логической линии" от угла линии с верхней границей блока и коэффициента масштабирования матрицы квантования. Результаты эксперимента представлены на рис. 1.2.4 и 1.2.5..
Из рисунков видно, что при увеличении коэффициента масштабирования яркость линии и контраст изображения падает медленнее, чем для точки, однако быстрее, чем для круга, что можно объяснить большей мощностью ВЧ составляющих спектра блока изображения, содержащего тонкую линию (протяженность границ линии больше, чем для точки). При увеличении коэффициента масштабирования значения коэффициентов оказываются меньше шага квантования, округляются до нулевого значения и при обратном преобразовании не восстанавливаются. В результате сумма амплитуд гармоник в области изображения, содержащего элементы линии, уменьшается, что приводит к падению яркости линии и уменьшению контраста изображения. При больших коэффициентах масштабирования линия полностью сливается с фоном. При изменении положения линии относительно границ блоков зависимость яркости линии от коэффициента масштабирования при прочих неизменных условиях не претерпевает существенных изменений. Это объясняется тем, что энергия ВЧ составляющих (протяженность границ) для всех случаев постоянна. Имеется только перераспределение энергии спектральных составляющих в пространстве (по направлениям). Из-за того, что матрица квантования анизотропная, имеются некоторые различия в графиках. На декодированных изображениях линии можно видеть геометрические искажения линии, а именно выравнивание линии. При разбиении телевизионного изображения на блоки непременно возникает ситуация, когда тонкая структура исходного изображения частично накрывается блоком и оказывается несколько смещена относительно центра блока. Данная ситуация стандартна и присутствует при применении операция алгоритма JPEG над любыми телевизионными изображениями. Поэтому интерес представляет исследование зависимости искажений тонкой структуры изображения от ее положения внутри блока.
Анапа характеристик спектра ортогональных структур квазипериодической дискретизации в системах телевидения
В пределах указанных зон соответственно имеет место падение фильтрующего эффекта характеристики пространственного спектра дискретизирующей функции, обусловленное однополярностью лепестков последней (график 3 Рис.2.1.1.1). При дискретизации (свертке спектров дискретизирующей функции и исходного воздействия) имеет место и соответствующее расширение (до двух раз) так называемых основного и побочных спектров по линиям, угол наклона которых в плоскости пространственных частот определяется величиной a = arctg(±p). Данное расширение может приводить в реальных системах телевидения к пересечению указанных спектров и возникновению сопутствующих муаровых составляющих при, например, восстановлении воздействий. Таким образом, местоположение зон повышенной активности муаровых помех (шумов), возникающих при воспроизведении соответствующих ТВ изображений в условиях квазипериодической дискретизации воздействий по строкам определяют взаимосимметричные в пространстве линии, которые пересекаются в центре области дискретизации и наклон которых по отношению к оси абсцисс задается углом a = arctg(±p). С другой стороны однополярность лепестков характеристики пространственного спектра дискретизирующей функции в условиях свертки последней со спектром исходного воздействия сопровождается возникновением (в данной зоне пространства области дискретизации воздействия) интегральных искажений в структуре основного и побочных результирующих спектров. При этом в преобразованном спектре воздействия появляются в указанных зонах области дискретизации сопутствующее подавление и искажение тонкой структуры спектра, связанные с трансформацией при дискретизации энергии спектральных составляющих воздействия в смежные зоны преобразованного дискретизацией пространственного спектра воздействия.
Соотношение (2.1.1.12) свидетельствует о том, что и при ортогональной структуре квазипериодической дискретизации имеют место нарушения взаимокомпенсационных преобразований спектра исходного воздействия в промежутках между основными лепестками характеристики пространственного спектра дискретизирующей функции. Поворот в пространственной области структуры квазипериодической дискретизации (Рис.2.1.2.16) ведет к соответствующему повороту и зоны нарушений взаимокомпенсационных преобразований спектра исходного воздействия. Следовательно, в телевизионных системах существует возможность фазового совмещения такой зоны с заданной областью пространства при воспроизведении изображений.
И в заключение отметим, что полученные выше результаты анализа свидетельствуют о согласованности специфики пространственного спектра ортогональных структур квазипериодической дискретизации с известной анизотропией усредненной спектральной интенсивности реальных изображений и характеристик зрения человека [8].
Квазипериодический характер структур дискретизации обуславливает дискретность (квазидискретность) соответствующей структуры пространственного спектра дискретизирующей функции, которая, в конечном итоге, определяет преобразование спектра исходного воздействия в процессе дискретизации. Следовательно, при выборе структуры дискретизации должны быть учтены интегральные особенности пространственных спектров, характерные для всего ансамбля воздействий. Отсюда вытекает целесообразность текущей (направленной) перестройки структуры дискретизации при вариациях воздействий на входе системы телевидения.
Процесс построения структуры дискретизации связан с заполнением многомерной области отсчетами. При этом плотность заполнения в фиксированных направлениях многомерного пространства определяется особенностями воздействия (многомерного спектра воздействия). Для случая статической структуры дискретизации плотность и специфика заполнения, например, по пространственному измерению определяется соответствующей усредненной спектральной интенсивностью реальных изображений.
Отражением спектра изображений в реальной области является усредненная импульсная переходная характеристика.
Принцип заполнения реального многомерного пространства отсчетами целесообразно связать с заполнением такого пространства дискретизации совокупностью импульсных переходных характеристик. Ограничивающие (по минимальному уровню) сечения смежных по пространству импульсных переходных характеристик, например, проходят через центры локализации последних. Будем считать опорными в структуре дискретизации точки пространства, размещением по отношению к которым смежных отсчетов учитываются особенности отдельной импульсной переходной характеристики. Установленное распределение отсчетов вокруг каждой опорной точки должно обеспечивать заданным числом отсчетов наиболее эффективную аппроксимацию формы импульсной переходной характеристики.
При изотропном спектре воздействия смежные отсчеты целесообразно соответственно располагать по линиям окружностей. Центром каждой из таких окружностей может являться опорный отсчет. Радиус задается протяженностью пространственного спектра воздействия. Простейшая совокупность смежных отсчетов определяет ячейку структуры дискретизации. Периодическим распределением ячеек по пространству дискретизации формируется общая структура квазипериодической дискретизации воздействия. Характерной чертой структур ортогонального типа является распределение ячеек в пространстве вдоль ортогональных осей.
Разработка алгоритма сжатия элементов структуры с изотропной функцией пространственного спектра в пределах стробирующего блока
Как уже было показано фрагмент изображения, содержащий фоновую составляющую изображения, характеризуется относительно равномерным распределением яркости по всему пространству блока. Следовательно, представляется возможным снизить общее количество отсчетов, при передаче в канал связи, без существенного ухудшения характеристик блока.
Очень часто в натуральных изображениях встречаются плавные градиенты разности. В пределах блока такой градиент не даст разностного сигнала высокой амплитуды, однако, искажение фоновой составляющей при огрублении ее за счет представлении дискретной структурой ортогонального типа может быть заметным для наблюдателя.
При выборе дискретных отсчетов блока необходимо также учитывать возможное плавное изменение низкочастотной составляющей сигнала изображения в пределах блока.
В ходе реализаций операций алгоритма определения максимального яркостного перепада в локализованных направлениях было определено направление максимального изменения яркости в блоке. На основе этого параметра возможно сформировать структуру дискретизации учитывающую характер распределения яркости в пространстве блока.
Принимая во внимание то, что в направлении ортогональном направлению максимального перепада яркость отсчетов не претерпевает существенных изменений представляется возможным увеличить период структуры дискретизации в данном направлении. И наоборот, в направлении изменения яркости, требуется увеличение количества дискретных значений блока для более точного отражения распределения яркости в блоке.
Однако, как уже упоминалось в предыдущем разделе, натуральное изображение содержит шумы импульсного характера. Поэтому было бы неправильным выбирать в качестве дискретных значений отсчеты, принадлежащие реальной области блока, так как существует вероятность, что при такой выборке один или несколько отсчетов структуры дискретизации примут искаженные шумовые значения, что при дальнейшей интерполяционной или экстраполяционной реставрации выразятся искажением смежной области реставрированного блока. Соответственно субъективная оценка такого блока будет существенно ниже, чем исходного.
Принимая во внимание сказанное выше, было принято решение проводить интегральную обработку блока перед определением дискретных значений.
Интегральная обработка должна проводится с учетом изменения яркостного сигнала в блоке. Например, при определении направления максимального перепада яркости по горизонтали, интегральное значение рассчитывается для всех последовательностей отсчетов локализованных в вертикальном направлении (направлении яркостного перепада).
Таким образом, обеспечивается подавление шумов импульсного характера и сохраняется форма сигнала яркости в направлении его изменения.
Как уже было отмечено, частотно-контрастная характеристика объективов регистрирующих устройств не является идеальной, что отражается в снижении её уровня в области высоких частот, т.е. такие устройства выступают в роли пространственных фильтров низких частот. Поэтому изображение, полученное с помощью таких устройств, получается, в некоторой степени, расплывчатым. Отсчеты в изображении, искаженном подобным образом, оказываются коррелированными между собой.
Как видно, характеристика НЧ фильтра обладает более крутым фронтом основного лепестка, также наблюдается некоторая компенсация второй гармоники спектра. Все эти изменения формы спектра способствуют более точному детектированию отсчета фоновой составляющей.
В реальной области изображения фильтрация реализуется следующим образом. В алгоритме сжатия элементов блока с фоновой структурой изображения было принято решение реализовать фильтрацию дискретных отсчетов распределения яркости в блоке следующим образом .
Рассмотрим фильтрацию отсчетов блока с фоновой составляющей более подробно, на примере фильтрации при распределении яркости в блоке в направлении главной диагонали.
Текстуры можно разделить на естественные и искусственные. Искусственные текстуры - это структуры из графических знаков на нейтральном фоне. Такие текстуры на натуральных изображениях встречаются достаточно редко. Чаще на натуральных изображениях присутствуют естественные текстуры, являющиеся изображениями поверхностей естественных объектов. Естественные текстуры чрезвычайно многообразны и не поддаются классификации. В основном текстуры имеют условно периодическую структуру, т.е. повторение структуры базового фрагмента или "зерна" текстуры в пространстве с пространственными изменениями этого фрагмента типа "масштабирования", "поворота", "отображения" и т.д. Периодические, в прямом смысле этого слова, текстуры в природе встречаются достаточно редко.
Текстура определяется свойствами смежных областей по отношению к некоторой текущей области изображения. Т.е., если некоторая качественная или количественная метрика текстуры, определенная для текущей области изображения, имеет те же значения в окрестностях текущей области, то текстура имеет место и в текущей области и в окрестных областях.
Текстурные признаки по своей природе зависят от размера как данной области, в которой определяется метрика, так и окрестности этой области. Это представляет определенные сложности в детектировании и распознавании текстуры, так как в области одного размера текстурные свойства могут не проявляться. При уменьшении (увеличении) области анализа, начинают проявляться текстурные свойства одного характера. При дальнейшем уменьшении (увеличении) размера области анализа текстурные свойства приобретают новый характер или перестают проявляться. Так, изображение однородных физических поверхностей, уходящих вдаль на изображении (например, дорога), будут менять свои текстурные свойства при переходе от переднего плана к заднему.
Разработка метода реставрации декодированного изображения с использованием данных, полученных в результате раздельного кодирования составляющих изображения
Формат кодированных данных, отражающих распределение фоновой составляющей в пределах блока имеет следующую структуру: fonblock=record begin Dinbyte; max_otchet:array [1..6] of byte; end; Первый байт определяет направление максимального изменения уровня яркости в пределах блока. Остальные шесть байт представляют дискретные значения фона в направлении изменения яркости. В направлении, ортогональном направлению максимального изменения яркости, происходит реставрация отсчетов блока, расположенных на одной линии, с каким либо дискретным значением фона. После данного этапа реставрации имеем периодическую структуру отсчетов, на основании которой происходит реставрация оставшихся отсчетов интерполяционным или экстраполяционным способом.
При реставрации блока с распределением яркости фоновой составляющей в направлении какой либо диагонали блока периодическая структура отсчетов представляет собой шахматную структуру. Отсутствующие отсчеты вычисляются как среднее арифметическое четырех окружающих его отсчетов, принадлежащих периодической структуре. При принадлежности координат восстанавливаемого отсчета периметру блока реставрация осуществляется по трем окружающим его отсчетам.
В случае реставрации блока с горизонтальным или вертикальным распределением яркости фоновой составляющей, на основании дискретных значений фона, возможно реставрировать 2-7 столбцы (в случае с горизонтальным направлением) или 2-7 строку (в случае с вертикальным направлением). Элементы 1 и 8 строки (столбца) реставрируются экстраполяцией по двум ближайшим отсчетам периодической структуры. Как следует из определения, граница представляет собой линию раздела фоновых составляющих. В предыдущей главе был описан алгоритм кодирования, при котором граница представляется одним, двумя или тремя отсчетами. На основании этой информации на приемной стороне осуществляется вычисление координат элементов блока, на которых происходит скачкообразное изменение уровня яркости. Дальнейшим шагом является вычисление яркости фоновой составляющей в блоках изображения, смежных к рассматриваемому, в направлении, приближенном к ортогональному направлению границы. Следует заметить, что на передающей стороне уже были получены значения фоновых составляющих тех блоков, для которых это было необходимо. Полученные фоновые составляющие были переданы декодеру.
В связи с этим, а также в целях уменьшения вычислений, логично использовать при реставрации блока уже вычисленные значения фоновой составляющей смежных, к рассматриваемому, блоков. Эта операция требует увеличения памяти декодера на величину, требуемую для хранения информации о смежных блоках. Также требуется извлекать из потока данных те данные, которые соответствуют информации о смежных блоках, соответственно декодер, при выполнении данной операции, обязан содержать блок задержки сигнала. Отсчеты блока, принадлежащие фоновым составляющим, возможно реставрировать исключительно экстраполяцией элементов соответствующего смежного блока. В результате кодирования блок с текстурной составляющей представляют данные двух видов: данные, описывающие фоновую составляющую и данные, описывающие распределение тонкой пространственной структуры в пределах блока. Первым шагом реставрации является реставрация фоновой составляющей блока. Операции реставрации описаны в разделе 4.2.1 диссертации. Данные, описывающие текстурную составляющую, представлены в результате кодирования в формате: St met block=record begin Diribyte; CodStrucf.string; end; Первоначально необходимо восстановить исходный размер линейной последовательности за счет восстановления количества нулевых значений в массиве элементов текстурной составляющей. Далее следует преобразование линейной последовательности данных о текстуре в двумерное пространство блока. Имея направление протяженности текстурной составляющей, выбираем порядок Z - образного сканирования элементов. Варианты Z-сканирования, соответствующие различным направлениям протяженности текстуры представлены на рис. 3.5.3. Для уменьшения разрядности данные, представляющие текстурную составляющую, подвергались квантованию на передающей стороне. Соответственно, в декодере необходимо обратное восстановление амплитуды сигнала элементов текстуры. Квантование сигнала всегда вносит некоторую ошибку в изображений. В данном случае она проявляется в увеличении разности между смежными элементами, что в свою очередь отражается в расширении высокочастотной области спектра. Субъективно такая текстура воспринимается, как более "грубая", "резкая" по отношению к исходному изображению. Восстановление баланса низких и высоких частот в пределах блока достигается применением к реставрированной составляющей фильтра низких частот. Фильтрация отсчета должна осуществляться преимущественно в направлении протяженности текстурной составляющей, с целью подчеркнуть связность смежных элементов.
Восстановленная таким образом текстурная составляющая накладывается поверх реставрированной фоновой составляющей рассматриваемого блока. Соответствующие отсчеты фоновой составляющей заменяются отсчетами текстурной составляющей в случае их ненулевого значения.
