Содержание к диссертации
Введение
АНАЛИЗ ФОРМИРОВАНИЯ ВИДЕОСИГНАЛА В ОДНО- МАТРИЧНОЙ ЦВЕТНОЙ ТВ КАМЕРЕ 11
1.1. Принцип работы и технология построения современных преобразователей свет-сигнал 11
1.2. Цифровой формат представления видеосигнала DV 15
1.3. Методы кодирования видеосигнала и выбор структуры цветокодирующих светофильтров 19
1.3.1. Метод последовательного кодирования видеосигнала основными цветами 19
1.3.2. Метод одновременного кодирования видеосигнала основными и дополнительными цветами 21
1.3.2.1. Полосковые цветокодирующие светофильтры 22
1.3.2.2. Мозаичные цветокодирующие светофильтры 23
1.3.3. Способы разделения сигналов цветов и выбор структуры светофильтра 24
1.3.4. Анализ микросмещений светового потока относительно ячеек светофильтра 32
1.4. Частотно-контрастные характеристики оптических
фильтров низких пространственных частот, применяемых
в оптическом звене ОЦТВ камеры на ПЗС 37
1.5. Выводы 38
ДИСКРЕТИЗАЦИЯ ИЗОБРАЖЕНИЙ В ОДНОМАТРИЧНОЙ ЦВЕТНОЙ ТВ КАМЕРЕ 39
2.1 Анализ дискретизирующей функции при одномерной до полнительной дискретизации 39
2.2. Преобразование видеоинформации в сигнал 44
2.3. Принципы построения и анализа структур дискретизации телевизионных изображений в одноматричной цветной камере 49
2.3.1. Анализ характеристик спектра ортогональных структур квазипериодической дискретизации в системах телевидения 50
2.3.2. Анализ характеристик спектра дискретизирован-ного изображения при ортогональной структуре дискретизации в системах телевидения 59
2.4. Анализ характеристик спектров неортогональных струк
тур дискретизации телевизионных изображений 61
2.4.1. Анализ характеристик пространственного спектра структуры дискретизации шахматного типа 61
2.4.2. Анализ характеристик пространственного спектра структуры дискретизации, определяемой расположением ячеек светофильтра 67
2.5. Выводы 73
АНАЛИЗ ВОССТАНОВЛЕНИЯ ОТСЧЕТОВ ВИДЕОСИГНАЛА В ОДНОМАТРИЧНОЙ ЦВЕТНОЙ ТВ КАМЕРЕ 75
3.1. Анализ идеального восстановления видеосигнала при до полнительной дискретизации 75
3.1.1. Восстановление сигнала, дискретизированного по группам смежных отсчетов 75
3.1.2 Восстановление пропущенных отсчетов сигнала.... 76
3.2. Анализ реального восстановления пропущенных отсчетов видеосигнала 83
3.2.1. Аппроксимация функций, определенных в дискретных точках, с помощью алгебраических многочленов 84
3.2.1.1. Аппроксимация функций с помощью алгебраических интерполяционных полиномов 85
3.2.1.2. Применение сплайнов при аппроксимации функций 93
3.2.2. Анализ одномерного восстановления видеосигнала с помощью интерполяционных методов 103
3.3. Выводы 106
РАЗРАБОТІСА УСТРОЙСТВА ФОРМИРОВАНИЯ ВИДЕО СИГНАЛА ДЛЯ ОДНОМАТРИЧНОЙ ЦВЕТНОЙ ТЕЛЕВИ ЗИОННОЙ КАМЕРЫ 108
4.1. Разработка алгоритма многомерного пространственно-адаптивного восстановления изображения 108
4.2. Разработка пакета программ для моделирования на ЭВМ многомерного адаптивного восстановления изображения 110
4.3. Разработка одноматричной цветной ТВ камеры с использованием предложенного метода многомерного пространственно-адаптивного восстановления 118
4.4. Выводы 120
ЗАКЛЮЧЕНИЕ 123
СПИСОК ОСНОВНЫХ ОБОЗНАЧЕНИЙ 125
СПИСОК ИСПОЛЬЗУЕМЫХ АББРЕВИАТУР 126
СПИСОК ЛИТЕРАТУРЫ 128
ПРИЛОЖЕНИЕ 135
- Принцип работы и технология построения современных преобразователей свет-сигнал
- Анализ дискретизирующей функции при одномерной до полнительной дискретизации
- Анализ идеального восстановления видеосигнала при до полнительной дискретизации
- Разработка алгоритма многомерного пространственно-адаптивного восстановления изображения
Введение к работе
В настоящее время, благодаря новым технологиям, видеокамеры переходят в разряд массовых потребительских устройств. Интенсивные исследования в области разработки методов формирования сигналов цветного телевидения (ЦТ) привели к созданию малогабаритных цветных камер, использующих одну или две матрицы преобразователей свет-сигнал (МПСС). Оборудование новых форматов DV (Digital Video) надежнее, компактнее и легче своих аналоговых предшественников. Обработку изображений в видеокамерах цифрового типа реализуют цифровыми методами (DSP - Digital Signal Processing). Применение современных МПСС в камерах ЦТ позволяет снизить габариты, массу, энергопотребление камер, упростить эксплуатацию и увеличить срок их службы.
Наиболее высокие качественные показатели ТВ изображений обеспечивают в трехматричных и двухматричных вариантах цветных телевизионных (ЦТВ) камер. Однако применение подобных вариантов связано с резким усложнением оптической системы, необходимостью совмещения растров, и др. Одноматричные ЦТВ (ОЦТВ) камеры более дешевы, но имеют меньшую разрешающую способность и меньшую насыщенность цветного изображения.
Поэтому задача разработки ОЦТВ камер с высокими качественными показателями ТВ изображений является весьма актуальной.
Использование в современных видеокамерах цифровых методов обработки изображений позволяет применять для разработки ОЦТВ камер все последние достижения в области сжатия спектра видеосигнала, отраженные в работах известных отечественных и зарубежных ученых: Аванесова Г. А., Безрукова В.Н., Катаева СИ., Красильникова Н.И., Кривошеева М.И., Селиванова А.С.,
Цуккермана И.И., Ахмеда Н., Прэтта У., Pao К.Р., Хуанга Т.С., Чэна Ш.К. и др.
Одним из перспективных направлений проводимых исследований в этой области является разработка новых способов формирования сигналов цветовых составляющих с использованием методов интерполяции и микросмещения светового потока. Исследования таких методов, проведенные в НИЧ МТУ СИ (НИЛ-11), показали возможность увеличивать разрешающую способность и отношение сигнал/шум в ЦТВ камерах на основе приборов с зарядовой связью (ПЗС). Представленная диссертационная работа посвящена продолжению исследований, направленных на развитие методов формирования с комплексной реставрацией составляющих ТВ изображений по пространственному, спектральному и временному признакам.
Цель и задачи работы. Целью работы является анализ и разработка эффективных методов и устройств улучшения качества ТВ изображения, формируемого ОЦТВ камерой на ПЗС с дополнительной дискретизацией видеосигналов. Задачами исследований являются: анализ известных методов формирования сигналов цветовых составляющих в ОЦТВ камерах и разработка методов, обеспечивающих решение задачи создания ОЦТВ камер на ПЗС на основе использования дополнительной дискретизации и микросмещений светового потока; исследование важнейших функциональных элементов ЦТВ камеры; - исследование характеристик дискретизации изображений структурами распределения ячеек светофильтров (СФ) в пространстве ПЗС матрицы; - исследование дополнительной дискретизации и восстановле ния видеосигнала различными методами интерполяции; разработка многомерного пространственно-адаптивного (МПА) метода восстановления видеосигнала; - проведение машинного моделирования и оценки эффективно сти разработанных в диссертации способа и устройства формирования видеосигнала.
Методы исследования. В работе используются методы функционального, численного анализа, теории дискретизации и цифровой обработки сигналов, а также методы моделирования на ЭВМ.
Научная новизна работы заключается в следующем: получены аналитические выражения для расчета характеристик спектра структуры дискретизации, соответствующей расположению ячеек СФ, с учетом реальных ограничений протяженности многомерной структуры дискретизации в пространстве растра, на основе результатов анализа которых обосновано использование шахматного распределения ячеек (групп элементов) дискретизации; разработан и исследован новый МПА метод восстановления сигналов цветовых составляющих при формировании сигналов ЦТ в ОЦТВ камере на ПЗС, позволяющий увеличить разрешающую способность соответствующего ТВ изображения; предложена структура мозаичного СФ, обеспечивающая возможность восстановления сигналов цветовых составляющих; предложена схема фильтра-интерполятора с применением локального сплайна пятой степени дефекта три для восстановления дискретных отсчетов сигнала в реальном масштабе времени и реализована модель для оценки эффективности её действия (качества восстановленного изображения).
Практическая ценность работы состоит в следующем: разработана для ОЦТВ камер на ПЗС структура СФ, обеспечивающего увеличение эффективности МПА метода восстановления отсчетов сигналов цветовых составляющих; разработан алгоритм МПА восстановления отсчетов при формировании сигналов ЦТ в ОЦТВ камерах, который позволил увеличить разрешающую способность сформированных ТВ изображений; разработано программное обеспечение на ЭВМ для моделирования МПА метода восстановления отсчетов сигналов цветовых составляющих.
Апробация работы. Основные положения диссертационной работы обсуждались на научно-технических конференциях профессорско-преподавательского состава МТУ СИ в 1997 - 2000 г.г.
Публикации. По материалам диссертации опубликовано всего 7 работ, в том числе 3 статьи и 4 доклада на научных конференциях МТУ СИ; материалы работы использованы также в отчетах по НИР по Программе фундаментальных и прикладных исследований вузов связи Российской Федерации "Фундаментальные аспекты новых информационных и ресурсосберегающих технологий" (шифр - "Аспект-МТУСИ").
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и приложения. Работа содержит 147 страниц, в том числе 114 страниц текста, 39 рисунков и 2 таблицы. Список литературы включает 72 наименования.
Основные положения, выносимые на защиту диссертации.
1. Результаты анализа характеристик спектра структуры дискретизации, обеспечивающей разделение цветовых составляющих сигналов изображений в соответствии с разработанным распределением ячеек СФ в пространстве ПЗС и с учетом реальных ограничений протяженности всей многомерной структуры дискретизации.
Структура цветокодирующего СФ, обеспечивающего дополнительную периодическую (шахматного типа) дискретизацию по группам смежных отсчетов сигналов цветовых составляющих и устройство формирования сигналов ЦТ на его основе.
Схема цифрового фильтра-интерполятора на основе применения локального сплайна пятой степени дефекта три для восстановления отсчетов сигналов, пропущенных при дополнительной дискретизации цветовых составляющих в пространстве матрицы ПЗС.
Способ и алгоритм МПА восстановления отсчетов во внутри-кадровой области при формировании сигналов ЦТ, основанный на дополнительной периодической дискретизации цветовых сигналов с последующим адаптивным восстановлением пропущенных дискретных отсчетов сигналов по пространственному аргументу и использовании относительных микросмещений светового потока во времени.
Принцип работы и технология построения современных преобразователей свет-сигнал
В последнее время в ТВ камерах различного назначения в качестве преобразователя свет-сигнал (ПСС), как правило, стали использоваться матрицы ПЗС [5, 12, 21, 28, 44, 45].
МПСС в отличие от передающих телевизионных трубок относятся к классу приборов, использующих иной принцип работы и управления. Поскольку преобразователь свет-сигнал является одним из важнейших функциональных узлов ТВ камеры, отсюда и существенные различия в построении устройств формирования сигналов ЦТ на их основе.
Такие особенности МПСС, как расположение фоточувствительных элементов (ФЭ) по строкам и столбцам, "жесткость" растра, дискретность во времени формируемого сигнала, низкая инерционность учитываются при кодировании видеосигнала основными цветами и разделении сигналов основных цветов.
Когда свет падает на поверхность кремниевых ячеек, на них возникает заряд, пропорциональный яркости. Видеосигнал на выходе МПСС формируется путем последовательного переноса этих зарядов к выходному регистру. Матрицы ПЗС имеют три основные разновидности: с кадровым переносом зарядов (КП), строчным переносом зарядов (СП) и строчно-кадровым переносом зарядов (СКП). В матрицах ПЗС КП секция накопления зарядов и секция хранения зарядов на длительность поля, из которой заряды построчно переносятся в горизонтальный регистр во время обратного хода строчной развертки, разнесены в пространстве, что увеличивает площадь кристалла. Заряды из секции накопления переносятся в секцию хранения во время обратного хода полевой развертки, причем достаточно продолжительное время (порядка 1 мкс), что приводит к смазу изображения при наличии в поле зрения ярких участков. В матрицах ПЗС СП секция хранения зарядов расположена внутри секции накопления (столбцы светочувствительных элементов разделены столбцами вертикальных регистров сдвига ПЗС). Поэтому заряды из светочувствительных элементов переносятся в вертикальные регистры сдвига очень быстро, всего лишь за один акт одновременного переноса всех зарядов вдоль строки в рядом расположенные регистры. Уровень смаза в матрицах ПЗС СП значительно меньше, чем в матрицах ПЗС КП, и составляет доли процента (смаз здесь возникает из-за подтекания паразитных зарядов от сильного источника света под вертикальные регистры ПЗС). Для устранения этого недостатка в наиболее высококачественных матрицах используют дополнительную секцию хранения зарядов на длительность поля, как и в матрицах КП, тем самым образуется ПЗС СКП. В ней уровень смаза очень мал (тысячные доли процента) и практически незаметен, поэтому в последние годы в телевизионном вещании используются трехматричные камеры ЦТ в основном на матрицах ПЗС СКП [12]. В последние годы появляются Mimi DV (цифровый формат DV рассмотрим ниже) камеры, основные характеристики некоторых из них показаны в табл. 1.1, совместимые со стандартом IEEE 1394, которые обладают очень хорошим качеством изображений, по сравнению с аналоговыми камерами [64]. Компания Panasonic представила Panasonic SuperDynamic - новую серию видеокамер на базе супердинамической ПЗС-матрицы и супердинамического процессора цифровой обработки сигналов.
Анализ дискретизирующей функции при одномерной до полнительной дискретизации
При дополнительной дискретизации отсчеты, следующие с постоянным периодом первичной дискретизации fn прореживаются, образуя группы элементов, следующие с частотой дополнительной дискретизации Из [3] известно, что процесс дискретизации аналитически можно выразить как произведение непрерывной функции на дискрети-зирующую. Пусть дискретизации подвергается видеосигнал Тогда, для первичной дискретизации (равномерная), дискретизирующая функция, представленная суммой смещенных дельта-функций, определяется выражением:
где Тп 7t/(or - период первичной дискретизации, гаг - верхняя граничная частота спектра сигнала. Индекс в обозначении периода дискретизации указывает на соответствии его теореме отсчетов.
В частотной области: период дискретизации.
С учетом выражения (2.1) сигнал на выходе первичного дискре-тизатора можно записать в общем виде:
которому соответствует развернутое выражение:
Аналитическое выражение процесса периодизации спектра F(w) сигнала f(t) в сжатой форме имеет вид: здесь символ 8 означает операцию свертки двух функций.
Процесс дополнительной дискретизации аналитически можно выразить как произведение исходного дискретного колебания f (t,Tn) на стробирующую (прореживающе-выделяющую) Из (2.7) следует, что дополнительную дискретизацию можно осуществлять двояким образом: в первом случае дополнительной дискретизации подвергается дискретное колебание, во втором - дискретизируется непрерывное колебание. Последнее соответствует процессу дискретизации сигнала изображения при формировании сигналов цветного телевидения на ОЦТВ камере.
Ограничимся исследованием периодической дополнительной дискретизации. Тогда pc(t,M,N,Tn) и dc(t,M,N,Tn) - детерминированные функции, для анализа которых пригодны преобразования Фурье, Лапласа.
Прореживающе-выделяющая функция pc(t,M,N,Tn) в данном случае является периодической, принимает значения равные единицы в точках выделяемых отсчетов и нулю в точках сокращаемых отсчетов. Кроме того она характеризуется периодом дополнительной дискретизации Тс = NTn (где N - целое положительное число), кратным периоду первичной дискретизации Тп и величиной М N , определяющей число выделяемых дискретных отсчетов на одном периоде дополнительной дискретизации.
Этим требованиям удовлетворяет функция вида целые положительные числа. такая стробируюшая функция имеет неограниченный спектр и поэтому неудобна для анализа периодической дополнительной дискретизации в частотной области. Более удобной, обладающей той же универсальностью, является сглаженная функция, представленная в виде:
Анализ идеального восстановления видеосигнала при до полнительной дискретизации
При таком восстановлении дополнительная дискретизация рассматривается как случай "рекуррентной последовательной дискретизации" т.е. случай, когда точки отсчетов разбиты на группы из М точек каждая, группы имеют рекуррентный период NTn = N/2F где F -максимальная частота непрерывной функции f(t) с финитным спектром. Возможно полностью восстановить, предварительно ограниченную максимальной частотой F = (M/N)F, функцию f(t) в полосе частот MF/N, Это утверждение основывается на замечании Шеннона о том, что функция f(t), ограниченная полосой F и интервалом Т, может быть полностью определена по ее 2FT точкам отсчетов, эти 2FT точек отсчетов не обязательно должны быть равноотстоящими [48], В [42] доказывается, что если сигнал с финитным спектром однозначно
Согласно (3.1) восстановление функции f(t) при дополнительной дискретизации по группам смежных отсчетов можно рассматривать как сумму откликов фильтров с импульсными характеристиками, определяемыми выражением (3.2), при поступлении на них соответствующих отсчетов. Для получения частотных характеристик восстанавливающих фильтров необходимо найти преобразование Фурье от функции \/mn(t) или воспользоваться теоремой о спектре произведения двух функций. 3.1.2. Восстановление пропущенных отсчетов сигнала
Восстановление пропущенных отсчетов является процессом, обратным процессу дополнительной дискретизации. Сущность его заключается в вычислении указанных отсчетов по известным (опорным). В результате такой операции сигнал с дополнительной дискретизацией становится сигналом с первичной дискретизацией (равноотстоящими отсчетами) и может быть преобразован в аналоговый известными методами [36].
Восстановление пропущенных отсчетов может осуществляться посредством схемы, приведенной на рис. 3.1.а. Здесь дополнительная дискретизация выполняется дискретизатором Д1 с характеристикой
Восстановление аналогового сигнала по дискретным отсчетам осуществляется фильтром-интерполятором Ф1 с импульсной характеристикой gi(t), определяемой выражением (3.2). Восстановленный аналоговый сигнал вторично дискретизируется дискретизато-ром Д2 с характеристикой d02(t,M,Tc) - с запаздыванием на интервал х относительно Д1, где х = МТП. Сумматор производит сложение двух дискретных последовательностей, одна из которых состоит из восстановленных отсчетов, а другая из опорных (рис. 3.2).
Для анализа более удобно использовать схему с синфазными дискретизаторами (рис. 3.1.6), эквивалентную предыдущей схеме, в которую входят элемент опережения (ЭО) с импульсной характеристикой g2(t) = 5(t+x) и элемент задержки (ЭЗ) с импульсной характеристикой g3(t) = 5(t-x), Выражение для выходного сигнала f2(KTn) запишется в виде.
Разработка алгоритма многомерного пространственно-адаптивного восстановления изображения
В третьей главе был исследован метод одномерного восстановления отсчетов видеосигнала с использованием интерполяционных полиномов. Для двумерной функции имеется возможность выбора направления интерполяции (экстраполяции), на котором эта функция изменяется более плавно, чем по другим направлениям. Тем самым при многомерном восстановлении можно обойти резкие переходы в восстанавливаемой функции. При дополнительной дискретизации по группам отсчетов смежных строк пропущенные отсчеты можно восстанавливать как по вертикальному, горизонтальному, так и диагональным направлениям. Для восстановления каждого дискретного отсчета нужно использовать все опорные отсчеты в некоторой двумерной пространственной окрестности, окружающей этот отсчет. Выбор направления восстановления, на основе анализа имеющихся отсчетов в окрестности восстанавливаемого, дает возможность повысить точность восстановления, так как наиболее точно восстанавливаются дискретные отсчеты гладкой функции.
В ОЦТВ камере с использованием стандартных цветокодирующих фильтров обычно невозможно по всем направлениям восстанавливать пропущенные отсчеты. Это обуславливается жеско-фиксированной структурой распределения ячеек СФ и нехваткой опорных отсчетов восстанавливаемого сигнала. Использование предложенной структуры распределения ячеек СФ (рис. 1.8), позволяет восстанавливать пропущенные отсчеты по горизонтальному, вертикальному и диагональному направлениям. Дискретно-групповой метод передачи цветных составляющих сигналов изображений обеспечивает возможность использования для реставрации отсутствующих отсчетов не только локальные (внутри-групповые) изменения видеоинформации, но и межгрупповые, позволяющие уточнить направление восстановления или выбор восстановленного значения отсчета с учетом информационных изменений во всех смежных группах отсчетов и относительных межгрупповых изменений уровня сигнала восстановленного отсчета.
В ОЦТВ камере с применением предложенного варианта мозаичных СФ (структуры распределения их ячеек показаны на рис. 1.9 - 1.11), текущая совокупность значений напряжений (соответствующих элементам МПСС) представляет собой три матрицы, соответствующие трем кодирующим цветам. Все эти три матрицы имеют элементы с "нулевыми значениями". Первоначальные значения этих "нулевых элементов" можно восстановить, используя значения соседних "ненулевых элементов" и применяя микросмещение светового потока в течение кадра. Поэтому, для сокращения объема расчетов и памяти при аппаратурной реализации в реальном масштабе времени в виде программы работы ЭВМ, восстановление пропущенных отсчетов кадра сигнала одного кодирующего цвета телевизионного изображения, целесообразно осуществить с разделением отсчетов этого кадра на элементарные блоки отсчетов с учетом следующего:
- в каждом блоке можно восстанавливать утраченные отсчеты по возможности по горизонтальному, вертикальному и диагональному направлениям. Алгоритмы обработки отсчетов во всех направлениях должны быть одинаковыми;
- количество отсчетов в каждом блоке должно быть достаточным для относительно точного восстановления утраченных отсчетов по методам интерполяции.
