Содержание к диссертации
Введение
1. Качество изображения, формируемого телевизионными камерами на многосигнальных фотоприемниках 11
1.1 Современные тенденции построения ТВ камер на многосигнальных фотоприемниках 11
1.2 Разрешающая способность ТВ камер на многосигнальных фотоприемниках 18
1.3. Чувствительность ТВ камер на многосигнальных ФП 26
1.4. Помехоустойчивость телекамеры к артефактам передачи цветного изображения 32
1.5 Выводы к главе 1 43
2. Анализ и синтез структур кодирующих светофильтров для многосигнальных ФП 44
2.1 Модель преобразования сигнала в ФП с произвольной СКС 44
2.2. Универсальный алгоритм восстановления полноцветного изображения 53
2.3 Анализ помехоустойчивости к цветовым артефактом телекамеры на ФП с произвольной СКС 58
2.4 . Анализ разрешающей способности телевизионной камеры на ФП с произвольной СКС 65
2.5 . Анализ чувствительности телевизионной камеры на ФП с произвольной СКС 67
2.6 . Синтез СКС с заданными параметрами 80
2.7 Выводы по главе 2 94
3. Компенсация структурных артефактов многосигнального фотоприемника 96
3.1 Анализ причин возникновения вертикального смаза в МПЗС 96
3.2 Методы снижения уровня смаза в цветных ТВ камерах на МПЗС 98
3.3 Разброс параметров выходных устройств ФП 106
3.4 Методы компенсации разброса параметров выходных устройств ФП 111
3.5 Выводы к главе 3 121
4. Моделирование и экспериментальные исследования предложенных методов повышения качества 122
4.1. Моделирование предложенных структур кодирующих светофильтров 122
4.2 Экспериментальное исследование метода компенсации вертикального смаза в МПЗС 139
4.3 Моделирование алгоритма компенсации разброса параметров многовыходных ФП 152
4.4 Выводы по главе 4 157
Заключение 159
Список используемых источников 161
- Чувствительность ТВ камер на многосигнальных ФП
- Универсальный алгоритм восстановления полноцветного изображения
- Синтез СКС с заданными параметрами
- Экспериментальное исследование метода компенсации вертикального смаза в МПЗС
Чувствительность ТВ камер на многосигнальных ФП
В ТВ системе качество формируемого изображения определяется в первую очередь характеристиками и параметрами ТВ камеры.
Главными тенденциями развития ТВ камер с момента их изобретения и до настоящего времени являются увеличение детализации получаемого изображения за счет использования большего количества элементов разложения (разрешающая способность по пространству), повышения кадровой частоты (разрешающая способность по времени), повышения чувствительности и снижение интенсивности артефактов, возникающих в процессе передачи изображения.
Первые ТВсистемы использовали диски Нипкова для формирования видеосигнала на передающей сторонеи оптического изображения на приемной. К 1934-1935 годам были разработаны и практически реализованы системы с разложением изображения на 180 и даже 375 строк.Чувствительность таких системснижалась с увеличением числа элементов разложения, так как эти системы работали без накопления зарядов в течение кадра[1, 2].
Начиная с 1907 года Б. Л. Розингом, К. Суитоном, Б. П. Грабовским, Я. А. Рыфтиным и др. проводились работы по созданию электронной системы телевидения. Широкое развитие и практическое внедрение электронное телевидение получило после изобретения передающих трубок с накоплением – иконоскопа В.К. Зворыкина, трехслойной мишени С.И Катаева и супериконоскопа В. П. Шмакова и П. В. Тимофеева[1,2].
Важным этапом в развитии телевидения явилось внедрение цветного ТВ вещания по стандартам NTSC, PAL, SECAMв 1953, 1966 и 1967 годах соответственно. Совместимые аналоговые системы цветного телевидения имели невысокую помехоустойчивость и высокий уровень перекрестных искажений яркость-цветность и цветность-яркость. В1979 и 1986 году началось вещание аналогового телевидения высокой четкости согласно стандартам MUSEи HD-MAC соответственно. Это позволило существенно повысить детализацию получаемых изображений [3]. С 1993 года предложено и широко используетсянесколько стандартов цифрового телевидения как стандартной, так и высокой четкости (DVB, HDTV, ATSC, ISDB). На данный момент происходит активное внедрение оборудования, работающего согласно стандартам UHDTV [4].
До середины 1970-х годов в качестве ФП использовались вакуумные передающие трубки, которые имели существенные недостатки, а именно плавающий растр, инерционность, высокую потребляемая мощность, высокие питающие напряжения, значительные габаритные размеры и массу, малый срок службы, чувствительность к электромагнитным помехам, значительные искажения цветопередачи [1, 2, 5].
С 1975 года вместо вакуумных передающих трубокначали использоваться твердотельные ФП, выполненные по ПЗС-технологии. Активное развитие данной технологии позволило устранить существенные недостатки присущие вакуумным трубкам [5]. В настоящее время вакуумные передающие трубки используются только в приложениях, связанных с работой при высокой температуре и в значительных радиационных полях.
В развитии ФП на ПЗС принимали активное участие такие специалисты как Бойл У., Смит Д., СекенК., Томпсет М., Хиничек Д, Барб К., Джанесик Д., Березин В.Ю., Котов Б.А., Пресс Ф.П., Вето А.В., Шилин В.А., Вишневский Г.И., Арутюнов В.А., Скрылев А.С. и другие.
К недостаткам ПЗС можно отнеститехнологическую сложность производства, относительную дороговизну крупноформатных ФП, сложность создания пиксела размером менее 3 мкм, ограниченную частоту считывания зарядовых пакетов, невысокую радиационную стойкость, резкий рост темнового тока с увеличением температуры и накопленной дозы, невозможность реализации концепции камера-на-кристалле[4, 6, 7]. С момента изобретения КМОП-сенсоров с активным пикселом в 1993 году [8, 9], они стали находить все большее применение, вытесняя ФП на ПЗС из многих областей [4, 10, 11]. Главными достоинствами ФП, выполненных по КМОП-технологии, являются низкое напряжение питания и потребляемая мощность, малые габаритные размеры и масса, низкая стоимость при крупносерийном производстве, возможность реализации пиксела размером до 1,0 мкм, высокая пропускная способность, повышенная радиационная стойкость[4, 10, 12].В КМОП-сенсорах реализуются новые качества, такие как видеосистема на кристалле, возможность считывания окон произвольного размера, произвольный координатный доступ, спектральное разделение светового потока непосредственно в пикселе.
К недостаткам КМОП-сенсоров следует отнести больший уровень шумов и меньшую чувствительность по сравнению с ФП на ПЗС, наличие значительного геометрического шума (FPN).
За последнее время доля ПЗС в общем рынке ФП стремительно сокращается и к 2017 году составит примерно 5%, при объеме производства в диапазоне 70-120 млн. шт. в год [10].На данный момент ФП на базе КМОП используются не только в изделиях выпускаемых массово, но и в таких высокотехнологичных отраслях как космическое телевидение, медицина, научные исследования.
На рисунке 1.1 представлены тенденции использования различных типов ФП от времени и от области применения.
Отдельно стоит вопрос построения камер цветного телевидения.По способу формирования цветного изображения ТВкамеры можно разделить на две группы. Перваяиспользует дихроичные зеркала и призмы для оптического разделения светового потока на 3-4 спектральных канала. В каждом канале используется свой собственный ФП (рисунок 1.2) [1, 2, 13].
Вторая группа, называемая одноматричной схемой, использует один ФП на поверхность которого нанесена так называемая СКС, под которой понимается периодически (или псевдо периодически) повторяющийся шаблон светофильтров, которые производят разделение оптического сигнала на несколько спектральных диапазонов и дискретизацию их в плоскости ФП.
Универсальный алгоритм восстановления полноцветного изображения
В [13, 22, 25, 71, 72, А4, А9, А10] показано, что если при фильтрации мультиплексной компоненты цветности в полосу пропускания низкочастотного фильтра попадают пространственные частоты, соответствующие другой мультиплексной компоненте (яркости или цветности), то восстановленное изображение будет содержать цветовые артефакты.
Важными параметрами СКС с точки зрения устойчивости мультиплексных компонент к наложению спектров, являются параметр DL-C, показывающий минимальное расстояние между центрами компонент яркости и цветности, и параметр DC-C, показывающий минимальное расстояние между центрами компонент цветности в частотной области (рисунок 2.3). Чем больше расстояние между мультиплексными компонентами, тем меньше наложение спектров.
Для СКС Байера мультиплексные компоненты цветности располагаются на вертикальных и горизонтальных осях компоненты яркости. В данных направлениях энергия спектров реальных изображений существенно больше, чем в диагональных [52], что приводит к значительному наложению спектров (рисунок 2.3). Как следствие, восстановленные изображения в телевизионных камерах на ФП со СКС Байера сильно подвержены цветовым артефактом на мелких деталях изображения.
Рассмотренный универсальный алгоритм достаточно просто адаптируется под произвольную СКС. При этом последовательность действий остается неизменной, меняются только несколько переменных (n1, n2, , ), которые определяются исходя из свойств СКС. В работах [22-27] были предложены несколько СКС с размерами от 23 до 2323 и использующих более 16 различных цветов. Для восстановления полноцветного изображения, после дискретизации каждой из этих СКС, авторами использовался подобный универсальных алгоритм. Подавляющее большинство из предложенных СКС превосходят СКС Байера по помехоустойчивости к цветовым артефактам. Кроме того, данный алгоритм достаточно прост в реализации и может быть применен в телевизионных камерах, имеющих высокую скорость генерации циф 58 ровых видеоданных. Алгоритм использует исключительно линейные операции и легко поддается распараллеливанию.
Алгоритм восстановления влияет на интенсивность цветовых артефактов в формируемом изображении. Однако, алгоритм интерполяции является вторичным по отношению к использованной для формированию цветного изображения СКС. Он лишь восстанавливает пропущенные отсчеты видеосигнала и формирует полноцветное изображение таким образом, чтобы минимизировать цветовые артефакты.
Таким образом, главным этапом формирования цветного изображения является СКС, и именно ее свойства вносят наибольший вклад в итоговое качество изображения. На рисунке 2.4 представлены несколько шаблонов СКС, отличающиеся по размеру шаблона, по расположению мультиплексных компонент в частотной области, по количеству и спектральному составу используемых фильтров.
Далее приведен сравнительный анализ влияния каждой СКС (по отношению к СКС Байера) на помехоустойчивость, разрешающую способность и чувствительность телекамеры. помехоустойчивости к цветовым артефактом телекамеры на ФП с произвольной СКС
Алгоритм восстановления полноцветного изображения, как показано в 1.2, может являться эффективным способом повышения помехоустойчивости телекамеры к цветовым артефактам. Однако, далее будет рассматриватьсятолько вопрос влияния СКС на помехоустойчивость телевизионной камеры к цветовым артефактам. Для получения полноцветного изображения предлагается использоватьуни-версальный алгоритм интерполяции рассмотренный ранее.
В [51, 96] рассмотрены вопросы оценки муаров на изображении и предложены методики их измерения. Однако авторы использовали только монохромные изображения.В [94, 97] рассмотрены вопросы оценки таких цветовых артефактов как ложные цвета, эффект гребенки, цветовые муары и других артефактов. Предлагаемые авторами методики для каждого конкретного артефакта различны, по 59 этому интегральный параметр помехоустойчивости в данных работах не рассматривался.
На данный момент автору не известно методики, позволяющей оценить одним интегральным параметром помехоустойчивость к цветовым артефактам телевизионной камеры на ФП с произвольной СКС.
Ниже предлагается методика, позволяющая решить поставленную задачу. 1. Регистрируется (захватывается) или синтезируется монохромное изображение. В качестве исходного тестового изображения целесообразно выбрать изображение зон Френеля, рисунок 2.5а, поскольку на нем отображается пространственное распределение спектров. Кроме того, по данному изображению можно оценить интенсивность цветовых муаров, т.е. помехоустойчивость к цветовым артефактам. 2.Производится дискретизация изображения с использованием анализируемой СКС. Тестовое изображение (рисунок 2.5, а) является монохромным. Каналы R, G, Bимеют одинаковую интенсивность, что соответствует правильному балансу белого. На рисунке 2.5, б приведен пример дискретизации исходного изображения согласно СКС Байера. 3. Восстанавливается полноцветное изображение. Применяется универсальный алгоритм интерполяции (рисунок 2.5, в). На восстановленном изображении наблюдаются цветовые артефакты в виде муаров. Пространственная частота на которой находятся центры вторичных муаров совпадает с пространственной частотой, определяющей расположение мультиплексных компонент для данной СКС (см. рисунок 2.2). На рисунке 2.6а-к приведены результаты восстановления тестового изображения после его дискретизации для 10 исследуемых СКС, рисунок 2.4а-к соответственно.
Синтез СКС с заданными параметрами
В МПЗС обычно реализуется до четырех выходных устройств. Дальнейшее распараллеливание приводит к существенному удорожанию прибора. На рисунке 3.8 изображена архитектура МПЗС фирмы ONSemiconductorsKAI-02150 с четырьмя выходными устройствами.
Организации параллельногосчитывания в КМОП-сенсорах значительно проще. Современные КМОП ФП для коммерческих приложений [86-88]могут содержать до 32 выходных устройств, что позволяет обеспечить пропускную способность вплоть до 1,5 х 1012 отсчетов в секунду. На рисунке 3.9 представлена типичная схема организации параллельной архитектуры в КМОП-сенсоре [59].
Использование ФП с несколькими выходными устройствами влечет за собой проблемы, связанные с синхронизацией потоков с разных выходов, с необходимостью применения быстродействующей памяти большого объема, а также с использованием алгоритмов компенсации разброса параметров выходных устройств, что требует значительных вычислительных ресурсов [4, 12].
Основные факторы, затрудняющие использование ФП с несколькими выходными устройствами это:
На рисунке 3.10 представлено выходное устройство с ПДО, используемое в МПЗС [12]. Оно содержит разделительный затвор G, диффузионную область n-типа, к которой подключены гальванометрический транзистор и транзистор сброса. Импульс сброса URSоткрывает транзистор сброса и емкость обратносмещенно-го p-n-перехода ПДО заряжается до напряжения U0, этот потенциал остается неизменным до поступления в диффузионную область зарядового пакета. Тогда потенциал области уменьшается на U1=Q0/Cout, где Cout – емкость ПДО, это изменение потенциала подается на выход устройства через транзистор VT1 [12].
Технологически трудной задачей является создание одинаковой емкости плавающей диффузионной области Сout во всех выходных устройствах. Вариации значения Сout вносят наибольший мультипликативный вклад в разброс параметров выходных устройств.Крутизна транзистора VT1 в каждом выходном устройстве различна, что также вносит мультипликативную составляющуюв разброс параметров. Помимо этого, различается напряжение смещения транзистора VT1, ответственное за сдвиг видеосигнала по постоянной составляющей. Однако, данная составляющая является аддитивной и компенсируется при обработке выходного видеосигнала МПЗС в устройстве ДКВ.
В КМОП-сенсорах различие выходных видеосигналов обусловлено другими факторами. На рисунке 3.11 представлена ячейка КМОП-сенсора с активным пикселом [61].С помощью транзистора сброса VT1, емкость обратносмещенного фотодиода заряжается до потенциала питания UDD. Под действием света образуются свободные носители заряда и емкость разряжается со скоростью, пропорциональной освещенности.
По окончании времени интегрирования светового потока на затвор ключевого транзистора VT2 подается сигнал ROW (RowSelect–сигнал выбора строки) и исток транзистора VT3оказывается подключенным к аналоговой вертикальной шине BUS. В конце вертикальной шины находится нагрузка и, таким образом, транзистор VT3 включен по схеме истокового повторителя. Видеосигнал с фотодиода через этот повторитель и вертикальную шину во время действия сигнала ROWсчитывается на выход.
В КМОП-сенсоре, по технологическим причинам невозможно получить одинаковую крутизну и напряжение смещения для всех транзисторов. Это проявляется в наличии как аддитивной, так и мультипликативный составляющих в коэффициенте передачи.Аддитивная составляющая может быть частично подавлена применением схемы двойной выборки, принцип действия которой близок к схеме ДКВ. Однако использование двойной выборки не устраняет шум установки потенциала узла считывания, а наоборот, увеличивает в два раза дисперсию теплового шума транзистора истокового повторителя.
Помимо этого в КМОП-сенсорах присутствует разброс параметров столбцовых усилителей, АЦП и т.д. Артефакты такого рода носят название FPN (Fixed-PatternNoise) или по-русски – геометрический шум.Таким образом, в различных типах ФП с несколькими выходными устройствами присутствует разброс параметров выходных устройств, зависящий от уровня сигнала, освещенности и т.п.
На рисунке 3.12 представлено изображение, полученное с МПЗС с двумя выходными устройствами. Разброс параметров приводит к тому, что на изображении отчетливо видна границадвух областей ФП.Для компенсации неравномерности выходных устройств необходимо минимизировать разность между свет-сигнальными характеристиками выходных устройств.
Для решения данной задачи можно считать свет-сигнальную характеристику ФП линейной и описать зависимость выходного видеосигналаФП как где k – номер выходного устройства, levelk– аддитивная составляющая (уровень черного),Gk– мультипликативная составляющая (крутизна каскада транзисторов, емкость плавающей диффузионной области),E – освещенность[12, 89].
Рассмотрим свет-сигнальные характеристики, рисунок 3.13, на примере ФП с двумя выходными устройствами. Кривая 1, соответствующая выходному устройству 1, имеет большую крутизну и меньшее значение уровня черного, чем кривая 2 (выходное устройство 2).
Экспериментальное исследование метода компенсации вертикального смаза в МПЗС
На рисунке 4.13 представлена осциллограмма видеосигнала смаза, без усреднения строк (Nстрок=l). Значимый уровень вертикального смаза образуется только при наблюдении достаточно ярких объектов. Максимальный уровень смаза исиг составляет 0,67. При вычитании сигнала смаза из исходного изображения в области яркого объекта (рассеивателя) происходит искажение градиента яркости, что отчетливо видно на рисунке 4.12б.Для компенсации данного артефакта необходимо усилить видеосигнал на корректирующий коэффициент к (3.2). Для рассматриваемого примера к=3, при этом общий уровень яркости сформированного изображения возрастает, что видно из рисунка 4.12в.
При считывании видеосигнала с темновых строк превалирующей компонентой шума является фотонный шум, СКО которого определяется как 2N T, где Nфт - число падающих фотонов. Для большей визуальной наглядности в ТВ камере СТЗ-КТА использовалось дополнительно аналоговое усиление +20 дБ.
Если в качестве сигнала смаза использовать видеосигнал одной темновой строки (рисунок 4.13), то отношение сигнал/шум резко падает, вследствие значительной компоненты шума 2N T, которая выражается в виде вертикальной структуры (рисунок 4.14а). Если произвести усреднение по Мстрок темновым строкам,то СКО вертикального фотонного шума будет ЫфтМ, рисунок 4.13. На рисунке 4.14б представлен участок изображения при Мстрок=16. Вертикальная структура практически отсутствует.
Максимальное количество строк Мстрок доступных разработчику ТВ камеры для усреднения определяется архитектурой ФП и стандартом передачи. Для примера МПЗС KAI-02150 (рисунок 3.8) имеет общее количество строк 1144, из них 1080 активных и 24 темновых. Если ТВ камера на данном ФП работает согласно рекомендации Rec. ITU-R ВТ.709-5[104], то суммарное количество строк в одном кадре равно 1250. При этом дополнительное количество строк, которые будет считаны из ФП можно определить как 1250-1144=96. Таким образом для данного примера Мстрок=120, что позволяет снизить СКО вертикального фотонного шума в 10,95 раз.
В качестве особенностей работы алгоритма необходимо отметить следующее. Допустимсистема автоматической регулировки уровня видеосигнала находится в устойчивом положении, то есть время накопления, усиление видеосигнала, диафрагма объектива выбраны такими, чтобы сформированное изображение было наиболее информативным. Если в поле зрения ТВ камеры попадает яркий объект, который формирует значительный(более 50% от динамического диапазона) вертикальный смаз на изображении, то яркость сформированного изображения резко возрастет,что отчетливо видно на рисунке 4.5а,в. При этом, возможно, некоторые области изображения станут неинформативными, поскольку будут находиться в ограничении.
Также необходимо иметь ввиду, что при относительно быстром движении яркого объекта в поле зрения ТВ камеры вертикальный смаз имеет наклонную форму, рисунок 4.15. Компенсация вертикального смаза с использованием предложенного метода будет приводить к частичному его устранению. Эффективность работы данного алгоритма тем выше, чем выше кадровая частота (частота полей), а также чем меньше скорость движения яркого объекта.
Предложенный выше алгоритм компенсации вертикального смаза (для монохромного ФП) был внедрен в серийно выпускаемое изделие МОК-001. Вид изделия в виде модуля представлен на рисунке 4.16.
В силу тяжелых условий эксплуатации конструкция ТВ камеры не предусматривает наличие подвижных частей - шаговых двигателей, диафрагмы, переменного фокусного расстояния и проч. В то же время ТВ камера должна обеспечивать работу при изменении освещенности в 2107 раз. Время накопления регулируется автоматически в диапазоне от 20 мс до 200 нс, что позволяет перекрыть диапазон в 106 раз только за счет использования электронного затвора.При столь малых временах накопления, как показано в 3.1 интенсивность вертикального смаза существенно увеличивается.
На рисунке 4.17 показана схема экспериментального стенда для проверки ТВ камеры МОК-001 при высоком уровне освещенности.В качестве источника света используется 60-ваттная галогеновая лампа с цветовой температурой 3200К. В ходе эксперимента ток протекающий через лампуне изменялся. Для создания более равномерной освещенности на выходе после галогеновой лампы устанавливается молочный фильтр.
Регулировка освещенности на объекте регулируется путем установки определенного набора нейтральных светофильтров. Максимальная освещенностьфор-мируемая на выходе источника света 600000лк.В качестве объекта наблюдения используется ТИТ 0249 с контрастом 100% и коэффициентом пропускания 0,5. Согласование масштабов ТИТ и размеров ФП осуществляется за счет объектива Ernitecс фокусным расстоянием 50 мм и максимальным относительным отверстием 1:1,4.
