Содержание к диссертации
Введение
1. Сравнительный анализ современных видеодатчиков на базе кмоп приемников излучения и методов обработки изображений, используемых в них 10
1.1. Методы обработки изображений 11
1.2. Современные видеодатчики на основе КМОП приемников излучения 29
Выводы 51
2. Математическая модель адаптивного видеодатчика на базе кмоп приемника излучения с предварительной обработкой изображений 52
Вывод 60
3. Создание аппаратно-ориентированного алгоритма пространственной фильтрации и быстрого алгоритма адаптивной интерполяции изображения 61
3.1. Алгоритм адаптивной интерполяции 61
3.2. Аппаратно-ориентированный алгоритм пространственной фильтрации изображений 74
Выводы 81
4. Структурно-функциональная оргализация адаптивного видеодатчика с предварительной обработкой изображений . 84
4.1. Структурно-функциональная организация КМОП видеодатчика 84
4.2. Оптико-электронный адаптивный датчик на базе КМОП приемника излучения
4.3. Адаптивный видеодатчик с предварительной обработкой изображений
4.4. Моделирование параметров адаптивного видеодатчика на базе КМОП приемника излучения с предварительной обработкой изображений
Выводы
Заключение
Библиографический список
Приложения
- Современные видеодатчики на основе КМОП приемников излучения
- Математическая модель адаптивного видеодатчика на базе кмоп приемника излучения с предварительной обработкой изображений
- Аппаратно-ориентированный алгоритм пространственной фильтрации изображений
- Оптико-электронный адаптивный датчик на базе КМОП приемника излучения
Введение к работе
Актуальность. В настоящее время видеодатчики на базе КМОП приемников излучения (ПИ) применяются в различных отраслях науки, техники и промышленности: в системах управления технологическими процессами, в биомедицинских системах, системах наблюдения, охраны и безопасности, видеокамерах, фотоаппаратах, мобильных телефонах и т.д. В таких видеодатчиках имеется возможность предварительной обработки визуальной информации в процессе ее восприятия за счет объединения в пределах одного кристалла фотоприемника, устройств развертки, квантования и модулей, реализующих процедуры обработки изображения.
Наиболее распространенными процедурами обработки изображений, получаемых с видеодатчиков на базе КМОП ПИ, реализуемыми непосредственно на кристалле видеодатчика, являются процедуры преобразования изображения в цифровой формат, уменьшения шумов, компенсации эффекта размытости изображения. В системах технического зрения, построенных на основе современных видеодатчиков на базе КМОП ПИ, такие важные операции как пространственная фильтрация, интерполяция, сжатие, распознавание изображений выполняются с использованием внешних специализированных устройств обработки, что снижает быстродействие таких систем и не позволяет вести предварительную обработку изображения непосредственно в процессе его получения. Кроме того, широко используемая в современных видеодатчиках операция интерполяции изображения, при которой выполняется масштабирование (увеличение) изображения, не позволяет получать четкое изображение, поскольку используемые методы линейной, билинейной и бикубической интерполяции снижают качество изображения, что в зависимости от используемого метода и типа обрабатываемого изображения проявляется в виде блочного дефекта или снижения резкости, и вызывает
необходимость разработки алгоритмов интерполяции, учитывающих особенности обрабатываемых изображений.
Поскольку априорная неопределенность условий функционирования видеодатчиков вызывает необходимость использования адаптивных алгоритмов обработки изображения, а в большинстве современных видеодатчиков на базе КМОП ПИ происходит только формирование матрицы яркостей изображения, тогда как фильтрация и интерполяция выполняются в отдельных устройствах, то аппаратная реализация адаптивных алгоритмов обработки изображения непосредственно на кристалле видеодатчика с использованием параллельных структур позволит значительно ускорить процесс обработки изображения и обеспечит расширение функциональных возможностей видеодатчика.
Таким образом, актуальной научно-технической задачей является расширение функциональных возможностей и повышение быстродействия видеодатчиков на базе КМОП ПИ за счет аппаратной реализации алгоритмов предварительной обработки изображений.
Работа выполнялась в рамках плана НИР Курского государственного технического университета по единому заказ-наряду Министерства образования РФ в 2006-2008 годах.
Цель диссертации: разработка теоретических и реализационных основ создания видеодатчиков на базе КМОП приемников излучения с возможностью интерполяции изображений и адаптацией к изменению параметров яркости рабочей сцены на основе фильтрации в режиме реального времени.
В соответствии с поставленной целью в работе решаются следующие задачи:
Современные видеодатчики на основе КМОП приемников излучения
Типовая структура КМОП видеодатчика приведена на рисунке 1.4 [22]. Фотоприемная матрица состоит из двумерной матрицы ячеек, чувствительных к свету. Каждая ячейка соответствует элементу изображения или пикселю. Ячейки датчика изображения повторяются с определенным шагом, обычно измеряемым в микрометрах. Матрица пикселей разделяется на строки, выбираемые логикой выбора строки. Эго может быть сдвиговый регистр или декодер. Пиксели считываются по вертикальным шинам столбца, которые подсоединяют выбранный ряд пикселей к блоку процессоров аналоговых сигналов. Эти процессоры выполняют функции накопления зарядов, усиления, выборки и хранения, двойной коррелированной выборки и подавления шума.
Каждый столбец пикселей имеет свой собственный АЦП. Цифровой выход АЦП (или аналоговый выход ПАС) выбирается для считывания столбца логической схемой выбора.
В зависимости от структурно-функциональной организации фоточувствительной ячейки ПИ можно выделить несколько типов архитектур КМОП-видеодатчиков, более подробно рассмотренных в [3, 20, 21]. Коротко обозначим их основные особенности. Схема пассивной ячейки фотодиодного типа практически не изменилась с 1967 г. Ячейка состоит из фотодиода (МДП-структура с потенциальной ямой) и транзистора выборки. Пассивная ячейка с фотодиодом и с одним транзистором позволяет достичь самого большого значения коэффициента заполнения для данного размера пикселя или наименьшего размера пикселя для заданного значения коэффициента заполнения при одинаковом технологическом КМДП процессе. Второй транзистор выбора необходим для двухкоординатной XY-адресации. Квантовая эффективность пассивной ячейки (отношение собранных электронов к падающим фотонам) может быть весьма высока из-за большого коэффициента заполнения и отсутствия перекрывающем слоя поликремния, который имеется во многих ПЗС. уровень шума считывания и модульность [22]. Типичное значение шума считывания с пассивной ячейкой составляет 250 электронов, а у коммерческих ПЗС это значение менее 20 электронов. Пассивная ячейка также не позволяет увеличивать размеры матрицы и повышать скорость считывания ячеек, так как это приводит к повышению шума считывания (рисунок 1.5).
Высокую квантовую эффективность имеет фотоприемная КМОП матрица с ячейками фотодиодного типа. Шум считывания ограничен шумом сброса фотодиода, так как двойную коррелированную выборку трудно реализовать без памяти кадра, и поэтому составляет 75... 100 электронов. В ячейке используются три транзистора, а шаг повторения ячеек обычно составляет 15 минимальных размеров элемента. Активная ячейка фотодиодного типа является подходящей для большинства применений, требующих средних и низких параметров. Уменьшение фоточувствительной области компенсируется увеличением коэффициента усиления преобразования. Значение отношения сигнал/шум уменьшается с уменьшением размеров пикселя, поскольку шум напряжения сброса пропорционален величине 1/С , где С - емкость фотодиода [22]. В таком случае баланс соотношений достигается за счет изменения коэффициента заполнения пикселя (область фотодиода), динамического диапазона (емкость потенциальной ямы) и коэффициента преобразования заряда в напряжение.
В ячейке фотозатворного типа пять транзисторов, а шаг повторения ячеек составляет 20 минимальных размеров элемента. Таким образом, чтобы получить значение шага повторения пикселей в 10 мкм, должен использоваться 0,5 мкм процесс. При процессе 0,25 мкм возможен шаг повторения пикселей в 5 мкм. Шум последующей схемы составляет 150...250 мкВ, а результирующий шум считывания 10...20 электронов [22].
В последнее время широкое распространение получают схемы приемников излучения (ПИ) с DPS-архитектурой, в которой каждый светочувствительный элемент (СЭ) содержит запоминающий элемент (ЗЭ) аналого-цифровой преобразователь (АЦП) (рисунок 1.6-1.7), благодаря чему оцифровка сигнала происходит параллельно для всех СЭ, что существенно увеличивает скорость считывания сигнала [3, 21, 22].
Математическая модель адаптивного видеодатчика на базе кмоп приемника излучения с предварительной обработкой изображений
Разработка математической модели является традиционным способом построения и исследования видеодатчиков и алгоритмов их функционирования.
Разработана модифицированная Математическая модель адаптивного видеодатчика (АВ) на базе КМОП приемника излучения, позволяющая получить распределение значений яркости цифрового изображения в зависимости от яркости объектов рабочей сцены LohJ.
Математическая модель АВ основана на известной математической модели адаптивного видеодатчика с пространственно-временной фильтрацией и отличается введением модели обработки сигнала изображения [41].
Составляющими математической модели АВ являются математическая модель рабочей сцены FPC, математическая модель КМОП ПИ Fun, математическая модель аналого-цифрового преобразования сигнала Р цц и математическая модель обработки сигнала изображения/ :
Математическая модель рабочей сцены позволяет получить описание цифрового изображения рабочей сцены в виде функции яркости объектов рабочей сцены Lobj, а также дает возможность определить зависимость освещенности изображения от яркости объектов рабочей сцены и записывается в виде - освещенность изображения, тс - показатель преломления среды; топт - коэффициент пропускания оптической системы; Lob(xl,x2) - функция яркости объектов рабочей сцены; / - фокусное расстояние объектива; D — диаметр входного зрачка; /» = 1—— 0 - коэффициент увеличения линзы; s расстояние от входного зрачка до изображения; Хх и Х2 - горизонтальные и вертикальные размеры выбранной плоскости проекции, в которой введена система координат 0х;Х2; т и / - горизонтальные и вертикальные размеры целочисленной решетки, наложенной на всю область 1,х!2 или на некоторую ее подобласть. Математическая модель КМОП ПИ позволяет определить зависимость величины сигнала на выходе приемника излучения u(is,t) от освещенности изображения и имеет вид где /v - ток, возникающий вследствие поглощения потока фотонов фотоэлементом пикселя КМОП ПИ в течение времени /. В состав любого ПИ входят светочувствительные элементы, которые обладают свойством преобразовывать энергию потока фотонов в пропорциональное значение заряда или напряжения. Это преобразование состоит из трех этапов: поток фотонов генерирует электронно-дырочные пары в фоточувствительном материале фотоприемника (т.е. в кремнии); сгенерированные переносчики заряда образуют фототок; фототок (и темновой ток) преобразовывается в заряд. Фотоны во входном потоке имеют различную длину волны, т.е. несут различную спектральную энергию, поэтому, чтобы получить общее число сгенерированных электронно-дырочных пар, необходимо проинтегрировать входной поток по всему спектру. Электроны и дырки будут перемещаться под действием электрического поля, образуя по всей площади фоточувствительной поверхности фототок. В конечном итоге фототок образуется за определенный период времени, в течение которого сгенерированный заряд может быть непосредственно считан, либо преобразован в напряжение, а потом считан. Очевидно, что преобразование потока фотонов в электрический заряд представляет собой процесс трехкратного интегрирования [37, 72]: спектрального, пространственного и временного. Данное преобразование представлено в виде: где Q — накопленный заряд; q — заряд электрона; tint — время накопления; AD — площадь фоточувствительного слоя; Ятт и Ятах - нижняя и верхняя границы диапазона волновой чувствительности ПИ; Eimg(A) - энергетическая освещенность; s(X) - спектральная дифференциальная крутизна (чувствительность) фотоприемника. Два внутренних интеграла устанавливают закон образования фототока і h: коэффициент передачи КМОП ПИ с активными пикселями; Qu(is) - заряд, накопленный на фотодиоде вследствие протекания тока is = iph(Eimg} + idc; iph(Em - фототок, образованный под воздействием освещенности Етк; idc - темновой ток фотодиода; QN - общая величина заряда шума КМОП ПИ (включающая заряд дробового шума Qs, заряд теплового шума Qt, заряд шума фиксированной разводки Qf), xv - выходной сигнал пикселя КМОП ПИ, содержащий полезный сигнал и шум. Данная модель позволяет учесть внутрипиксельный коэффициент усиления, а также суммарное значение шумовой составляющей сигнала. В результате аналогово-цифрового преобразования получается описание цифрового изображения Y(i,j) в виде функции яркости объектов рабочей сцены 4/„ Задача поэлементного квантования возникает при преобразовании дискретной последовательности электрического сигнала изображения с выхода КМОП матрицы ип+ІІ)ЛІ в цифровой сигнал изображения Y{i, j). Поэлементное квантование заключается в том, что в области значений электрического сигнала изображения выбирается конечное значение, которое разбивается на интервалы квантования. Изменяющиеся значения сигнала изображения, попадающие на какой-либо интервал, обозначают числом, кодирующим номер интервала. Способ разбиения на интервалы и числовые значения интервалов должны обеспечивать требуемую точность представления непрерывных значений сигнала оптического изображения в точках дискретного отсчета в цифровые значения электрического сигнала. При восстановлении непрерывного сигнала в устройстве отображения код интервала заменяется значением электрического сигнала, представляющим этот код. Цифровое представление изображения позволяет в удобной форме осуществить запоминание информационных массивов данных и производить различные процедуры цифровой обработки сигналов в целях улучшения качества отображения информационных пространственных сигналов. Математическая обобщенная модель АЦП для сигналов изображения может быть представлена в виде где N - десятичный эквивалент выходного кода АЦП; ent( ) - функция определения наибольшего целого числа, не превосходящего u(]yh)bi\ иПли)ы -дискретный аналоговый сигнал с КМОП матрицы; КАцп - коэффициент передачи АЦП, связанный с внутренними параметрами микросхемы; Aja -погрешность преобразования АЦП, представляющая смещение характеристики преобразования по j-му сигналу.
Аппаратно-ориентированный алгоритм пространственной фильтрации изображений
Алгоритм фильтрации изображения определяется выражениями (2.14, 2.16). При адаптивной фильтрации параметры фильтра зависят от яркости пикселей входного изображения, причем алгоритмы расчета параметров фильтра широко представлены в литературе по обработке изображений.
Поскольку пространственные фильтры являются фильтрами с конечной импульсной характеристикой (КИХ), следует оценить их вычислительную сложность. Схема фильтрации в видеодатчике располагается непосредственно на кристалле, что предполагает ее реализацию на логических элементах, то возможно сравнение с точки зрения аппаратной сложности и необходимой величины тактовой частоты видеодатчика с теми же фильтрами, реализованными на ПЛИС.
Результаты проектирования КИХ-фильтров на Virtex представлены в Таблицах 3.2-3.3 [59]. Наиболее быстрыми фильтрами являются КИХ-фильтры, у которых частота дискретизации совпадает с тактовой частотой. Они же являются наиболее дорогостоящими в смысле ресурсов (большое число слайсов).
Разработана схема для простого случая реализации фильтрации при фиксированных коэффициентах фильтра на однородной структуре, простота в смысле реализации на ПЛИС (рисунок 3.11). Быстродействие схемы определяется используемой маской, количеством уровней сумматоров и быстродействием элементарной логической ячейки (ЭЛЯ). Представлена схема реализации маски Собела на сумматорах. Для ЭЛЯ с задержкой 6 не время выполнения обработки изображения оператором Собела около 90 не, что на 4 порядка быстрее, чем при обработке на ПЭВМ.
Для операндов небольшой разрядности (4 и менее) наиболее просто реализуется структура простого матричного суммирования. Она формирует параллельный умножитель как массив одноразрядных сумматоров, соединенных локальными межсоединениями, при этом общее число сумматоров напрямую определяется разрядностью множимого и множителя.
Так, полный параллельный умножитель 4x4 требует для своей реализации 12 сумматоров. При дальнейшем наращивании разрядности матрица одноразрядных сумматоров значительно разрастается, одновременно увеличивается критический путь распространения сигнала переноса, соответственно ограничивается быстродействие, и реализация умножителя становится нерациональной [42-46].
При реализации цифровой обработки обычно требуется выполнение четырех основных операций - сложения, перемножения двух сигналов, умножение на константу и накопление. Реализация операции умножения аппаратными методами всегда являлась сложной задачей при разработке высокопроизводительных вычислителей. Аппаратная реализация алгоритма умножения предназначена в первую очередь для получения максимального быстродействия выполнения этой операции в устройстве. На ПЛИС можно разрабатывать и реализовать умножители с быстродействием более 100 МГц.
Однако, в разработанном аппаратно-ориентированном алгоритме фильтрации изображений коэффициенты фильтра задаются постоянными или же вычисляются с помощью известных алгоритмов на основе анализа яркостей изображения предыдущего кадра и хранятся в памяти. Размер фильтра выбран 3x3, поскольку фильтры с таким размером обладают простотой схемотехнической реализации. При поступлении нового кадра выполняется фильтрация изображения в соответствии с заданными коэффициентами фильтра. В аппаратной реализации фильтра используются схема на логических элементах и параллельных сумматорах (рисунок 3.13-3.14).
Оптико-электронный адаптивный датчик на базе КМОП приемника излучения
Разработана структурная схема АВ на базе КМОП ПИ, обладающего устойчивостью к шумам, способного адаптироваться к внешним условиям и обеспечивающего взаимодействие с ЭВМ. Адаптивный оптико-электронный датчик содержит следующие блоки: КМОП ПИ с активными пикселями (АП), блоком аналоговой обработки и цифровым выходом; блок управления, содержащий схемы обеспечения доступа к строкам и столбцам матрицы ПИ, схемы формирования сигналов сброса и выбора строки, схему формирования сигналов считывания пикселя, схему формирования тактовых и управляющих сигналов; контроллер для формирования сигналов интерфейса с блоком обработки верхнего уровня, представляющего собой ЭВМ или специализированный процессор; статическую память, предназначенную для временного хранения строки изображения; блок фильтрации, осуществляющий подавление шумов и реализующий первоначальную обработку (например, для решения задач распознавания) (рисунок 4.1).
Устройство работает следующим образом: КМОП ПИ получает цифровое изображение объектов рабочей сцены, которое считывается под управлением блока управления. Считывание осуществляется построчно путем задания блоком управления адреса строки КМОП ПИ. Адреса строк формируются блоком управления начиная с нулевого. Значение адреса может быть получено и от устройства управления верхнего уровня. Считанная строка записывается в статическую память, откуда поступает в блок фильтрации. После обработки в блоке фильтрации, кадр изображения поступает в контроллер формирования сигналов интерфейса, откуда передается управляющей ЭВМ (выход датчика). Структура активного пикселя (АП), используемого в устройстве, а также принцип его работы аналогичны АП, рассмотренному в [3, 47]. В АП (рисунок 4.2) сигнал с фотодиода (D1) поступает на управляемый транзисторный усилитель (ТЗ), коэффициент усиления &y(t) которого определяется по формуле: задается от внешнего источника, U PD(0 - напряжение на фотодиоде в текущем цикле считывания, у(м) - коэффициент усиления в предыдущем цикле считывания.
По сигналу READC производится определение коэффициента усиления Ку, по сигналу READT производится передача усиленного в соответствии с рассчитанным коэффициентом усиления Ку сигнала на транзистор доступа коэффициента усиления (Т6).
Процесс считывания происходит построчно, все выходные информационные сигналы и коэффициенты усиления Ку каждого пикселя текущей строки считываются одновременно и передаются на шину столбца и шину коэффициентов усиления соответственно. Далее в блоке аналоговой обработки производится двойная коррелированная выборка сигнала каждого пикселя: значение пикселя считывается дважды по сигналам SHS и SHR, поступающим на соответствующие входы АП от блока управления, и по сигналу CS передается на дифференциальный усилитель, с выхода которого снимается обработанный сигнал SIGNAL.
Таким образом, в блоке аналоговой обработки выполняется формирование и усиление сигналов пикселей строки и коэффициентов усиления каждого пикселя считываемой строки (нормирующих множителей), после чего выполняется перемножение этих сигналов. Полученный сигнал каждого пикселя строки усиливается и подается на вход АЦП. В результате на выходе КМОП приемника излучения с активными пикселями формируются цифровые значения яркостей каждого пикселя строки.
Аппаратная реализация адаптивного видеодатчика возможна с использованием технологии «видеосистема на кристалле» [21]. Устройство обеспечивает расширение динамического диапазона за счет адаптивного к внешней освещенности управления коэффициентом усиления каждого пикселя, которое реализуется благодаря внедрению в каждый пиксель транзисторного усилителя с управляемым коэффициентом усиления и схемы определения коэффициента усиления в зависимости от уровня выходного сигнала пикселя. Также благодаря возможности управления светочувствительностью каждого пикселя можно получать требуемую гистограмму яркости изображения, что повышает вероятность обнаружения объектов в неинформативных, как правило, верхних и нижних частях кадра.
В работе [3] представлена структурная схема АВ, способного поддерживать выходной сигнал на заданном уровне в условиях изменяющейся внешней освещенности. Схема предполагает использование активного пикселя (рисунок 4.2). Адаптивный видеодатчик включает блок формирования управляющих сигналов (БФУС), блок формирования адреса и считывания сигнала пикселя (БФАС), МІЖ с активными пикселями (АП), каждый из которых содержит транзисторный усилитель с управляемым коэффициентом усиления и блок определения коэффициента усиления, блок обработки сигналов пикселей (БОСП), мультиплексор сигналов пикселей (МСП), мультиплексор коэффициентов усиления (МКУ), первый усилитель (У1), второй усилитель (У2), устройство перемножения сигналов (БПСП), АЦП и выходной усилитель (ВУ). Данная система предназначена для применения как в бытовой технике (цифровые камеры и фотоаппараты, видеотелефоны), так и в промышленных системах (системах технического зрения, системах наблюдения и контроля, системы безопасности транспорта и т.п.).
Применение видеодатчика возможно в системах технического зрения, позволяющих обеспечить предварительную обработку изображения и адаптацию устройства к изменяющейся внешней освещенности в процессе формирования изображения, а также для создания и исследования систем управления хаотическими процессами [9, 10].
