Содержание к диссертации
Введение
ГЛАВА 1. Основные способы получения, кодирования и повышения качества цифровых изображений 18
1.1. Получение, кодирование и обработка цифровых изображений 18
1.1.1. Общие понятия (Кодирование цифровых изображений) 18
1.1.2. Получение цифровых изображений местности высокого разрешения
1.2. Улучшение качества цифровых изображений 25
1.3. Восстановление (реставрация) цифровых изображений
1.3.1. Распространенные методы реставрации изображений 36
1.3.2. Изменение размера изображения (resizing) 46
1.4. Субпиксельная обработка цифровых изображений 522
1.4.1. Подходы к определению понятия «субпиксельная обработка» 522
1.4.2. Описание модели 566
1.4.3. Постановка задачи синтеза изображения со сверхразрешением 588
1.5. Выводы к главе 1 599
ГЛАВА 2. Метод субпиксельного сканирования 600
2.1. Повышение разрешения методом усреднения 600
2.1.1. Одномерное субпиксельное сканирование 60
2.1.2. Повышение разрешения по двум направлениям 644
2.2. Восстановление цифровых изображений 688
2.2.1. Одномерная модель восстановления 6969
2.2.2. Восстановление цифровых изображений с двукратным увеличением разрешения по двум направлениям 722
2.2.3. Восстановление цифровых изображений с произвольным увеличением разрешения 788
2.3. Выводы к главе 2 899
ГЛАВА 3. Использование масок 91
3.1. Метод расфокусировки 92
3.1.1. Общая теория метода. Одномерная модель 92
3.1.2. Двумерная модель 966
3.1.3. Численная реализация метода сверхразрешения 100
3.2. Приложение метода сверхразрешения в спутниковом сканировании поверхности Земли 1088
3.2.1. Использование маски с диафрагмами 108
3.2.2. Сканирование изображения группой линеек детекторов 11010
3.3. Выводы к главе 3 11010
Заключение
Литература
- Получение цифровых изображений местности высокого разрешения
- Подходы к определению понятия «субпиксельная обработка»
- Восстановление цифровых изображений с двукратным увеличением разрешения по двум направлениям
- Приложение метода сверхразрешения в спутниковом сканировании поверхности Земли
Получение цифровых изображений местности высокого разрешения
Для того чтобы, наиболее полно и глубоко раскрыть суть представленных ниже методов обработки графической информации, необходимо предварительно рассмотреть некоторые понятий области исследования и ознакомиться со способами получения и кодирования изображений.
Любое изображение представляет собой некую картину, получаемую в результате действия оптической системы на лучи, испускаемые объектом. В результате оптическая система воспроизводит контуры и детали объекта наблюдения. Практическое использование изображений связано с изменением масштаба изображений предметов и их проецированием на поверхность (киноэкран, фотоплнку, фотокатод и т.д.).
Исторически первым вариантом проецирования изображения на поверхность было формирование аналогового изображения. Термин «аналоговое изображение» подразумевает свойство детектора постоянно и непрерывно воспроизводить формирующие изображение сигналы в ответ на постоянно и непрерывно меняющуюся количественную характеристику попадающей на детектор дозы излучения светового диапазона (длина волны от 0,75 мкм до 0,4 мкм). Вследствие этого все тональности на изображении передаются плавно, в полной аналогии с изменением количества поглощенной энергии квантов света. В противоположность этому цифровое изображение прерывно, дискретно. Непрерывно изменяющаяся энергия светового изучения отображается в цифровом изображении прерывистой, ступенчатой реакцией [9].
Основной принцип прямого аналогового изображения, к которому относят обычную фотографию, заключается в формировании информационного содержания объекта на фотопленке, оптическая плотность которой зависит от степени отражения объектом светового излучения. Размер этих точек определяется физико-химическими свойствами фотопленки, что в конечном итоге и формирует пространственное и контрастное разрешение метода. Математически монохромное изображение удобно представить как функцию двух переменных z=f(x,y), описывающую распределение яркости на плоскости проецирования. Предполагается, что эта функция непрерывна и задана в некоторой прямоугольной области, называемой полем зрения, а также является гладкой, т. е. имеющую производную в любой точке, неотрицательной и ограниченной сверху. Иногда, начало координат задается в центре поля зрения, в системах автоматизированной обработки цифровых изображений принято помещать центр отсчета системы координат в правый верхний угол изображения. Полихромной (цветное) изображение можно представить в виде трех независимых функций zr, zg, zb. Эти функции аналогично функции z описывают каждую из составляющих цветного изображения в качестве распределения по основным цветам (red – красный, green – зеленый, blue – синий). [8, 17]
При компьютерной обработке изображение представляется прямоугольной матрицей Z[M,N], где M и N – столбцы и строки изображения соответственно. Элементы матрицы принимают целые неотрицательные значения, а общее число элементов S=MN. Значение каждого элемента определяется средней яркостью некоторой области изображения, называемой пикселем. Такое изображение является дискретным.
Для получения изображения, пригодного для компьютерной обработки, необходимо провести дискретизацию исходного непрерывного изображения f(x,y), а также выполнить квантование аналогового сигнала, соответствующего среднему уровню яркости пикселя, для получения целочисленного значения функции z. Выполнение первого условия достигается за счет использования матрицы или линейки с определенным числом светочувствительных элементов. Выполнение второго условия предполагает использование аналого-цифровых преобразований для достижения требуемой разрядности. Дискретные цифровые изображения получают, используя широкий спектр различных методов, включающих прямые аналоговые, непрямые аналоговые и цифровые технологии. [38, 91]
Стоит отметить, что в данном случае под цифровым изображением понимается растровое изображение, поскольку только такой вид графики может быть получен путем аналого-цифровых преобразований и непосредственной съемки изображения в цифровой форме. Понятие растровая графика, растр и пиксель связаны неразрывно. Пиксель является также центральным понятием и основным объектом такого метода обработки цифровых изображений, как субпиксельный анализ или субпиксельная обработка.
Пиксель (пиксель, пэл, англ. pixel, pel — сокращение от picture element или picture сell — элемент изображения) или элиз — наименьший логический элемент двумерного цифрового изображения в растровой графике. Пиксель представляет собой неделимый объект, обладающий определнным цветом. Растровое компьютерное изображение состоит из пикселей, расположенных по строкам и столбцам. [96]
Чем больше пикселей на единицу площади содержит изображение, тем более оно детально. Максимальная детализация растрового изображения задатся при его создании и не может быть увеличена. Если увеличивается масштаб изображения, пиксели превращаются в крупные зрна. Посредством интерполяции ступенчатость можно сгладить. Степень детализации при этом не возрастает, так как для обеспечения плавного перехода между исходными пикселями просто добавляются новые, значение (цвет) которых вычисляется на основании цвета соседних пикселей исходного изображения.
Каждый пиксель растрового изображения — объект, характеризуемый определнным цветом, градацией серого цвета и, возможно, прозрачностью. Один пиксель может хранить информацию только об одном цвете, который и ассоциируется с ним (в некоторых компьютерных видеосистемах цвет и пиксель представлены в виде двух раздельных объектов). Пиксель – это также наименьшая единица растрового изображения, получаемого с помощью графических систем вывода информации (компьютерные мониторы, принтеры и т. д.). Разрешение такого устройства определяется горизонтальным и вертикальным размерами выводимого изображения в пикселях. Пиксель на цветном дисплее состоит из нескольких цветовых компонент. Для разных дисплеев они упорядочены по-разному: синий, зеленый, красный (BGR), или, красный, зеленый, синий (RGB). Некоторые дисплеи имеют более трех цветовых компонент - подпикселей (MultiPrimary дисплеи), они используют сочетание красного, зеленого, синего и желтого (RGBY), или красного, зеленого, синего и белого (RGBW), или красного, зеленого, синего, желтого и голубого (RGBYC).
Для ЭЛТ-монитора число триад на один пиксель не фиксировано и может составлять единицы или десятки; для ЖК-монитора (при правильной настройке ОС) на один пиксель приходится ровно одна триада. Для видеопроекторов и печатающих устройств применяется наложение цветов, где каждая составляющая (RGB для проектора или CMYK для принтера) целиком заполняет данный пиксель [14].
Подходы к определению понятия «субпиксельная обработка»
Соответственно субпиксельная обработка предполагает совершение каких-либо преобразований на межпиксельном уровне. Однако субпиксельная обработка может пониматься в несколько различных смыслах, причиной этому служит наличие двух близких, но имеющих некоторые отличия значений понятия пиксель. С одной стороны, пиксель – наименьший логический элемент изображения, с другой – это наименьшая единица растрового изображения в мониторе, принтере и других устройствах вывода графической информации. В случае, когда пиксель рассматривают как наименьшую единицу разрешения устройства вывода, можно говорить о внутренней структуре пикселя. Как сказано выше, пиксель включает в себя триаду, позволяющую формировать цветное изображение. Таким образом, фактическое разрешение монитора превышает номинальное в несколько раз. Эта особенность может быть весьма полезна при необходимости воспроизведения изображения небольшого размера или при использовании мониторов низкого разрешения (телефон, планшетный компьютер, электронная книга).
Каждый из пикселей триады можно рассматривать как независимую точку изображения. Такой метод часто называют субпиксельным рендерингом или субпиксельной визуализацией – это способ увеличить кажущееся разрешение жидкокристаллического дисплея компьютера (LCD) или органического светодиодного дисплея (OLED). Разрешение увеличивается по одному из направлений. «Заимствуя» подпиксели от смежных целых пикселей, можно подобрать горизонтальное положение границ изображения с точностью, превосходящей исходную в несколько раз. «Заимствованные» подпиксели всегда смежны с их дополнительными цветными пикселями, которые наше зрение смешивает, получая белый цвет. В итоге, наблюдатель, в случае работы с монохромной графикой, видит только черно-белое изображение, этот эффект обусловлен особенностями зрения человека. На небольших изображениях, имеющих контрастные границы особенно четко видны дефекты, вызванные пикселезацией (зубчатые края). Предложенная технология позволяет существенно сгладить неровности. Максимальный эффект метод дает при выводе на экран монохромного изображения, например, текста с небольшим размером шрифта. Пример реализации данного метода приведен на рисунке 1.5. иллюстрирует представление на экране LCD-монитора символа «А», начертание которого соответствует шрифту Times New Roman, размера 8. а) б) в)
Метод не одинаково хорошо работает для разных мониторов. Оптимальным его использованием можно считать при работе с ЖК-дисплеями, где каждый логический пиксель соответствует непосредственно трем (четырем, пяти – в зависимости от модели монитора) независимым цветным субпикселям. В меньшей степени такой метод подходит для мониторов с ЭЛТ, где свет от пиксельных компонент может распространяться на соседние пиксели.
Таким образом, метод позволяет повысить качество воспринимаемого изображения за счет учета взаимодействия технических особенностей вывода изображения на монитор и механизма формирования визуального образа оптикобиологической зрительной системой человека.
Другой подход к пониманью процесса субпиксельной обработки изображений определяется рассмотрением пикселя как наименьшего логического элемента изображения. В этом случае пиксель не может иметь внутренней структуры. Субпиксельная обработка в данном случае предполагает получение нового значения пикселя на основе обработки нескольких других, частично сходных между собой пикселей. Это направление получило свое развитие в областях, использующих изображения большого разрешения: аэрофотосъемке, съемке местности со спутника.
При субпиксельной обработке изображений такого типа перед исследователями ставится задача разработки математического и программно 55 алгоритмического аппарата для восстановления высокоразрешающих цифровых изображений по набору изображений низкого разрешения с регулируемым субпиксельным сдвигом. Необходимо сформулировать и математически формализовать оптимизационную задачу, решение которой давало бы конструктивный алгоритм восстановления исходных одномерных и многомерных сигналов (изображений) в дискретном случае.
Неоспоримым преимуществом алгоритмов восстановления исходного изображения с повышением пространственного разрешением является то, что они не требуют обращения сверхбольших матриц. В основу некоторых алгоритмов этого типа положены две идеи. Во-первых, при восстановлении цифрового двумерного сигнала (фотоматричного изображения) осуществляется последовательная факторизация, сводящая реконструкцию двумерного сигнала к двукратному применению оптимальной одномерной процедуры. Вторая идея состоит в том, что одномерная процедура (в отличие от классического метода, когда необходимо проводить псевдообращение матриц большой размерности) выполнена на основе поиска сигнала с минимальной энергией, для чего специально разработан алгоритм, требующий существенно меньших вычислительных ресурсов (квадратичная зависимость объема вычислений от размеров обрабатываемых изображений заменяется линейной).
Восстановление цифровых изображений с двукратным увеличением разрешения по двум направлениям
Назначение используемых в листингах 2.10, 2.11 и 2.12 переменных раскрыто в таблице 2.3. В результате работы алгоритма получаем матрицу а, которая совпадает с исходной (входной для обратной задачи) матрицей аа (рисунок 2.10.).
а) исходное изображение; б) одно из изображений низкого разрешения; в) восстановленное изображение. Представленный способ дает полное восстановление исходного изображения. Результирующее изображение не уступает в качестве изображению с таким же разрешением, полученному путем непосредственной фотосъемки объекта. Полученные результаты обуславливают существенные преимущества данного метода перед ранее рассмотренными.
Важно отметить, что необходимо отсутствие таких дефектов съемки как смаз, расфокуссировка или иные искажения на входных изображениях. Ошибки, имеющие локализацию в 1-2 пикселя на исходном изображении способны повлиять на значение всех пикселей результирующего изображения, расположенных после них по строкам и столбцам.
В настоящем разделе предлагается развитие изложенного выше метода [22] на случай произвольных коэффициентов увеличения разрешения изображения по обеим координатам k и k1 [24]. Постановка задачи
Для синтеза изображения в качестве исходных берем K=kk1 изображений, полученных при сканировании объекта со сдвигом матрицы детекторов на 1/kl пикселя по горизонтали и 1/к пикселя по вертикали. Каждое из них получено при определенном положении матрицы детекторов, сдвинутом относительно некоторого исходного на i=0, 1, 2, … к малых пикселей по горизонтали и на j=0, 1, 2, … k1 по вертикали. Далее решаем задачу поиска алгоритма синтеза на основе этих kk1 матриц виртуальной матрицы изображения высокого разрешения с количеством пикселей большим в k1 раз по горизонтали и в к раз по вертикали, чем в матрицах исходных изображений низкого разрешения. Введем следующие обозначения s(x, у) - функция распределения яркости изображения. by - сигнал с пикселя матрицы детекторов («большой пиксель»), представляющий интеграл яркости по площади пикселя: ryj+i ґЧ+і bij := s(x,y)dxdy yj xi . (2.7) Индексы синтезированной матрицы a могут быть представлены в виде (k-i + p,kl-j+q), где параметры р и q пробегают значения --к и --к1 соответственно. Значение пикселя синтезированной матрицы («малый» пиксель) представляет интеграл: ry (kl-j+q+i) гЦк-і+р+і) ak.i+P,kl.J+q:= s(x,y)dxdy Y(kl-j+q) X(k-i+p) П.8) Значение пикселя с координатами (і, j) несмещенного изображения низкого разрешения ЬОО может быть представлено в виду следующей суммы значений «малых» пикселей синтезированного изображения: k kl bOOij := ak.1+p,kl.J+q р = о q = 0 (2.9) Рассмотрим связь цифровых изображений в больших пикселях, характеризующихся заданными сдвигами матрицы детекторов относительно регистрируемого изображения. При сдвиге матрицы детекторов относительно изображения на долю «большого» пикселя его сигнал изменится только за счет смещения его края, т е. вклад в это изменения внесут области пикселя, соответствующие крайним малым пикселям. Матрицы, сдвинутые друг относительно друга не более чем на один малый пиксель по каждому из направлений, будем называть смежными. Можно представить всего четыре разных положений «большого» пикселя с адресом (i, к) смещенного на один «малый» пиксель (рисунок 2.12). Рисунок 2.12. Демонстрация вывода основного соотношения задачи.
Прямоугольниками на рисунке представлено регистрируемое неподвижное изображение, а ячейки на нем представляют «малые» пиксели синтезируемой матрицы. «Большие» пиксели реальных изображений низкого разрешения представлены цветными прямоугольниками. Белым цветом будем обозначать ячейки матриц, сигнал с которых мы берем со знаком минус, черным – сигналы со знаком плюс, а серым - ячейки с нулевым сигналом.
Можно показать, что значения этих четырех «больших» пикселей связаны со значениями показанных на рисунке «малых» пикселей синтезированной матрицы, следующим образом:
Это соотношение является основным для решения поставленной задачи синтеза. Значения больших пикселей известны как полученные при регистрации изображения. Если в данном соотношении предварительно определить значения трех «малых» пикселей матрицы а, то его можно использовать для расчета сигнала оставшегося «малого» пикселя. Для решения задачи синтеза можно использовать краевые условия, формируемые в процессе съемки.
Приложение метода сверхразрешения в спутниковом сканировании поверхности Земли
Если вместо линейки использовать матрицу детекторов (например, ПЗС матрицу), то предлагаемым способом можно синтезировать двумерное цифровое изображение объектов с линейным разрешением 1/n пикселя на основе серии снимков, получаемых с помощью ПЗС-матрицы, расположенной за маской, имеющей решетку диафрагм с поперечными размерами равными размеру одного пиксела (детектора), расположенных на экране на расстоянии в n пикселов друг относительно друга, где n – кратность увеличения линейного разрешения синтезируемого снимка. Для синтеза изображения по такой схеме необходимо и достаточно иметь n2 изображений (экспозиций) при различных положениях экрана относительно матрицы детекторов, реализуемых при сдвиге экрана в двух взаимно-перпендикулярных направлениях на величины кратные линейному размеру пиксела (0, 1, … , n). Каждый из получаемых цифровых изображений будет содержать непересекающиеся расфокусированные изображения фрагментов, сформированных за диафрагмами маски. Вся совокупность из n2 снимков полностью описывает изображение, формируемое оптической системы телескопа в фокальной плоскости (в плоскости маски).
Рисунок 3.5 демонстрирует фрагмент маски с диафрагмами и соответствующего участка матрицы детекторов. F - фокусное расстояние оптической системы телескопа, AF - смещение детектирующей матрицы относительно фокуса.
В частности, в случае п=3 связь между девятью пикселями каждого расфокусированного фрагмента изображения и девятью малыми виртуальными пикселами в апертуре диафрагмы может быть выражена в виде свертки виртуального изображения а с аппаратной функцией h, описывающей в малых пикселах апертуру диафрагмы: h{xty) = Я а(х,у}Кх -s,y- k)dsdk (3.2) Эта связь однозначна и одинакова для всех фрагментов изображения, соответствующих решетке диафрагм на экране маски. Взаимная независимость фрагментов обусловливает помехоустойчивость алгоритма синтеза полного изображения.
На рисунке Рис.6а представлена схема расположения матрицы детекторов b (зеленый цвет) относительно диафрагмы и виртуальной матрицы детекторов внутри диафрагмы (желтый цвет). Диафрагма располагается над матрицей на таком расстоянии от нее, что для заданной апертуры оптической системы телескопа расфокусированное изображение виртуального пиксела будет представлять квадрат три на три малых пикселя (для квадратной апертуры телескопа), представленный на Рис.6б. для пиксела а1,1 темно-зеленым цветом.
Таким образом, сигналы детекторов в виде больших пикселей, представляющие расфокусированный фрагмент изображения, могут быть связаны с сигналами виртуальных детекторов, представляющих в виде малых пикселей резкое изображение того же фрагмента, расположенное на площади диафрагмы, некоторой линейной системой уравнений. Матрицы a и b могут быть записаны построчно в виде векторов, при этом матрица, связывающая эти векторы, может быть легко определена для конкретного расположения маски и матрицы детекторов. Согласно схеме рис.3.6 имеем (3.3а)
Вычислив матрицу обратную ей, можно записать формулу для определения «вектора» сигналов a виртуальных детекторов. Для приведенного примера формула может иметь следующий вид:
Для демонстрации метода построим модель с использованием реального цифрового изображения (рисунок 3.7а).
Представим это изображение пикселями достаточно большого размера. Чтобы нагляднее продемонстрировать разницу увеличим масштаб этого изображения (рисунок 3.7б).
Изображение с искусственно пониженным разрешением. С помощью маски в виде экрана с диафрагмами размером в один пиксель выделяем фрагменты исходного цифрового изображения и генерируем сигналы в виде больших пикселей для моделирования расфокусированного изображения выделенных фрагментов.
Смещая маску на один пиксель по горизонтали или по вертикали, получим полный набор из девяти изображений III0,0, III0,1, … , III3,3, три из которых представлены на рисунке 8. Демонстрацию всех изображений считаем нецелесообразной, так они визуально воспринимаются как одинаковые, хотя получены из непересекающихся частей исходного изображения. Это визуальное сходство можно объяснить тонкой структурой экрана диафрагм, размер которых равен одному пикселю, а расположение – над каждым третьем пикселем регистрирующей матрицы, а также высоким разрешением исходного изображения, что обусловливает плавное изменение значений соседних пикселей.