Содержание к диссертации
Введение
ГЛАВА 1 Обработка цифровых изображений 17
1.1 Объекты изображений, системы наблюдений и типы искажений 18
1.2 Оцифровка изображений 23
1.3 Типы изображений и классы чисел в системе MatLab 26
1.4 Математическое описание прямой и обратной задач обработки смазанных и зашумленных изображений 30
1.5 Выводы 45
ГЛАВА 2 Существующие методы реконструкции изображений 47
2.1 Метод инверсной и псевдоинверсной фильтрации 48
2.2 Метод параметрической фильтрации Винера 54
2.3 Варианты реконструкции с использованием метода регуляризации Тихонова 56
2.3.1 Метод преобразования Фурье с регуляризацией Тихонова 56
2.3.2 Метод квадратур с регуляризацией Тихонова 59
2.4 Другие методы. Сравнение различных методов 63
2.5 Выводы 68
Глава 3 Моделирование смазывания и зашумления изображений (прямая задача) 70
3.1 Моделирование смазывания изобралсений. Особенности использования «граничных условий» 71
3.2 Новый прием «усечение-размытие» краев изображения 78
3.3 Смазывание под утлом изображений (прием «поворота изображения»)...83
3.4 Моделирование зашумления изображений 88
3.5 Выводы 92
Глава 4 Новая методика реконструкции искаженных изображений 94
4.1 Реконструкция смазанных изображений методом преобразования Фурье или квадратур с регуляризацией Тихонова и с использованием способа «усечение-размытие-поворот» 95
4.1.1 Устранение смазывания изображения методом преобразования Фурье с регуляризацией Тихонова (варианты 1 и 2) 96
4.1.2 Устранение смазывания изображения методом квадратур с регуляризацией Тихонова (варианты 3, 4 и 5) 99
4.2 Устранение зашумленности на изображениях 106
4.3 Оценка качества восстановления смазанных изображений 113
4.4 Выводы 117
Глава 5 Реализация новой методики реконструкции искаженных изображений в системе matlab и результаты исследования 119
5.1 Основные характеристики системы MatLab 119
5.2 Описание головных программ и m-файлов 122
5.3 Примеры реконструкции искаженных изображений 132
5.3.1 Реконструкция модельных искаженных изображений 132
5.3.2 Реконструкция реальных искаженных изображений 167
5.4 Практические рекомендации по использованию новой методики 173
5.5 Выводы 175
Заключение 179
Список литературы 182
- Математическое описание прямой и обратной задач обработки смазанных и зашумленных изображений
- Метод преобразования Фурье с регуляризацией Тихонова
- Новый прием «усечение-размытие» краев изображения
- Устранение смазывания изображения методом преобразования Фурье с регуляризацией Тихонова (варианты 1 и 2)
Введение к работе
Актуальность темы. Большую часть информации человек воспринимает через зрительные образы. В настоящее время для регистрации, обработки и передачи данных (в частности, изображений) наибольшее распространение получили технические системы измерений и обработки информации, которые обычно представляют результат в виде цифрового изображения. Развитие технических систем обработки информации позволяет решать многие прикладные задачи, связанные с обработкой изображений. Под техническими системами измерений и обработки информации в данной работе подразумеваются системы, включающие устройства регистрации изображений (фотоаппараты, цифровые фото- или видеокамеры, микроскопы, телескопы, томографы и т.д.) и вычислительные устройства.
В технических системах обработки информации изображение обычно регистрируется матрицей сенсоров на основе ПЗС-матрицы. При этом выполняются оцифровка, дискретизация и квантование изображения. Наиболее часто используются полутоновые (серые, gray) изображения с градацией яркости, особенно, в медицине (томограммы, рентгеновские снимки и т.п.), а также в космо-аэро-динамической съемке, цифровых телескопах, микроскопах и т.д.
Под изображениями в представленной работе понимаются цифровые полутоновые изображения с градацией серого цвета (так называемые серые изобраоїсения), некоторое внимание уделено и цветным изображениям. В качестве объектов изображений могут быть использованы следующие: фотоснимок человека, текста, движущихся целей (самолет, автомобиль), объекта природы (в том числе, сделанный из космоса), теле- и киноизображение, телескопический снимок, оптико-электронное воспроизведение космического объекта, томограммы и т.д.
5 То, что человек наблюдает на экране монитора (цифровое изображение), после регистрации не всегда отображает идеальную картину окружающего мира или оригинального объекта. Изображения* могут подвергаться искажениям различного рода. Появление искажений, как правило, обусловлено несовершенством формирующих и регистрирующих устройств, входящих в состав технических систем обработки информации. Основными причинами искажений, приводящих к ухудшению четкости, являются: ограниченная разрешающая способность формирующей системы, расфокусировка (дефокуси-рование), наличие искажающей среды (например, атмосферы), движение камеры по отношению к регистрируемому объекту и т.п. Так, например, если во время съемки (за время экспозиции) регистрируемый объект (например, быстродвижущаяся цель: самолет, автомобиль, танк) двигался или, наоборот, объект был неподвижен, а регистрирующее устройство (РУ) совершило смещение по отношению к регистрируемому объекту, то в результате на фотографии получится смазанная картина.
Среди искажений, возникающих при наблюдении и измерении изображений объектов, наиболее сложными (с математико-компьютерной точки зрения) являются смазывание, дефокусирование и зашумление.
Так, наиболее часто встречающимися искажениями в магниторезо-нансной томографии (МРТ) являются артефакты от движения, которые могут вызывать серьезные затруднения при исследовании, например, брюшной полости. Артефакты от движения - размывание границ анатомических структур и появление дополнительных «призрачных» изображений - приводят к тому, что малые патологические очаги могут остаться незамеченными. При этом размывание вызвано усреднением изображений движущейся структуры или органа (аналогично фотоснимку движущегося предмета с недостаточно короткой экспозицией). «Призрачные» изображения представляют собой частичные копии основного изображения, появляющиеся в разных местах. При- чиной их появления обычно является пульсирующий поток жидкости (кровоток) [47, с. 206].
Как правило, при обработке искаженных изображений, рассматривают случай равномерного и прямолинейного смещения, однако смаз (сдвиг, смещение) может быть и более сложным: неравномерным и непрямолинейным. Во всех данных случаях задача восстановления исходного изображения по измеренному смазанному изображению описывается обычно совокупностью одномерных интегральных уравнений I рода [48].
Дефокусирование изображения имеет место в случае неправильной установки фокуса фотоаппарата или же из-за аберрации линзы или зеркала телескопа. Характерный пример — дефокусированные (из-за остаточной сферической аберрации зеркала телескопа) снимки космических объектов, сделанные в 90-х гг. космическим телескопом «Хаббл». Задача восстановления исходного изображения по измеренному дефокусированному изображению обычно описывается двухмерным интегральным уравнением I рода типа свертки [48], [63]. При этом в большинстве случаев (см. работы [15], [69] и др.) смазанные и дефокусированные изображения при их реконструкции рассматриваются в едином ключе.
Одной из отличительных особенностей представленной диссертационной работы является разграничение задач обработки смазанных и дефокуси-рованных изображений.
Зашумление изображения может происходить в случае, когда объект просматривается через атмосферу, содержащую пыль, дым, гарь, капли дождя, снежинки и т.д., или же при ошибках оцифровки и квантования изображения, сбоях отдельных элементов оптико-электронных преобразователей и т.д.
Большинство искажений (смаз, дефокусировка, зашумленность), возникающих из-за несовершенства технических систем, могут быть решены чисто технически (как была исправлена ситуация с телескопом «Хаббл» путем уст-
7 ранения аберрации его зеркала), но это может быть сделано далеко не всегда (пример: восстановление старой искаженной фотографии). В этом случае роль математико-компьютерной обработки искаженного изображения становится решающей. Можно сказать, что математико-компьютерная обработка изображения повышает разрешающую способность устройства (фотоаппарата, телескопа, микроскопа, томографа, оптико-электронной системы). После же получения более четкого изображения повышается точность идентификации (классификации, распознавания, диагностики) объекта.
Таким образом, существует два способа устранения данного недостатка (искажений). Первый состоит в совершенствовании измерительных устройств, второй заключается в использовании математической (и компьютерной) обработки результатов измерений с целью устранения искажающих факторов, повышения разрешающей способности приборов и качества визуализации изображений.
Улучшение визуального качества изображений предполагает получение (например, в результате подавления шумов, компенсации нелинейности носителя записи изображений, оптимизации контраста, подчеркивания границ изображения) такого представления изображений, что» важная* информация, содержащаяся в-них, воспринимается визуально и без дополнительной обработки, не смотря на оставшиеся искажения [6, с. 14].
В результате возникает необходимость, восстановления (реконструкции) математико-компьютерным путем искаженных изображений. Использование эффективных методов реконструкции изображений позволит повысить разрешающую способность технических систем обработки изображений.
Диссертация посвящена вопросам реконструкции смазанных и/или за-шумленных изображений. Восстановление смазанных изображений обычно описывается интегральными уравнениями I рода, задача решения которых некорректна (существенно неустойчива). К настоящему времени разработан ряд эффективных методов устойчивого решения некорректных задач: метод
8 регуляризации Тихонова, метод параметрической фильтрации Винера, алгоритм максимального правдоподобия Люси-Ричардсона и др. В задачу разработки методов реконструкции искаженных изображений внесли большой вклад как зарубежные ученые Р. Бейтс, М. Мак-Доннелл, Р. Гонсалес, Р. Вудс, С. Эддинс, Т. Хуанг, У. Прэтт, Г. Хермен, Г. Эндрюс, J. Nagy, М. Donatelli, М. Christiansen, J.C. Russ, P. Wendykier, S. Farsiu, так и отечественные M.B. Арефьева, А.Б. Бакушинский, Г.И. Василенко, В.В. Васин, Ю.Е. Воскобойников, А.В. Гончарский, А.В. Горшков, И.С. Грузман, И.П. Гуров, В. Дьяконов, И.М. Журавель, В.Н. Остриков, Ю.П. Пытьев, А.И. Седельников, В.А. Сойфер, В.М. Старков, А.Н. Тихонов, А.Ю. Тропченко, Т.Ю. Фи-сенко, Г.Ю. Шлихт, А.Г. Ягола, Б. Яне, Л.П. Ярославский и др.
Методы реконструкции изображений, даже устойчивые, не всегда приводят к положительным результатам, что связано или с неадекватным математическим описанием задачи, или с тем, что часто на изображении возникают ложные волны (краевой эффект Гиббса). Кроме того, в работах западных авторов (Gonsales, Nagy, Donatelli и др.) часто используются так называемые «граничные условия» (boundary conditions) или способ доопределения в работе Л.П. Ярославского [64] для определения интенсивностей изображения вне его границ. Применение «граничных условий» хотя и направлено на повышение адекватности математического описания задачи, но является довольно искусственным приемом, порождающим к тому же сложный математический аппарат. Все это свидетельствует об актуальности дальнейшего развития задачи реконструкции искаженных изображений.
Представленная диссертационная работа посвящена дальнейшему совершенствованию методов реконструкции смазанных и/или зашумленных изображений, а именно, вместо метода преобразования Фурье (ПФ) предлагается использовать метод квадратур как более адекватный (тот и другой — с регуляризацией Тихонова); вместо «граничных условий» - «способ усечения» изображения; для понижения эффекта Гиббса - «способ размытия» изо-
9 бражения. Предложен также новый способ «размытие-поворот» моделирования смазывания изображения под произвольным углом.
Объект исследования работы - обработка искаженных (смазанных и зашумленных) серых (а также цветных) изображений в технических системах обработки информации.
Предметом исследования является реконструкция искаженных изображений устойчивыми методами регуляризации и фильтрации.
Цель диссертационной работы заключается в совершенствовании существующих и разработке новых методов, алгоритмов и способов реконструкции искаженных изображений; направленных на повышение их устойчивости, точности, скорости реализации, разрешающей способности и качества обработки изображений в технических измерительных системах обработки информации.
Имеется в виду добавление к методам преобразования Фурье и квадратур с регуляризацией Тихонова новых приемов (способов) усечения изображения, размытия его краев и его поворота. Прием «усечение-размытие-поворот» призван повысить точность реконструкции изображений. К цели работы относится также разработка программного обеспечения и выполнение расчетов.
Задачи исследования. Для достижения поставленной цели необходимо решить следующие основные задачи.
Провести обзор существующих методов реконструкции смазанных и/или зашумленных изображений.
Исследовать влияние «граничных условий» (или способа доопределения) на качество реконструкции искаженных изображений.
Разработать и усовершенствовать методы и алгоритмы реконструкции смазанных и зашумленных изображений, направленные на понижение эффекта Гиббса и повышение качества восстановления искаженных изобра-
10 жений, а именно, разработать прием (способ) «усечение-размытие-поворот» в дополнение к методу регуляризации Тихонова.
Разработать и реализовать программно методы реконструкции смазанных и/или зашумленных изображений в системе MatLab.
Определить границы применимости разработанных головных программ и т-функций в системе MatLab путем моделирования большого числа примеров, в том числе, выполнить обработку реальных искаженных изображений.
Проанализировать результаты реконструкции смазанных и зашумленных изображений с использованием разработанной методики и существующих методов восстановления, произвести их количественную и качественную оценку.
Основные положения, выносимые на защиту:
1. В ряде работ задачи смазывания и дефокусирования для единообразия описываются двумерными интегральными уравнениями (ИУ), что не вполне адекватно описывает задачу смазывания. В связи с этим предлагается наряду с двумерными ИУ использовать одномерные ИУ (точнее, совокупность одномерных ИУ). В результате повысится точность восстановления смазанных изображений, что подтверждается обработкой ряда модельных изображений.
Вместо ПФ предлагается использовать более адекватный способ математического описания физического процесса смазывания изображений -способ квадратур.
Предлагается новое решение задачи учета интенсивностей вне изображения при моделировании смазывания изображений (прямая задача), а именно, без использования так называемых «граничных условий» (или способа доопределения). Это - способ «усечения изображения».
Для понижения эффекта ложных волн на изображении (эффекта Гиббса) предлагается способ «размытия краев изображения».
В случае, когда смазывание изображения выполняется под некоторым углом по отношению к горизонтали, предлагается способ «поворота изображения».
Разработан алгоритм быстрого восстановления смазанного изображения на основе метода квадратур (с регуляризацией) с использованием заранее рассчитанной («заготовленной») матрицы. Этот алгоритм позволит обрабатывать, например, изображения быстро движущихся целей в режиме реального времени.
Разработано программное обеспечение для реконструкции смазанных и зашумленных изображений, которое может использоваться для обработки фотоснимков, изображений в микроскопе и телескопе, томограмм и т.д.
Методы исследования. В работе использованы метод ПФ, метод квадратур, метод регуляризации Тихонова, метод параметрической фильтрации Винера, метод визуальной оценки качества восстановления (реконструкции) искаженных изображений, способ подбора оптимальных значений параметров а и К, логические методы и др. Также применяются теоретические (анализ, моделирование, сравнение и т.д.) и эмпирические (наблюдение, обследование, эксперимент) методы исследования.
Научная новизна работы определяется разработкой- усовершенствованной методики' моделирования и реконструкции смазанных и зашумленных серых (а также цветных) изображений и заключается в следующем:
1) в результате исследования прямых и обратных задач искажения изо бражений выполнено их адекватное математическое описание;
2) при решении прямой (моделирование смазанного зашумленного изображения) и обратной задач (реконструкция искаженного изображения) вместо «граничных условий» (или способа доопределения) использован но вый способ «усечение-размытие-поворот»; предложен новый подход формирования смазанного под произвольным углом изображения, называемый «способом двойного поворота» изображения; на основании сравнительного анализа существующих методов восстановления искаженных изображений выявлены их достоинства и недостатки, определены направления по улучшению данных методов; задача реконструкции смазанных изображений рассматривается в отличном от дефокусирования ключе, а именно, решается набор одномерных интегральных уравнений; разработана новая методика реконструкции смазанных изображений, основанная на методе ПФ или квадратур с использованием метода регуляризации Тихонова в сочетании со способом «усечение-размытие-поворот»; разработана и реализована программно-устойчивая методика реконструкции искаженных серых (и цветных) изображений; сформулирован быстрый алгоритм восстановления смазанных изображений; исследовано влияние зашумленности на реконструкцию смазанных изображений, при этом важное значение имеет порядок выполнения фильтрации шума: до или после реконструкции;
10) определены области применения и предложены направления по внедрению и реализации разработанной методики.
Достоверность научных, результатов, полученных в диссертационной работе, подтверждается корректным обоснованием постановки задач, точностью и устойчивостью используемых математических методов, моделированием в системе MatLab, а также применением разработанной методики к восстановлению реальных искаженных изображений и сравнением результатов с известными методами моделирования и реконструкции, реализованными в системе MatLab, в программной среде PhotoShop и др.
13 Теоретическая и практическая ценность работы заключается в разработке новой методики и программного продукта для восстановления искаженных изображений как серых (полутоновых), так и цветных, а также в улучшении качества реконструкции искаженных изображений и в< возможности инструментальной реализации предложенной методики в технических системах обработки информации. Предлагаемые в работе усовершенствованные устойчивые методы, алгоритмы и способы реконструкции искаженных изображений являются универсальными и могут быть применены для повышения разрешающей способности систем измерений и обработки информации в различных прикладных областях (в фотографии, военной технике, биологии, астрономии, томографии и т.д.).
Реализация работы. Материалы диссертационной работы использованы при написании учебника для вузов [Сизиков B.C. Обратные прикладные задачи и MatLab. - СПб.: Лань, 2011], в учебном процессе при проведении лекций и лабораторных работ по дисциплинам «Обратные прикладные задачи», «Прикладная математика», «Компьютерные технологии в приборостроении», «Математические основы томографии», а также при подготовке бакалавров, магистров и инженеров по направлению «Приборостроение».
Результаты диссертационной работы были использованы в научно-исследовательской работе (НИР) по теме № 39122 (по гранту РФФИ № 09-08-00034а) «Новые алгоритмы восстановления искаженных изображений в технических системах обработки информации», что подтверждается актом.
Апробация работы. Основные положения диссертационной работы докладывались, обсуждались и получили положительную оценку на III, IV, V и VI Всероссийской межвузовской конференции молодых ученых СПбГУ ИТМО (2006 г., 2007 г., 2008 г., 2009 г., СПб); на XXXVI, XXXVII, XXXVIII, XXXIX и XL научной и учебно-методической конференции СПбГУ ИТМО (2007 г., 2008 г., 2009 г., 2010 г., 2011 г., СПб); а также на международной на-
14 учно-практической конференции «XXXVIII Неделя науки СПбГПУ» и «XXXIX Неделя науки СПбГПУ» (2009 г. и 2010 г., СПб).
Публикации. По теме диссертации опубликовано 13 печатных работ ([18-20; 24; 27; 42-46; 51; 77; 79]), 8 из них ([20; 24; 27; 43; 45; 51; 77; 79]) - в изданиях, входящих в «Перечень ведущих периодических изданий» ВАК, в том числе две на английском языке (Journal of Optical Technology, 2007, 2009).
Структура и объем диссертации. Структура диссертации соответствует логике исследования и включает в себя введение, пять глав, заключение, список литературы из 82 наименований.
В первой главе дается постановка основных задач, связанных с обработкой изображений в технических системах обработки информации, приводится описание типов изображений и их искажений и т.д. Приводится математическое описание прямых и обратных задач обработки смазанных и/или зашумленных (далее - искаженных) изображений.
Вторая глава диссертации содержит обзор существующих методов реконструкции искаженных изображений. Приводится их описание и сравнение. Задача восстановления (реконструкции) искаженных (смазанных и/или зашумленных) изображений является некорректной. Для устойчивого ее решения существует ряд методов, которые основаны, как правило, на знании функции рассеяния точки (ФРТ) или. оптической передаточной функции (ОПФ) канала наблюдения, в большинстве случаев априорно неизвестных или известных неточно.
К наиболее распространенным из существующих методов решения обратной задачи относятся инверсная фильтрация (метод преобразования Фурье), метод регуляризации Тихонова, метод параметрической фильтрации Винера, метод максимального правдоподобия Люси-Ричардсона (один из методов статистической регуляризации), итеративные методы (Фридмана, Ландвебера) и др. Многие из указанных методов позволяют не только вое-
15 становить, например, смазанное изображение, но и устранить (в определенной степени) шум.
Данная глава посвящена описанию основных методов реконструкции искаженных изображений, которые также получили реализацию в системе MatLab в виде m-функций пакета Image Processing Toolbox (ІРТ): метод оптимальной (и параметрической) фильтрации Винера, метод сглаживающего функционала (регуляризация Тихонова), алгоритм Люси-Ричардсона и др.
В третьей главе описывается новая методика моделирования смазывания изображения {прямая задача). Существует несколько способов моделирования смазанных изображений. К наиболее распространенным из них относят задание ФРТ в виде смаза (штриха, сдвига). При этом часто прибегают к введению так называемых «граничных условий» (работы Р. Гонсалеса и др.) или способу доопределения (Л.П. Ярославский). Их суть заключается в экстраполяции значений интенсивности за границу изображения. Использование данного искусственного приема обусловлено тем, что изображение, как правило, задано в ограниченной области видения (FOV - field of view), а для моделирования смазанного изображения необходимо знание значений интенсивности за границами FOV. Для этих целей часто прибегают к введению «граничных условий», среди которых выделяют следующие типы: нулевые по Дирихле, периодические, рефлективные, антирефлективные.
Четвертая глава содержит описание наиболее сложной и важной задачи - обратной задачи (реконструкции, или восстановления). Реконструкция искаженных изображений сводится к решению набора одномерных интегральных уравнений Фредгольма I рода типа свертки или общего типа. Для устойчивого решения ИУ в данной работе помимо метода ПФ с регуляризацией Тихонова используется метод квадратур (также с регуляризацией), причем оба метода - с применением способа «усечение-размытие-поворот». При этом в методе квадратур решается система линейных алгебраических уравнений (СЛАУ).
В пятой главе приводится краткое описание основных возможностей системы MatLab, а также описание разработанных в рамках данной системы головных программ и m-файлов для обработки изображений по изложенной в диссертации методике. Представлены также численные результаты использования разработанных и реализованных методов применительно к обработке модельных и реальных изображений, в том числе, цветных. Даются практические рекомендации по использованию предложенной методики.
Кроме того, в данной главе представлены примеры и численные оценки погрешностей реконструкции модельных и реальных искаженных изображений, приведены иллюстрации, демонстрирующие возможности предложенной новой методики восстановления смазанных изображений без использования «граничных условий», но с использованием способа «усечение-размытие-поворот» (а также с использованием метода ПФ или квадратур с регуляризацией Тихонова). Приводится описание ряда модельных экспериментов.
Математическое описание прямой и обратной задач обработки смазанных и зашумленных изображений
Палитровые изображения (индексированные, цветные палитровые) — значение пикселей является ссылкой на ячейку карты цветов (палитру). Палитра представляет собой двумерный массив, в столбцах которого расположены интенсивности цветовых составляющих одного цвета. Палитровое изображение - разновидность RGB-изображений, использующая цветовую карту (тар).
Полноцветное изображение (цветное, RGB-изображение) - массив MxNx3, состоящий из цветных пикселей, причем каждый пиксель является триплетом, элементы которого соответствуют трем цветовым компонентам: красному (Red, R), зеленому (Green, G) и синему (Blue, В). Это позволяет довольно точно имитировать цвета различных устройств цветовоспроизведения (цветные мониторы, цветные принтеры, глаза человека) [15, с. 427] - идея, идущая от М.В. Ломоносова.
Цветное изображение представляет собой «стек» трех монохромных изображений с градацией серого цвета, которые подаются на красный, зеленый и синий входы цветного монитора [16, с. 206]. Трехмерный массив, в котором хранятся цветные изображения, фактически содержит три матрицы, каждая из которых содержит индексированные переменные со значением, соответствующим относительной яркости соответственно красного, зеленого и синего цветов [22, с. 472]. Обычно представление цветного изображения, как отмечалось выше, основано на цветовой тройке RGB, но также часто используется при анализе цветных изображений цветовое пространство HSI (цвет, насыщенность, интенсивность) [11, с. 79].
Важной характеристикой изображения является глубина tfeema — число битов, используемое для представления величины цветного пикселя по всем составляющим (компонентам) RGB. Например, если каждая компонента является 8-ми битовым изображением, то соответствующее цветное изображение имеет глубину 24 бита. Как правило, компоненты RGB имеют одинаковое количество битов [15, с. 428], [16, с. 206].
Отличие полноцветных изображений от палитровых заключается в хранении элементами цветного изображения информации о яркости цветовых составляющих. Кроме того обработка цветных изображений требует больших вычислительных затрат [26].
Естественным и привычным диапазоном для человека является видимый. Поэтому во многих областях машинного зрения используют изображения видимого диапазона. Изображения также отличаются типом данных: битовые (булевские, логические), байтовые (со знаком и без знака), целочисленные (со знаком и без знака), действительные (с фиксированной и плавающей точкой), цветные (специальный тип данных) и векторные (пиксель представляет собой массив или список численных значений) [11, с. 82].
Отметим, что указанные выше типы изображений используются также в пакете Image Processing Toolbox (ІРТ) системы MatLab (см. далее гл. 5). В зависимости от типа изображения они по-разному представляются в разных форматах. Этот момент является очень важным при создании программ в среде IPT.
Большое значение в системе MatLab, при выполнении численных операций имеет и формат представления данных изображений - класс данных. Ниже представлена общая характеристика основных четырех классов данных, используемых при обработке изображений в системе MatLab [16, с. 39-40], [22, с. 475], [26]: 1) double - вещественное число с плавующей точкой двойной точности в диапазоне от « Ю-308 до ж 10308 (8 байт на число); 2) uint8 - целое число без знака в интервале [0, 255] (1 байт на число); 3) uintl6 - целое без учета знака число в интервале [0, 65535] (2 байта на число); 4) logical — значения 0 или 1 (1 байт на элемент). При этом [16, с. 39] при обработке изображений пользуются обычно классом double, при считывании данных с запоминающих устройств -uint8, реже uintl6. Таким образом, изображение может быть также охарактеризовано своим типом и классом данных в системе MatLab. Кроме того в системе MatLab изображение может быть преобразовано из одного класса данных или типа в другой (подробнее см. [16, с. 42-А6\, [22, с. 476]). В математической физике различают два основных типа задач: прямые и обратные. При этом под прямыми задачами понимают те, в которых нужно найти результат действия известной процедуры на заданный объект, например, плотность распределения случайной величины (см. [52, с. 9]). Как отмечено в работе [52, с. 10-11], прямая задача заключается в формировании случайной выборки, подчиняющейся заданному закону распределения, а обратная задача состоит в выяснении свойств плотности распределения по данной выборке. Под прямой задачей в данной работе понимается задача формирования смазанных и зашумленных изображений, в том числе, моделирования искажений типа смаза и шума. При этом будем считать, что другие типы искажений (царапины, аберрации и т.д.) отсутствуют. Поэтому далее под искаженными изображениями будут пониматься только смазанные и/или зашумлен-ные изображения (в основном полутоновые). Прямая задача. Как известно [4, с. 47], изображение можно описать «действительной, ограниченной, неотрицательной функцией /(,г) ДВУХ пространственных переменных ,, г, представляющей интенсивность или яркость изображения в каждой точке плоскости ( ,г)) . В виду несовершенства систем обработки, в том числе, воспроизведения, реальные изображения могут быть искажены (смазаны или зашумлены) и требуют улучшения.
Метод преобразования Фурье с регуляризацией Тихонова
Под искаженными изображениями в,представленной работе понимаются смазанные изображения (прямолинейный равномерный смаз, смаз под углом) и зашумленные изображения (например, гауссовым или импульсным шумом).
Моделирование смазанного изображения - это прямая задача. Обратная задача - это восстановление (реконструкция) математическим путем истинного (неискаженного) изображения» по имеющемуся смазанному изображению при условии, что величина смаза и его направление известны или заданы хотя бы приближенно. Обычно математически смаз описывается функцией рассеяния точки (ФРТ или, PSF — point spread function) - функцией, которая определяет характер искажения точек изображения. При моделировании искажений изображений ФРТ известна априори, а при восстановлении (реконструкции) ее сначала требуется некоторым образом определить.
В большинстве работ задачи смазывания и дефокусирования часто описываются двухмерными интегральными уравнениями. В данной работе делается следующее разграничение: задача восстановления смазанных изображений рассматривается в ключе, отличном от реконструкции дефокуси-рованных изображений, а именно, задача смазывания описывается набором одномерных набором одномерных интегральных уравнением Фредгольма I рода типа свертки.
Математическая модель реконструкции (восстановления, реставрации) искаженного изображения является некорректной задачей (существенно неустойчивой). К настоящему времени разработан ряд эффективных методов устойчивого решения некорректных задач: метод преобразования Фурье (ПФ) с регуляризацией Тихонова, метод параметрической фильтрации Винера, алгоритм Люси-Ричардсона и др.
В цифровой обработке изображений, как правило, выделяют две- основные области ее применения [15, с. 23]: повышение качества изображений для улучшения его визуального восприятия человеком и обработка изображений для их хранения, передачи и представления в автономных системах машинного зрения.
Обработка изображений - многоплановая задача, которая включает в себя не только решение задачи фильтрации шумов, геометрической коррекции, усиление локальной контрастности, резкости и т.д., но и восстановление (реконструкцию, реставрацию) изображений. Под восстановлением искаженного изображения, улучшением его визуальных характеристик понимается выполнение над ним преобразования, обратного процессу искажения [1, с. 5]. При обработке искаженных изображений (некачественных изображений утраченных объектов, трудновоспроизводимых экспериментальных результатов) для их восстановления (реконструкции) используются обычно не один, а несколько методов и-алгоритмов, или совокупность методов [6, с. 15], [15, с. 30].
Согласно [6, с. 14], восстановление изображений включает оценку параметров искажения и использование ее для коррекции исходных данных, а под реконструкцией изображений подразумевается извлечение деталей в сильно искаженных изображениях при наличии априорных данных об искажениях. В данной работе, в отличие от работы [6] (а также [63]), мы не будем делать различий между понятиями «восстановление» и «реконструкция».
Также под понятием «реконструкция» в представленной работе будет пониматься и реставрация изображений — процедура восстановления искаженного изображения, направленная на приближение его к идеальному неискаженному [28, с. 100].
Реконструкция искаженных изображений, полученных например, в результате смаза (сдвига, смещения), относится к одной из наиболее трудных математических задач обработки изображений.
Восстановление смазанных (размытых, смещенных, сдвинутых), а также зашумленных изображений является некорректной задачей и обычно описывается одномерным интегральным уравнением Фредгольма I рода типа свертки (см. (1.14) или (1.16)), хотя может описываться и интегральным уравнением Вольтерра I рода (см. (1.13))". В основе большинства методов и алгоритмов решения данной задачи лежит использование преобразования Фурье (ПФ).
Существует несколько методов решения указанных интегральных уравнений. К наиболее распространенным из них относятся: инверсная фильтрация (метод преобразования Фурье), метод регуляризации Тихонова, метод параметрической фильтрации Винера, метод максимального правдоподобия Люси-Ричардсона (один из методов статистической регуляризации), итеративные методы (Фридмана, Ландвебера) и др. Многие из указанных методов позволяют не только восстановить, например, смазанное изображение, но юустранить (в определенной степени) шум.
Данная глава посвящена описанию основных методов реконструкции искаженных изображений. Отметим, что многие из описанных далее методов реализованы в системе MatLab.
Новый прием «усечение-размытие» краев изображения
». Во многих зарубежных работах ([16], [68], [73] и др.) при формировании или:реконструкции смазанных изображений для учета интенсивностей вне FOV прибегают к использованию так называемых «граничных условий» (boundary conditions, BGs). Однако правильнее было бы [51] вместо термина «граничные условия» использовать «внеграничные условия», так как это в большей степени отражает их суть. Поэтому в данной работе, как и в [20; 49; 51], слова «граничные условия» употребляются в кавычках. Суть «граничных условий» состоит в экстраполяции значений интенсивностей за границы изображения (вне области видимости) или в доопределении «заграничных областей» у изображения.
В том случае, когда функция w, описывающая распределение интенсивностей по неискаженному изображению, не является финитной, для доопределения пикселей вне FOV обычно используют «граничные условия» следующих типов [16], [68], [73]: 1) нулевые по Дирихле (zero, zero Dirichlet) - границы изображения расширяются значением интенсивности 0, то есть функция w вне FOV полагается равной нулю и ее можно считать финитной (см. рис. 3.1а). 2) рефлективные (reflective, symmetric, Neumann [74]) - размер изображения увеличивается путем зеркального отражения относительно границы (см. рис. 3.16); 3) периодические (periodic, circular) - размер изображения увеличивается периодическим повторением двухмерной функции w во всех направлениях (рис. 3.1 в); 4) replicate - размер изображения увеличивается повторением значений интенсивностей на его боковых границах, то есть значения w вне границ принимаются равными соответствующим значениям w в ближайших точках границы (рис. 3.1 г).
Отметим, что в работе [64, с. 104—106] для определения недостающих значений w вне FOV также приводится описание способов периодического продолжения сигналов. Способы доопределения конечной последовательности в [64] или способы доопределения интенсивностей за границами изображения есть не что иное, как типы «граничных условий»: дополнение нулями (zero), периодическое продолжение (circular), два вида четного продолжения (symmetric и replicate). На рис. 3.2 представлен пример, поясняющий способы доопределения («граничные условия») w вне FOV, для случая одномерного сигнала wy, то есть для строки изображения (см. рис. 3.3 [64, с. 105]). Исходная последовательность приведена на рис. 3.2а; дополнение нулями - на рис. 3.26; периодическое продолжение - на рис. 3.2 в; четным продолжениям соответствует рис. 3.2г (symmetric) и рис. 3.2д (replicate).
В работах [68], [69] описываются также антирефлективные «граничные условия» (anti-reflective BCs) - значения интенсивностей w вне границы В получаются путем двойного отражения от границы распределения интенсивностей w внутри области видимости D: сначала зеркально относительно В, а затем зеркально относительно нормали к В (рис. 3.3). Антирефлективные «граничные условия», по-существу, являются вариацией рефлективных «граничных условий» и наиболее эффективны в случае, когда задача реконструкции искаженных изображений рассматривается как двумерная [69] (дефоку-сирование или еще более сложные случаи искажения изображения).
Использование «граничных условий» носит искусственный характер. Кроме того, применение «граничных условий» приводит к усложнению» математического аппарата [51] - матрицы А в выражении (3.2) [73]. Так, при использовании, нулевых «граничных условий» матрица А представляет собой блочно-теплицеву матрицу с теплицевыми блоками (ВТТВ), при периодических - блочный циркулянт с циркулятными (циклическими) блоками (ВССВ), при рефлективных (ньюмановских) - сумма блоков теплицевых и ганкелевых блочных матриц (ВННВ) (см также [73]).
Очевидно, что «граничные условия» сказываются (хотя и неявно) и при решении обратных задач. При этом тип «граничных условий» также влияет на результат реконструкции искаженного изображения. Данное утверждение подтверждается обработкой ряда модельных искаженных изображений, полученных в системе MatLab при помощи-m-функции imf ilter, где различные «граничные условия» задаются в виде параметра: zero, circular, symmetric или replicate (см. далее п. 5.3.1).
Заметим, что в некоторых случаях искомую функцию w можно считать финитной, например, когда рассматривается изображение космического объекта [73, Figure 4]. В этом случае можно без потери информации моделировать искаженное изображение по формуле типа (3.2) или (3.8) (см. далее), положив размеры матрицы g равными размерам матрицы w и используя при этом «граничное условие» zero. Аналогично, при решении обратной задачи (реконструкции изображения)-можно без потери информации полагать размеры матриц w и g одинаковыми, то есть считать, что w = О вне области D. Однако гораздо чаще"искомая функция w не является таковой, как например, в работе [13, рис. 1], хотя авторы этой работы положили, что w финитна и, по-существу, использовали «граничное условие» zero.
В данной работе, как и в [16], [68], [69], [73] и др., рассмотрен более типичный случай - когда вне области D интенсивности w отличны от нуля, но информация об этих интенсивностях отсутствует.
Устранение смазывания изображения методом преобразования Фурье с регуляризацией Тихонова (варианты 1 и 2)
Моделирование искаженных изображений - сложный процесс, требующий математической обработки. Существует несколько способов моделирования смазанных изображений. К наиболее распространенным их них относят задание ФРТ в виде смаза (штриха, сдвига). При этом часто прибегают к искусственному введению так называемых «граничных условий». Их суть заключается в экстраполяции значений интенсивности за границу изображения.
Применение «граничных условий» в задаче моделирования смазанных изображений является искусственным приемом. Использование доопредения неизвестных, но нужных значений интенсивностей изображения за его границами обусловлено тем, что изображение, как правило, задано в ограниченной области видения (F0V), но при этом не является финитной функцией. Для этих целей и прибегают к введению «граничных условий», среди которых выделяют следующие: нулевые по Дирихле, периодические, рефлективные, антирефелективные. При этом в случае, когда распределение интенсивностей изображения можно считать финитной функцией, например космический объект на темном фоне, томограммы и т.д., доопределение нулями изображения вне FOV может быть эффективным.
Введение «граничных условий» при решении прямой задачи приводит к усложнению математического аппарата. Их применение влияет и на результат решения обратной задачи.
Предложенный вместо «граничных условий» способ «усечение-размытие-поворот» в большей степени соответствует физической природе смазывания изображения. При этом моделирование искаженного изображения с использованием размытия краев понижает эффект Гиббса.
Как показали практические результаты, прием усечения дает хорошие результаты при моделировании равномерного прямолинейного смазанного изображения, когда угол смаза равен нулю или кратен 180 град. В случае, когда угол смаза отличен от нуля, наиболее эффективным является применение приема размытия краев, так как использование приема усечения в задаче моделирования смазанного под ненулевым углом изображения приводит к решению сильно недоопределенной СЛАУ, а также к противоречию прямой и обратной задач.
Глава содержит описание обратной задачи - реконструкции искаженных (смазанных и/или зашумленных) изображений, которая сводится к решению набора одномерных интегральных уравнений Фредгольма I рода типа свертки (1.14). Для устойчивого решения ИУ (1.14) в данной работе вместо метода преобразования Фурье (ПФ) предлагается использовать метод квадратур с регуляризацией Тихонова и с применением способа «усечение-размытие-поворот». При этом решается система линейных алгебраических уравнений (СЛАУ).
Использование метода регуляризации Тихонова позволяет получить псевдорешение вне зависимости от вида СЛАУ: недоопределенная, переопределенная или определенная СЛАУ. Важную роль при решении обратной задачи методом регуляризации играет параметр регуляризации а, от выбора которого в значительной степени зависит устойчивость, точность и качество восстановления изображения.
В данной главе для реконструкции смазанных и/или зашумленных изображений приводится описание и сравнение методов ПФ и квадратур с регуляризацией Тихоноваv в сочетании с предложенным способом «усечение-размытие-поворот». Исследуется решение задачи пятью возможными вариантами: 1) метод ПФ с регуляризацией Тихонова и с использованием приема (способа) «усечение», 2) регуляризованный метод ПФ в сочетании с размытием («размытие-поворот») краев изображения, 3) метод квадратур с регуляризацией Тихонова и с усечением изображения (решается недоопределенная СЛАУ), 4) метод квадратур с регуляризацией Тихонова с использованием способа «размытие-поворот» (решается переопределенная СЛАУ), 5) метод квадратур с регуляризацией. Тихонова при1 двойном усечении (решается определенная СЛАУ). Также в главе приводится теоретическое описание задачи фильтрации шумов (устранения зашумленности изображения) при помощи вышеуказанных вариантов: методов ПФ и квадратур с регуляризацией Тихонова, а также метода параметрической фильтрации Винера (для сравнения). Отметим, что приведенное далее описание решения обратной задачи ведется с ориентацией на систему MatLab. Как и при решении прямых задач, численная реализация методов реконструкции смазанных и/или зашумленных изображений требует перехода от непрерывного их описания к дискретному с ориентацией на систему MatLab. При решении задачи реконструкции смазанных и/или зашумленных изображений как это было изложено выше, требуется наличие априорной информации о ФРТ, то есть о величине смаза А, его направлении (угле смаза 0), а также о шуме. При решении модельных задач указанные величины заранее известны, однако при решении практических (реальных) задач информация о них часто отсутствует. Отметим, что хотя величина смаза А априори неизвестна, ее можно определить путем подбора или по величине штрихов на искаженном изображении (если изображение содержит хотя бы одну точечную деталь, например, точку в текстовом изображении или звезду на астрономическом снимке).
