Содержание к диссертации
Введение
1 Анализ уровня размытия изображений 14
1.1 Модель одномерного профиля границы изображения в заданной точке 16
1.2 Оценка ширины профиля границы изображения 18
1.3 Алгоритм оценки ширины профиля границы изображения 20
1.4 Оценка ширины профиля границы изображения при наличии шума 21
1.5 Алгоритм оценки уровня размытия изображения 23
1.5.1 Нахождение изолированных участков границ изображения 24
1.5.2 Построение профиля границы изображения 27
1.5.3 Оценка ширины границы изображения 29
2 Деформационный метод повышения качества изображений 31
2.1 Деформация одномерной координатной сетки 32
2.1.1 Физическая модель 33
2.1.2 Теоретические ограничения на параметры физической модели 35
2.2 Двумерное расширение деформации одномерной коорди натной сетки изображений 37
2.2.1 Вычисление расстояния до ближайшей точки границы
2.2.2 Векторное поле смещений 39
2.2.3 Интерполяция 39
2.3 Односторонний метод деформации координатной сетки изображений 40
2.4 Деформация координатной сетки изображений при помощи уравнения Пуассона 41
2.4.1 Функция близости 42
2.4.2 Выбор функции близости 43
2.4.3 Двумерное расширение 45
2.4.4 Численные методы решения уравнения Пуассона для вычисления пиксельных смещений в деформационном методе 46
Применения метода оценки уровня размытия изображений и деформационного метода повышения качества изображений 51
3.1 Анализ и повышение качества изображений глазного дна 51
3.1.1 Анализ ширин границ сосудов на изображениях глазного дна 53
3.1.2 Повышение резкости изображений глазного дна при помощи односторонней деформации координатной сетки 57
3.2 Повышение качества дерматологических изображений 59
3.3 Постобработка изображений после применения методов повышения резкости, основанных на решении обратной задачи для интегрального уравнения 1-го рода 63
3.4 Повышение разрешения изображений с сохранением резкости границ 67
Программный комплекс 72
4.1 Используемые базовые методы обработки изображений и их алгоритмическая реализация 73
4.1.1 Быстрая приближенная реализация фильтра Гаусса с фиксированной вычислительной сложностью 73
4.1.2 Метод детектирования границ 74
4.1.3 Метод интерполяции изображения на неравномерной сетке 75
4.2 Структура программного комплекса 77
Заключение
- Оценка ширины профиля границы изображения при наличии шума
- Двумерное расширение деформации одномерной коорди натной сетки изображений
- Повышение резкости изображений глазного дна при помощи односторонней деформации координатной сетки
- Быстрая приближенная реализация фильтра Гаусса с фиксированной вычислительной сложностью
Оценка ширины профиля границы изображения при наличии шума
Данная глава посвящена решению задачи оценки уровня размытия изображений без точной информации о ядре размытия. Уровень размытия оценивается на границах деталей изображения, поскольку именно в этих областях ухудшение изображения ощутимее всего.
До сих пор не был предложен эффективный способ оценки уровня размытия изображений для использования в задаче повышения резкости границ изображения. Основную сложность представляет определение уровня размытия при наличии шума. Так, простые в реализации и быстрые методы, предложенные в работах [27,29,30], несмотря на эффективность для незашумленных изображений, не могут быть использованы для определения уровня размытия из-за отсутствия устойчивости к шуму.
Многие алгоритмы осуществляют общую оценку размытости изображения, но не уровень размытия каждой из границ. В работе [31] был проведён подробный теоретический и практический анализ фазы преобразования Фурье и её связи с размытием, шумом и эффектом Гиббса и предложен общий индекс резкости изображения, основанный на анализе значения полной вариации. В работе [32] вычисляется оценка резкости изображения на основе анализа коэффициентов блочного дискретного косинусного преобразования. Основной интерес представляют методы, работающие непосредственно с границами изображения. Большинство современных методов оценки уровня резкости границ изображения объединяет приближение размытия свёрткой с функцией Гаусса. В работах [33, 34] предложены методы многомасштабного нахождения границ на изображении, при этом масштаб, на котором была найдена граница, может использоваться для грубой оценки уровня размытия. В работе [35] разработан алгоритм детектирования границ на размытом зашумленном изображении с помощью нейронных сетей. В работе [36] предложен метод разложения окрестности границы по радиально-симметричным функциям с применением метода главных компонент в качестве классификатора для определения наличия размытия, но случай зашумлённых изображений не рассматривается.
Проведенный анализ применимости описанных выше алгоритмов показал, что их использование не позволяет в общем случае получить достаточно точную информацию об уровне размытия изображения, и для решения практических задач необходимо разработать быстрый метод оценки, достаточно устойчивый к шуму.
В качестве входной информации для разработанного в диссертационной работе алгоритма используются границы, полученные одним из методов детектирования границ изображений. Для каждой из выделенных границ строится ее одномерный профиль как функция интенсивности изображения по нормали к выделенной границе (см. рис. 1.1).
В первую очередь интерес представляют контрастные изолированные границы, но они присутствуют не на каждом изображении. Для эффективной оценки уровня размытия изображения при помощи представленного в данной главе метода достаточно использовать границы, изолированные от других границ хотя бы с одной стороны.
Предложенная оценка уровня размытия основана на методе нерезкого маскирования (unsharp masking), направленного на повышение резкости Рис. 1.1: Пример профиля границы изображения изображений. Этот метод появился еще в докомпьютерную эпоху обработки фотографий. Негатив снимка копировался через стекло на негативную пленку, и получался нерезкий позитив. Все это совмещалось и экспонировалось на контрастную фотобумагу, что позволяло усиливать контраст изображения в окрестностях границ. Благодаря некоторым свойствам операции нерезкого маскирования, подробнее о которых написано в разделе 1.2, существует возможность достаточно точно определить, насколько сильно исследуемый профиль границы отличается от профиля идеально резкой границы.
Представим модельный профиль границы изображения как результат свертки идеальной ступенчатой функции единичной высоты и фильтром Предложенная в разделе 1.1 модель профиля границы изображения позволяет характеризовать профиль одним числовым значением - среднеквадратичным отклонением о" функции Гаусса. В дальнейшем будем называть а шириной профиля границы изображения. Таким образом задача оценки уровня размытия изображения сводится к задаче нахождения ширины заданного профиля. Решение этой задачи основано на особых свойствах операции нерезкого маскирования, примененной к модельному профилю Еа(х).
Двумерное расширение деформации одномерной коорди натной сетки изображений
Последующие рассуждения приведены в предположении, что на протяжении всей границы ее размытие остается неизменным. Это важно, поскольку данное предположение дает возможность охарактеризовать ширину всей границы только в одной точке, а не работать независимо с каждой точкой, выделенной на этапе детектирования границ. ш
Конечно, хотелось бы избежать необходимости интерполяции профиля границы, и отдать предпочтение вертикальным участкам границ, как это сделано, например, в работе [29]. Однако совершенно необязательно, что на реальных изображениях найдутся такие участки границ. В данной работе для дальнейшего анализа используется точка с наибольшим модулем градиента среди всех точек границы.
Теперь в выбранной точке необходимо построить профиль изображения. Достаточно рассмотреть окрестность границы в 30 пикселей - отрезок профиля изображения длиной в 60 пикселей по направлению градиента с центром в точке границы (см рис. 1.9). Значения интенсивности в точках профиля интерполируются любым из известных способов. В данной работе использована билинейная интерполяция.
Длина рассматриваемого профиля изображения достаточно большая, в этот отрезок могли попасть и профили других границ. Анализу подлежит только профиль, находящийся в самом центре отрезка. Ближайшие к центру отрезка экстремумы являются ограничителями интересующего участка, вне которого предлагается продолжить центральный профиль прямыми (см рис. 1.10).
Стоит заметить, что найденный профиль границы может быть как Рис. 1.9: Положение точек профиля границы на изображении. Обведенная точка принадлежит границе.
Примеры профилей изображения (тонкая линия) с выделенными профилями границ (жирная линия). Пунктиром изображен идеальный модельный профиль с найденной шириной границы. возрастающим, так и убывающим, и в последнем случае отрезок необходимо зеркально отразить относительно его центра, поскольку модель профиля границы подразумевает только возрастающие профили.
После этого к полученному профилю Е(х), предварительно размытому Гауссовым фильтром с а = 3, применяется алгоритм из раздела 1.3 как по максимуму нерезкого маскирования, так и по минимуму. Если полученные значения т и а не совпадают, реальный профиль сравнивается с модельными профилями Еа (ж) и Еа (х): вычисляются средне зо
Многочисленные исследования показали, что одним из основных факторов оценки качества изображения человеком является четкость границ. Даже наличие шума не портит восприятие изображения так, как искаженные или размытые границы.
Существует огромное количество методов повышения резкости изображений, многие из которых способны значительно улучшить качество изображения. При повышении резкости изображения самой распространенной проблемой становится нахождение компромисса при выборе параметров метода — либо повысить резкость изображения, но недостаточно сильно, либо повысить ее до более приемлемого уровня, но при этом смириться с появлением артефактов, таких как эффект ложного оконтуривания, или увеличением уровня шума.
В данной главе представлен деформационный метод повышения качества изображений, направленный на обострение границ изображения. Деформационный метод работает только в окрестностях границ изображения, оставляя текстуры нетронутыми, и степень обострения границы фиксирована, т.е. уровень размытия изображения снижается, но изображение не становится кусочно-постоянным. В качестве постобработки после операции повышения резкости изображения путем обращения свертки предложенный метод способен улучшить результаты большийства существующих метода. Метод также можно применять при повышении разрешения изображений с сохранением резкости границ, поскольку одной из составляющих частей алгоритма является интерполяция изображения с деформированной координатной сетки на равномерную.
Деформационный подход был ранее предложен в работе [39]. Деформация пиксельной сетки происходит согласно решению дифференциального уравнения, которое получено из комбинации ограничений на процесс. Решение уравнения позволяет сместить окрестность границы ближе к самой границе, а области между границами растянуть. Метод содержит несколько параметров, и задача выбора их оптимального набора очень нетривиальна. В связи с глобальной природой метода иногда форма границ может измениться.
В работах [39] and [40] пиксельные сдвиги пропорциональны значениям модуля градиента изображения, что часто приводит к слишком сильному повышению резкости высококонтрастных границ и недостаточному повышению резкости малоконтрастных границ. Оба метода также вносят небольшие локальные изменения в направлении границ и вызывают эффект «ступенчатости» (aliasing) из-за вычисления вертикальной и горизонтальной компонент сдвигов раздельно.
Повышение резкости изображений глазного дна при помощи односторонней деформации координатной сетки
Деформацию двумерной координатной сетки обычного изображения можно провести с помощью уравнения деформации (2.2), которое применяется к одномерным профилям в каждой точке границы изображения.
Общий алгоритм деформации для двумерного изображения, на котором заранее детектированы границы, представляется следующим образом: 1. Оценивается уровень размытия изображения при помощи метода, описанного в разделе 1.5. 2. Для всех пикселей из окрестности детектированных границ изображения вычисляется евклидово расстояние до ближайшего пикселя границы. 3. Вычисляется векторное поле смещений на основе полученных расстояний (см. рис. 2.5). 4. Изображение интерполируется с деформированной координатной сетки на исходную равномерную координатную сетку.
Результат деформационного метода напрямую зависит от детектированных границ, поэтому очень важно правильно задать границы, окрестности которых подвергнутся деформации. В данной работе в качестве входных данных о границах используется результат детектора границ (см. раздел 4.1.2), основанного на детекторе границ Канни [37]. Параметры детектора границ (среднеквадратичное отклонение а и порог Т) выбираются индивидуально для каждого изображения. О О о О Q о Л
Смещения для деформирования двумерной координатной сетки. Пунктирной линией обозначено точное положение границы на изображении, чернвіе круги обозначают пиксели границві, белые круги обозначают пиксели из окрестности границві.
Координатная сетка изображения подвергается деформации только в окрестности детектированных границ. Более точно, деформации подвергаются координаты множества точек N из окрестности границ изображения Е, таких, что расстояние от каждой точки N до ближайшей точки границы не превышает утроенного значения уровня размытия изображения
Для каждой точки р : р Є TV из окрестности границ вычисляется евклидово расстояние до ближайшей точки границы. Значение указанного радиуса окрестности границы вытекает из того факта, что 99% информации Гауссова ядра со среднеквадратичным отклонением о" локализовано в отрезке [—Зет, 3 т]. 2.2.2 Векторное поле смещений
Исходное изображение / задано на равномерной координатной сетке, и каждый пиксель изображения имеет целочисленную координату (ж, у) : х = 0}W — 1,у = 0}Н — 1. Задачей деформации двумерной координатной сетки является нахождение вектора смещения v = {Дж, Ay} для каждой координаты (х,у), такого, что новая координата (х + Ах}у + Ау) находится ближе к одной из границ изображения в смысле евклидового расстояния либо остается прежней.
Для каждой точки р Є N с расстоянием d до ближайшей точки границы ре решается уравнение деформации (2.2) с х = d. Решение х задает новое расстояние d до точки ре, и модуль вектора смещения v равен \v\ = d — d. Вектор смещения v параллелен вектору градиента изображения в точке ре и направлен к ре.
Для пикселей изображения, не принадлежащих окрестности ни одной из границ, вектор смещения считается нулевым.
Интерполяцию значений изображения на неравномерной деформированной сетке (см. рис. 2.66) предлагается проводить следующим образом: интенсивность изображения в пикселе (i, j) вычисляется как взвешенная сумма интенсивностей всех точек, попавших в окрестность заданного радиуса г этого пикселя (см. рис. 2.6в).
Деформация координатной сетки и интерполяция значение выбрано для того, чтобы в области разрежения деформационного метода в окрестность, по которой вычисляется интерполированное значение пикселя, попадало достаточное количество пикселей.
Односторонний метод деформации координатной сетки изображений Нередко на изображениях присутствуют особые границы (ridge), представляющие собой линии шириной в несколько пикселей с параллельно идущими границами. Пример профиля такой линии изображен на рис. 2.7. Рис. 2.7: Пример профиля изображения (тонкая линия) с выделенным профилем границы (жирная линия). Пунктиром изображен идеальный модельный профиль с найденной шириной границы. В области между границами линии недостаточно пикселей для корректного анализа уровня размытия такой границы и работы деформационного метода, но с внешней стороны профили ничем не отличаются от профилей изолированных границ. Исходя из этих соображений, был разработан односторонний алгоритм, рассматривающий найденный профиль границы только с одной стороны, которая определяется заранее. Например, известно, что на изображении присутствуют темные линии на светлом фоне, тогда деформацию окрестностей границ следует проводить только в областях, где интенсивность профиля выше, чем интенсивность его центра.
Деформация некоторого профиля границы Е(х) с центром в х = О равносильна смещению точек окрестности этого профиля к его центру. Пусть F(x) - деформированный профиль, функция сдвига d(x) описывает величину смещения пикселя исходного профиля Е(х) ИЗ ПОЗИЦИИ X в позицию х + d{x): F{x + d{x)) = Е{х).
Деформированная координатная сетка должна остаться монотонной, т.е для любых Х\ Х2 новые координаты должны удовлетворять условию Х\ + d(x\) Х і + dix i). Это накладывает следующее ограничение на функцию смещения:
От выбора функции сдвига d(x) сильно зависит результат работы деформационного метода. С одной стороны, уклон формы профиля должен стать резче. С другой стороны, окрестность центра профиля не должна растягиваться больше некоторого заданного значения, чтобы избежать появления широких интервалов между соседними отсчетами в дискретном случае.
Рассмотрим функцию близости р(х) точек профиля границы изображения, связанную с функцией сдвига d(x) как р(х) = 1 + d {x). Функция близости описывает расстояние между соседними точками после деформации координатной сетки. Значение близости обратно пропорционально значению плотности в каждой точке профиля. Если значение функции близости р{х) меньше 1, то в точке х происходит сгущение. Если значение функции близости р{х) больше 1, то координатная сетка растягивается (см. рис. 2.8). Для недеформированного профиляр(ж) = 1.
Быстрая приближенная реализация фильтра Гаусса с фиксированной вычислительной сложностью
Примеры применения деформационного метода к результатам работы методов повышения резкости приведены на рис. 3.9 и рис. 3.10. В нижнем ряду рис. 3.10 визуализировано изменение значений метрики SSIM после применения деформационного метода для демонстрации повышения объективного качества. Видно, что после применения деформационного метода границы становятся более резкими, а визуальное качество возрастает. Тем не менее, присутствуют незначительные области, где происходит снижение качества по метрике SSIM. Эти области соответствуют областям на изображении, которые были размыты изначально и для которых повышение резкости было нежелательно.
Разработанный деформационный метод повышения резкости изображений был протестирован на 29 изображениях из базы LIVE [67]. Изображения были искажены двумя способами, к полученным изображениям был применён ряд современных методов повышения резкости, далее был применён деформационный метод повышения резкости. Для каждого из изображений было вычислено значение метрики PSNR.
Первый способ искажений моделирует получение изображений в условиях дефокусировки и недостаточной освещённости, приводящей к повышению шума сенсоров. Исходные изображения были размыты с помощью фильтра Гаусса со случайным стандартным отклонением в диапазоне [1,6], затем к каждому пикселю был добавлен случайный шум с нормальным распределением с нулевым средним и стандартным отклонением в диапазоне [0,10].
Второй способ искажений соответствует первому, но дополнительно моделирует размытие вследствие движения: каждое из изображений было свернуто с ядром, представляющим из себя линию случайной длины в диапазоне [2,6] и со случайным направлением.
Результаты, приведённые в таблице 3.1, демонстрируют повышение качества изображений при применении деформационного метода после других алгоритмов повышения резкости. Также стоит отметить высокое качество работы деформационного метода по сравнению с существующими алгоритмами при его применении непосредственно к искаженным изображениям, полученным вторым способом.
Повышение разрешения изображений с сохранением резкости границ Интерполяция является неотъемлемой частью деформационного метода, и, вообще говоря, на Изменение метрики SSIM после применения деформационного метода Вертикальными линиями обозначено улучшение значений метрики, горизонтальными — ухудшение
В формуле интерполяции присутствует радиус г =1.5, отвечающий за окрестность рассматриваемого пикселя, по которой вычисляется его интерполированное значение. При измельчении результирующей пиксельной сетки в s раз достаточно выбрать пропорционально увеличенную окрестность радиуса г = 1.5 s и умножить векторы смещения на s.
Пример работы метода повышения разрешения изображения с контролем резкости границ представлен на рис. 3.11.
Данная глава посвящена описанию программного комплекса, который был разработан в ходе создания и исследования алгоритмов, описанных в предыдущих главах.
Для создания программного комплекса использовалась среда разработки Microsoft Visual Studio под операционную систему Microsoft Windows. Программный комплекс построен на основе технологии .NET, основная часть программы написана на языке С , пользовательский интерфейс реализован с использованием библиотеки Windows Presentation Foundation. Для повышения производительности на современных многоядерных процессорах было произведено частичное распараллеливание кода стандартными средствами языка С .
Программный комплекс предназначен для обработки и анализа растровых изображений в градациях серого. В случае цветного изображения IRGB производится его предварительное преобразование в градации серого по формуле соответствует интенсивности красного канала, G — зеленого канала, В — синего канала.
Анализ уровня размытия изображения, цветного или в оттенках серого, ведется на изображении в градациях серого. Смещения для деформационного метода также вычисляются по изображению в градациях серого и далее применяются к каждой из цветовых компонент исходного изображения.
Используемые базовые методы обработки изображений и их алгоритмическая реализация Основными базовыми методами для работы описанных в главах 1 и 2 методов являются вычисление свертки изображения с фильтрами Гаусса, детектирование границ и интерполяция изображений.
Быстрая приближенная реализация фильтра Гаусса с фиксированной вычислительной сложностью Использование рекурсивных фильтров довольно высокого порядка хорошо аппроксимирует свертку сигнала с фильтрами Гаусса
Этот фильтр должен быть применен дважды — в прямом и обратном направлениях. В двумерном случае фильтр применяется отдельно по строкам и столбцам изображения (как и сам фильтр Гаусса в силу его сепарабельности), что сводится к 12 операциям умножения на один пиксель независимо от радиуса фильтра [71]. Для сравнения, классическая операция свертки требует N операций умножения, где N = [бег] — размер фильтра. Коэффициенты фильтра вычисляются следующим образом: &i + b2 + h
