Содержание к диссертации
Введение
1 Проблема компьютерной обработки изображений с переносом структуры. Основные задачи исследования 14
1.1 Задача обработки изображений с переносом структуры 14
1.2 Практические задачи компьютерной обработки изображений, рассматриваемые в диссертационном исследовании 15
1.3 Математические модели, используемые при решении рассматриваемых задач обработки изображений 20
1.4 Анализ существующих методов решения рассматриваемых задач обработки изображений 1.4.1 Методы и алгоритмы удаления тумана на изображениях 22
1.4.2 Методы и алгоритмы уточнения границ изображаемого объекта по грубому описанию (альфа-матирования) 25
1.4.3 Методы и алгоритмы тонового отображения HDR изображений 29
1.4.4 Методы и алгоритмы сжатия динамического диапазона медицинских HDR DICOM изображений 32
1.5 Выводы 34
2 Вероятностная гамма-нормальная модель изображения 36
2.1 Вероятностная модель изображения 36
2.2 Байесовское оценивание параметров модели скрытого поля 39
2.3 Выводы 40
3 Метод обработки изображений на основе вероятностной гамма-нормальной модели со свойствами переноса структуры 42
3.1 Вероятностная гамма-нормальная модель со свойствами переноса структуры 42
3.2 Способ аппроксимации графа смежности элементов изображения последовательностью горизонтальных и вертикальных деревьев 44
3.3 Модифицированный способ аппроксимации графа смежности элементов изображения последовательностью диагональных деревьев 46
3.4 Общий алгоритм метода оценивания параметров скрытых случайных полей на основе вероятностной гамма-нормальной модели со свойствами переноса структуры 47
3.5 Выводы 50
4 Алгоритмы решения рассматриваемых задач обработки изображений на основе вероятностной гамма нормальной модели со свойствами переноса структуры 52
4.1 Алгоритм удаления тумана на изображении 52
4.2 Алгоритм уточнения границ изображаемого объекта по грубому описанию (альфа-матирования) 57
4.3 Алгоритм тонового отображения HDR изображений 59
4.4 Алгоритм сжатия динамического диапазона медицинских HDR DICOM изображений 63
4.5 Комплекс программ обработки изображений 67
4.5.1 Выбор среды для разработки 67
4.5.2 Описание комплекса программ обработки изображений 69
4.6 Выводы 70
5 Экспериментальные исследования алгоритмов обработки изображений на основе вероятностной гамма нормальной модели со свойствами переноса структуры 74
5.1 Описание критериев оценки полученных результатов исследования 74
5.2 Экспериментальные исследования алгоритма удаления тумана на изображении 76
5.2.1 Описание объекта экспериментального исследования 76
5.2.2 Сравнение результатов с существующими алгоритмами 78
5.2.3 Выводы по результатам эксперимента 86
5.3 Экспериментальные исследования алгоритма уточнения границ изображаемого объекта по грубому описанию (альфа- матирования) 86
5.3.1 Описание объекта экспериментального исследования 86
5.3.2 Сравнение результатов с существующими алгоритмами 87
5.3.3 Выводы по результатам эксперимента 92
5.4 Экспериментальные исследования алгоритма тонового отображения HDR изображений 93
5.4.1 Описание объекта экспериментального исследования 93
5.4.2 Сравнение результатов с существующими алгоритмами 94
5.4.3 Выводы по результатам эксперимента 101
5.5 Экспериментальные исследования алгоритма сжатия динамического диапазона медицинских HDR DICOM изображений 102
5.5.1 Описание объекта экспериментального исследования 102
5.5.2 Сравнение результатов с существующими алгоритмами 102
5.5.3 Выводы по результатам эксперимента 111
5.6 Выводы 112
Заключение 114
Список литературы 116
Приложение 1 132
Приложение 2 133
- Практические задачи компьютерной обработки изображений, рассматриваемые в диссертационном исследовании
- Общий алгоритм метода оценивания параметров скрытых случайных полей на основе вероятностной гамма-нормальной модели со свойствами переноса структуры
- Сравнение результатов с существующими алгоритмами
- Сравнение результатов с существующими алгоритмами
Практические задачи компьютерной обработки изображений, рассматриваемые в диссертационном исследовании
Как уже говорилось ранее, в данном диссертационном исследовании будет рассматриваться класс задач обработки изображений со свойствами переноса структуры. Примерами практических задач, входящих в этот класс, являются, например, задача удаления тумана на изображении, задача уточнения границ изображаемого объекта по грубому описанию (альфа-матирования), задача тонового отображения HDR изображений, задача сжатия динамического диапазона медицинских HDR DICOM изображений.
Задача удаления тумана на изображении является важной задачей, так как объекты на изображениях, сделанных в условиях дымки или тумана, плохо различимы. Для дальнейшей работы с такими изображениями требуется увеличить их контрастность и улучшить цветопередачу. Часто, требуется улучшить качество не одного изображения, а целого набора изображений, причем в режиме реального времени. Задачу удаления тумана на изображении можно разделить на несколько подзадач, одной из которых является задача оценивание карты рассеивания для последующего удаления тумана на изображении. В терминах исходной постановки, описанной в разделе 1.1, обрабатываемым изображением является изображение темнового канала [39], результатом обработки – карта рассеивания, а управляющим изображением – исходное цветное изображение с туманом, как показано на рисунке 1.
Процесс извлечения и переноса структуры объекта на изображении в области обработки изображений называется задачей альфа-матирования. Решение этой задачи является важным этапом при редактировании изображений и видео. Алгоритмы альфа-матирования обычно создают «матовую поверхность», которую можно использовать для отделения переднего плана от фона на исходном изображении. Результат применения алгоритмов альфа-матирования может также использоваться, чтобы объединить извлеченный объект переднего плана и другой фон для получения нового изображения. Если рассматривать данную задачу в терминах класса задач со свойствами переноса структуры, то в качестве обрабатываемого изображения здесь выступает грубая маска области, в которой расположен объект интереса, результатом обработки - маска, соответствующая внешним контурам объекта, а в роли управляющего изображения используется цветное или полутоновое изображение сцены, как показано на рисунке 2.
Видение реального мира в нашей повседневной жизни часто имеет очень широкий диапазон значений яркости. Зрительная системы человека способна воспринимать сцены с динамическим диапазоном свыше пяти порядков и может постепенно адаптироваться к сценам с динамическим диапазоном свыше девяти порядков. В цифровой обработке изображений такие сцены получаются при использовании технологии создания изображений с широким динамическим диапазоном [69]. HDR изображения имеют много преимуществ по сравнению со стандартными изображениями, и являются чрезвычайно полезными в некоторых приложениях. Тем не менее, отображение HDR изображения представляет собой сложную задачу, потому что динамический диапазон различных устройств отображения (мониторы, принтеры и т.д.) намного меньше, чем динамический диапазон, обычно встречающийся в реальных сценах. Таким образом, возникает задача тонового отображения HDR изображений, сохраняя как можно больше их визуального содержимого. Эта задача также, как и задача удаления тумана на изображении, состоит из последовательности подзадача, одной из которых является получение слабоконтрастного изображения с узким динамическим диапазоном, называемое базовым изображением, которое в дальнейшем будет использоваться для получения результирующего LDR изображения. Переходя к математическому описанию этой подзадачи, обрабатываемым изображением будет являться карта интен-сивностей исходного HDR изображения, представленная в логарифмическом масштабе, результирующим изображением –базовое изображение, а в роли управляющего изображения будет выступать исходное HDR изображение, как показано на рисунке 3.
Технология слияния изображений с различной экспозицией для расширения динамического диапазона и сохранения подробной информации, то есть получения HDR изображений, широко используется в медицине, например, для рентгенографии [96] и магнитно-резонансной томографии [45]. Одним из способов хранения таких HDR изображений является стандарт DICOM (Цифровая визуализация и связь в медицине) [83], который имеют точность от 12 до 16 бит на пиксель, что выше, чем у обычных LDR изображений, с точностью от 8 до 10 бит на пиксель. Таким образом, задача сжатия динамического диапазона медицинских HDR DICOM изображений для отображения их на обычных дисплеях является актуальной. Отличие схемы сжатия динамического диапазона обычный HDR изображений от медицинских HDR DICOM изображений заключается в некоторых особенностях стандарта DICOM представления медицинских изображений, которые необходимо учесть, как будет описано далее. Математическая постановка задачи сжатия динамического диапазона HDR DICOM изображений, представленная на рисунке 4, похожа на постановку задачи тонового отображения HDR изображений. Однако, здесь в роли обрабатываемого изображения выступает изображение, полученное в результате специального оконного преобразования, результат обработки представляет собой базовое изображение, а управляющим изображением является исходное HDR DICOM изображение.
Общий алгоритм метода оценивания параметров скрытых случайных полей на основе вероятностной гамма-нормальной модели со свойствами переноса структуры
Итоговый алгоритм обработки изображений на основе вероятностной гамма-нормальной модели со свойствами переноса структуры из (3.1.1) и (3.1.2), а также древовидной аппроксимации графа смежности элементов изображения, можно представить последовательность шагов:
Шаг 1. Вычисление значений оценок факторов нерегулярности L = (lt , t T) по горизонтали в соответствии с (3.1.1), и с некоторыми заданными значениями структурных параметров m и h.
Шаг 2. Вычисление значений оценок факторов нерегулярности L = (lt , t T) по вертикали в соответствии с (3.1.1), и с некоторыми заданными значениями структурных параметров m и h.
Следует заметить, что оценки последовательности факторов нерегулярности L = (lt ,t T) должны быть строго больше 0.
Шаг 3. Прямой ход при горизонтальной обработке изображения.
Шаг 4. Обратный ход при горизонтальной обработке изображения.
Шаг 5. Прямой ход при вертикальной обработке изображения.
Шаг 6. Обратный ход при вертикальной обработке изображения.
Параметры маргинальных функций Беллмана 2 можно рассматривать как степень достоверности оценок скрытого поля X = (jct Дє Т) .
Представленный метод является универсальным для рассматриваемых в данном диссертационном исследовании задач обработки изображений. Однако, в зависимости от конкретной задачи, он может дополняться некоторыми специфичными особенностями, которые будут описаны в главе 4
Ключевым моментом рассматриваемого класса задач обработки изображений является возможность переноса структуры из некоторого управляющего изображения на результат обработки. Анализ имеющихся публикаций по тематике работы показывает, что основной проблемой применения современных методов обработки изображений и других видов упорядоченных данных, переносящих структуру, является наличие артефактов, порождаемых локальной структурой фильтров, или высокая вычислительная сложность.
Общей теоретической основой данного диссертационного исследований служит модель марковского случайного поля как относительно простое и достаточно удобное средство для формального выражения априорной информации, связанной с решаемой практической задачей. Основная идея предлагаемого в данной главе метода состоит в том, что оценка параметров модели обрабатываемых данных должна производиться на основе управляющего массива так, что степень вероятностной связи элементов модели обрабатываемого массива оказывается согласованной со структурой данного управляющего массива. Применение принципа минимизации среднего риска ошибки, приводит к оценкам реализации скрытого поля на основе апостериорных плотностей распределения, являющихся числовыми функциями на множестве его значений. Одним из главных факторов, обеспечивающих высокое быстродействие разработанных алгоритмов, является использование конечно-параметрическое семейства плотностей распределения, в котором результатом вычисления конкретной плотности является конкретное значение параметров.
Преимуществом предлагаемого метода является то, что при фиксированных параметрах критерий представляет собой квадратичную парно-сепа-рабельную функцию, для оптимизации которой может быть применена, разработанная ранее, эффективная в вычислительном плане параметрическая процедура динамического программирования с заменой решетчатого графа смежности элементов изображения совокупностью ациклических графов. Предлагаемый метод имеет линейную вычислительную сложность относительно количества элементов обрабатываемого массива.
Сравнение результатов с существующими алгоритмами
На рисунке 21 представлены результаты удаления тумана на изображении разными методами.
В таблице 1 представлены результаты сравнения качества обработки изображений 0586.jpg и 1352.jpg, взятых из базы изображений HSTS, предлагаемым методом с разными методами удаления тумана на изображений. Качество результатов оценивается с помощью критериев PSNR, MSE, SSIM, описанных в разделе 5.1.
Заметим, что максимальное значение оценки выделено зеленым цветом, а минимальное – красным.
На рисунке 22 представлены результаты сравнения качества изображений, полученных с помощью разных методов и разных критериев.
Результаты по удалению естественного тумана с изображений (рис. 23) показывают, что предложенный метод достигает хорошего восстановления контраста и цветопередачи, в результате чего происходит значительное улучшение видимости объектов на изображении.
Для сравнения результатов обработки изображений с естественным туманом в данном диссертационном исследовании использовалась автоматическая оценка качества NIMA, описанная в разделе 5.1. Результаты оценки качества с помощью критерия NIMA с использованием разных архитектур приведены в таблице 2 для изображений Human1.png (512x331) и Landscape1.png (384x512).
Заметим, что максимальное значение оценки выделено зеленым цветом, а минимальное – красным.
На рисунке 24 приведены диаграммы сравнения качества изображений, полученных разными методами тонового отображения HDR изображений. Оценка качества производилась с помощью критерия NIMA и разных архитектур нейронных сетей, входящих в его состав – Inception-v2, MobileNet, VGG16. Результаты сравнения приведены для изображений Human1.png, Land-scape1.png и среднее для всей базы HDR изображений Waterloo IVC (рис. 24в
На рисунке 25 показана диаграмма сравнения времени работы различных методов удаления тумана на изображении в зависимости от размера исходного изображения.
Методы Berman [12], He [39], Tarel [104], Zhang [121], Zhu [126] и предлагаемый алгоритм имеют линейную вычислительную сложность O(N), где N – количество пикселей исходного изображения.
Метод Cai [16] основан на сверточной нейронной сети, что требует дополнительных вычислительных затрат на этапе обучения сети.
Метод Choi [18] использует пирамиды Лапласа, что соответствует вычислительной сложности O(0.75N2P), где N – размер исходного изображения, а P – размер используемого фильтра.
Сравнение результатов с существующими алгоритмами
На рисунке 36 представлены результаты сжатия динамического диапазона медицинских HDR DICOM изображений различными методами.
URL: http://www.barre.nom.fr/medical/samples/
В таблице 6 приведены результаты оценки качества изображений, полученных разными методами сжатия динамического диапазона медицинских HDR DICOM изображений, с помощью критериев PSNR, MSE, MAE.
Заметим, что красным цветом обозначаются наименьше значения оценок, а зеленым цветом – наибольшие.
На рисунке 37 представлены диаграммы оценки качества результирующих изображений, полученных разными методами сжатия динамического диапазона медицинских HDR DICOM изображений, с помощью трех стандартных критериев PSNR, MSE, MAE.
В таблице 7 представлены результаты сравнения качества сжатия медицинских HDR DICOM изображений, полученных разными методами, с помощью автоматической оценки качества NIMA.
Заметим, что красным цветом обозначаются наименьше значения оценок, а зеленым цветом – наибольшие.
На рисунке 38 представлены результаты сравнения качества изображений, полученных разными методами сжатия медицинских HDR DICOM изображений, с помощью автоматической оценки качества NIMA для разных архитектур нейронной сети для изображений OT-MONO2-8-hip.dcm, CR-MONO2-16-chest.dcm и для среднее для всей базы медицинских HDR DICOM изображений MIS.
На рисунке 39 представлена диаграмма времени работы различных методов сжатия динамического диапазона медицинских HDR DICOM изображений в зависимости от размера исходного изображения.
Методы Drago[20], Durand [22], Guided Filter [40] предлагаемый алгоритм тонового отображения HDR изображений рассматриваемые в экспериментальном исследовании имеют линейную вычислительную сложность относительно размера исходного изображения. Метод Fattal [26] имеет вычислительную сложность O(n log n), где n – размер исходного изображения. Метод Lischinski [65] представляет собой итерационный процесс, сходимость которого сильно зависит от выбранных исходных значений. В основе метода Rein-hard [85] лежит быстрое преобразование Фурье, что делает возможным обработку изображений этим методом в режиме реального времени.