Теоретические основы восстановления цветных и мультиспектральных изображений на основе идентификации модели дихроматического отражения Никоноров Артем Владимирович

Содержание к диссертации

Введение

1 Модели искажений, проблемы восстановления изображений 17

1.1 Классификация искажений 17

1.1.1 Аппаратные искажения 18

1.1.2 Искажения, вносимые изменением условий регистрации 19

1.1.3 Искажения, вносимые на этапе обработки данных 1.2 Состояние проблемы коррекции изображений 25

1.3 Модели формирования мультиспектральных изображений 32

1.4 Обзор методов коррекции искажений 52

Выводы по главе 1 58

2 Представление искажений на основе модели отражения 60

2.1 Описание искажений на основе бииллюминантной дихроматической модели 60

2.2 Представление априорной информации на основе модели спектрально-контурных элементов 68

2.3 Описание спектрально-контурных элементов в рамках бииллюминантной дихроматической модели 79

Выводы по главе 2 88

3 Методы обнаружения и локализации спектрально-контурных элементов 90

3.1 Общая характеристика задач детектирования и локализации спектрально контурных элементов 90

3.2 Детектирование бликов на основе ограничений на характеристики 93

3.3 Распознавание бликов сложной формы по прецедентам 97

3.4 Фрактальные методы распознавания спектрально-контурных элементов 101

3.5 Детектирование спектрально-контурных элементов c использованием регулярных выражений 104

Выводы по главе 3 112

4 Методы коррекции искажений 114

4.1 Постановка и схема решения задачи коррекции искажений мультиспектральных изображений 114

4.2 Понятие и условия корректируемости 122

4.3 Пространство спектрально-контурных элементов с метрикой Хаусдорфа 135

4.4 Построение корректирующих преобразований с учетом геометрии искажений 140

4.5 Идентификация корректирующих преобразований в метрике Хаусдорфа 151

4.6 Условия идентифицируемости корректирующих преобразований 155

Выводы по главе 4 159

5 Методы идентификации корректирующих преобразований на основе модели спектрально-контурных элементов 161

5.1 Структура численных методов идентификации корректирующих преобразований 161

5.2 Согласованная идентификация корректирующих преобразований 163

5.3 Идентификация корректирующего преобразования на основе интегрального критерия близости моделей 169

5.4 Построение согласованных оценок на основе генетических алгоритмов 171

5.5 Идентификация корректирующих преобразований с использованием алгоритма RANSAC 178

5.6 Сравнение качества восстановления с алгоритмом Retinex 185

5.7 Критерий качества коррекции и сравнение согласованной идентификации и алгоритма RANSAC 189

Выводы по главе 5 196

6 Массивно-многопоточные алгоритмы коррекции изображений на основе модели спектрально-контурных элементов 198

6.1 Ключевые архитектурные особенности массивно-многопоточных высокопроизводительных систем 198

6.2 Методы и алгоритмы эффективного вычисления локальных характеристик изображения 202

6.3 Эффективная реализация спектрально-контурных регулярных выражений 2 6.3.1 Параллельная реализация спектрально-контурных регулярных выражений 206

6.3.2 Параллельная реализация в виде детерминированного конечного автомата (ДКА) 211

6.3.3 Параллельная реализация в виде недетерминированного конечного автомата (НКА) 213

6.3.4 Сравнение производительности детектора на основе преобразования Хафа с цветоконтурными регулярными выражениями 225

6.4 Метод нежесткого следования в модели многогранников для решения задач восстановления изображений 227

6.4.1 Идентификация корректирующего БИХ-фильтра 228

6.4.2 Алгоритм условной идентификации фильтра 229

6.4.3 Двухэтапный генетический алгоритм идентификации БИХ-фильтра .233

6.4.4 Алгоритм нежесткого размещения для параллельной реализации БИХ-фильтра в GPU-системе 236

6.5 Анализ параллельной реализации численных методов согласованной идентификации 242

Выводы по главе 6 247

7 Комплексы программ детектирования артефактов и восстановления изображений на основе модели спектрально-контурных элементов 249

7.1 Классы задач и вычислительные схемы восстановления и коррекции изображений 249

7.2 Коррекция искажений цветных и гиперспектральных изображений с использованием модели спектрально-контурных элементов 254

7.3 Детектирование объектов путём анализа характеристик спектрально-контурных элементов 265

7.4 Фрактальные методы распознавания спектрально-контурных элементов 269

7.5 Детектирование дорожных знаков на основе спектрально-контурных регулярных выражений 277

Выводы по главе 7 281

Список сокращений и основных обозначений 283

Заключение 285

Список литературы

• Искажения, вносимые на этапе обработки данных 1.2 Состояние проблемы коррекции изображений
• Представление априорной информации на основе модели спектрально-контурных элементов
• Детектирование бликов на основе ограничений на характеристики
• Пространство спектрально-контурных элементов с метрикой Хаусдорфа

Введение к работе

Актуальность темы.

В последние десятилетия растет востребованность новых классов систем регистрации и обработки изображений. Потребность в таких системах инициируется огромным спектром приложений: индивидуальные миниатюрные устройства, мобильные системы технического зрения, системы дистанционного космического зондирования Земли и др. При этом постоянно возрастают требования к характеристикам таких систем, в частности, к качеству и быстродействию алгоритмов обработки изображений.

Теории и практике создания методов обработки изображений посвящено огромное число работ. Большой вклад в развитие этого направления внесли отечественные (Ю.И. Журавлев, В.А. Сойфер, Ю.П. Пытьев, К.В. Рудаков, В.Г. Лабунец, Л.П. Ярославский) и зарубежные (Г. Риттер, Ж.П. Серра, С. Штернберг, Д.Е. Даджион, Р. Мерсеро, У. Прэтт, А. Розенфельд, X. Ниман, Д. Кремерс, Э. Михаэльсен) ученые. В нашей стране важной вехой в практическом использовании полученных в этой области результатов явилось создание системы дистанционного зондирования Земли на основе космического аппарата «Ресурс - ДК».

Новый этап развития систем обработки изображений характеризуется переходом к использованию мультиспектральных и гиперспектральных изображений. В настоящее время созданы приборы, позволяющие регистрировать более 1000 спектральных компонент (J. Chanussot, 2014). К сожалению, алгоритмическое и программное обеспечение систем обработки (в т.ч. космических) изображений оказалось не вполне готовым к реализации эффективных технологий обработки таких изображений.

Связано это, по-видимому, с тем, что долгое время используемые методы традиционно ориентировались на обработку черно-белых и трехкомпонентных (RGB) изображений. В этом направлении разработано большое число эффективных методов и алгоритмов улучшения качества изображений. В частности, в наиболее востребованной задаче цветовой коррекции широко используются два подхода - методы цветовых инвариантов, в которых используется общая физическая модель формирования цвета изображения, и методы Retinex, основанные на модели психофизики восприятия цвета человеком. Основная идея этих подходов - приведение цвета изображения к виду, инвариантному к изменениям освещенности в достаточно широких пределах.

Подходы на основе узнаваемых цветов, модели Retinex и «серого мира» решают задачу цветовой коррекции безотносительно к пространственной составляющей изображения. Если искажения являются неизопланатичными, параметры алгоритма должны изменяться в зависимости от текущего значения пространственной координаты. Для такого случая также разработано большое количество «ручных» методик решения задачи (Д. Маргулис, Б. Фрэзер, К. Айсманн). Существуют модификации алгоритмов Retinex с остановом (Retinex with reset), которые используют нелинейную составляющую для

локализации обработки изображения. В некоторых модификациях методов «серого мира» также осуществляется изменение параметров алгоритма обработки в разных областях изображения, однако пока отсутствует общее теоретическое описание моделей, пригодных для автоматизированной реализации алгоритмов цветовой коррекции. В значительной степени это связано со сложностью физической модели некоторых искажений и артефактов, возникающих при обработке изображений.

Применение указанных и других известных методов и алгоритмов обработки изображений в задачах восстановления мультиспектральных изображений осложняется рядом новых проблем. Дело в том, что используемые в этих методах модели восстановления в большинстве случаев строятся на основе субъективного восприятия цвета, в то время как для мультиспектральных изображений понятие цвета вообще теряет смысл. В задачах восстановления мультиспектральных изображений речь может идти о восстановлении спектральных характеристик по заданным объективным критериям. Притом с увеличением числа спектральных компонент указанные, в том числе вычислительные, проблемы существенно возрастают. В частности, предъявляются существенно более высокие требования к доступным вычислительным ресурсам и организации вычислительного процесса.

Таким образом, актуальной является задача обобщения теории в направлении создания универсальных методов обработки изображений с целью улучшения их качества, учитывающих особенности мультиспектральных, в т.ч. гиперспектральных, изображений. Особую актуальность эта задача приобретает в связи с априорной неопределенностью характеристик искажающей системы. При этом неизбежным этапом сквозной технологии обработки изображений является решение задачи идентификации модели искажающей или восстанавливающей системы по прецедентам и неполным данным.

Известно большое число различных подходов и методов решения задачи идентификации. Большой вклад в развитие теории и методов идентификации внесли П. Гроп, Р.Е. Калман, Л. Льюнг, В.А. Лотоцкий, Б.Н.Петров, И.И. Перельман, Б.Т. Поляк, Е.Д. Теряев, ЯЗ. Цыпкин, Б.М. Шамрико, П. Эйкхофф. В частности, разработаны методы и алгоритмы идентификации систем регистрации и восстановления изображений по малому числу наблюдений. В рамках этого направления созданы эффективные методы и алгоритмы идентификации по малым фрагментам изображений. В частности, разработана эффективная технология идентификации восстанавливающих фильтров по тестовым фрагментам, у которых заданное «желаемое» распределение функции яркости формируется на фрагментах, извлеченных из исходного искаженного изображения.

Однако при применении этих подходов и методов в задачах обработки мультиспектральных изображений возникают проблемы, связанные с тем, что соответствующие технологии восстановления мультиспектральных изображений пока не имеют достаточно прочного теоретического обоснования. В частности, отсутствуют универсальные модели восстановления и коррекции, как трехкомпонентных, так и мультиспектральных (в т.ч. гиперспектральных)

изображений, а известные методы и алгоритмы коррекции искажений в условиях существенной априорной неопределенности недостаточно эффективны. Таким образом, при использовании наиболее перспективных подходов и технологий к решению задач восстановления мультиспектральных изображений возникают следующие принципиальные вопросы:

Всегда ли возможно достижение любого наперед заданного качества восстановления в смысле принятого критерия?

Если это не всегда возможно, то каким требованиям должны удовлетворять корректирующие преобразования для достижения наилучшего в рамках объективных ограничений качества?

Какой должна быть модель обучающих элементов вместо модели «узнаваемых цветов» в случае мультиспектральных изображений?

Всегда ли возможна идентификация параметров модели корректирующих преобразований, если нет, то каковы условия идентифицируемости?

В настоящей работе теоретически обосновываются ответы на указанные основные вопросы, а также рассматриваются следующие связанные с ними ключевые задачи:

теоретическое обоснование общей модели восстановления цветных и мультиспектральных изображений и разработка способов представления априорной информации, обеспечивающих возможность достижения высокой точности ее идентификации;

разработка методов и алгоритмов идентификации корректирующих преобразований и их эффективная реализация в гибридных высокопроизводительных вычислительных средах.

Важнейшим практическим приложением настоящей работы является создание информационной технологии восстановления мультиспектральных изображений и ее оперативная реализация в системах обработки данных ДЗЗ. При этом критичным фактором является производительность системы. Повышение производительности обычно достигается путем построения параллельных вычислительных технологий, реализуемых, в т.ч., на графических процессорах. Поэтому актуальной является также разработка и исследование новых массивно-многопоточных алгоритмов восстановления мультиспектральных изображений, ориентированных на реализацию в гибридных вычислительных системах.

Цель и задачи исследования.

Целью работы является разработка теории, методов и алгоритмов восстановления цветных и мультиспектральных изображений на основе идентификации модели дихроматического отражения, являющихся основой для создания быстродействующей массивно-многопоточной автоматизированной технологии восстановления мультиспектральных изображений, ориентированной на реализацию в гибридных вычислительных системах.

В соответствии с поставленной целью определены следующие задачи диссертации:

1. Обоснование общей схемы восстановления цветных и мультиспектральных изображений, основанной на идентификации корректирующего преобразования в рамках бииллюминантной дихроматической модели формирования изображений.

2. Формализация описания локальных характеристик бииллюминантной дихроматической модели и разработка методов представления априорной информации для идентификации корректирующего преобразования.

3. Формулировка и исследование условий корректируемое, устанавливающих границы достижимого качества восстановления при построении корректирующих преобразований, и установление теоретических оценок корректности модели.

4. Формулировка понятия и теоретическое обоснование условий идентифицируемости для различных видов искажений в рамках параметрических классов корректирующих преобразований.

5. Разработка и исследование метода определения параметров корректирующего преобразования, основанного на использовании метрики Хаусдорфа с учетом выполнения условий корректируемости и идентифицируемости.

6. Разработка метода и параллельного алгоритма рекурсивной многомерной обработки изображений в задаче восстановления, исследование эффективности его реализации в гибридных вычислительных средах.

7. Разработка устойчивых к ошибкам в исходных данных численных алгоритмов определения параметров корректирующих преобразований, основанных на применении согласованной идентификации.

8. Построение и исследование модификации бииллюминантной дихроматической модели для случая искажений типа хроматического сдвига, возникающих при съемке с использованием линзы Френеля.

9. Разработка новых методов и алгоритмов локализации и распознавания артефактов на изображениях, основанных на использовании методов фрактального анализа и обеспечивающих высокую вероятность распознавания.

10. Разработка и исследование метода и соответствующего параллельного алгоритма, основанных на регулярных выражениях и парадигме недетерминированных конечных автоматов, обеспечивающих надежное и оперативное детектирование артефактов на изображениях.

Научная новизна полученных результатов.

11. Предложен новый подход к восстановлению цветных и мультиспектральных изображений, основанный на идентификации корректирующего преобразования в рамках бииллюминантной дихроматической модели формирования изображений, с представлением априорной информации о локальных характеристиках модели в виде спектрально-контурных элементов (СКЭ), позволяющий существенно повысить качество восстановления.

12. Теоретически обоснованы необходимые условия корректируемое и идентифицируемости в пространстве СКЭ, устанавливающие границы достижимого качества восстановления при построении корректирующих преобразований, на основе анализа искажений в рамках бииллюминантной дихроматической модели.

13. Предложен и теоретически обоснован метод определения параметров корректирующего преобразования в пространстве СКЭ с метрикой Хаусдорфа, учитывающий введенные требования корректируемости и идентифицируемости.

14. Разработаны новый метод и параллельный алгоритм рекурсивной многомерной обработки изображений на основе предложенного нежесткого размещения в рамках модели многогранников, обеспечивающие существенное повышение быстродействия.

15. Предложен интегральный критерий взаимной близости оценок, на основе которого построен новый алгоритм согласованной идентификации параметров корректирующего преобразования по малому числу СКЭ, устойчивый к ошибкам в исходных данных.

16. Разработан новый метод коррекции хроматических искажений, возникающих в изображающих дифракционно-оптических системах, основанный на предложенной в работе модификации бииллюминантной дихроматической модели.

17. Разработаны новые методы и параллельные вычислительные алгоритмы локализации артефактов на изображениях, основанные на анализе локальных характеристик спектрально-контурных элементов с использованием методов фрактального анализа и недетерминированных конечных автоматов.

Практическая ценность работы.

Разработанные методы и алгоритмы восстановления цветных и мультиспектральных изображений имеют широкое применение в прикладных задачах. Они были использованы в системах обработки данных ДЗЗ, в системах видеонаблюдения, во встраиваемых системах технического зрения (системы активной автомобильной безопасности, автоматизированные медицинские системы и др.), в технологиях предпечатной подготовки изображений и др. Разработанные методы восстановления были также успешно применены в технологии повышения качества изображений, полученных плоским дифракционным объективом. При этом впервые в мире было получено достаточно качественное изображение, зарегистрированное с помощью линзы Френеля высокого разрешения. В диссертации описаны результаты применения разработанных методов и алгоритмов в ряде других задач восстановления изображений.

Работы по теме диссертации выполнялись в соответствии с планами фундаментальных научно-исследовательских работ (проекты РФФИ: 12-07-31208, 13-07-00997, 11-07-13164-офи-м-2011-РЖД, 11-07-12051-офи-м-2011, 10-07-00553-а, 09-07-00269-а, ОФИ-М РЖД 13-07-13166), а также в рамках Федеральных целевых программ (ФЦП): «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы» (госконтракт № 07.514.11.4105, 2011-2012), «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» (соглашение № 14.575.21.0083).

Методы исследований.

Положения, выносимые на защиту

18. Новый подход к восстановлению цветных мультиспектральных изображений, основанный на идентификации корректирующего преобразования в рамках бииллюминантной дихроматической модели формирования изображений, с представлением априорной информации о локальных характеристиках модели в виде спектрально-контурных элементов (СКЭ).

19. Необходимые условия корректируемое и идентифицируемости в пространстве СКЭ, устанавливающие границы достижимого качества восстановления цветных и мультиспектральных изображений при построении корректирующих преобразований и обеспечивающие корректность модели.

20. Метод определения параметров корректирующего преобразования в пространстве СКЭ с метрикой Хаусдорфа, позволяющий строить высокоточные процедуры идентификации с учетом условий корректируемое и идентифицируемости.

21. Метод и алгоритм нежесткого следования в рамках модели многогранников, обеспечивающие существенное повышение быстродействия параллельных алгоритмов рекурсивной многомерной коррекции изображений.

22. Устойчивые к ошибкам в исходных данных численные алгоритмы определения параметров корректирующего преобразования с учетом условий корректируемости, основанные на применении согласованной идентификации с интегральным критерием взаимной близости оценок, обеспечивающие более высокую, по сравнению с известными алгоритмами, точность.

23. Метод коррекции хроматических искажений, возникающих в изображающих дифракционно-оптических системах, основанный на предложенной в работе модификации бииллюминантной дихроматической модели и обеспечива-

ющий решение задач, которые ранее для этого класса изображений не ставились и не решались.

7. Методы и алгоритмы локализации и распознавания артефактов на изображениях, основанные на использовании методов фрактального анализа и построении спектрально-контурных регулярных выражений с параллельной реализацией на основе недетерминированных конечных автоматов, обеспечивающие повышение качества и быстродействия распознавания изображений.

Степень достоверности и апробация результатов.

Достоверность ключевых результатов обеспечивается аналитическими доказательствами. Для разработанных алгоритмов выполнено сравнение с лучшими современными аналогами в различных прикладных задачах с использованием реальных данных и данных имитационного моделирования. Разработанные алгоритмы показали лучшие результаты, как с использованием объективных критериев качества, так и визуально.

Результаты внедрены в системах обработки гиперспектральных данных Акционерного общества «Ракетно-космический центр «Прогресс» (г. Самара), в системах предварительной обработки медицинских данных Самарского государственного медицинского университета, в технологическом процессе подготовки и цветовой коррекции изображений в Издательском доме «Агни» (г. Самара), в системах обработки изображений, разрабатываемых компанией Aligned Research Group (Los Gates, CA, USA), а также используются в системах видеонаблюдения.

Основные результаты диссертации докладывались и обсуждались на международных конференциях: Computer Vision and Pattern Recognition (CVPR-2015, Boston); 2012 и 2014 ГЕЕЕ IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS); International Workshop on Benchmark Test Schemes for AR/MR Geometric Registration and Tracking Method (TrakMark). 2012. Tsukuba / Japan; Pattern Recognition and Image Analysis (2008, 2010, 2013); 8th-9th Open German-Russian Workshop «Pattern Recognition and Image Understanding» (2011, 2014); Параллельные вычислительные технологии, международной научной конференции - ПАВТ (2009, 2010, 2011, 2012); Международной суперкомпьютерной конференции «Научный сервис в сети Интернет» (2009, 2010, 2011, 2012); IASTED International Conferences on Automation, Control, and Information Technology, 2010; Международной конференции перспективные информационные технологии, 2010, Самара; International Conference on Signal Processing and Multimedia Application, IEEE, 2010; 3rd International Workshop on Image Mining Theory and Applications in conjunction with VISIGRAPP 2010, Angers, France; 13-th IFAC Symposium on Information Control Problems in Manufacturing, Moscow, Russia, 2009; Всероссийской научно-методической конференции Телематика (2006, 2007, 2008, 2009); 3-й Российской конференции с международным участием «Технические и программные средства систем управления, контроля и измерения», 2012 и на семинарах Московского физико-технического института, Института систем обработки изображений РАН, Самарского государственного аэрокосмического университета.

Личный вклад автора.

Все результаты диссертации, вынесенные на защиту, получены автором самостоятельно. Автором также самостоятельно проведены вычислительные эксперименты на реальных и синтезированных данных. Постановка задач и обсуждение результатов проводились совместно с научным консультантом.

Основные публикации.

Всего автором опубликовано 75 печатных работ, из них по материалам диссертации - 60, в том числе 24 - в ведущих рецензируемых научных изданиях, рекомендованных ВАК (из них 21 проиндексирована в SCOPUS, 4 - в IEEExplore), 2 монографии, 1 патент, 1 свидетельство о государственной регистрации программы для ЭВМ.

Структура и объем диссертации.

Диссертация состоит из введения, 7 глав, списка сокращений и основных обозначений, заключения, одного приложения, списка литературы (232 наименования). Работа изложена на 312 страницах, содержит 98 рисунков.

Искажения, вносимые на этапе обработки данных 1.2 Состояние проблемы коррекции изображений

Аппаратные искажения вносятся в ходе регистрации изображений и обусловлены несовершенством регистрирующей аппаратуры. Эти искажения можно подразделить на две группы, определяемые типом источника искажений.

1. Оптические элементы. Искажения, вносимые оптическими элементами – наибо лее изученный класс искажений [1], [10–12]. Для оптических элементов характерны сле дующие искажения: - расфокусировка – размытие изображения, определяемое функцией размытия точки оптической системы. При расфокусировке точка на изображении воспроизводится в виде некоторого пятна (кружка размытия), а две близко расположенные точки на исходном изображении сливаются в одну на наблюдаемом [1]; - хроматические аберрации – изменение спектрального состава света по сравнению со спектром, принятым для заданных условий регистрации в качестве эталонного. Обычно эти искажения усиливаются при увеличении открытия диафрагмы, а также при съёмке осветительных потоков на границах объектов, например, при съёмке сквозь листву или ветки возникает характерное голубое сияние на контурах объектов; - дисторсия – геометрические искажения (выпуклость или вогнутость изображения к его границам). Этот тип искажений возникает вследствие уменьшения оптического разрешения объектива от центра к периферии. При этом края изображения оказываются смазанными и нечёткими (расфокусированными); - виньетирование – падение (реже увеличение) яркости изображения от центра к краям кадра.

2. Аналоговые или цифровые видеодатчики. Примером аналогового видеодатчика является фотоплёнка. Цифровые видеодатчики – это различные приборы с зарядовой связью: ПЗС-линейка, ПЗС-матрица, ПЗС-матрица с временной задержкой и накоплени ем и др. Аналоговый и цифровой способы регистрации могут комбинироваться, напри мер, при сканировании фотоплёнки. Регистрация изображений с помощью ПЗС-матрицы происходит за счёт накопления заряда на некоторой площади электрода. Такому накоплению соответствует некоторое усреднение непрерывного светового сигнала. Искажения, возникающие при регистрации ПЗС-приборами, следующие: - «тепловой» шум ПЗС-матрицы, проявляющийся в виде стохастически возникающих точек разной интенсивности, например, при регистрации сцен с низкой освещенностью; - полосовые искажения, «выбитые» пикселы и строки (striping). Такие искажения обычно возникают при регистрации с помощью ПЗС-линеек в системах ДЗЗ; - размытие изображения, например, «смаз» вследствие движения сцены относительно регистратора или, наоборот, регистратора относительно сцены со скоростью, при которой один и тот же участок движущегося объекта (сцены) регистрируется несколькими пикселами [10]; - кольца Ньютона на изображении, возникающие при сканировании фотоплёнок.

1. Условия освещения. Известны следующие типы искажений, возникающих вслед ствие отклонения условий освещения и отражения от заданных: - световые блики, возникающие вследствие наличия на регистрируемом объекте участков с высокой отражательной способностью (лобовые стёкла автомобилей, окна зданий и др.); - затенения, возникающие вследствие перекрытия источника освещения; - искажения, возникающие вследствие неоднородного или отличающегося от требуемого спектрального состава освещения, или освещения, полученного от нескольких источников с различным спектральным составом.

2. Текстурные или рельефные искажения. Искажения, обусловленные взаимодей ствием освещения с текстурой или рельефом регистрируемого объекта (сцены): - искажения, обусловленные неравномерной отражающей способностью поверхности регистрируемого объекта (текстурой); - искажения освещения, связанные с переотражениями и затенениями источников света вследствие рельефа поверхности.

3. Геометрические искажения. Искажения, связанные с особенностями геометрии съёмки, следующие: - перспективные искажения; - искажения изображений, вызванные деформациями среды между регистрирующей аппаратурой и объектом или деформациями носителя объекта. Такие искаже 20 ния возникают, например, при подводной съёмке, вследствие атмосферной турбулентности, при аэрокосмической съёмке, при нежёстких деформациях носителя – тканевых деформациях, и др. [13–15].

Заметим, что геометрические параметры съемки оказывают также влияние на искажения, связанные с условиями освещения. В частности, при изменении угла съёмки могут возникать блики на различных участках изображения.

Основные источники искажений (артефактов), возникающих в процессе обработки изображений, следующие: - сжатие изображений с потерями, компенсации таких артефактов посвящены, например, работы [1], [16], [17]; - обработка изображений с целью улучшения качества (устранение смаза, расфокусировки и др.) часто вносит артефакты в виде фантомных контуров, в частности, такие искажения часто возникают при обработке изображения БИХ-фильтром, имеющим небольшой запас устойчивости, а также при применении частотных методов фильтрации, использующих Фурье-преобразования изображений.

На рисунке 1.1 в виде схемы представлена классификация описанных выше искажений, возникающих на цифровых изображениях. На рисунках 1.2–1.5 приведены примеры некоторых из указанных выше видов искажений. Некоторые виды искажений могут возникать в результате комбинации нескольких источников, или же различные источники искажений могут приводить к одинаковым искажениям. Далее для краткости такие искажения будем называть искажениями комплексного типа.

Примером искажений комплексного типа может служить расфокусировка. Она может быть обусловлена искажениями в оптической подсистеме или влиянием среды, например, дымкой между объектом и регистратором. Другой пример – импульсный шум на изображении, который также может иметь различные причины: тепловой шум видеодатчика, пыль на оптических поверхностях, точечные блики на поверхности объекта и т.д.

Особый класс составляют гиперспектральные изображения (ГСИ). Поскольку эти изображения также являются мультиспектральными, на них могут возникать все описанные выше типы искажений. Особенность в данном случае состоит в том, что регистрируемый спектральный диапазон может быть значительно шире оптического, а спектральные составляющие регистрируются независимо друг от друга. Тем не менее, физика этих искажений имеет общую природу, и может ставиться задача построения универсальных методов коррекции, которые будут работать и для этого класса изображений.

При построении алгоритмов обработки изображений, наряду с анализом природы искажений, важной также является информация о характере искажений безотносительно к их источникам. Эта информация позволяет строить алгоритмы обработки для коррекции однотипных искажений, вызываемых разными источниками. Поэтому важной представляется также классификация по результату и характеру влияния искажения на изображение.

Представление априорной информации на основе модели спектрально-контурных элементов

Для спектрального коэффициента отражения такое предположение обычно выполняется, т.к. в реальных сценах характерно наличие участков поверхности с одним типом отражения. Заметим, что требование равенства значений коэффициента отражения на локальных участках является более естественным и менее ограничительным по сравнению с требованием их постоянства на всём изображении. Как было показано выше, для поверхностей с постоянным отражением характерно формирование цилиндра в цветовом пространстве, рисунок 2.1, б). Диаметр цилиндра определяет границу допустимого отклонения на одном участке.

Для малого участка Uна изображении будем считать значения углов падения и наблюдения - i(x),v(x) для основного источника света постоянными. Тогда, на основании (2.6) можно записать: L(X,i(x),v(x)) = mBrB(X)s(X) + msrs(X)s(X) +

С использованием (2.7) проанализируем характер рассеянного освещения на малой площадке поверхности с постоянным диффузным отражением. Для этого рассмотрим значение интеграла (2.3) в двух близких точках. Рассеянный свет возникает в результате переотражения, предполагаем, что такое переотражение носит диффузный характер. Таким образом, считаем, что исследуемый участок поверхности освещен световым потоком, диффузно отразившимся от другой поверхности. Рассмотрим различные варианты взаимного расположения освещающей и освещаемой поверхности.

Сначала рассмотрим случай, когда размер освещающей поверхности мал и может быть принят за точечный источник, рисунок 2.2 а). Светимость точечного диффузного источника одинакова во всех направлениях, а интенсивность светового потока обратно пропорциональна расстоянию до источника. Разницей расстояний от точек А и В до источника можно пренебречь, поэтому эти точки будут освещены одинаково. Следовательно, можно полагать, что интеграл в (2.7) при х є U не зависит от угла наблюдения.

Рассмотрим теперь случай, когда источником рассеянного света является протяженная диффузно отражающая поверхность, рисунок 2.2 б). Считаем, что размеры освещающей поверхности намного больше, чем расстояние АВ.

Значения (2.5) становятся различными для точек А и В в том случае, когда длины отрезков АВ, CD и AD становятся сравнимыми, т.е. участок поверхности, являющийся источником рассеянного света, сопоставим по величине с отражающим участком и расположен близко от него. Такая ситуация характерна для рассеянного освещения, вызванного переотражением от рельефа поверхности. При условии, что регистрирующий сенсор находится далеко от сцены, этим эффектом можно пренебречь. При этом выполняется равенство (2.9). С учетом (2.9) модель БИДМ (2.7) принимает вид:

Из соотношения (2.11) также следует, что для близости спектральных интенсивно-стей отклика (цветовых компонент) вовсе не обязательно требовать близости спектраль 67 ных коэффициентов отражения. Достаточно потребовать, чтобы в области xi,xj є U были близкими произведения спектральных коэффициентовmB (x )rB(x Д) и mSДx rSДx Д), а также спектрального коэффициента rB(x Д)и интенсивности рассеянного освещения.

Таким образом, для того, чтобы точки малого участка изображения имели одинаковые спектральные интенсивности, требуется, чтобы значения хроматических и ахроматических компонентов модели отражения (2.11) совпадали. Для этого должны выполняться следующие равенства: rS(xi,X) = rS(xj,X), rB(xi,X) = rB(xj,X), (2.12) SA(xi,X) = SA(xj,X), xi,xjeU. Заметим, что постоянство хроматических составляющих на небольшом участке изображения, как правило, выполняется при условии, что соответствующий участок объекта сцены выполнен из одного материала. Равенство ахроматических характеристик выполняется при условии, что постоянна ориентация участка объекта относительно камеры и источника освещения. Такие требования относительно участков объекта достаточно хорошо соответствуют реально существующим изображениям. Например, указанным требованиям удовлетворяют любые плоские и изготовленные из одного материала участки на наблюдаемой сцене.

В настоящей работе будет показано, что наличие априорной информации об участках с одинаковыми или близкими характеристиками отражения и рассеянного освещения оказывается весьма полезным для решения задачи коррекции изображения. Отметим, что для наличия таких участков не требуется выполнения указанных выше предположений 1 и 2 относительно модели БИДМ. Поэтому основанные на свойствах (2.12) методы цветовой коррекции оказываются работоспособными и эффективными для широкого диапазона прикладных задач. Близость значений компонент спектральной интенсивности при выполнении свойств (2.11), по существу, является источником дополнительной априорной информации, которая в настоящей работе используется для решения задачи коррекции. Для этого далее строится модель таких участков (элементов) муль-тиспектральных изображений.

Основная проблема коррекции изображений обычно состоит в отсутствии априорной информации о модели искажений. Поэтому большинство известных методов строятся по принципу обучения с использованием в качестве обучающих данных информации об «узнаваемых» цветах. Например, мы всегда можем предполагать, какого цвета листья на деревьях, трава, песок и небо, несмотря на цветовые искажения. В случае обычных изображений оптического диапазона, узнаваемые (желаемые) цвета могут задаваться в виде координат точек в некотором цветовом пространстве, в котором решается задача коррекции. Соответствующая технология рассматривалась в работе [102]. В этой технологии для снижения влияния шумов желаемые координаты цветов формировались по некоторому алгоритму типа усреднения на множестве точек в некоторой окрестности.

В случае мультиспектральных изображений, которые содержат спектральные компоненты за пределами оптического диапазона, понятие цвета, как уже отмечалось выше, теряет смысл. Поэтому использование специальных цветовых пространств небольшой размерности не представляется возможным. Более того, изображения из разных спектральных диапазонов могут подвергаться тематической обработке (сегментации и классификации) без предварительного решения задачи цветосинтеза. Поэтому формирование и использование для идентификации моделей корректирующих преобразований фрагментов цветного изображения в большинстве случаев оказывается неконструктивным. Необходима модель, обобщающая понятие фрагмента на случай спектрального пространства высокой размерности. В настоящем разделе мы хотим ответить на сформулированный в предшествующей главе вопрос: какой должна быть модель обучающих элементов в случае мульти-спектральных изображений.

При обосновании модели таких обучающих элементов будем опираться на предположение о существовании участков с одинаковыми значениями спектральных коэффициентов отражения и рассеянного освещения (2.12). В соответствии с (2.11) для точек таких участков значения компонентов спектрального отклика также должны быть одинаковы. В действительности, в хроматических и ахроматических составляющих (2.12) вектора спектрального отклика (2.11) всегда содержится некоторая погрешность, и равенства (2.12) становятся приближенными. Эта погрешность связана с отклонениями состава материала рассматриваемого участка от однородности, вариациями углов освещения и наблюдения на рассматриваемом участке, отклонениями в ахроматических коэффициентах. Кроме того, видеоинформационный тракт вносит измерительный шум в регистрируемое изображение. С учетом сказанного близость элементов может выполняться лишь приближенно как в спектральной, так и в пространственной области. Далее мы определим эти условия и свойства более детально. Сначала введем определение окрестности в пространственной области, использующееся в настоящей работе.

Детектирование бликов на основе ограничений на характеристики

Рассмотренные выше модели спектрально-контурных элементов могут использоваться в технологиях обработки изображений для решения задач спектральной (цветовой) коррекции изображений, а также локализации и распознавания объектов на изображениях. В задачах первого типа спектрально-контурные элементы обычно используются в качестве тестовых. При этом задача сводится к формированию спектрально-контурных элементов, обладающих «хорошими» свойствами с точки зрения обучения моделей корректирующих преобразований. Эти вопросы будут рассмотрены в следующей главе. В настоящей главе мы рассмотрим задачи, непосредственно относящиеся к нахождению и опознаванию имеющихся на изображении СКЭ.

Как было показано в разделе 2.3, определение областей существования СКЭ на изображении может быть выполнено на основе требований близости и однородности. Данные требования применительно к спектральному элементу СКЭ позволяют выделить на изображении участки с постоянными характеристиками БИДМ. Такие участки необходимы в дальнейшем для решения задачи коррекции изображения. В настоящем разделе будут рассмотрены характеристики СКЭ, использование которых позволяет решать задачи детектирования СКЭ специального вида. В частности, решается важная задача детектирования точечных бликов, позволяющая компенсировать влияние зеркального отражения рассеянного света в рамках БИДМ.

Задача локализации и распознавания собственно спектрально-контурных элементов может решаться как с целью обнаружения некоторых фрагментов изображений, характеристики которых допускают описание моделью СКЭ, так и с целью распознавания объектов, которые описываются совокупностями или последовательностями СКЭ. В настоящей главе рассматриваются задачи первого типа, когда целью детектирования является сам СКЭ.

Алгоритмы локализации и распознавания спектрально-контурных элементов основаны на анализе локальных особенностей на изображении. Локальной особенностью или локальным признаком, согласно [112], называется фрагмент изображения, характеристики которого отличаются от характеристик его непосредственной окрестности. Локальные признаки могут быть точками, участками контуров или небольшими фрагментами изображения. Известно большое число методов и алгоритмов поиска локальных особенностей (признаков) на изображении. В обзорной работе [112] приводится следующая классификация задач автоматизированного выделения признаков на изображении.

Первый класс – предметно-ориентированное использование локальных признаков, т.е. использование признаков для извлечения требуемой информации из изображения. Например, на основании анализа контурной информации может быть извлечена информация о дорожной разметке, обнаружении каплевидных объектов, обнаружении примесных кластеров в некоторой однородной среде и др.

Второй класс задач – выделение на изображении «ключевых точек». Для этих точек не имеет значения, каким объектам на изображении они конкретно соответствуют, важно, чтобы эти точки были устойчиво связаны с определённым местом на изображении и не теряли этой связи при изменении условий регистрации изображения в достаточно широких пределах. С использованием ключевых точек решаются такие задачи, как трассировка, склейка панорамных изображений из нескольких кадров, 3D-реконструкция по нескольким изображениям, а также задача калибровки камер, регистрирующих изображения при многокамерной съемке.

Наконец, третий класс задач – это построение описаний изображений на основе локальных признаков, которые являются инвариантными для определённого набора преобразований. Такое представление обычно позволяет добиться высокой устойчивости алгоритмов распознавания к искажениям, а также избежать предварительной процедуры сегментации изображения. Такой подход был сформулирован в работах [97], [98], и в последнее время его популярность неизменно растёт.

В технологиях обработки изображений часто возникает задача обнаружения спектрально-контурных элементов, имеющих некоторые характерные особенности. В работах по автоматизированному детектированию [112] обычно рассматриваются следующие классы особенностей – ключевая точка (keypoint), участок (дуга) контура, пятно (blob). Перечисленные объекты не несут смысловой нагрузки, а содержат только информацию о структуре изображения. Спектрально-контурные элементы являются переходным классом между указанными локальными особенностями и семантически нагруженными объектами. Для сопоставления сходств и различий между перечисленными элементами изображения их характеристики сведены в таблице 3.1. Спектрально-контурные элементы в этом ряду непосредственно предшествуют сложным объектам на изображении, которые содержат смысловую нагрузку и подлежат распознаванию. Поэтому представляется целесообразным рассматривать спектрально-контурные элементы как самостоятельный класс локальных особенностей, для которых должны использоваться специальные приёмы их детектирования.

Подчеркнём ещё одну особенность, отличающую СКЭ от других локальных особенностей. Большинство алгоритмов детектирования локальных особенностей основаны на использовании информации о локальных градиентах изображения, т.е. контурная информация является определяющей. При детектировании СКЭ, напротив, обычно градиентные характеристики несущественны, но большое значение имеет форма СКЭ и абсолютное значение спектрального отклика внутренних точек. Таблица 3.1 - Классификация элементов изображения

Задачи детектирования СКЭ по существу близки к задачам сегментации и распознавания изображений. Они могут решаться как с использованием технологии обучения с учителем, так и без учителя. Если локализация СКЭ осуществляется с использованием обучения с учителем, должна быть задана априорная информация в виде характеристик, подлежащих обнаружению СКЭ, или в виде образцов (шаблонов) таких СКЭ.

Способ задания априорной информации определяет и способ локализации СКЭ. Обычно обнаружение и локализация СКЭ выполняются на основе вычисления локальных характеристик двумерных областей изображения и сопоставления их с требуемыми значениями. В качестве заданных локальных характеристик могут использоваться требования к форме, абсолютному и относительному (по отношению к окрестности) спектральному отклику и др.

Наиболее характерным искажением, которое описывается моделью СКЭ, является блик, образованный в результате зеркального отражения от малого участка поверхности. Задача детектирования бликов решается посредством детектирования СКЭ специального вида с дополнительными ограничениями. В настоящей главе будут рассмотрены три метода детектирования бликов: детектирование на основе ограничений на характеристики, детектирование путем распознавания по прецедентам и детектирование на основании фрактальных моделей. В следующих трех разделах будут последовательно рассмотрены вычислительные алгоритмы, реализующие указанные методы.

Рассмотрим задачу детектирования точечных бликов на изображениях. Точечный блик обычно имеет компактную форму с одинаковым спектральным откликом в его пределах. На изображениях оптического диапазона блик обычно представляется небольшим ярким пятном. Далее мы будем называть бликами такие образования на поле изображений независимо от спектрального диапазона регистрируемых откликов.

Бликовые искажения в рамках БИДМ (1.14), (1.17) описываются двумя компонентами поверхностного (зеркального) отражения для основного и рассеянного освещения. Дополнительное предположение о том, что блики, вызванные зеркальным отражением рассеянного света, являются точечными, служит достаточным основанием, чтобы исключить их из общей модели искажений. Это дает возможность процедуру коррекции таких бликов выполнять независимо от коррекции других искажений (до выполнения других этапов обработки) на предварительном этапе коррекции.

Для решения задач обнаружения, локализации и распознавания типа блика необходимо выбрать набор дополнительных характеристик СКЭ, образующий систему признаков. Для простоты рассмотрим этот выбор на примере задачи локализации и распознавания бликов на цветных изображениях. При этом там, где это необходимо, мы будем указывать на особенности решения задачи в общем случае мультиспектрального изображения.

Пространство спектрально-контурных элементов с метрикой Хаусдорфа

В рамках рассматриваемой схемы возможно два подхода. Первый подход – идентификация модели искажений и последующее построение корректирующего преобразования с использованием этой модели. Другой возможный вариант – непосредственно идентификация модели коррекции. Этот вариант реализации технологии обычно является более предпочтительным, т.к. позволяет избежать трудностей, связанных с построением обратного оператора искажающей системы. Мы будем рассматривать только этот, последний вариант реализации технологии. Одной из проблем при реализации этого подхода является формирование тестовых изображений.

Наиболее простой случай – идентификация по прецедентам, когда имеются подобные изображения из рассматриваемого класса, которые могут быть заданы в качестве эталонных. Если прецеденты отсутствуют, тестовые (эталонные) изображения можно формировать из искажённого с использованием априорной информации. В случае коррекции обычных цветных изображений характеристики тестовых фрагментов могут быть заданы исходя из субъективных представлений о цвете, форме объектов на изображении и др. Можно использовать, например, области, соответствующие отдельному листу в кроне дерева, изображения элементов дорожных знаков и других объектов, для которых известен спектр отклика и др.

В общем случае мультиспектральных, в т.ч. гиперспектральных, изображений в качестве тестовых мы будем использовать спектрально-контурные элементы, задание характеристик которых на основе естественных цветовых ощущений неправомерно. Использование для описания формирования искажений СКЭ как участков на изображении с постоянными характеристиками БИДМ (2.6) является более универсальным подходом. В этом случае формирование тестовых спектрально-контурных элементов по существу сводится к коррекции их спектральных характеристик с использованием априорной информации.

Такая возможность связана с тем, что спектрально-контурный элемент является малой окрестностью точки в пространственной и спектральной области. Поэтому в пространственной области он, как правило, меньше любого фрагмента изображения, несущего смысловую нагрузку, а корректирующее преобразование спектрально-контурного элемента можно рассматривать как преобразование точки в спектральном пространстве.

Сказанное справедливо как для трёхкомпонентных цветных изображений, так и для мульти- и гиперспектральных изображений. На этих изображениях могут быть выделены окрестности точек небольших размеров, спектральные характеристики которых могут быть заданы с использованием информации, содержащейся в стандартных библиотеках спектральных характеристик материалов. На рисунке 4.2. приведены основные, описанные выше, способы формирования эталонных СКЭ по имеющейся априорной информации.

Задачи формирования множеств искажённых и эталонных СКЭ могут быть решены с применением методов локализации, описанных в разделах 3.2–3.6. В разделе 6.4 будет приведен пример реализации автоматизированной процедуры формирования тестовых спектрально-контурных элементов. В настоящей главе мы ограничимся рассмотрением общих вопросов идентификации корректирующих преобразований в пространстве СКЭ. В частности, будут сформулированы и обоснованы условия и ограничения, устанавливающие правила отбора и формирования тестовых СКЭ, а также условия идентифицируемости корректирующих преобразований. Детектирование Априорная информация Распознавание N по прецедентам

Способы формирования эталонных СКЭ Ключевое значение при формулировке этих условий имеют классы используемых моделей коррекции. В главах 1 и 2 было показано, что достаточно полно процесс формирования мультиспектрального изображения описывается с использованием бииллю-минантной дихроматической модели освещения. Эта модель широко используется при решении задач компенсации отклонений в освещении, таких как зеркальные блики и затенение [49]. В частности, компенсация искажений цветных изображений, зарегистрированных в оптическом диапазоне, может быть выполнена посредством приведения цветовых координат изображения к некоторым инвариантным значениям [97] или перевода в некоторое специальное цветовое пространство, например, в обратное хроматическое пространство [59]. Однако подходы, основанные на использовании цветовых пространств, неприменимы в случае мульти- и гиперспектральных изображений.

В данном случае задача состоит в теоретическом обобщении и обосновании методов коррекции мультиспектральных, в т.ч. гиперспектральных, изображений в рамках бииллюминантной модели. При этом развивается подход, основанный на использовании малых наборов тестовых (эталонных) спектрально-контурных элементов в качестве обучающей выборки. Следует заметить, что БИДМ (1.14), (1.17) в общем случае может быть представлена в непараметрической форме.

Если зависимости в (1.17) представлены в некотором параметрическом классе функций, то задача определения модели искажений и/или корректирующих преобразований ставится как задача параметрической идентификации. Формально эта постановка выглядит следующим образом. Предполагается, что на искажённом p(x) и неискаженном p0(x) изображениях сформированы в силу бииллюминантной дихроматической 118 модели (2.6) пары спектрально-контурных элементов Ег и Ej,, на которых характеристики БИДМ, определяющие диффузное и поверхностное отражение, а также рассеянное освещение, совпадают. Это означает, что по аналогии с (2.12) имеют место равенства: тв(xт) = тв(xі) ms(xm) = ms(xj) С4-1) rs(x.Д) = rs(x,-Д), ГВ(x.А) = гв(x;А), Мx,-А) = МxуД) xг,x; eU, Vx„x; :x,. eU„xy eU. Здесь, как и ранее, индекс В служит для обозначения диффузного, а S - зеркального отражения.

В качестве элементов Ег и Е могут использоваться СКЭ, сформированные как на разных изображениях, так и в различных частях одного и того же изображения. На качественном уровне условие (4.1) имеет следующий смысл. Искажение в освещении определяется коэффициентом затенения и зеркальным отражением в БИДМ (2.6). Для идентификации этого искажения требуется построить соответствие между искажёнными и неискажёнными СКЭ, для которых характеристики БИДМ в соответствии с (4.1) обязаны совпадать. Соответствие искажённых и неискажённых СКЭ заключает в себе всю априорную информацию, необходимую для решения задачи идентификации корректирующего преобразования.