Содержание к диссертации
Введение
Глава 1. Литературный обзор
1.1. Качество изображения 11
1.2. Регистрация изображения оптико-электронной системой 13
1.2.1. Общая схема регистрации изображения оптико-электронной системой 13
1.2.2. Влияние атмосферы 16
1.2.3. Оптическая система 16
1.2.4. Смаз 21
1.2.5. Фотоприёмное устройство. Дискретизация и квантование 22
1.2.6. Визуализация 27
1.3. Модель фотопроцесса
1.3.1. Линейное звено фоторегистрации 28
1.3.2. Нелинейное звено фоторегистрации 29
1.3.3. Шум фоторегистрации 3О
1.4. Апостериорная обработка
1.5. Зрительное восприятие 36
1.6. Выводы по главе 43
Глава 2. Разработка вероятностной модели опознавания изображения
2.1. Вероятность распознавания двух зашумленных изображений 44
2.2. Оптимизация параметров системы по максимуму информации, содержащейся в изображении 49
2.3. Вероятность опознавания изображений в присутствии аддитивно- мультипликативного шума 54
2.4. Вероятность опознавания изображений в случае 65
многоальтернативной задачи
2.5. Качество изображения. 67
2.6. Модель зрительного восприятия 73
2.7. Расчёт разрешения для систем с дискретизацией 76
2.8. Выводы по главе 82
Глава 3. Экспериментальное исследование зрительного восприятия человека-наблюдателя
3.1. Методика эксперимента 83
3.2. Результаты психофизического эксперимента 87
3.2.1. Временные характеристики опознавания размытых изображений 87
3.2.2. Опознание размытых зашумленных изображений 88
3.2.3. Улучшение опознания размытых изображений при наложении шума 92
3.3. Сопоставление результатов эксперимента с модельными расчётами 94
3.4. Зрительное восприятие дискретизованных изображений 97
3.5. Выводы по главе 108
Заключение 110
Литература
- Общая схема регистрации изображения оптико-электронной системой
- Нелинейное звено фоторегистрации
- Вероятность опознавания изображений в присутствии аддитивно- мультипликативного шума
- Временные характеристики опознавания размытых изображений
Введение к работе
1. Цель работы.
С распространением оптических систем с немонотонными передаточными характеристиками, как то оптико-электронные системы с дискретизацией, системы с синтезированными апертурами и с применением апостериорной обработки изображений, возросла актуальность оценки качества формируемых подобными системами изображений. Широко использовавшийся в фотографии критерий разрешающей способности для этих систем оказался непригодным, по крайней мере, в своей прежней форме.
Данное исследование начиналось в целях оценки целесообразности и эффективности апостериорной обработки. В дальнейшем, с распространением оптико-электронных систем наблюдения, основным направлением исследований стала оценка качества изображений, сформированных такими системами, не упуская из виду возможность их апостериорной обработки. При этом данное исследование ограничивалось рассмотрением исключительно систем наблюдения, т.е. таких, которые формируют изображения, в конечном счёте в той или иной форме предъявляемые человеку-наблюдателю, который производит их окончательное дешифрирование. Системы технического зрения не рассматривались. Соответственно, качество подобных изображений в значительной мере определяется их согласованностью со зрительной системой человека.
Результаты исследования должны дать возможность сравнивать между собой различные системы первичной регистрации, оптимизировать их параметры, оценивать вклад отдельных звеньев системы в искажение формируемых ею изображений, оптимизировать условия предъявления изображений наблюдателю,' оценивать целесообразность и эффективность апостериороной обработки.
Тем самым, целью работы является исследование, разработка теории и методов оценки качества изображений, сформированных системами с немонотонной передаточной функцией, для которых неприменим традиционный* подход к оценке качества через разрешающую способность в общепринятых её определениях, и предназначенных в конечном счёте для дешифрирования человеком-наблюдателем.
2. Постановка задачи.
Рассматривались чёрно-белые или монохроматические неподвижные плоские изображения.
Для обеспечения возможности сравнения незначительно различающихся между собой изображений, оценка должна быть объективной, численной, интегральной.
Одним из наиболее обоснованных подходов к оценке качества изображений является успешность решения стандартизованного варианта одной из типичных для; использования подобных изображений задач. Для систем наблюдения достаточно типичными являются задачи обнаружения и распознавания малоразмерных малоконтрастных объектов. Тогда в качестве меры успешности могут быть использованы или вероятность распознавания двух стандартных объектов заданного размера и контраста, или минимальный размер при заданном контрасте, при котором эти объекты распознаются с заданным уровнем вероятности, или, наконец, минимальный контраст при заданном размере, при котором эти объекты распознаются с заданным уровнем вероятности. Причём, как показано далее, общепринятый критерий «разрешающей способности» также удаётся свести к этим задачам.
Процесс зрительного восприятия на настоящий момент продолжает активно исследоваться и вряд ли в обозримом будущем в.этом вопросе наступит полная.ясность. Є другой стороны попытки создать полную модель этого процесса приводят к: громоздким построениям, непригодным для практического использования. Ъ данной работе рассматривалось зрительное восприятие в рамках поставленной выше задачи - т.е. распознавание малоразмерных малоконтрастных чёрно-белых изображений, предъявляемых без лимита времени, с особым вниманием к совместному влиянию размытия \ и зашумления, на этот процесс.
Зі Актуальность проблемы.
Одним из основных направлений оптимизации формирующих изображения; систем является установление баланса между размытием и зашумлением. Например, у фотоматериалов гранулярность тем выше, чем выше светочувствителыюсть, и замена фотоматериала на менее чувствительный и, соответственно, менее шумящий ведёт при заданном объективе к увеличению времени'экспонирования и, тем самым, увеличению нескомпенсированного сдвига изображениям (смаза). Аналогичные зависимости существуют и для фотэлектронных приёмников: уменьшение размеров светочувствительного элемента прибора с зарядовой связью (ПЗС) в общем случае связано с уменьшением глубины потенциальной ямы и, тем самым; с уменьшением отношения сигнал/шум для этого элемента при фиксированном уровне освещённости.
В- случае «восстановления» размытых изображений методами апостериорной обработки, как правило, при слабо меняющемся с изменением пространственной частоты уровне шума, производится значительное усиление высокочастотных составляющих пространственно-частотного спектра изображения, подавленных относительно низкочастотных составляющих спадающей с ростом пространственной частоты функцией передачи модуляции (ФПМ). Тем самым усиливается зашумление изображения и вопрос о
балансе между степенью размытия и уровнем шума на изображении приобретает решающее значение.
До сих пор результаты апостериорной обработки изображений оценивались либо методом экспертных оценок, что или субъективно, или крайне трудоёмко, либо через среднеквадратичное отклонение (СКО) от идеального изображения, что, как оказалось, мало соответствует экспертным оценкам. На самом деле это не удивительно, поскольку при вычислении СКО, например, совершенно не учитывается играющая важную роль при зрительном восприятии пространственная суммация. Есть и другие неучитываемые факторы.
Отметим, что с точки зрения теории информации увеличить общее количество содержащейся в принятом сообщении (зарегистрированном изображении) информации невозможно. Можно только лучше или хуже согласовать её с конечным потребителем - в нашем случае человеком-дешифровщиком. Предлагаемая работа направлена на оптимизацию этого согласования.
4. Научная новизна и значимость работы.
Выдвинута и обоснована гипотеза о том, что при зрительном восприятии искажённых (размытых) изображений объектов человек-наблюдатель сопоставляет им образы, соответствующие резким изображениям.
Предложена математическая модель распознавания человеком-наблюдателем размытых зашумленных изображений малоразмерных малоконтрастных объектов, предъявляемых без лимита времени. Модель учитывает невозможность для зрительной системы учесть искажение изображения, а также передаточную функцию и собственный шум зрительной системы.
Проведено экспериментальное исследование совместного влияния размытия и зашумления на зрительное восприятие изображений малоразмерных малоконтрастных объектов.
В ходе проведенного исследования обнаружен эффект повышения вероятности опознавания человеком-наблюдателем размытого изображения, предъявляемого на ограниченное время, при наложении на него дополнительного шума.
Для обработки результатов эксперимента выведены и использованы формулы для определения максимальной вероятности правильного опознавания в случае многоальтернативной задачи с произвольным алфавитом.
Разработан метод определения максимальной вероятности правильного опознавания изображений в присутствии аддитивно-мультипликативного гауссова шума. Показано, что полученные формулы сводятся к известным ранее зависимостям при чисто аддитивном и
чисто мультипликативном шуме, как к частным случаям при предельных значениях параметров.
Рассмотрен процесс принятия решения человеком-дешифровщиком о том, что предъявленное ему изображение штриховой миры разрешается. Получена формула для совместной вероятности того, что каждая из шпал трёхшпальной миры будет обнаружена предложенной моделью «реального наблюдателя». Построение методики оценки разрешающей способности оптико-электронных систем на основе этой формулы позволит получать результаты более близкие к оценкам реального дешифровщика, чем ныне принятая методика.
5. Защищаемые положения.
Математическая модель распознавания человеком малоразмерных размытых и зашумленных изображений, сформированных системами с немонотонными передаточными функциями, как то: системы с разреженной апертурой, системы с дискретизацией изображения, системы, включающие в себя звенья апостериорной обработки. Модель учитывает оптическую передаточную функцию и эквивалентный внутренний шум зрительной системы, а также предположение, что человек-наблюдатель сопоставляет искажённому изображению образ резкого объекта.
Решение задачи по определению, максимальной вероятности правильного опознавания изображений в присутствии аддитивно-мультипликативного гауссова шума. Показано, что полученные формулы сводятся к известным ранее зависимостям при чисто аддитивном и чисто мультипликативном шуме как к частным случаям при предельных значениях параметров.
Метод определения максимальной вероятности правильного опознавания в случае многоальтернативной задачи с произвольным алфавитом.
Эффект повышения вероятности опознавания человеком-наблюдателем размытого изображения, предъявляемого на ограниченное время, при наложении на него дополнительного шума.
6. Практическая полезность работы и внедрение.
Результаты исследования позволяют численно оценивать информационные возможности изображения в условиях, приближенных к условиям его реального использования. Это в свою очередь позволяет оптимизировать условия первичной регистрации с учётом и без учёта апостериороной обработки, сравнивать между собой
различные системы первичной регистрации, оптимизировать их параметры, оптимизировать
условия предъявления изображений наблюдателю, в частности, выбор параметров
I апостериорной обработки. Сопоставление предельных информационных возможностей и
* информационных возможностей при дешифрировании изображений человеком позволяет
оценить целесообразность апостериорной обработки и её эффективность.
Кроме того, проведённая работа вносит свой вклад в раскрытие механизмов функционирования зрительной системы человека.
Результаты работы использованы при разработке методик «Методика априорной оценки линейного разрешения на местности», М, 1990 [1], «Определение линейного разрешения на местности на основе анализа массива цифровых видеоданных», СПб, 1994 [2] и ряда других документов. Программные пакеты, соответствующие этим методикам продолжают использоваться для проведения сквозных расчётов и оценки качества изображений, поступающих с функционирующих оптико-электронных систем.
Результаты работы внедрены в НИИММ ЛГУ, Институте физиологии им.
И.П.Павлова, ОКБ ФГУП «НПО им. С.А.Лавочкина», в организациях п/я В-8337 и п/я Г-
i 4213.
7. Апробация работы.
; Результаты работы докладывались на 7 международных и всесоюзных конференциях:
"Предельные информационные возможности фотоизображения и их реализация" в соавторстве с Березиным Н.П. с публикацией тезисов в сборнике "Всесоюзная конференция "Формирование оптического изображения и методы его коррекции"(19-21 сентября 1979г) Тезисы докладов", Могилев, 1979, с.17.
"Расчетный анализ эффективности апостериорной обработки изображений" в соавторстве с Березиным Н.П. с публикацией тезисов в сборнике "Всесоюзная
I конференция "Оптическое изображение и регистрирующие среды" (27-29 апреля
1982г) Тезисы докладов" Ленинград, 1982, с. 143.
3. "Анализ предельных информационных возможностей обработки изображений" без
' соавторов с публикацией тезисов в сборнике "Y Всесоюзная школа по оптической
обработке информации (15-21 октября 1984г) Тезисы докладов", Киев, 1984, с.173-
1 174.
4. "Экспресс-анализ шумов при обработке изображений на ЭВМ" в соавторстве с
Макуловым В.Б., Смирновым А.Я., Столяровым Ю.В. с публикацией тезисов в
сборнике "Y Всесоюзная конференция по голографии (12-14 ноября 1985г) Тезисы
; докладов", Рига, 1985, с.338-339.
"Method and software of automatic resolution evaluating of optic-electronic telescopic land remote sensing system" в соавторстве со Смирновым М.В., Королевым А.Н. и Звездиным Д.И. на "The 10-th Annual International AeroSense Symposium", Orlando, Florida, USA, (8-12 April 1996).
"Aberration Correction in Imaging Systems with the Help of Surface Relief Holograms" в соавторстве с Корешевым С.Н., Ратушным В.П. и Ванюшкиным Ю.А. "XI Conference on Laser Optics", St.Petersburg, Russia, June 30 - July 4, 2003.
"Результаты натурного эксперимента по регистрации диоксида азота с помощью видеоспектрорадиометра-газовизора." в соавторстве с Афониным А.В., Давыдовым B.C., И.Н. и Решетниковым А.И. "31st International Symposium on Remote Sensing of Environment",S-Petersberg, June 20-24, 2005.
8. Публикации.
Материалы диссертации опубликованы в 18 печатных работах.
9. Структура диссертации.
Диссертация состоит из введения, трёх глав, заключения, списка цитируемой литературы и четырёх приложений.
Во введении обозначена цель работы, поставлена задача, обоснованы актуальность, научная новизна, значимость и практическая полезность работы, перечислены защищаемые положения, а также кратко излагается содержание разделов диссертации.
Первая глава содержит обзорный материал. В главе анализируется состояние дел с оценкой качества изображений. Описывается процедура математического моделирования процесса регистрации изображений оптико-электронной системой наблюдения. Приводится математическая модель процесса фоторегистрации. Даётся понятие об апостериорной обработке изображений, основных подходах к решению этой задачи и проблемах с оценкой эффективности её решения. Наконец, анализируются существующие модели зрительного восприятия в применении к решаемой в работе задаче. В заключение предпринятого обзора делается вывод об актуальности диссертационной работы.
Во второй главе содержится разработка вероятностной модели процесса опознавания-изображения. Обосновывается оценка минимальной вероятности ошибки и максимальной вероятности правильного распознавания двух изображений в присутствии аддитивного нормального шума. Приводятся примеры оптимизации параметров фотографической системы по максимуму информации, содержащейся в изображении. Рассматривается вероятность распознавания изображений в присутствии аддитивно-мультипликативного
10 нормального шума. Исследуется поведение полученных формул в зависимости от изменения параметров модели шума. Продемонстрирован переход этих формул в известные ранее выражения для чисто аддитивного и чисто мультипликативного шума при предельных значениях этих параметров. Выведены формулы для определения максимальной вероятности распознавания изображений в случае многоальтернативной задачи в присутствии аддитивного нормального шума. Внесены предложения по оценке качества изображений, сформированных системами с немонотонными передаточными характеристиками, а также по оценке целесообразности и эффективности апостериорной обработки. Проанализирован процесс принятия решения человеком-дешифровщиком о том, что предъявленное ему изображение штриховой миры разрешается и внесены предложения по расширению существующего понятия «разрешающая способность» на системы с немонотонными передаточными характеристиками и, в частности, на оптико-электронные системы наблюдения. Предложена математическая модель распознавания человеком-наблюдателем размытых зашумленных изображений малоразмерных малоконтрастных объектов, предъявляемых без лимита времени.
В третьей главе описывается проведённое экспериментальное исследование зрительного восприятия человеком-наблюдателем малоразмерных малоконтрастных размытых и зашумленных изображений. Описывается методика эксперимента. Приводятся-результаты психофизического эксперимента, а именно временные характеристики опознавания размытых незашумленных изображений, результаты опознания размытых зашумленных изображений, описывается обнаруженный в ходе эксперимента неизвестный ранее эффект повышения вероятности опознания размытых изображений при наложении шума. Проведено сопоставление результатов эксперимента по распознаванию четырёх размытых зашумленных объектов с модельными расчётами по приведённым во второй главе формулам для максимальной вероятности верного распознавания в случае многоальтернативной задачи, а также результатов эксперимента по распознаванию двух размытых зашумленных объектов с модельными расчётами по приведённым во второй главе формулам, соответствующим предложенной модели «реального наблюдателя». В случае сопоставления результатов эксперимента с моделью «реального наблюдателя» расхождение лежит в пределах погрешности эксперимента. В случае четырёхальтернативной задачи расхождение между расчётными и экспериментальными данными можно объяснить упрощениями, принятыми в модели с целью уменьшить громоздкость расчётов. Анализируется специфика зрительного восприятия дискретизованных изображений.
В Заключении ещё раз указывается цель работы, перечисляются основные результаты и обосновывается их актуальность.
Общая схема регистрации изображения оптико-электронной системой
Для функций снижения ФПМ, обусловленной аберрациями, используется СКО волнового фронта crwf. Эта величина определяется по интерферограммам на длине волны XQ. Для конкретных спектральных диапазонов ОЭС величина СКО должна приводиться к средней длине волны диапазона As: s wf h
Влияние аберраций на снижение ФПМ можно учесть только аппроксимирующей функцией, отражающей влияние наиболее значимых из них. В реальных оптических системах такими являются дефокусировка и астигматизм. В научно-технической литературе лучшей считается аппроксимирующая функция следующего вида: abK ab s Н„М -А,- }-\і-Нг-0.5)2 (1.2.3.9) где А„ь - постоянная в диапазоне 30-К32 (типовое среднее значение - 31).
Влияние случайных ошибок волнового фронта, вызванных в основном волнистостью и остаточной шерховатостью оптических поверхностей, описывается функцией, полученной О Нейлом Я.Ду)=ехр -4- .(7 .z2" (1.2.3.10) где rst - СКО случайных ошибок волнового фронта.
В используемой формуле полагается, что корреляция случайных ошибок отсутствует. В качестве типового значения rst используется 0.1. Кононов В.И. с соавторами [8] для ОПФ современных объективов с учётом-суммарного влияния аберраций приводят со ссылкой на ИКИ СССР #0 ) = ехр[-0.0035-/Va-fe v/], (1.2.3.12) где 2а - угол поля зрения. Эта величина также предлагается в качестве сомножителя в формуле (1.2.3.8). Если считать, что преобладает влияние дефокусировки, то ФРТ примет вид «пенька» радиусом г, а ОПФ - «бесинка» [20]. H(v) 2±& (1.2.3.11) 7iv2r Здесь J](x) — функция Бесселя первого рода первого порядка.
Вообще же ОПФ может значительно различаться даже у различных экземпляров однотипных объективов, особенно в условиях неточной фокусировки, когда возрастает роль аберраций. В конкретных случаях лучше всего определять конкретную сквозную передаточную функцию съёмки в целом прямо по рассматриваемому снимку. В случае аэрофотоснимков удачным тест-объектом являются крыши, особенно двускатные, при фотометрировании которых можно получить пограничные качественные кривые. Определение ОПФ по пограничной кривой рассмотрено в [8,10].
В США выпускаются микроденситометры со встроенным процессором, позволяющим сразу же пересчитывать измеренную пограничную кривую в ОПФ.
При участии автора разработана методика и на её основе создан программный- пакет, для определения линейного разрешения на местности на основе массива цифровых видеоданных, являющегося цифровой формой изображения, формируемого ОЭС - см. [2]. Одним из разделов этой методики и, соответственно, блоков программного пакета является определение функции передачи модуляции (ФПМ), являющейся вещественной частью ОПФ, по автоматически выделяемым на изображении пограничным кривым.
В то же время с давних пор не прекращаются попытки определять разрешение и-даже ФПМ по так называемым «линейно-протяжённым объектам». За этим термином на самом деле скрываются практически исключительно дороги. Этот тип тестовых объектов при кажущемся удобстве является на самом деле крайне невыгодным. Теоретически для определения ФПМ годится любой объект присутствующий на изображении, распределение яркости которого нам достоверно известно априори. Вычисляем Фурье преобразование от полученного изображения, от известного нам априори распределения яркости тестового объекта, делим спектр изображения на спектр неискажённого объекта и получаем искомую ФПМ. На деле получается несколько сложнее. Предполагается, что распределение альбедо вдоль дороги является константой, а поперёк представляет собой прямоугольник. Но спектр Фурье от прямоугольника равен Sinc{nva)= , (1.2.3.12) где a - ширина этого прямоугольника.
Неприятной особенностью этой функции является то, что она строго периодично обращается в нуль, находясь при этом в знаменателе дроби. ЭВМ этого не любят. При этом числитель дроби, являясь спектром реального, а значит зашумленного изображения, в ноль не обращается. Эти точки можно и нужно исключить из рассмотрения, что в общем то несложно. Однако, исключать приходится не только точки, в которых знаменатель дроби обращается в ноль, но и некоторую окрестность, где он близок к нолю и, соответственно, близко к нулю отношение сигнал/шум. Если же учесть, что ширина дороги на самом деле неизвестна... В принципе, на некоторые типы дорог существуют стандарты, однако, эти стандарты нужно достать, а тип дороги определить по тому же изображению. Кроме того масштаб съёмки всегда имеет некоторую погрешность. Это всё при условии, что поперечное сечение распределения альбедо нашего «линейно-протяжённого объекта» является прямоугольным. Но почти всякая дорога имеет обочины и кюветы. Соотношение их альбедо и альбедо дорожного полотна является непредсказуемым.
Кажется очень заманчивым быстро и без сложных расчётов определять по «линейно-протяжённым объектам» разрешение на местности: ищем самую узкую линию на изображении измеряем и сразу получаем разрешающую способность. Однако, неопределённость в вопросе об исходном контрасте «линейно-протяжённых объектов» ещё больше, чем в вопросе об их ширине. При наличии у ФПМ ОЭС полого спадающих участков, что не редкость, особенно для систем с экранированием, контраст исходного объекта может очень существенно влиять на подобные оценки разрешения.
Что касается определения ФПМ по пограничным кривым, неопределённость в контрасте на местности на результат влияет крайне незначительно, поскольку мы привязываемся только к форме пограничной кривой, нормируя каждую из них на перепад между верхним и нижним бьефами. Понятия же ширины для этого объекта просто не существует.
Смаз вызывается перемещением изображения, сформированного оптической частью ОЭС, относительно фотоприёмника. Сдвиг изображения, вызывающий смаз, принято рассматривать, как отдельный элемент ОЭС, несмотря на то, что конструктивно он таковым не является. Характерными особенностями смаза, выделяющими его среди прочих разрушающих изображение факторов, являются его одномерность и зависимость от времени экспонирования. Впрочем, траектория движения точки при сдвиге может иногда быть и криволинейной, а вибрации могут давать зону размытия, т.е. двумерную ФРТ.
В монографии Ю.И.Фивенского [21] подробно разобраны виды сдвигов, причины их возникновения, влияние смаза на качество изображения и некоторые способы его преодоления. Там же приводится обширная библиография по указанным вопросам.
В качестве одного из выводов монографии приводится, что среди рассмотренных автором детерминированных сдвигов наихудшими передаточными свойствами обладает равномерный сдвиг.
Нелинейное звено фоторегистрации
Можно характеризовать шумовые свойства фотоматериала и непосредственно величиной aD, но тогда необходимо оговаривать площадь использовавшейся при измерениях апертуры.
Однако, шум зернистости, как случайный процесс, нельзя характеризовать только дисперсией - необходимо также знать его корреляционные свойства в форме автокорреляционной функции или спектра мощности шума (спектра Винера).
Из правила Селвина (1.3.3.5) следует, что для условий, в которых оно выполняется, спектр мощности не зависит от частоты, т.е. шум можно считать «белым».
В [24] и [25] приводятся экспериментальные данные, подтверждающие, что для чёрно-белых мелкозернистых плёнок это выполняется в весьма широких пределах. Там же приводятся данные, показывающие, что спектр мощности шума в случае двойного фотопроцесса заметно спадает на всей свой протяжённости.
Тогда, для одноступенного процесса спектр мощности шума в использовавшихся обозначениях равен RD(p,q) = RD=cr2DA = Gy2, (1.3.3.7) если же перейти к пропусканиям, используя (1.3.3.2), получим Rt = АСУ2 = 5AAcr2Dr2 = 2.7GV (1.3.3.8) Вернёмся к формуле (1.3.3.4). Из неё следует, что rD D05 . (1.3.3.9)
Это получено в предположении, что площадь зерна а не меняется. На практике это не выполняется. Тем не менее в [25] приводятся экспериментальные данные, подтверждающие указанную закономерность. Но X.Фризер [24] приводит ряд работ, в которых до плотности почернения 1едЛ) указанная зависимость выполнялась, а при более высоких плотностях наблюдался резкий подъём. Там же приводятся свидетельства, что aD может возрастать пропорционально плотности почернения в степени 0.3-Ю.4.
Следует остановиться также на связи между гранулярностью и светочувствительностью. Согласно модельным представлениям дисперсия плотности пропорциональна площади проекции зерна (см. ф-лу (1.3.3.4)), а светочувствительность при заданном коэффициенте контрастности пропорциональна его объёму. Итак, имеем crl SVi (1.3.3.10) где S - светочувствительность.
В [25] приводятся экспериментальные данные, подтверждающие эту закономерность. Следует отметить, что подобные соотношения общего характера прослеживаются на фотоматериалах одного типа и одного периода изготовления.
Термин «апостериорная обработка» означает дополнительные преобразования изображения после его получения и регистрации с целью повышения его потребительских свойств. Иногда ещё говорят «вторичная обработка». Этот термин исторически возник для обозначения дополнительных преобразований фотоизображений, выполняемых после «первичной обработки» - их проявки и фиксации и в дальнейшем, с распространением оптико-электронных систем был распространён на любые типы изображений, в том числе те, для которых «первичная обработка» в прежнем понимании отсутствует.
Согласно теории информации никакие преобразования не способны увеличить количество содержащейся в изображении. Можно лишь преобразовать эту информацию в форму, более удобную для зрительного восприятия. Таким образом целью апостериорной обработки является согласование изображения со зрительной системой человека, оптимальное в смысле решаемой им задачи. В условиях громадного разнообразия зрительных задач и отсутствия общепринятой модели зрительного восприятия сложилось деление методов апостериорной обработки на «улучшение» (enhancement) и «восстановление» (restoration) изображений.
Под «улучшением» понимается преобразование изображений к виду, более удобному для решения стоящей перед наблюдателем задачи. При этом не предполагается сохранения подобия получаемого изображения исходному. Критерием качества того или иного метода «улучшения» изображений является непосредственно сравнительная успешность решения наблюдателем стоящей перед ним конкретной задачи, а ввиду трудности её формализации, часто просто личное мнение автора метода («экспертная оценка»). В качестве примеров «улучшения» изображений можно привести такие методы, как представление изображений в условных цветах, оконтуривание и т.п.
Под «восстановлением» изображений понимают приведение их к виду, наиболее близкому к виду идеального изображения, что позволяет при дешифрировании «восстановленных» изображений решать довольно широкий спектр задач. Под «идеальным» обычно понимают изображение, которое построила бы неискажающая и нешумящая система. Иначе говоря, система, строящая идеальное изображение, должна быть линейна, обладать бесконечно широкой полосой пропускания и не вносить шумов. На самом деле такая система не только не возможна, но и не нужна в силу ограниченной информационной ёмкости зрительной системы. Однако, поскольку мы заговорили о близости одного изображения к другому, встаёт вопрос о мере близости в пространстве изображений.
Очевидно, наилучшей была бы та мера, которая используется человеком при восприятии им изображений. Однако, общепринятой модели зрительного восприятия, как уже отмечалось, нет, хотя работы в этом направлении активно ведутся.
В пространстве изображений, эвклидовой метрике соответствует среднеквадратичное отклонение (СКО). К настоящему времени это наиболее распространённая, можно сказать общепринятая, метрика в пространстве изображений. Её достоинствами являются естественность, наглядность и лёгкость вычисления — особенно при цифровой обработке изображений. Недостатком является несоответствие СКО критериям, используемым нашим подсознанием. Например, импульсный шум может дать большое СКО незначительно затруднив зрительное восприятие. С другой стороны, если несколько исказить контур круга, это может дать небольшое СКО, резко изменив объект в нашем восприятии.
Соответственно, широко распространены методы восстановления изображений на основе критерия минимума СКО (МСКО критерий).
Наряду с критерием МСКО широко обсуждается критерий максимума апостериорной вероятности (МАВ критерий). При этом в результате обработки должно получаться изображение наиболее вероятное, принимая во внимание поступившее для обработки искажённое изображение (апостериорность), а также ту часть априорной информации, которую удастся формализовать. Этот подход начал стремительно развиваться, когда развитие цифровой техники вызвало вытеснение аналоговых методов апостериорной обработки цифровыми. В принципе он позволяет использовать любую доступную обработчику информацию, но на пути этой принципиальной возможности встают большие практические трудности. Следует отметить, что на основе МАВ можно разработать алгоритм восстановления изображения, но представляется затруднительным количественно оценить различие между двумя изображениями.
Вероятность опознавания изображений в присутствии аддитивно- мультипликативного шума
В вероятностных расчётах до сих пор использовалась либо чисто аддитивная модель комбинирования; сигнала и шума - см., например, [14,60,63,64], или, гораздо реже, мультипликативная модель - см. [65]. Приt практических расчётах принято считать, что практический интерес представляют фрагменты; небольшие по размеру несоответственно, имеющие небольшой контраст. Тогда, в пределах фрагмента с небольшим контрастом, шум можно считать аддитивным, независимо от истинного характера его связи с сигналом.
На самом деле, как отмечалось в главе 1, шум фотоэлектрической регистрации состоит из собственного теплового шума приёмника, не зависящего от уровня сигнала, и. совокупности фотонного шума.исходного излучения и дробового шума приёмника, которые: являются Пуассоновскими и, соответственно, их дисперсия- пропорциональна уровню сигнала. Тем самым зашумленное изображение можно представить в виде v(x) = с s(x) + sp{x)- N(x) (2.3 Л)
Здесь s(x) - распределение сигнала в; идеальном- незашумленном изображении, которого, вообще говорящие существует, поскольку в наложенном на фотоприёмник изображении уже присутствует фотонный шум. Рассмотрение одномерного случая принципиально не меняет формулы, но делает их компактнее; с и fi - параметры модели и N(x) - случайный шум. Соответственно, в случае фотоэлектрической регистрации р=0.5 -«Пуассоновский шум».
В случае фотографической регистрации шум гранулярности aD = Const4D - см. [24] стр.395 или [25] стр.152. Здесь D - плотность почернения фотоматериала иод- СКО шума, если же рассматривать в качестве сигнала пропускание, будем иметь более сложную зависимость.
Итак, рассмотрим задачу различения двух гипотез- см. [бб]. Перепишем выражение (2.1.1) с учётом дискретизации v c-Su+sS-N, (2.3.2) или vi=c-s2i+s Ni (2.3.3) в зависимости от того, который из двух объектов предъявлен. Будем считать, что Nt -центрированный гауссов процесс, имеющий плотность распределения ЧЛ0= Щ Р- к] (2-3.4) Здесь D\Nl ] = а] - дисперсия шума в /-ой точке.
Решение о том, который из объектов предъявлен, может быть принято на основании отношения правдоподобия: Л -іН, (2.3.5) w(V/S2) где w(V/Sk) - условная плотность вероятности реализации изображения V при условии, что предъявлен к-ът объект. Принимая во внимание закон комбинирования сигнала и шума, получим для г -ой точки w(v Ч) = 7ШРПехр- щ hfV (2.3.6) Для всего изображения в целом, соответственно, / ехр-іЕ р (2.3.7, Здесь detji?, j\- определитель корреляционной матрицы шума и \ВЦ} - матрица, обратная корреляционной. He представляет труда получить подобное выражение для случая т,2 а\. Здесь Pk -априорная вероятность предъявления А;-ого объекта. erf(z) - по-прежнему приведённая функция Лапласа- см.(2.1.21) и lni,2 - пороговые значения логарифма отношения правдоподобия - см. рис.2.3.1, сравнивая с которыми текущее значение /, принимается решение, который из объектов предъявлен. Оптимальные значения /„, минимизирующие полную вероятность ошибки, находятся из уравнения
Обратим внимание на интересную особенность: ни в одну из последних формул не входит дисперсия шума, т.е. вероятность распознавания изображений не будет в этом случае зависеть от шума, но только от отношений сигналов двух объектов. Если же перейти к случаю чисто мультипликативного коррелированного шума, появится зависимость матожиданий от шума через произведение элементов корреляционной и обратной ей матриц. При этом к сумме диагональных добавляются и перекрёстные члены. Таким образом здесь появляется зависимость не от величины шума, характеризуемой его дисперсией, а от его коррелированности, что отмечалось и в работе [65]. Это объясняется тем, что шум является как бы несущей, которая модулируется сигналом и дисперсия шума, в конечном счёте, определяется именно сигналом.
Сравним между собой формулы, полученные для общего случая и для случаев чисто аддитивной и чисто мультипликативной моделей. В общем случае формулы и для матожиданий и для дисперсий содержат по два разнохарактерных слагаемых, причём при переходе к чисто аддитивному случаю исчезает одно из них, а к мультипликативному -другое. Стоит также обратить внимание на, если можно так выразиться, контрастный характер восприятия, т.е. распознавание предъявляемых изображений зависит от отношения разности величин сигналов к их величинам. Эта зависимость усиливается с ростом /? и исчезает при переходе к чисто аддитивному случаю.
Таким образом, при переходе от чисто аддитивной к чисто мультипликативной модели зависимость распознавания от отношения сигнал/шум переходит в зависимость от разности величин сигналов, отнесённой к их абсолютным значениям, т.е. в зависимость от некоторого подобия контраста, при независимости от степени зашумления, а для белого шума - от шума вообще. Речь идёт не о контрасте, а о его подобии, в силу произвольности показателя J3. Было проведено численное исследование полученных формул.
В качестве исходных объектов были взяты двухшпальная мира (элемент миры Кобба) и равномерно засвеченный квадрат - см. рис.2.2.1. При этом уровни сигнала в объектах были выбраны так, чтобы нельзя было различить, объекты по полному сигналу. Размер стороны объектов был взят Л =30ед.
Суммарное действие большого числа различных факторов согласно центральной предельной теореме, должно приводить к ФРТ колоколообразной формы, описываемой функцией Гаусса h{x,y) = exV{- f), (2.3.23) где параметр g определял степень размытия.
В подобных расчётах большой интерес представляет сопоставление с хорошо исследованным случаем чисто аддитивного комбинирования сигнала и шума. Но, поскольку в нашем случае шум зависит от сигнала, то встаёт вопрос о соответствии величин аддитивного и аддитивно-мультипликативного шума. Кроме того, приобретает большое значение уровень фоновой засветки: в отличие от чисто аддитивного случая, значение имеет уже не абсолютная величина сигнала, а его контраст. На рисунке 2.3.2 кривая 1 соответствует чисто аддитивному случаю при уровне сигнала равном 1ед. и шуме с дисперсией сР-0.02ед. При этом по оси абсцисс отложена величинаg, т.е. степень размытия, а по оси ординат — вероятность правильного опознания предъявленного объекта. Она больше уровня Р=0.5, т.к. это вероятность простого угадывания в случае двух предъявляемых объектов. Остальные кривые соответствуют аддитивно-мультипликативному шуму при разных уровнях фона, т.е. при разных контрастах изображения. Абсолютная величина сигнала при этом не менялась, оставаясь той же, что и в чисто аддитивном случае. При этом у нижних кривых дисперсии шума аддитивного случая приравнивалась дисперсия шума, соответствующая фону аддитивно-мультипликативного случая, а у верхних - дисперсии шума, соответствующей сумме величин фона и сигнала. Следовательно, для кривых, лежащих ниже кривой, соответствующей чисто аддитивному случаю, шум в местах, где не было изображения объекта соответствовал шуму чисто аддитивного случая. Там же, где располагалось изображение объекта, шум в аддитивно-мультипликативном случае был выше. При этом с увеличением размытия контраст объекта падает, шум везде становится приблизительно одного уровня и кривые для аддитивного и аддитивно-мультипликативного случаев сливаются. Для верхних же кривых всё происходит наоборот. Соответственно, при усилении размытия шум в аддитивно-мультипликативном случае становится ниже, чем в чисто аддитивном случае, по всему полю зрения и кривые идут выше чисто аддитивной кривой.
Временные характеристики опознавания размытых изображений
В ходе проведённого теоретического исследования получено выражение для максимальной вероятности распознавания размытых изображение двух объектов в присутствии аддитивного нормального шума. Далее были исследованы многоальтернативная задача, а также двухальтернативная задача в случае сложного аддитивно-мультипликатиного шума. Полученная для этой задачи формула позволяет переходить к задачам с чисто аддитивным и чисто мультипликативным шумом, как к частным случаям полученного общего решения. Продемонстрирована возможность применения полученного аппарата для оптимизации как отдельных звеньев фотографических систем, так и соотношения между ними. Введение в модель ограничений, присущих зрительному восприятию (ФПМ, шум зрения, предположение о сопоставлении" в процессе распознавания искажённого изображения объекта с его «идеальным» образом) позволило оценить вероятность распознавания размытых зашумленных изображений реальным человеком наблюдателем, т.е. для рассматриваемой задачи распознавания малоразмерных малоконтрастных размытых и зашумленных изображений была получена математическая модель «реального наблюдателя». Предложено использовать сопоставление максимальной вероятности правильного распознавания с вероятностью, получаемой при посредстве разработанной модели «реального наблюдателя» для оценки целесообразности и эффективности апостериорной обработки. Определение совместной вероятности одновременного обнаружения каждой шпалы трёхшпальной миры на фоне соседних с ней промежутков моделью «реального наблюдателя» позволило приблизить расчётные оценки разрешающей способности систем с немонотонной передаточной характеристикой и, в частности, фотоэлектрических систем к оценкам, получаемым в ходе экспериментов с реальными дешифровщиками.
Глава 3.-Экспериментальное исследование зрительного восприятия человека-наблюдателя.
С целью построения модели зрительного восприятия нами было проведено экспериментальное исследование распознавания малоразмерных малоконтрастных размытых и зашумленных объектов человеком-наблюдателем.
Нас интересовала модель, позволяющая учитывать влияние немонотонных передаточных характеристик, что повлияло на выбор алфавита исходных объектов и условий эксперимента. Ввиду частотной селективности подобных систем объекты должны были быть широкополосными.
В качестве тестовых использовались восемь объектов (рис.3.1.1), являющихся частью набора тестовых фигур [86]. Для обеспечения воспроизводимости и тщательного контроля параметров тестовые изображения изготовлялись на специализированном цифровом комплексе для обработки изображений. Процедура изготовления тестовых изображений включала в себя формирование в цифровой форме резких фигур и размытие их путем свертки с функцией рассеяния точки: 1 ( Xі + у
Здесь g— параметр размытия, составляющий 0; 0.07; 0.13; 0.20; 0.27 от размера неразмытого объекта. Далее полученный цифровой массив логарифмировался (моделировался переход от экспозиций к оптическим плотностям фотопочернения) и на него накладьгоался аддитивный гауссов квазибелый шум. После этого полученное изображение выводилось на фотопленку. При этом параметры фотопроцессов подбирались так, чтобы обеспечить линейное соответствие между отсчётами размытого изображения до логарифмирования и коэффициента пропускания диапозитива или коэффициента отражения фотоотпечатка. Линейность контролировалась по выводимому вместе с изображениями ступенчатому клину. Кроме подбора параметров фотопроцессов линейность обеспечивалась специальной программой компенсации нелинейности при фотовыводе. Объект располагался в центре изображения. При этом даже в случае максимального размытия протяжённость невозмущенного размытым объектом шумового фона превышала протяженность возмущённой зоны. Отношение шум/сигнал С принимало значения: 0; 0.0625; 0.125; 0.25; 0.5 при контрасте изображений 0.67 и 0.75; 1.5; 2; 3 при контрасте 0.11. Под контрастом понимался перепад оптических плотностей почернений неразмытого объекта и фона, а под отношением шум/сигнал — отношение СКО шума к перепаду плотностей объекта и фона. Контраст во второй группе тестовых изображений был уменьшен ввиду невозможности из-за технических ограничений другим путем получить большие отношения шум/сигнал. л Изображения большого контраста были синтезированы для всех восьми объектов при одной реализации шума. Изображения малого контраста были синтезированы для первых четырех объектов при трёх различных реализациях шума.
Психофизические эксперименты с изготовленными нами наборами тестовых изображений ставились НИИММ ЛГУ им.А.А.Жданова и на базе ИФ АН СССР им.И.П.Павлова и методики их отличались.
НИИММ ЛГУ мы передавали тестовые изображения в форме отпечатков на фотобумаге. В первом наборе тестовых изображений неразмытый объект имел размер 1x1см. Предъявлялись тестовые изображения наблюдателям на телеэкране на ограниченное время.
При переходе ко второму набору тестовых изображений их размер был уменьшен так, чтобы неразмытый объект имел размер 0.35x0.35см и предъявлялись наблюдателям теперь сами фотоотпечатки. Время не ограничивалось.
В эксперименте, проводившемся НИИММ допускались отказы от опознавания, которые оценивались как неправильные ответы.
В ИФ АН СССР тестовые изображения применялись в форме слайдов. При этом резкий объект имел размер 1,5x1,5мм. Изображения предъявляли с помощью оптической тахистоскопической установки, проецируя их на экран, центрированно, по одному, в случайном порядке и с равной, вероятностью каждое. Угловой размер изображения был равен 25 угловым минутам. Между предъявлениями в поле зрения наблюдателя находилось "стирающее", маскирующее изображение, составленное из белых и черных квадратов, расположенных в поле зрения в случайном порядке; размер их соответствовал размеру изображения. По спектральному составу маскирующее изображение перекрывало диапазон пространственных частот, представленных в тестовых изображениях.
В исследовании принимали участие пять наблюдателей с нормальным зрением (три из них до этого участвовали в тахистоскопических экспериментах). Перед началом эксперимента наблюдателей знакомили с набором объектов. Тестовые изображения предъявляли по одному в случайном порядке по отношению к форме объекта, степени размытия и зашумления и с равной вероятностью. Длительность предъявления тестовых изображений варьировали так, чтобы для каждого наблюдателя имелось 6-И 2 длительностей в диапазоне от безошибочного опознания до уровня случайного угадывания. В зависимости от размытия, зашумления и контраста изображений этот диапазон включал в себя длительности от Юмсек до 2сек и более — до момента ответа наблюдателя. При каждом предъявлении тестового изображения наблюдатель должен был опознать объект. Время ответа не ограничивали, ответа «не знаю» не разрешали. С каждым наблюдателем было проведено от 10 до 40 опытов. Получали матрицы распределения ответов о предъявленном изображении (число предъявлений каждого тестового изображения для разных серий опытов варьировалось от 50 до 150).
