Методы и аппаратно-программные средства оптимизации и адаптации телевизионных систем обнаружения малоконтрастных объектов Чиркунова Анастасия Анатольевна

Содержание к диссертации

Введение

1 Физические основы формирования изображений малоконтрастных объектов 12

1.1 Физическая и сигнальная модели формирования малоконтрастных изображений объектов 12

1.2 Информационные признаки обнаруживаемых объектов 17

1.3 Характеристика оптической среды 22

1.4 Учет параметров телевизионных систем при формировании изображений малоконтрастных объектов 27

1.5 Контрастная чувствительность 31

1.6 Формирование изображений малоконтрастных объектов, находящихся в мутных средах 34

1.7 Современное состояние и перспективы развития методов повышения качества передачи изображений малоконтрастных объектов 43

1.8 Выводы по главе

Постановка цели и задач исследования 51

2 Методы оптимизации и адаптации телевизионных систем обнаружения малоконтрастных объектов 53

2.1 Причины снижения качества передачи изображений объектов, обнаруживаемых в мутных средах 53

2.2 Оптимизация характеристик и параметров телевизионных системы с целью повышения контрастной чувствительности 55

2.3 Оптимизация спектральной характеристики телевизионной системы 70

2.4 Метод комбинирования спектральных диапазонов 85

2.5 Оценка минимально достаточного числа уровней квантования при передаче изображений малоконтрастных объектов 91

2.6 Метод формирования адаптивного порога 95

2.7 Выводы по главе 2 98

3 Аппаратно-программная реализация методов оптимизации и адаптации телевизионных систем обнаружения малоконтрастных объектов 101

3.1 Области применения метода комбинирования спектральных диапазонов 101

3.2 Телевизионная система визуализации кровеносных сосудов 103

3.3 Телевизионная система обнаружения в неблагоприятных метеоусловиях 118

3.4 Выводы по главе 3 123

4 Макетирование и экспериментальная оценка эффективности предложенных методов и устройств 125

4.1 Экспериментальная оценка алгоритма оптимизации спектральной характеристики телевизионной системы 125

4.2 Экспериментальная оценка алгоритма адаптации спектральной характеристики телевизионной системы к условиям априорной неопределенности 133

4.3 Оценка эффективности метода комбинирования спектральных диапазонов при обнаружении в мутных средах 137

4.4 Оценка эффективности предложенного режима адаптивного суммирования по пространству

4.5 Выводы по главе 4 147

Заключение 149

Список использованных источников

• Учет параметров телевизионных систем при формировании изображений малоконтрастных объектов
• Оптимизация характеристик и параметров телевизионных системы с целью повышения контрастной чувствительности
• Телевизионная система визуализации кровеносных сосудов
• Экспериментальная оценка алгоритма адаптации спектральной характеристики телевизионной системы к условиям априорной неопределенности

Введение к работе

Актуальность темы исследования. Современные телевизионные (ТВ) системы в операторном или автоматическом режимах обеспечивают решение задач обнаружения, селекции, измерения, классификации и распознавания объектов во многих областях народного хозяйства, таких как: подводное видение, обнаружение объектов в сложных метеоусловиях, дистанционное зондирование Земли: определение состояния растительности и содержания воды в биомассе, оценка степени загрязненности водоемов, локализация водоемов, русел рек, болот и границ лесов; обнаружение людей в условиях задымленности; оптическая микроскопия и сортировка, в том числе определение состава материалов; обнаружение подделок; анализ свежести продуктов питания; ТВ методы визуализации и диагностики биологических тканей и др.

В основу анализа изображений на обозначенных уровнях заложено
исследование информационных признаков объектов: пространственных,

временных, спектрально-энергетических.

При использовании спектрально-энергетических признаков особую сложность вызывает обнаружение малоконтрастных объектов, т. е. объектов близких спектрально-энергетических классов, появление которых возможно в любой из перечисленных областей народного хозяйства.

Степень разработанности. В настоящее время для обнаружения

малоконтрастных объектов применяются активно-импульсные (АИ),

тепловизионные (ТПВ) и ТВ системы на кремниевых фотоприемниках (ФП).

Как правило, АИ системы эффективны лишь в некоторых типах мутных сред, имеют малый угол поля зрения, который ограничивает их возможности и позволяет использовать только в режиме идентификации объекта. В режиме поиска, используются ТВ системы на кремниевых ФП, что в сложных условиях видимости не всегда эффективно, т. к. не позволяет обеспечить дальность действия сравнимую с дальностью действия АИ ТВ систем. Кроме того, демаскирующий режим работы АИ ТВ систем ограничивает их использование при решении ряда специальных задач.

Известные ТПВ системы позволяют наблюдать только тепловые контрасты вплоть до 50 мК, однако часто тепловой контраст на наблюдаемых изображениях отсутствует и, к тому же, распространение теплового излучения 8…14 мкм сильно подвержено метеорологическим условиям, значительно поглощается водой и рядом других сред, например, дымом.

ТВ системы обнаружения малоконтрастных объектов на кремниевых ФП
имеют ряд преимуществ, заключающихся в том, что они превосходят ТПВ и АИ
ТВ системы в существенно более широком диапазоне условий наблюдения. В
видимом и ближнем инфракрасном диапазонах наблюдения данные системы
широко распространены, имеют низкие значения массогабаритных параметров и
стоимость, а массовость производства позволяет постоянно улучшать их
технические параметры и характеристики. Кроме того, изображения,

формируемые ТВ системами на кремниевых ФП, комфортны для системы «глаз-мозг» человека, что важно при операторном режиме работы. С целью повышения

эффективности, они могут применяться в составе комбинированных ТВ систем, совместно с ТПВ и АИ ТВ системами, вплоть до синтеза изображений.

Для повышения достоверности и результативности анализа видеосигналов ТВ системами на кремниевых ФП, а также увеличения дальности их действия, актуальным является повышение качества передачи изображений малоконтрастных объектов.

Разработке и исследованию методов повышения качества передачи изображений малоконтрастных объектов и спектральной селекции посвящены работы таких авторов, как В. К. Зворыкин, А. Роуз, Я. А. Рыфтин, Р. Е. Быков, Н. В. Лысенко, А. К. Цыцулин, А. А. Гоголь, Ю. С. Сагдуллаев, С. Д. Ковин, А. Н. Куликов, А. И. Румянцев, Н. П. Корнышев, Б. С. Тимофеев, S. Ssstrunk, D. Firmenich, X. Zhang, T. Sim, коллектива авторов кафедры ТВ СПбГЭТУ «ЛЭТИ» и др.

Цели и задачи. Целью диссертационной работы является разработка методов адаптации и оптимизации характеристик и параметров ТВ систем обнаружения малоконтрастных объектов в различных условиях наблюдения.

Для достижения поставленной цели в работе решаются следующие задачи.

1. Синтез алгоритмов оптимизации спектральной характеристики ТВ системы обнаружения малоконтрастных объектов при наличии априорной или апостериорной информации о среде, а также адаптации в условиях априорной неопределенности оптических свойств среды.

2. Разработка метода комбинирования спектральных диапазонов с целью компенсации сигнала помехи, создаваемой средой.

3. Оптимизация и адаптация временных и пространственных параметров ТВ системы для повышения ее контрастной чувствительности с минимальными потерями во временном и пространственном разрешении.

4. Оптимизация числа уровней квантования видеосигналов от малоконтрастных объектов с целью его согласования с контрастной чувствительностью и пропускной способностью канала связи.

5. Разработка метода формирования адаптивного порога обнаружения малоконтрастных объектов.

Научная новизна.

6. Синтезирован алгоритм адаптации спектральной характеристики ТВ системы обнаружения малоконтрастных объектов в условиях априорной неопределенности оптических свойств среды распространения излучения, обеспечивающий максимум отношения сигнал/шум на выходе ТВ системы.

7. Синтезирован алгоритм оптимизации спектральной характеристики ТВ системы в условиях наличия априорной или апостериорной информации о среде, обеспечивающий максимум произведения отношения сигнал/шум и контраста при обнаружении малоконтрастных объектов.

8. Разработан метод компенсации сигнала помехи, создаваемой средой, отличающийся учетом особенностей формирования изображений в условиях переменных оптических свойств среды и позволяющий повысить отношение сигнал/шум на выходе ТВ системы и контраст формируемых изображений.

9. Предложен вариант реализации режима адаптивного суммирования

соседних пикселов по пространству и времени, отличающийся сниженными потерями в пространственном и временном разрешении ТВ системы, работающий с сигналами средней интенсивности и позволяющий повысить контрастную чувствительность ТВ системы.

5. Получено аналитическое выражение для определения числа уровней квантования, позволяющее согласовать поток цифровых видеоданных с ограниченной пропускной способностью канала связи без ухудшения контрастной чувствительности и отличающееся адаптивностью к условиям наблюдения.

6. Разработан метод формирования адаптивного порога, позволяющий принять решение о наличии полезного сигнала при обнаружении малоконтрастных объектов и отличающийся учетом уровня освещенности в фокальной плоскости.

Теоретическая значимость работы.

1. Исследовано влияние среды распространения излучения на суммарный оптический сигнал, приходящий на вход ТВ системы. Установлено, что разделение полезного сигнала и сигнала помехи, формируемой средой с последующей компенсацией его в суммарном сигнале позволяет повысить качество передачи изображений малоконтрастных объектов.

2. Показано, что верхняя и нижняя границы оптимального в данных условиях наблюдения спектрального фильтра для выделения малоконтрастных объектов соответствуют максимуму произведения отношения сигнал/шум и контраста и могут быть найдены итерационным путем.

3. Разработан метод, позволяющий решить задачу выставления адаптивного порога обнаружения малоконтрастного объекта на фоне и учитывающий, что среднеквадратическое отклонение (СКО) фотонного шума увеличивается по мере роста полезного сигнала.

Практическая значимость работы.

4. Предложенный алгоритм адаптации с последующей оптимизацией спектральной характеристики ТВ системы позволяет определить границы спектральных диапазонов для обнаружения малоконтрастных объектов.

5. Разработанный метод комбинирования спектральных диапазонов позволяет скомпенсировать влияние среды распространения излучения на полезный сигнал, и как следствие, повысить качество передачи изображений малоконтрастных объектов.

6. На основе полученного аналитического выражения разработчик ТВ систем может выбрать оптимальное число и значение уровней квантования, позволяющее минимизировать поток цифровых видеоданных, реализуя при этом потенциальную контрастную чувствительность.

7. Разработанный пороговый метод позволяет рассчитать значение адаптивного к уровням входного сигнала порога обнаружения.

Практическая ценность разработанных методов и алгоритмов адаптации и оптимизации подтверждается успешной реализацией их в опытном образце ТВ системы визуализации кровеносных сосудов «ВЕНОВИЗОР» и в ТВ системе пригоризонтного обнаружения.

Методология и методы исследования. Для решения поставленных в диссертационной работе задач были использованы: статистические методы

анализа и синтеза радиотехнических систем, методы теории приближенных вычислений, методы теории информации, методы математического анализа, методы математического моделирования и численного анализа, методы компьютерного моделирования в среде Matlab и физические эксперименты.

Основные положения, выносимые на защиту.

8. Предложенный алгоритм повышения отношения сигнал/шум на выходе ТВ системы, базирующийся на адаптации и оптимизации спектральной характеристики ТВ системы, позволяет повысить отношение сигнал/шум и контраст изображения до 10 раз в зависимости от типа обнаруживаемого объекта.

9. Предложенный метод комбинирования спектральных диапазонов, основанный на компенсации сигнала помехи, формируемой средой, при обнаружении объектов в мутных средах обеспечивает выигрыш в отношении сигнал/шум на выходе ТВ системы в комплексированном канале и в контрасте на изображении в 1,3…2,1 раза по сравнению с системами с одним спектральным каналом.

10. Разработанный вариант реализации режима адаптивного суммирования сигналов n соседних пикселов по пространству и времени позволяет в корень из n повысить контрастную чувствительность с минимальными потерями в пространственном и временном разрешении.

11. Оптимизация числа и значения уровней квантования позволяет согласовать поток цифровых видеоданных с ограниченной пропускной способностью канала связи без ухудшения контрастной чувствительности.

12. Предложенный метод формирования адаптивного порога позволяет обнаруживать сигналы от малоконтрастных объектов различной интенсивности.

Степень достоверности и апробация работы. Обоснованность и достоверность научных положений, результатов и выводов диссертации обуславливается корректным использованием методов исследования, применением современных вычислительных средств и программных комплексов, а также результатами экспериментальных исследований. Полученные результаты не противоречат ранее полученным данным, описанным в литературе другими авторами.

Основные положения и научные результаты работы докладывались и обсуждались на научно-технических конференциях (НТК): международной НТК «Телевидение: передача и обработка изображений» в 2013-2016 гг. (г. СПб), международной НТК «Современное телевидение и радиоэлектроника» в 2014 г. (г. Москва), НТК «Системы наблюдения, мониторинга и дистанционного зондирования Земли» в 2014 г. (г. Сочи), International Scientific Symposium «Sense. Enable. SPITSE» в 2015 г. (г. СПб), международной НТК DSPA-2016 в 2016 г. (г. Москва), Proceedings of the 2016 IEEE ElConRusNW в 2016 г. (г. СПб), 68-69-ой НТК ППС СПбГЭТУ «ЛЭТИ» в 2015-2016 гг. (г. СПб).

За результаты исследований и разработок по теме диссертации получены дипломы победителя конкурсов: 6-й ежегодной НТК молодых специалистов «Техника и технология современной фотоэлектроники»; в номинации «Лучший инновационный проект» на 5-м международном молодежном промышленном форуме «Инженеры будущего-2015»; программы «УМНИК».

Внедрение результатов диссертации. Полученные научные и практические

результаты использовались при выполнении ОКР в АО «НИИ телевидения», ООО «Адванст Мобилити Солюшинз»; в учебном процессе СПбГЭТУ «ЛЭТИ».

Публикации. Основные теоретические и практические результаты диссертации опубликованы в 16 печатных работах, среди которых 5 научных статей в рецензируемых изданиях, входящих в перечень рекомендованных ВАК РФ, в т. ч. 1 статья без соавторов, 3 статьи были опубликованы в зарубежных изданиях, индексируемых в базе Scopus и WoS, 1 патент на изобретение, 1 свидетельство программы для ЭВМ, 6 статей, опубликованных в других изданиях и материалах конференций.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав с выводами, заключения. Основная часть изложена на 137 страницах машинописного текста, включает 91 рисунок, 19 таблиц, 4 приложения и содержит список литературы из 121 наименования.

Учет параметров телевизионных систем при формировании изображений малоконтрастных объектов

Собственные шумы ТВ камер разработчики сводят к минимуму. В условиях регистрации сигналов малых интенсивностей при наличии значительных фонов от ТВ камер требуется работа на пределе контрастной чувствительности. Тогда, в первую очередь, необходим учет фотонных шумов самого оптического сигнала, однако в некоторых случаях бывает необходим учет собственных шумов ФП.

В данной сигнальной модели под полезным сигналом понимается сигнал, содержащий информацию об интересующем объекте. Отличием представленной модели от аналогичных [2, 64, 65] является учет не только информации об объекте, но информации о фоне, находящемся вокруг объекта, а также о среде, через которую наблюдаются объект и фон. Обозначенные источники помех не могут быть сведены к одной точке модели.

Основной задачей, решаемой с помощью представленной модели, является анализ прохождения полезного сигнала через среду с разной степенью прозрачности и звенья ТВ системы, а также причин низкого контраста изображений с целью оптимизации параметров и характеристик последней при наличии априорной или апостериорной информации об оптических свойствах среды и адаптации при априорной неопределенности оптических свойств среды.

Низкий контраст изображений может быть вызван как принадлежностью объектов к близким спектрально-энергетическим классам, так и экстинкцией полезного сигнала средой распространения с разной степенью прозрачности.

Следует отметить, что согласно [2], распределение потерь полезного сигнала по звеньям радиотехнической системы соответствует экспоненциальному закону, то максимальные потери приходятся на входной тракт - оптическую систему. Это означает, что к ней должны предъявляться более строгие требования.

Результатом решения обозначенной задачи является повышение качества передачи изображений малоконтрастных объектов - отношения сигнал/шум и контраста. Рассмотрим, что представляет собой суммарный сигнал, соответствующий произвольному пикселу изображения. Оптический сигнал, поступающий на вход ТВ системы W (, х, у, о = Ws (, х, у, 0 + Wb (, х, у, о + Wt (, х, у, t\ где Ws (, х,у, 0 - оптический сигнал от обнаруживаемого объекта, Wb (, х,у, t) -оптический сигнал от фона, Wt (, х,у, і) - оптический сигнал от среды.

Зависимость данных сигналов от X указывает на произвольный спектральный состав оптического излучения, отраженного от фона, объекта и среды, зависимость от (х,у) говорит о сложной природе объекта, фона и среды, а зависимость от t - об их динамических свойствах.

Зависимость от пространственной координаты z не рассматривается, поскольку речь идет о планарных объектах.

Исходя из соотношения значений сигналов, можно выделить несколько основных классов сигналов изображений, формируемых излучениями от объекта, фона и среды, таблица 1.1. Таблица 1.1 - Возможный состав оптического сигнала W (, х,у) Номер класса Ws (, х, у, І) Wb (, x, y, t) Wx(, x, y, t) 1 1 0 0 2 0 1 0 3 [ОД] [ОД] 0 4 [ОД] 0 [ОД] 5 0 [ОД] [ОД] 6 [ОД] [ОД] [ОД] Первый, второй и третий классы сигналов соответствуют случаю, когда среда распространения оптически прозрачная 1() = 1, 2() = 1. Третий и шестой классы относятся к случаю, когда в пределы пиксела попадает граница объект-фон. Четвертый, пятый и шестой классы описывают распространение сигналов сквозь мутную среду 1() 1, 2() 1. Поскольку среда лежит перед обнаруживаемым объектом и фоном, то в суммарном сигнале всегда, кроме составляющих от объекта и/или фона, будут присутствовать составляющие сигнала среды.

Оптический сигнал от среды, аддитивно складываясь с полезным оптическим сигналом, вносит помеху, снижающую качество формируемых изображений.

Наиболее известным, простым и широко распространенным способом повышения качества изображений является линейная фильтрация [2, 66]. Однако подобные фильтры являются неадаптивными и для их корректной работы необходимо знание корреляционных функций или спектральных плотностей мощности. В связи с этим построение статистических моделей изображений требует больших усилий разработчиков и не является эффективным для ТВ систем, работающих в реальном времени.

Другим путем повышения качества малоконтрастных изображений являются разработка адаптивных методов [2, 67 - 72] компенсации сигнала среды и адаптация ТВ системы к оптическим свойствам среды.

В данной работе будут рассмотрены методы повышения качества передачи малоконтрастных изображений, применимые в процессе формирования сигналов, до использования методов цифровой обработки. Использование таких методов позволит реализовать потенциально возможные характеристики ТВ системы, т. к. они минимизируют потери, которые не могут быть компенсированы известными методами цифровой обработки.

Синтез ТВ системы обнаружения малоконтрастных объектов необходимо проводить на основе опорной триады, включающей в себя априорную информацию, ограничения и критерий качества [2, 2а]. Рассмотрим элементы обозначенной триады.

1. Априорная информация. Будем считать, не умоляя общности, что система относится к классу непрерывных, освещенность светочувствительной поверхности ФП лежит в пределах динамического диапазона, спектрально-энергетические характеристики объекта, фона и источника излучения известны, наблюдаемое поле стационарно.

2. Имеющиеся ограничения. К ним относится пропускная способность канала связи, скорость считывания информации с ФП, чувствительность и собственные шумы ФП.

3. Критерий качества. При решении задачи повышения качества передачи изображений малоконтрастных объектов ТВ системой будем использовать интегральный критерий качества, предложенный в [3, 44, 45] и включающий в себя совокупный максимум отношения сигнал/шум и контраста Qu=max(K), где – отношение сигнал/шум, K – контраст. При решении частной задачи согласования входного сигнала с характеристиками ТВ системы может использоваться промежуточный критерий максимума контраста Qu=max(K). При решении частной задачи адаптации характеристикам и параметров ТВ системы к оптическим свойствам среды может использоваться промежуточный критерий максимума отношения сигнал/шум

Оптимизация характеристик и параметров телевизионных системы с целью повышения контрастной чувствительности

Одной из решаемых в работе задач является обнаружение малоконтрастных кровеносных сосудов, расположенных под кожей человека.

Рассмотрим физическую модель, в которой средой является обескровленная кожа, а обнаруживаемым объектом – кровеносные сосуды. Кожа – мутная среда со средним показателем преломления отличным от окружающей среды. Пусть взаимное расположение ТВ камеры, источников освещения, объекта и среды соответствует случаю, представленному на рисунке 1.9 (б). Информационные признаки обескровленной кожи формируются коэффициентами спектрального поглощения и обратного рассеяния и определяются физико-анатомическими характеристиками ее слоев: составом, размером, формой, плотностью, показателем преломления структурных элементов, поляризацией падающего света и толщиной [90 - 96].

Информационные признаки кровеносных сосудов определяются спектральным коэффициентом поглощения.

Методы ТВ визуализации кровеносных сосудов в оптическом диапазоне основаны на регистрации ТВ камерой оптических сигналов, отраженных от кровеносных сосудов и отраженных от границ раздела воздух - роговой слой, эпидермис - дерма, дерма - подкожная жировая клетчатка, а также обратно рассеянных от эпидермиса, дермы, подкожной жировой клетчатки.

Отраженное от кровеносных сосудов оптическое излучение значительно ослабляется при прохождении слоев кожи, лежащих между кровеносными сосудами и приемником излучения. Данные слои кожи формируют сигнал помехи.

На рисунке 1.18 (а) показана осциллограмма видеосигнала изображения при регистрации отраженного оптического сигнала на глубине z1 от поверхности кожи на уровне залегания кровеносных сосудов. На рисунке 1.18 (б) представлена осциллограмма видеосигнала при регистрации отраженного оптического сигнала на некотором малом расстоянии от поверхности кожи. Возрастание амплитуды видеосигнала в интервале от x 1 до x2, показанного на рисунке 1.18 (б) по сравнению с амплитудой видеосигнала в аналогичном интервале на рисунке 1.18 (а) связано с тем, что обратно рассеянный оптический сигнал от обескровленной кожи суммируется с полезным оптическим сигналом от кровеносных сосудов.

На степень ослабления оптического сигнала от кровеносных сосудов и амплитуду сигнала помехи, создаваемой обескровленной кожей, лежащей между кровеносными сосудами и ТВ камерой, в значительной мере влияет толщина кожи, т.е. чем больше толщина кожи, тем сильнее ослабление оптического сигнала от кровеносных сосудов и тем выше значение амплитуды сигнала помехи.

Человеческая кожа состоит из трех основных слоев: эпидермиса, дермы и подкожной жировой клетчатки. Толщина слоев кожи имеет многофакторную зависимость от возраста, пола, состояния здоровья, локализации и т.д. В [90] приведена сводная таблица, показывающая толщину кожи на разных участках тела в мм. Толщина кожи, а также структурные компоненты, составляющие ее слои, определяют оптические свойства.

Особенности формирования изображений кровеносных сосудов, находящихся в коже зависят от оптических свойств кровеносных сосудов, слоев кожи, лежащих перед кровеносными сосудами, а также оптическими свойствами обескровленной кожи. Рассмотрим оптические характеристики обескровленной кожи и кровеносных сосудов в спектральном диапазоне [300, 1200] нм, которые необходимо учитывать при оптимизации характеристик и параметров ТВ системы визуализации кровеносных сосудов. Для этого зададимся оптической моделью кожи, учитывающей оптические свойства ее структурных компонентов.

В литературных источниках [91 – 93, 96 и др.] представлены варианты модельного описания кожи, которые отличаются друг от друга точностью описания и возможностью учета тех или иных особенностей кожи. Будем использовать наиболее общую геометрическую модель, которая приведена [91], рисунок 1.19.

Телевизионная система визуализации кровеносных сосудов

Необходимые значения контрастной чувствительности ТВ систем варьируются в зависимости от типа решаемой задачи, однако, ее повышение всегда является актуальной задачей.

Одним из путей повышения качества передачи изображений малоконтрастных объектов является применение ТВ систем с потенциальной контрастной чувствительностью.

Для достижения потенциальной контрастной чувствительности представляется естественным отказаться от сокращения времени накопления при интенсивных световых воздействиях и от логарифмической свет-сигнальной характеристики. В первом случае представляется разумным использование всех фотонов, достигших ФП. В этом случае значение отношения сигнал/шум, обусловленного фотонным шумом в световом сигнале, оказывается максимальным и встает задача его реализации на уровне видеосигнала. Для этого может быть использован метод повышения частоты кадров и цифрового накопления, причем частота кадров и, соответственно, длительность кадра, должны выбираться таким образом, чтобы во всех кадрах видеосигнал не достигал насыщения. При рассмотрении путей повышения контрастной чувствительности будем отталкиваться от среднего значения, принятого для зрительного анализатора и составляющего порядка 3 %. Согласно концепции А. Роуза, для повышения контрастной чувствительности необходим учет всех фотонов, о чем было сказано выше. Исходя из этого, возможны три варианта реализации концепции.

Первый вариант предполагает применение ФП с большей емкостью пиксела и, соответственно, с большей светочувствительной площадью пиксела. Контрастная чувствительность повышается за счет сбора большего количества фотонов от объекта. Увеличение площади пиксела может также осуществляться за счет применения режима бинирования в ФП. Практически достигаемое значение порогового контраста в ТВ камерах на ПЗС ФП составляет от 0,2% – для ФП с большой емкостью элемента [2] до 5…7% – для ФП ПЗС и КМОП с малым размером пиксела. Использование бинирования в ФП в данном случае реализует обмен пространственного разрешения на контрастную чувствительность.

Второй вариант связан с расширением динамического диапазона ТВ камер. Известные методы расширения динамического диапазона: сменные светофильтры различной плотности; автоматическая регулировка диафрагмы объектива; автоматическая регулировка времени накопления; использование различных времен накопления (использование нескольких массивов пикселов с разным временем накопления – технология SuperDynamic), логарифмический коэффициент преобразования светового потока в электрический видеосигнал в пикселе, хотя и отличаются технической реализацией, имеют общие черты. Использование всех вышеозначенных методов связано с потерями части фотонов или же образованных фотоэлектронов. Это противоречит положению о том, что необходимо использование максимального числа фотонов для достижения потенциальной контрастной чувствительности.

Таким образом, данные методы расширения динамического диапазона не улучшают контрастную чувствительность. Однако, применение режима цифрового накопления [2] позволяет как расширить динамический диапазон, так и увеличить контрастную чувствительность. При этом реализуется обмен быстродействия (частоты кадров) на контрастную чувствительность.

Третьим решением является переход к КМОП ФП с цифровым пикселом. Встроенный в каждый пиксел счетчик за время накопления подсчитывает число превышений некоторого порога, определяющего размер групп фотоэлектронов (10–30 электронов), реализуя групповой счет фотонов [2, 63]. Современный уровень норм точности изготовления 90 нм и менее позволяет реализовать счетчики в пикселе с числом разрядов до 24–26 [6а]. Таким образом, проблема повышения контрастной чувствительности связана с двумя аспектами. Во-первых, с оптимизацией параметров и характеристик ТВ системы обнаружения малоконтрастных объектов при наличии априорной информации об информационных признаках объекта, фона и среды. Оптимизация ТВ системы заключается в определении наилучших параметров накопления видеоинформации по четырем аргументам – времени, пространственным координатам и длине волны излучения. Во-вторых, в силу переменных условий наблюдения, повышение контрастной чувствительности связано с адаптацией ТВ системы к среде распространения излучения от объектов к приемнику излучения – ТВ системе в условиях априорной неопределенности оптических свойств последней.

Наличие шума приводит к снижению производительности ТВ систем. Оценка степени зашумленности изображения производится с помощью отношения сигнал/шум. Обобщенная модель шума представлена в стандарте EMVA1288 [81]. На ее основе можно составить диаграмму влияния различных видов шумов на каждом этапе преобразований, рисунок 2.2.

С одной стороны шумы ТВ камер можно подразделить на временные и пространственные.

Временной шум устанавливает предел чувствительности ФП в условиях низкой освещенности. Данный вид шума может быть уменьшен усреднением нескольких кадров или усреднением нескольких пикселов в пределах одного кадра. При этом реализуются фундаментальные обменные соотношения – обмен чувствительности на быстродействие в первом случае, и на пространственную разрешающую способность во втором.

Пространственный или геометрический шум в ФП на ПЗС и КМОП (Fixed Pattern Noise, FPN) не является настоящим шумом, так как значения его в определенном смысле детерминированы.

Можно различить две компоненты пространственного шума – аддитивную и мультипликативную.

Обе компоненты пространственного шума приводят к снижению контрастной чувствительности, т. к. маскируют полезный сигнал.

При этом аддитивная компонента оказывает большее влияние на малоконтрастные объекты при малых значениях видеосигнала, соизмеримых с уровнем аддитивной компоненты, а мультипликативная компонента наоборот, оказывает влияние на больших уровнях видеосигнала, когда разброс значений видеосигнала в пикселах и столбцах становится значительным.

Экспериментальная оценка алгоритма адаптации спектральной характеристики телевизионной системы к условиям априорной неопределенности

Важно отметить, что для решения задачи ТВ визуализации кровеносных сосудов должна использоваться цветная ТВ камера со снятым фильтром ИК отсечки. При этом при облучении синими светодиодами наличие или отсутствие фильтра ИК отсечки не принципиально, в отличие от инфракрасного канала, в котором он должен отсутствовать. С ТВ камеры 5 поступают видеосигналы спектральных каналов R, G, B.

Поскольку получено, что оптическое излучение спектрального диапазона от 300 до 500 нм максимально подвержено экстинкции и практически не проникает на глубину залегания сосудов, то сигнал спектрального канала В будем использовать для выделения сигнала помехи, создаваемой обескровленной кожей. Информацию о кровеносных сосудах возьмем из сигнала спектрального канала G.

Таким образом, сигналы B и G подвергаются НЧ фильтрации для снижения уровня шумов в блоке 1 НЧ фильтрации. Затем из них формируется сигнал помехи, создаваемой обескровленной кожей, лежащей между кровеносными сосудами и ТВ камерой Коэффициент пропорциональности к1 Є [0,1] определяет разницу информации о кровеносных сосудах в сигнале B1 иG1.

Так как для наблюдения кровеносных сосудов был выбран спектральный диапазон 800… 1000 нм, то для выделения сигнала от кровеносных сосудов будем использовать сигнал спектрального канала R Коэффициент пропорциональности к2 Є [0,1] определяется квадратом спектрального коэффициента пропускания обескровленной кожи. Коэффициент пропорциональности к3 Е [0,1] (1- fk2)2 показывает степень затухания оптического излучения в обескровленной коже. Затем видеосигнал Хоб поступает на блок 8 адаптивного суммирования по пространству с целью повышения контрастной чувствительности. Число шагов суммирования выбирается таким, чтобы были различимы сосуды диаметром 1 мм. Суммирование производится по методу, предложенному в 2.2.3. В блоке 9 адаптивного суммирования по времени происходит накопление видеосигнала для дальнейшего повышения контрастной чувствительности с помощью метода, предложенного в 2.2.4. Максимальное число шагов суммирования ограничено динамикой входного изображения. В блоке 10 цифровой обработки производится дальнейшее повышение качества изображения за счет использования методов локального контрастирования и повышения резкости [66, 73]. Сигнал с выхода блока 11 цифровой обработки подается на устройство 12 отображения видеоинформации. Достоинством применения в составе устройства трехсигнального ФП является широкая доступность и высокая степень проработанности вопроса формирования сигналов R, G, B.

Недостатком применения цветной ТВ камеры является то, что для регистрации информации о кровеносных сосудах используется канал красного, спектральный диапазон которого слишком широкий. Это приводит к тому, что в суммарный оптический сигнал замешивается большее количество сигнала помехи, создаваемого средой, чем было бы при регистрации излучения в диапазоне от 800 до 1000 нм.

Кроме того, цветная ТВ камера имеет низкие значения квантовой эффективности, не более 11%, в спектральном диапазоне от 800 до 1000 нм, что приводит к ее низкой чувствительности, как следствие, к снижению качества изображения кровеносных сосудов, а также отсутствует учет глубины залегания верхнего и нижнего слоев кровеносных сосудов.

На рисунке 3.8 представлена структурная схема устройства визуализации кровеносных сосудов с использованием четырехсигнального ФП, использованием четырехсигнального ФП Четырехсигнальные ФП (IR, R, G, B) появились на рынке только в 2016 году и являются инновационным продуктом. Рассмотрим возможность реализации варианта устройства визуализации кровеносных сосудов с использованием подобного ФП.

Устройство визуализации сосудистого русла содержит осветительное устройство 1 с максимумом длины волны излучения в диапазоне от 400 до 470 нм в синей области спектра и осветительное устройство 2 с максимумом длины волны излучения в диапазоне от 700 до 800 нм, а также осветительное устройство 3 с максимумом длины волны излучения в диапазоне от 810 до 890 нм в ближней инфракрасной области спектра, оптическую систему, состоящую спектрального светофильтра 4 и объектива 5, пропускающего излучение видимого и ближнего инфракрасного спектральных диапазонов, четырехспектральную ТВ камеру 6, блок 7 управления осветительными устройствами, блок 8 предварительной обработки видеоданных, блок 9 адаптивного суммирования по пространству, блок 10 адаптивного суммирования по времени, блок 11 цифровой обработки, соединенный с устройством 12 отображения и устройство 13 измерения уровня фоновой освещенности.

Объект 13 находится в поле зрения ТВ камеры 6 и, также, как и в случае варианта устройства с трехсигнальным ФП, рисунок 3.6, освещается в непрерывном режиме осветительными устройствами 1, 2 и 3. К осветительным устройствам 1, 2 и 3, а также блоку 7 управления предъявляются требования аналогичные варианту устройства визуализации кровеносных сосудов с трехсигнальным ФП.

Оптическое излучение, отраженное от поверхности кожи, внутренних частиц и кровеносных сосудов проходит через объектив 4, а затем спектральный светофильтр 5, который установлен между объективом и ФП. Спектральный светофильтр пропускает только длины волн двух спектральных диапазонов: от 300 до 500 нм и от 650 до 1100 нм.

Оптическое излучение регистрируется четырехспектральной ТВ камерой 6. В блоке 8 предварительной обработки видеоданных осуществляется комбинирование видеоданных с целью компенсации сигнала помехи, создаваемой слоями кожи, лежащими между сосудами и ТВ камерой. Обработка производится предложенным методом комбинирования спектральных диапазонов [14а].

В случае использования четырехканальной ТВ камеры, обработка ведется с помощью алгоритма, представленного на рисунке 3.9. Использование такой ТВ камеры, в отличие от варианта с цветной камерой позволяет учитывать особенность, связанную с глубиной залегания нижнего и верхнего слоев кровеносных сосудов, а использование спектральных диапазонов более близких к найденным теоретически позволяет дополнительно повысить качество формируемых изображений.