Содержание к диссертации
Введение
Глава I. Обзор современных моделей и методов цветовой сегментации 11
1.1. Основные понятия цветовой теории 11
1.2. Цветовая сегментация изображения в зрительной системе человека 17
1.3. Наиболее распространенные методы сегментации изображения - эвристический подход 20
1.4. Цветовая сегментация на основе линейной модели формирования спектрального стимула 30
Глава II. Математическая модель формирования изображения и методы линейной цветовой сегментации 35
II. 1. Цветовая объектная сегментация изображения как задача морфологического анализа 35
II. 2. Линейная модель формирования спектрального стимула и постановка задачи цветовой сегментации в терминах модели 37
II. 3. Ранговая классификация и редукция цветового пространства 50
II.4. Численные методы детекции несущих линейных подмногообразий в цветовом пространстве 58
Глава III. Итерационный алгоритм быстрого выделения объектов 71
Глава IV. Алгоритм автоматической цветовой сегментации, основанный на линейной модели формирования спектрального стимула 78
IV. 1. Предварительная сегментация изображения 78
IV .2. Критерии слияния областей 82
IV.3. Окончательная сегментация с использованием метода слияния областей 91
Глава V. Алгоритмы сегментации для изображений, полученных с некалибруемого нелинейного сенсора 102
V. 1. Типы и ориентация кластеров в нелинейном цветовом пространстве 102
V.2. Алгоритм сегментации в нелинейном цветовом пространстве для изображений сцен с малым числом объектов 106
V.3. Алгоритм сегментации с «полем внимания» для изображений произвольных сцен 110
Заключение 113
Список литературы 115
- Наиболее распространенные методы сегментации изображения - эвристический подход
- Линейная модель формирования спектрального стимула и постановка задачи цветовой сегментации в терминах модели
- Окончательная сегментация с использованием метода слияния областей
- Алгоритм сегментации в нелинейном цветовом пространстве для изображений сцен с малым числом объектов
Введение к работе
Актуальность темы
Алгоритмы оконтуривания границ объектов на цветном изображении (алгоритмы объектной цветовой сегментации) являются необходимым инструментом для решения различных прикладных задач в области обработки цветных изображений, связанных с их редактированием, анализом, синтезом, восстановлением и сжатием. Хотя в настоящий момент уже разработано большое число таких алгоритмов, как для автоматической, так и для контролируемой оператором сегментации, использование большинства из них не обеспечивает удовлетворительного результата. Причина этого в первую очередь заключается в том, что в этих алгоритмах моделью изображения однородно окрашенного объекта является однородный по цвету участок изображения. Однако, из-за существенных неоднородностей мощности и цветности освещения в пространстве сцены, а также по причине сложной структуры индикатрис рассеяния поверхностей объектов в сцене, изображение однородно окрашенного объекта является, как правило, существенно неоднородным по цвету. Более того, на изображении объекта появляются и дополнительные контрастные границы (границы бликов, теней и затенений). В итоге, при сегментации изображения классическими методами объект дробится на более мелкие области, границы которых не соответствуют какому-либо скачку отражательных свойств поверхности. Поэтому очевидно, что задача объектной сегментации не может быть удовлетворительно решена без учета оптических явлений, порождающих на изображении границы различных типов. Хотя уже давно понятно, что алгоритмы цветовой сегментации можно развивать, только ориентируясь на физическую модель сцены (с ее ограничениями и приближениями), число таких алгоритмов, тем более реализованных программно, исчисляется единицами (Николаев, 1988; Klinker et al., 1990; Gevers and Smeulders, 1999). В то же время потребность в устойчиво работающих алгоритмах цветовой сегментации велика. Таким образом, актуальность создания новых методов и алгоритмов обработки цветного изображения (основывающихся на физическом подходе) вполне очевидна.
Цель и задачи работы
Цель работы состоит в комплексном решении задачи различения на изображении сложной зрительной сцены областей, соответствующих однородно окрашенным объектам, и выявления их действительных границ (задачи цветовой объектной сегментации).
В работе решались следующие научные задачи:
Физическое обоснование линейной модели формирования цветного изображения и определение пределов её применимости.
Развитие методов оценки адекватности линейной модели формирования изображения по отношению к анализируемым изображениям.
Создание математической и алгоритмической базы для решения задачи цветовой сегментации в пределах применимости линейной модели.
Создание библиотеки алгоритмов автоматической и полуавтоматической объектной сегментации цветных изображений трёхмерных сцен со сложным освещением для использования прикладными программами обработки и сжатия изображений.
Методы исследований, достоверность и обоснованность результатов
Методологическую основу работы составляют современные методы цифровой обработки сигналов, методы статистического оценивания, теории вероятностей и математической статистики, вычислительные методы. Достоверность результатов диссертации обеспечивается использованием строгих математических методов для расчета, обработки и анализа данных. Достоверность также подтверждается численным экспериментом.
Научная новизна работы
Впервые дано физическое обоснование положениям линейной теории формирования спектрального стимула и определены границы её применимости. Построена исчерпывающая классификация рангов (типов) сцен и объектов сцены по сложности описывающей их математической модели.
Впервые линейная модель формирования изображения была исследована с помощью теории надежности статистических гипотез. Впервые, основываясь
на теории проверки статистических гипотез, были построены оптимальные критерии сегментации изображений сцен со сложным освещением.
Впервые на основе выводов линейной теории формирования спектрального стимула разработана алгоритмическая схема сегментации изображений, не требующая информации об условиях освещения и свойствах поверхностей объектов сцены. В отличие от аналогичных разработок, также основывающихся на теоретическом рассмотрении законов светорассеяния для построения квазиинвариантных (по отношению к условиям освещения и наблюдения) функций компонент изображения, но ориентированных на анализ определенных типов сцен, предложенная в работе схема корректна и применима при существенно меньших ограничениях на сложность сцены. Универсальность схемы по отношению к задаче типизации сцен обеспечивает ее применимость к реальным изображениям.
На основе предложенного подхода впервые разработаны эффективные алгоритмы автоматической цветовой сегментации и полуавтоматического выделения объектов, комбинирующие зарекомендовавшие себя в практических приложениях подходы и алгоритмы (алгоритм поиска водоразделов, метод слияния областей с использованием графа соседства) с результатами линейной теории формирования спектрального стимула и теории проверки статистических гипотез. Алгоритмы предназначены для обработки изображений высокого качества в условиях сложного цветного освещения.
Впервые разработан алгоритм автоматической цветовой сегментации для сенсоров, калбировка которых невозможна, использующий положения теории формирования спектрального стимула. Алгоритм предназначен для обработки изображений низкого качества.
Практическая ценность и реализация результатов работы
Разработанные схемы и алгоритмы сегментации могут применяться для обработки видеопоследовательностей изображений с целью их анализа, редактирования и сжатия. В дополнение к этому они могут быть использованы для обработки статических изображений, таких как фотографии, журнальные страницы и документы. Отдельные варианты предлагаемых алгоритмов цветовой сегментации были внедрены в качестве части программного
обеспечения Института перспективных технологий Самсунг (SAIT, Южная Корея) в рамках проекта по реализации стандарта MPEG-4 и поданы на патентование. На базе предложенных алгоритмов разработан фильтр бинаризации изображений цветных документов, вошедший в ядро сканирования и распознавания печатных и рукопечатных документов "Scanify" компании Cognitive Technologies, Ltd (Россия).
Основные результаты и положения, выдвигаемые на защиту
Цветное изображение однородно-окрашенного объекта при освещении источниками света различной цветности формируется в соответствии с линейной моделью цветных изображений: цветовое распределение объекта лежит в линейном подмногообразии цветового пространства линейного сенсора.
Адекватность линейной модели формирования изображения может быть проверена с помощью теории надежности статистических гипотез.
Параметры линейной модели формирования изображения могут быть найдены оптимальным образом методом собственных векторов или методом обобщённого преобразования Хафа, в зависимости от модели шума.
Алгоритмы сегментации, разработанные на основе линейной модели формирования изображения и теории надежности статистических гипотез, позволяют эффективно решать задачу различения объектов на изображении, в том числе в условиях сложного освещения (несколько источников света различной цветности).
Апробация работы
Основные результаты диссертации докладывались на международных
конференциях "Искусственные интеллектуальные системы" и
"Интеллектуальные САПР" (IEEE AIS и CAD) (пос. Дивноморское, Россия, сентябрь 2002, сентябрь 2003 и сентябрь 2004), на международном симпозиуме "25 European conference on Visual Perception" (г. Глазго, Великобритания, август 2002), на международном семинаре "6 German-Russian Workshop on Pattern Recognition and Image Understanding" (OGRW-6-2003) (пос. Катунь, Россия, август 2003), а также неоднократно обсуждались на семинарах лаборатории обработки сенсорной информации Института проблем передачи
информации РАН, на семинарах отдела когнитивных и компьютерных технологий Института системного анализа РАН и мультимедийной лаборатории Института перспективных технологий Самсунг (SAIT, Южная Корея).
Публикации, личный вклад автора
По материалам диссертации опубликовано 12 научных работ, из них 2 -тезисы докладов, 2 - патентные публикации.
Изложенные в диссертации результаты получены лично автором или при его непосредственном участии. В работах, выполненных вместе с соавторами, вклад автора является определяющим.
Структура и объём диссертации
Диссертация состоит из введения, трех частей: литературного обзора (глава I), теоретической части (глава II), алгоритмической и экспериментальной части (главы III, IV и V) и заключения. Работа изложена на 125 страницах, включающих 22 рисунка и список литературы из 120 наименований.
Наиболее распространенные методы сегментации изображения - эвристический подход
Большинство развиваемых алгоритмов технического зрения основывается на некоторых локальных свойствах самого изображения и не основано на сколько-нибудь строгих моделях физических процессов, лежащих в основе взаимодействия света с объектами сцены, процессов, которые собственно и формируют изображение. Задача сегментации в них ставится обычно как статистическая задача, главной целью которой является группирование между собой пикселей, которые семантически связаны. Поскольку сегментация используется в самых разных задачах компьютерного зрения, часто и этого оказывается достаточно (например, если нужно выделить какой-либо знак в печатном тексте). К тому же эти методы, как будет показано в настоящей работе, могут успешно использоваться и при наличии математической модели, поэтому остановимся на них подробнее. В рамках статистического подхода предложено довольно много разных алгоритмов сегментации, которые можно причислить к тому или иному типу. Большинство из них разработано для монохромных изображений (т.н. изображений в оттенках серого), и поэтому они используют в качестве анализируемого параметра только уровень яркости. В последнее время, однако, растет понимание того, что цветовые различия на изображении могут быть куда более весомы для сегментации. Было разработано несколько видов цветовых сегментаторов, в основе которых, как правило, лежат те же приемы обработки изображения, что и для монохромных. Как правило, эти алгоритмы основываются на независимой сегментации компонент (JC, ) цветного изображения, как если бы это было три монохромных изображения. На последнем этапе предлагаются различные схемы объединения полученных карт сегментации в единую карту.
Большинство разработанных к настоящему времени алгоритмов сегментации входит в одну из двух основных групп, различающихся по тому, какие локальные свойства изображения положены в основу сегментации: сходство или различие значений сигнала в соседних пикселях [1, 45, 46]. В алгоритмах первой группы используется региональный (Р) подход; их цель - выделение на изображении областей, которые удовлетворяют некоторому заданному критерию однородности. Вторые нацелены на выделение контуров (краев) (ВК), т.е. тех мест на изображении, в которых происходят скачки параметров, соответствующие в большинстве случаев границам объектов сцены или их частей.
Алгоритмы ВК типа. Описание ВК подхода как для монохромных, так и цветных изображений можно найти в литературе [ 1, 38, 46-53]. Первый этап ВК алгоритмов состоит в выделении краевых зон на основе порогового отсечения величины ответа некоторого оператора (т.н. детектора краёв: это может быть, например, модуль градиента или лапласиан) [49, 50]. Второй этап - дополнение краевых зон до единого замкнутого контура, соответствующего границе объекта [54-57]. Будучи локальными, алгоритмы ВК позволяют выделять мелкие области и аккуратно очерчивать границы между областями. При несомненных достоинствах этой техники, использование её в качестве основной приводит к большим трудностям. Носитель оператора детектора края, как правило, мал. Поэтому, из-за невозможности учесть крупномасштабные детали на изображении, в районе случайного шумового выброса или на размытой границе детектор края может допускать ошибки как вида ((ложное срабатывание», так и вида «отсутствие реакции». В итоге, на зашумленном изображении детектируется много ошибочных границ и, наоборот, участки слабо контрастной границы разрываются щелями. Проблема замыкания контуров является очень трудной и до конца еще не решена, поэтому найденные границы объектов оказываются часто незамкнутыми, что приводит к объединению областей, соответствующих разным объектам. Кроме того, при применении этого подхода необходимы некоторые дополнительные этапы, такие, как разметка сегментов, ограниченных контурами, поскольку это не входит в задачу собственно ВК алгоритмов.
Одним из самых перспективных детекторов краёв для монохромных изображений считается детектор Канни [50]. Детектор Канни даёт ответ, равный нулю, в точках, где модуль градиента в направлении градиента не достигает локального максимума и равен значению модуля градиента в остальных точках. Тем самым, в числе прочего, подавляется возможное многократное детектирование размытого края. Легко указать условия, в рамках которых детектор Канни абсолютно корректен. Если между двумя областями постоянной яркости имеется прямолинейная граница, то при сколь угодно сильном равномерном гауссовом размытии изображения (например, при дефокусировке), в каждой точке границы модуль градиента достигает локального максимума на отрезке в направлении градиента в этой точке, причём ни одного ложного максимума на изображении не будет.
Следует отметить, однако, что детектор Канни обладает тем же недостатком, что и другие детекторы краёв: он не гарантирует замкнутости найденного контура. Чтобы бороться с ограничениями, накладываемыми размером оператора, было предложено искать края Канни на различных масштабах, используя гауссову фильтрацию изображения с разными значениями параметра сглаживания [58, 59]. Такой подход позволяет улучшить результат детектирования, но по-прежнему не может гарантировать замкнутости найденных границ.
Алгоритмы, основанные на Р подходе, используют несколько разных схем: наращивания/слияния областей [32, 60-64], деления и объединения областей [65-67], релаксации/соревнования областей [33, 68]. Первые цветовые сегментаторы были основаны на анализе одномерных гистограмм различных цветовых компонент, обычно выбираемых оператором интерактивно [27, 28, 30, 69]. Построенные на этом приеме сегментаторы назвали сегментаторами Охландеровского типа по имени первого разработчика. Эти сегментаторы используют схему деления областей. В исходном алгоритме изображение делилось на все более мелкие части до тех пор, пока у каждой области распределение хотя бы по одному из выбранных цветовых признаков, (например, R, G, В, Н, S, I) не оказывалось унимодальным.
Линейная модель формирования спектрального стимула и постановка задачи цветовой сегментации в терминах модели
На стадии постепенного "затопления" пиксели, соседствующие с ранее "затопленными", приписываются к тому или иному "озеру" в соответствии с их близостью к ним. Эта схема была реализована и для цветных изображений [79]. В качестве градиента на цветном изображении использовалось максимальное значение всех градиентов цветовых компонент в этой точке. Вычислительно эта схема несколько более трудоемка, чем другая, основанная на аналогии санного спуска [80]. В этом алгоритме для каждого пикселя изображения производится градиентный спуск, а затем все пиксели группируются по их принадлежности к бассейнам локальных минимумов. В результате границы сегментов (групп пикселей) будут проходить вдоль «хребтов» значений детектора краев.
Недостатком алгоритма поиска водоразделов является пересегментация изображения (нахождение чрезмерно большого числа сегментов). Причина - большая чувствительность алгоритма к значению модуля градиента яркости (или другого детектора края) изображения. Для устранения пересегментации используются разные приемы: алгоритм слияния областей [74, 76], алгоритм перемасштабирования [75; 77] и др. [81].
Разрабатываются и алгоритмы, которые напрямую не относятся ни к Р, ни к ВК подходу. Поскольку сегментам изображения соответствуют определенные облака цветовых точек в 3D цветовом пространстве, для их разделения используются методы кластерного анализа [26, 82-85]. Сегментация с использованием методов кластеризации в цветовом пространстве является вычислительно дорогостоящей процедурой. Для упрощения может быть использовано проецирование цветовых векторов в пространства пониженной размерности [31, 86], но, как было указано при рассмотрении алгоритма
Охландера, это приводит к потере информации. Имеются и другие проблемы, ограничивающие эффективность кластеризационных методов. При разработке этих методов часто предполагается, что форма кластеров в ЦП описывается нормальным законом [26J. Однако, как следует из теоретических представлений [4, 7] и экспериментальных исследований ([18] данные, представленные в этой работе), эти кластеры имеют совершенно другие формы. Поэтому применение простейших статистик в кластерном анализе нельзя считать оправданным. В реальных изображениях цветовые кластеры разных однородно окрашенных объектов могут перекрываться, и, наоборот, поверхность одного и того же однородно окрашенного объекта может быть представлена несколькими кластерами (например, из-за наличия рёбер). Классические методы кластерного анализа, как правило, не могут правильно разделять перекрывающиеся кластеры. В последнее время были предложены алгоритмы нечёткой кластеризации [46, 87]. Они могут анализировать области перекрывания кластеров, в них может быть введена информация о форме и размере искомых кластеров. Однако для практической сегментации нечёткий подход используется еще сравнительно редко из-за его значительной трудоёмкости [88-90]. Однако коренной проблемой при использовании даже столь сложных вычислительных методов является отсутствие математической модели формирования изображения, а, следовательно, и математически обоснованных критериев анализа.
И монохромные, и цветовые сегментаторы "статистического" типа пока еще имеют существенные недостатки. При их использовании выясняется, что границы, найденные по скачкам параметров изображения, очень часто очерчивают не только области равномерной окраски объектов, но и области теней, бликов, участков объекта, где происходит резкое изменение освещения и т.п. Это обстоятельство приводит к тому, что для получения удовлетворительной объектной сегментации кроме первой фазы сегментации, называющейся еще низкоуровневой, приходится применять и вторую, высокоуровневую обработку изображения, в процессе которой делаются попытки удалить лишние границы. Это далеко не всегда удается без привлечения априорной информации о сцене. Даже после добавления сегментации второго уровня среди "статистических" цветовых алгоритмов пока еще не существует такого, который бы одинаково хорошо сегментировал разные изображения. Кроме того, применение разных алгоритмов к одному и тому же изображению дает существенно различающиеся результаты сегментации [91]. По-видимому, главной причиной того, что сегментация изображения все еще остается нерешенной проблемой является то, что широко используемые подходы игнорируют несоответствие между целью (выделением объектов) и алгоритмическими приемами (выделением границ на изображении, к которым относятся не только границы объектов, но и границы, порождаемые освещением). Очевидно, что "умные" алгоритмы цветовой сегментации должны учитывать в какой-то мере закономерности формирования изображения. Однако ясно и то, что обратная задача восстановления параметров, описывающих сцену (если неизвестны, в том числе, параметры освещения и отражательные свойства поверхностей) по двумерному изображению является некорректной, и для нее не существует однозначного решения. Двумерное изображение содержит лишь ограниченную информацию о сцене. Но, как выясняется в некоторых работах и в данной работе, в частности, эта информация может оказаться достаточной для решения именно задачи цветовой сегментации. Как показал анализ современных моделей взаимодействия света с веществом (см. ниже), важная для цветовой сегментации информация содержится в цветовых гистограммах изображения.
Линейная модель формирования спектрального стимула. Попытки использования физических моделей формирования изображения в задачах анализа изображений предпринимаются уже достаточно давно (см. [92]). Но приложение таких моделей к проблеме цветовой сегментации до сих пор все еще ограничено небольшим числом работ [4, 7, 8, 17, 18] (см. также введение). В цитируемых работах метод сегментации основывается на геометрических особенностях цветовых гистограмм, выявленных при анализе различных моделей рассеяния света на поверхности объектов. Как уже отмечалось, такая модель, впервые рассмотренная П. Николаевым для нескольких типов сцен разной степени сложности, была названа "линейной моделью формирования спектрального стимула". Модель С. Шефера, названную им "дихроматической моделью отражения", можно рассматривать как частный случай более общей линейной модели формирования спектрального стимула.
Окончательная сегментация с использованием метода слияния областей
Геометрические факторы зависят от мощности источника света, ИДФОС поверхностей и взаимного расположения источников, объектов и сенсора в сцене. Первая сумма в выражении (11.13а) описывает составляющую спектрального стимула, пришедшего непосредственно от источников света в сцене. Вторая сумма описывает структуру света, однократно отражённого от какой-либо поверхности в сцене, третья - дважды отражённого, и так далее.
Таким образом, в рамках линейной модели, (11.13а) является общим видом решения системы (II.6). Для того чтобы получить значения , щ и, п„„мг ., v ) требуется решить систему интегральных уравнений. Однако, как будет показано ниже, для решения задачи цветовой сегментации в этом нет необходимости.
Заметим, что при приближённых расчётах спектрального стимула по формуле (11.13а) часто учитывается только освещённость, создаваемая непосредственно источниками света. Но в некоторых случаях вторичным освещением, создаваемым самой поверхностью или соседним объектом (интер- и авторефлексами) нельзя пренебречь. Это касается, например, узких глубоких складок - в них освещение преимущественно создаётся именно вторичными источниками. Другой распространённый случай -вторичное освещение в закрытых помещениях. В комнате со светлыми стенами вклад вторичного освещения может составлять около 20% общей мощности. Однако, во многих случаях, в том числе и в последнем, вклад иктеррефлексов в освещение может быть учтён путём введения в модель дополнительного источника света либо пересчётом интегральной яркости излучения одного из первичных источников.
Определим теперь понятие ранга объекта. Для этого рассмотрим совокупность спектральных функций L, элементами которой являются разности между спектральными стимулами от каждой точки объекта и спектрального стимула от произвольной фиксированной точки объекта г0: L — \Р(Л,г) F\X,ra)}. Пусть ранг L в линейном пространстве относительных спектральных функций равен п, тогда (11.13 а) можно переписать в виде: где {Л/Дл.)] - ортонормированный базис L, а относительная спектральная функция М\{л) ортогональна этому базису (если g . - не ноль). Здесь подразумевается, что если ранг L равен нулю, то в формуле (II. 136) отсутствуют члены, зависящие от г .
Из (11.13) видно,, что спектральный стимул F{X) от каждой точки объекта является элементом линейного подмногообразия размерности п пространства спектральных функций. Эту размерность и будем называть рангом данного объекта.
Понятие ранга позволяет классифицировать типы сцен по степени сложности описывающей их математической модели. Распределение спектрального стимула ранга 0 порождается, например, невогнутой однородно окрашенной (вне зависимости от числа членов в разложении (11.11)) поверхностью, освещенной диффузным источником света. Невогнутая бихроматическая поверхность освещенная одним близким источником света, соответствует рангу 2. Тем же рангом 2 описывается и унихроматическая невогнутая поверхность, освещенная двумя близкими источниками света (различного спектрального состава). Таким образом, ранг объекта зависит и от типа его поверхности, и от условий освещения и наблюдения.
Соответствующий анализ показывает, что в общем случае (при произвольном количестве членов суммы), линейная модель адекватно описывает широкий класс сцен. Более того, в реальных сценах редко встречаются однородно окрашенные объекты ранга 3 и выше (см. далее, а также [4, 7, 8, 15, 17, 93, 99]). Адекватность посылок линейной модели была подтверждена экспериментально на большом количестве различных материалов [93, 98, 100].
Рассмотрим теперь, можно ли распространить свойства спектрального стимула, полученные в линейной модели, на цветовой стимул (изображение). Сенсор, как явствует из (П.З), проецирует вектор-стимул из бесконечномерного пространства спектров в конечномерное ЦП, сохраняя линейные свойства распределения для случаев рангов, меньших размерности ЦП. Проекция сигнала в конечномерное пространство ограничивает ранг сцен, изображения которых могут быть анализированы средствами линейной теории. Только в случаях, когда ранг объекта в сцене ниже размерности ЦП, соответствующее ему цветовое распределение обладает отличительными линейными свойствами в ЦП.
Из формулы (II.3) также следует, что на формирование изображения не влияют спектральные особенности стимула F{X, Г) в тех областях спектра, где все компоненты вектора %(Х) близки к нулю. Таким образом, все требования линейной теории, сформулированные выше, должны выполняться только в видимой для сенсора части спектра. Итак, задача ЦОС состоит в отыскании для каждого однородно окрашенного объекта сцены множества пикселей на изображении, соответствующих этому объекту. Принимая во внимание линейные свойства зрительного стимула, в терминах цветовых распределений задачу можно переформулировать следующим образом: для цветовой сегментации изображения достаточно декомпозировать цветовое распределение изображения на точечные, линейные и плоскостные кластеры. При этом под однородной окраской мы подразумеваем окраски сСДФОСвформе(П.П).
Как было сказано выше, в терминах морфологического анализа ЦОС изображения есть аппроксимация формы цветного изображения с при заданной модели его формирования. Теперь возможно записать в явном виде класс С функций цветового распределения с, (г) представления (II. 1):
Алгоритм сегментации в нелинейном цветовом пространстве для изображений сцен с малым числом объектов
В каждой точке {х,у) изображения сенсор осуществляет преобразование спектрального стимула р(х,у,Я), являющегося вектором в гильбертовом пространстве спектральных функций, в вектор-стимул с(х,у) - вектор в конечномерном ЦП сенсора. Будем называть ЦП сенсора линейным, если преобразование F(xfy,X)=i c(x,y) линейно, и нелинейным в противном случае. Будем считать, что это преобразование является непрерывным, а система координат в ЦП выбрана так, что её начало совпадает с проекцией стимула с нулевой мощностью. Дополнительно потребуем, чтобы спектральный стимул, отличающийся от некоторого стимула только большей мощностью, проецировался бы в точку, декартово расстояние от которой до начала координат больше, чем от точки, в которую проецируется исходный стимул. В дальнейшем мы будем рассматривать только такие нелинейные ЦП, для которых выполняются эти два условия (непрерывности и "монотонности"). Этим требованиям удовлетворяют большинство нелинейных преобразований, которым подвергается сигнал в реальных сенсорах.
Рассмотрим, как изменяется в случае сенсора с нелинейным ЦП классификация рангов. Кластеры ранга 0, то есть точки в линейном ЦП, очевидно, останутся точками и в нелинейном ЦП. Кластеры ранга 1 (прямолинейные отрезки в линейном ЦП), станут отрезками кривых. Кластеры ранга 2 более разнообразны по форме. Особый интерес представляют кластеры ранга 2, порождаемые сценами с дихроматическим объектом, освещенным малоапертурным источником. Теоретически это должен быть плоский Т-образный кластер [18, 19], но эксперимент показывает, что чаще всего короткое "плечо" теряется в шуме и кластер становится Г-образным (Рис. 19). Будем называть этот достаточно широко распространённый случай сценой ранга 2 .
Каждый однородно окрашенный объект при наличии в сцене лишь ахроматических источников в безрефлексном приближении будет проецироваться в нелинейное ЦП как точечный кластер (объекты ранга 0) или кластер в форме отрезка кривой (объекты рангов I и 2 ). Это позволяет построить общую процедуру детекции таких кластеров в ЦП с целью сегментации изображения.
Будем называть несущей кривой (или несущей поверхностью, в зависимости от размерности) множество точек ЦП, в которые проецировался бы стимул от объекта с данными отражательными свойствами при данном составе освещения и при всевозможных условиях взаимного расположения источников, объекта и сенсора. Поскольку в реальной сцене, как правило, представлены не все возможные ориентации поверхности объекта, то кластеры, наблюдаемые в экспериментах, - это размытые по причине зашумления изображения участки несущих. Рассмотрим теперь ориентацию кластеров ранга 1 и 2 относительно координатных осей нелинейного ЦП. Кластеры ранга 1 соответствуют случаю однородного по спектральному составу освещения унихроматического (металлического или матового диэлектрического) объекта. В этой главе рассматриваются сцены только с ахроматическим освещением, а в этом случае спектральные стимулы от разных точек объекта ранга 1 отличаются только мощностью. По условию «монотонности» нелинейного ЦП это означает, что несущая кривая кластера ни в одной точке не касательна к сфере с центром в начале координат. При этом угол между касательной к осевой кластера и направлением на начало координат тем меньше, чем меньше нелинейность ЦП. В линейном ЦП такие кластеры располагаются строго радиально. Аналогичный вывод можно сделать и про «тёмное плечо» кластера ранга 2 (соответствующее тем областям объекта, в которых превалирует диффузная компонента рассеяния). К сожалению, в нелинейном ЦП яркое плечо кластера ранга 2 (соответствующее области блика) теоретически может оказаться под любым углом к направлению на начало координат, в том числе и под прямым. Однако, исследование изображений, полученных с реальных камер, показывает, что в подавляющем числе случаев этот угол не превышает 45 градусов. Как правило, кластеры ориентированы как на рис. 19.
Таким образом, для случая нелинейных камер с неизвестными параметрами при некоторых разумных допущениях о характере нелинейности ЦП и об особенностях освещения в сцене удается построить семейство сечений ЦП (сферы с центром в начале координат), в каждом из которых несущая любого из кластеров представлена одной точкой, а следовательно, сечение кластера хорошо локализовано на поверхности сечения. Это позволяет построить простой и эффективный алгоритм выделения кластеров в нелинейном ЦП.
Ниже изложен алгоритм сегментации изображений с помощью кластеризации цветового распределения в трёхмерном нелинейном ЦП, предназначенный для изображений сцен с малым числом объектов. Собственно алгоритм состоит в следующем: 1. Разбиение ЦП. Разбить ЦП на слои так, чтобы сечения большинства кластеров были компактны в каждом из слоев. Как сказано выше, семейство сфер различных радиусов с центром в начале координат разбивает нелинейное ЦП так, что большинство кластеров представлены в каждом из слоев хорошо локализованным кластером. Однако, такое разбиение не очень удобно с вычислительной точки зрения. Эксперимент показал, что разбиение ЦП плоскостями, нормальными к главной диагонали ЦП в координатах сенсора, даёт для некалиброванных RGB камер результат не хуже разбиений сферами (Рис. 20). Разбиение проводится в пространстве {b,atp) плоскостями L, = const, ie\f),N-\].
