Содержание к диссертации
Введение
1 Предпосылки возникновения и этапы формирования структурных методов анализа изображений 26
1.1 Первые шаги автоматического распознавания изображений 26
1.2 Становление структурного подхода к анализу изображений 30
1.3 Применение экспертных систем - один из этапов развития методов структурного анализа изображений 33
1.4 Кризис структурных методов, основанных на частных эвристиках, и разработка объектно-независимых алгоритмов структурного анализа 36
1.5 Выводы 43
2 Основные принципы, положенные в основу объектно независимого подхода к структурному анализу изображений 44
2.1 Принципы и требования, которые должны быть положены в основу объектно-независимого структурного анализа изображений 44
2.2 Свойства инвариантного параболического ядра, содержащегося в изображениях локальных объектов 55
2.3 Выбор алфавита объектно-независимых структурных элементов, устойчивых к характерным преобразованиям изображений 68
2.4 Итоги и выводы 74
3 Влияние аффинного и проективного преобразований изображения на содержащиеся в нем элементы предложенного ортогонального базиса 75
3.1 Представление аффинного преобразования в виде последовательности простых геометрических трансформаций 75
3.2 Инвариантность объектно-независимых структурных элементов по отношению к аффинному преобразованию, измерение параметров их положения на изображении 78
3.3 Измерение направления и величины анизотропного масштабного преобразования содержащихся в изображении структурных элементов первого типа 83
3.4 Измерение параметра изотропного по направлению масштабирования изображения 90
3.5 Измерение параметров преобразований вращения и зеркального отражения, входящих в состав аффинного преобразования 91
3.6 Итеративная компенсация и измерение параметров проективного преобразования 94
3.7 О влиянии проективного преобразования на форму структурных элементов первого и второго типов 110
3.8 Измерение параметров преобразований вращения и зеркального отражения, входящих в состав проективного преобразования 111
3.9 Выводы 115
4 Методы построения объектно-независимых по форме описаний изображений на основе непроизводных сгруктурнб1х элементов разных иерархических уровней 117
4.1 Использование структурных элементов второго типа для описания границ объектов на низшем (нулевом) иерархическом уровне 118
4.2 Использование структурных элементов первого и второго типов для описания границ объектов на первом иерархическом уровне 119
4.3 Структурное описание изображения на втором иерархическом уровне
4.3.1 Примитивное группирование структурных элементов сетью прямоугольных ячеек 129
4.3.2 Моделирование зон внимания на основе локального анализа яркости пикселов изображений 132
4.3.3 Результаты моделирования зон внимания на основе анализа яркости пикселов изображений реальных объектов 143
4.3.4 Моделирование зон внимания на основе анализа признаков текстуры 145
4.3.5 Выводы о возможности обнаружения элементов первого типа и
построения регионов группирования с использованием зон внимания 150
4.4 Структурное описание текстур 151
4.5 Системный анализ подходов, применяемых при построении структурного описания изображений на разных иерархических уровнях 159
4.6 Выводы 163
5 Реализация предложенного объектно-независимого подхода при сопоставлении изображений на основе их иерархических структурнбіх описаний 166
5.1 Сопоставление контурных структурных описаний искусственной нейронной сетью Хопфилда-Танка 168
5.1.1 Нейронная сеть Хопфилда-Танка, использованная на первом иерархическом уровне сопоставления 169
5.1.2 Нейронная сеть Хопфилда-Танка, выполняющая сопоставление контурных структурных элементов на двух иерархических уровнях 173
5.2 Иерархическая система сопоставления контурных структурных описаний, использующая метод обхода дерева решений 179
5.2.1 Сопоставление контурных описаний методом обхода дерева решений 180
5.2.2 Иерархическое сопоставление контурных описаний 184
5.3 Выводы 190
6 Применение разработанного объектно-независимого подхода при решении важных задач структурного анализа, сопоставления и распознавания изображений 194
6.1 Автоматическое распознавание объектов по текстуре на аэрокосмических снимках поверхности Земли 195
6.2 Автоматическое обнаружение объектов заданной формы на изображениях 197
6.3 Регистрация в общей системе координат аэрокосмических снимков одной и той же местности, сделанных в разное время и с разных ракурсов 198
6.4 Регистрация в общей системе координат аэрокосмических снимков, сформированных датчиками различающихся типов 201
6.5 Сопоставление аэрокосмических снимков с картой местности векторного или растрового формата 203
6.6 Автоматическая навигация беспилотного летательного аппарата на основе сопоставления изображений небольших единовременно наблюдаемых фрагментов поверхности Земли с эталонными 205
6.7 Автоматическое извлечение информации о высоте объектов местности из аэрофотоснимков, сделанных из разных точек траектории летательного аппарата 208
6.8 Автоматическая навигация мобильного робота на основе сопоставления изображений окружающего его пространства с эталонными 211
6.9 Автоматическое распознавание деталей на конвейере
6.10 Некоторые результаты автоматического структурного сопоставления изображений, не дошедшие до стадии практического применения 217
6.11 Выводы 220
Заключение 222
Литература
- Применение экспертных систем - один из этапов развития методов структурного анализа изображений
- Свойства инвариантного параболического ядра, содержащегося в изображениях локальных объектов
- Измерение параметров преобразований вращения и зеркального отражения, входящих в состав аффинного преобразования
- Использование структурных элементов первого и второго типов для описания границ объектов на первом иерархическом уровне
Введение к работе
Актуальность проблемы. Автоматический анализ изображений, ведущий свою историю от первых моделей перцептронов и компьютерных экспериментов по автоматическому распознаванию зрительных образов, выполненных в середине двадцатого века, стал в настоящее время самостоятельным научным направлением, имеющим важные практические приложения в автоматизации производства и контроля качества продукции, неразрушающей диагностике, медицине, криминалистике, системах безопасности, системах дистанционного зондирования Земли, системах наведения и целеуказания, робототехнике и многих других областях. На начальных этапах автоматический анализ изображений основывался на корреляционном сопоставлении и формальных методах распознавания образов в пространствах признаков. Уже на первых шагах стало очевидно, что эти подходы, исходно разработанные для обнаружения сигнала известной формы, не достаточно эффективны при анализе сложным образом изменяющихся двумерных и трехмерных образов, соответствующих изображениям реальных сцен. Поэтому методы пространственной декомпозиции и структурного сопоставления начали применяться уже на ранних стадиях становления науки об автоматическом анализе изображений. Применение методов формальной лингвистики не внесло заметного вклада в прогресс структурного анализа (СА) изображений. Напротив, применение неформальных эвристических методов в течение многих лет неизменно оказывалось достаточно успешным и фактически легло в основу многих экспертных систем конкретного назначения. Ахиллесовой пятой таких экспертных систем оказалась чрезвычайно узкая сфера эффективного применения каждой из них. Например, экспертная система, разработанная для автоматического распознавания танков, не могла эффективно использоваться для распознавания самолетов. Это закономерно следовало из свойств применяемых эвристических решений, отдельно разрабатываемых для распознавания каждого нового конкретного типа объектов. Кризис эвристического подхода стал наиболее очевиден при решении задач сопоставления и распознавания изображений, характеризующихся большой неопределенностью подлежащего анализу сценария, например, при автоматической обработке аэрокосмических снимков или при построении мобильных автономных роботов, функционирующих внутри помещений или на открытой местности. Необходимым шагом в дальнейшем прогрессе компьютерного зрения должна стать разработка объектно-независимых подходов к С А изображений. Построенные в рамках таких подходов алгоритмы должны в основном абстрагироваться от частных особенностей подлежащих анализу зрительных образов и принимать во внимание только самые общие закономерности их формирования, обусловленные свойствами применяемых оптических систем, законами их взаимодействия с объектами наблюдаемого мира и наиболее общими закономерностями его организации.
Целью работы является разработка методов объектно-независимого структурного анализа изображений; разработанные методы должны быть эффективны в условиях сюжетного многообразия и естественных изменений изображений наблюдаемого мира, имеющих наиболее сложную форму в системах анализа аэрокосмических снимков и системах автоматического управления беспилотными аппаратами.
Поставленная цель достигается решением следующих задач:
1. Определение особенностей формирования изображений,
обусловленных свойствами наиболее часто применяемых для этого систем
преобразования и восприятия физических полей и путями взаимодействия
этих полей с объектами отображаемых сцен. Определение моделей наиболее
характерных геометрических и фотометрических трансформаций, которым в
связи с этим могут подвергаться формируемые изображения.
2. Определение свойств изображений, вытекающих из особенностей
организации наблюдаемого мира, и моделей наиболее характерных
геометрических и фотометрических трансформаций, которым в связи с этим
могут дополнительно подвергаться подлежащие автоматическому анализу
зрительные образы.
3. Определение элементов изображений, наиболее устойчивых к
трансформациям, обусловленным свойствами систем формирования
изображений и особенностями организации наблюдаемого мира, и
пригодных к использованию в качестве непроизводных структурных
элементов (СЭ) при построении объектно-независимых структурных
описаний (СО).
Разработка методов выявления непроизводных СЭ на анализируемых изображениях и методов измерения параметров геометрических трансформаций изображений на основе параметров выделенных СЭ.
Разработка объектно-независимых методов построения структурных описаний, устойчивых к характерным геометрическим и фотометрическим трансформациям видеоданных и основанных на существенных в контексте решаемой проблемы общих особенностях организации наблюдаемого мира.
6. Построение объектно-независимых методов сопоставления и
распознавания изображений на основе их СО.
Методы исследования. Для решения указанных задач в работе применялись методы системного анализа, аналитической геометрии, спектрального анализа, теории групп, компьютерного моделирования, обработки и распознавания изображений.
Научная новизна.
1. Представлена в рамках единой модели структурная организация изображений окружающего мира на разных иерархических уровнях - от микро-уровня, соответствующего текстурам, до макро-уровня, относящегося к объектам и подобъектам. Это дает возможность единообразно применять
разработанные объектно-независимые методы структурной декомпозиции и СО изображений реального мира на каждом из иерархических уровней.
2. Разработан инвариантный к аффинным преобразованиям (АП) и
проективным преобразованиям (ПП) ортогональный базис обобщенных
непроизводных СЭ, пригодный для объектно-независимой структурной
декомпозиции изображений на разных иерархических уровнях - от анализа
взаимного положения и формы объектов сцены до описания текстуры их
поверхностей. При этом группы АП и ПП и их подгруппы выбраны в
качестве моделей, наиболее полно соответствующих преобразованиям
изображений в самых распространенных схемах организации естественных
зрительных систем и систем технического зрения.
Предложен объектно-независимый иерархический метод структурной декомпозиции и СО изображений; при этом структурная декомпозиция производится в рамках единой модели при построении описания на каждом иерархическом уровне.
Предложен объектно-независимый метод сопоставления изображений реальных сцен с помощью их иерархических СО, построенных в разработанном базисе обобщенных непроизводных СЭ. В основу метода структурного сопоставления положены объектно-независимые ограничения, следующие из существенных в контексте решаемой проблемы общих принципов пространственной организации наблюдаемого мира и его взаимодействия с элементами естественных и искусственных зрительных систем.
Разработаны методы измерения параметров аффинных и проективных преобразований изображений объектов на основе аппроксимации этих изображений предложенными обобщенными непроизводными СЭ, и выведены формулы для представления измеренных параметров в аналитическом виде.
6. Разработанный объектно-независимый подход к С А изображений
позволяет представить в рамках единой модели и развить известные методы
теории автоматической обработки и анализа изображений и методы анализа
изображений, реализованные в естественных зрительных системах. Это
свидетельствует о достаточно высокой обобщающей способности
разработанного подхода.
Практическая значимость работы. Методы и алгоритмы, разработанные в рамках предложенного объектно-независимого подхода, представляют ценность при автоматическом анализе изображений, подвергнутых сложным фотометрическим и геометрическим искажениям и характеризующихся высокой степенью априорной неопределенности сюжета. В частности, они позволяют осуществлять надежное и точное сопоставление, совмещение и совместный пространственно-временной анализ аэрокосмических снимков, сделанных в разные сезоны и с разных ракурсов видео-датчиками различающихся типов (оптическими датчиками
видимого или инфракрасного диапазонов электромагнитных волн, радиолокаторами с синтезированной апертурой, лазерными дальномерами и т.п.). Это дает возможность синтезировать высококачественные панорамные снимки, извлекать информацию о третьей координате по взаимному смещению локальных особенностей сопоставленных двумерных видеоданных, выявлять локальные изменения объектов наблюдения во времени, интегрировать (комплексировать) видеоданные, сформированные датчиками разных типов (data fusion). Эти методы могут также использоваться при поиске изображений в базах данных. Разработанные методы и алгоритмы также могут быть полезны при создании систем зрительной адаптации автономных мобильных роботов и систем технического зрения для автоматического управления производством и контролем качества разнообразной продукции.
Реализация результатов работы. На основе концепций, методов и алгоритмов, предложенных в диссертационной работе, был реализован ряд программно-алгоритмических продуктов и электронно-оптических устройств, нашедших применение в нашей стране и за рубежом. Среди них:
комплекс алгоритмов и структура бортового вычислителя микроспутника для автоматического сопоставления, совмещения и анализа космических снимков в НИИ Космических Систем им. А.А. Максимова - филиале Федерального Государственного унитарного предприятия «Государственный космический научно-производственный центр им. М.В. Хруничева»;
комплекс алгоритмов для автоматического узнавания наблюдаемой местности по ее эталонным изображениям для Федерального Государственного унитарного предприятии «Центральный НИИ автоматики и гидравлики»;
программное обеспечение автоматической навигации на основе изображений, сформированных в видимом оптическом диапазоне, для мобильного робота, разработанного компанией LG Electronics;
аппаратура автоматического измерения отклонения линии визирования объекта привязки на местности в системе управления искусственного спутника Земли для Федерального Государственного унитарного предприятия «Научно-производственная корпорация «Государственный оптический институт им. СИ. Вавилова».
Результаты диссертации были также использованы в качестве основы выполнения трех научно-исследовательских работ.
Разработанные программы и алгоритмы автоматического сопоставления, совмещения, обработки и анализа аэрокосмических снимков были сведены в единый каталог, опубликованный в Оптическом журнале в 2007 году.
Использование результатов работы подтверждается прилагаемыми к ней актами.
Достоверность полученных в диссертационной работе результатов
обеспечивается корректностью используемых методов исследования, математической строгостью выполненных преобразований и доказательств, а также соответствием сформулированных положений и выводов результатам их экспериментальной проверки.
На защиту выносятся следующие положения и результаты:
Геометрические и фотометрические модели наблюдаемого мира и систем формирования видеоданных, положенные в основу предлагаемого объектно-независимого подхода к структурному анализу изображений.
Разработанный ортогональный базис обобщенных непроизводных структурных элементов, инвариантных к аффинным и проективным преобразованиям и пригодных для объектно-независимой структурной декомпозиции изображений на разных иерархических уровнях - от анализа взаимного положения и формы объектов сцены до описания текстуры их поверхностей.
3. Методы структурной декомпозиции и описания изображений,
единообразно реализуемые в рамках предложенной иерархической модели
наблюдаемого мира на каждом ее уровне.
4. Методы измерения параметров аффинных и проективных
преобразований на основе аппроксимации изображений разработанными
структурными элементами и аналитические выражения для измерения
параметров аффинных преобразований, выведенные на основе этих методов.
Иерархический метод сопоставления изображений реальных сцен с помощью их структурных описаний, построенных в разработанном базисе обобщенных структурных элементов, на основе объектно-независимых ограничений, следующих из результатов системного анализа моделей пространственной организации наблюдаемого мира и его взаимодействия с элементами естественных и искусственных зрительных систем.
Обобщение и развитие в рамках разработанных формальных моделей известных методов теории автоматической обработки и анализа изображений и методов анализа изображений, реализованных в естественных зрительных системах.
Апробация работы. Основные результаты работы были представлены на ряде международных конференций (второй и третьей конференциях «Applications of computer systems» в Щецине, Польша; восьми конференциях международного общества SPIE инженеров-оптиков; конференции «Control of oscillation and chaos» института IEEE
инженеров по электротехнике и электронике; 29-той европейской конференции ECVP, посвященной визуальному восприятию);
на шести конференциях и семинарах Всесоюзного, Всероссийского и республиканского уровня;
на XXXVI и XXXVIII научных и учебно-методических конференциях профессорско-преподавательского и научного состава в Санкт-Петербургском Государственном университете информационных технологий, механики и оптики.
Публикации. По материалам диссертации опубликованы 35 печатных работ, включая 23 статьи в рецензируемых научных журналах (из них 15 статей в изданиях, включенных в список ВАК), 12 докладов на международных научных конференциях, 6 докладов на Всесоюзных, Всероссийских и республиканских конференциях, две статьи в научных сборниках, главу в монографии, полнотекстовую монографию, международный патент.
Личный вклад. Все основные результаты, изложенные в диссертации, включая постановку задач и их математические и алгоритмические решения, получены автором лично, или выполнены под его научным руководством и при непосредственном участии.
Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы из 160 наименований, 8 приложений. Содержание работы изложено на 318 страницах. В работе содержится 49 рисунков и 1 таблица.
Применение экспертных систем - один из этапов развития методов структурного анализа изображений
Этот подход начал применяться уже на достаточно ранних этапах развития компьютерного зрения. В частности, «наложение масок» эталонов выполнялось для распознавания не всего изображения, а отдельных его характерных фрагментов (см., например, [21, 22]), которые могут быть более устойчивы к искажениям. Следующим шагом стал учет координат распознанных локальных фрагментов изображений для окончательного распознавания изображений в целом (см., например, [23, 24]). В патентной литературе второй половины двадцатого века можно найти большое количество упоминаний методов и устройств, основанных на распознавании отдельных фрагментов изображений и анализе их положения; более обширный обзор такой литературы также можно найти в [3]. Кстати, метод, основанный на распознавании характерных локальных фрагментов, аналогичный предложенному в [23], и по сей день является ведущим подходом при построении систем автоматического распознавания отпечатков пальцев. Схожий подход положен в основу распознавания изображений знаменитой нейронной сетью NEOCOGN1TRON [25].
Аналогичная тенденция может быть отмечена и в дискриминантных методах распознавания, выполняемого в пространствах признаков. Продемонстрируем это на примерах построения искусственных нейронных сетей, начиная с перцептрона Розенблатта [26], который, как показано в [8], осуществляет построение дискриминационных гиперплоскостей в пространстве признаков, причем в качестве признаков, фактически, выступает информация, поступающая от совокупности всех пикселов изображения, т.е. используется интегральный метод распознавания. На смену перцептрону Розенблатта пришли многослойные перцептроны, обучаемые методом обратного распространения ошибки [27, 28]. В силу недостаточной инвариантности дискриминантных методов к естественным изменениям изображений при непосредственном использовании яркости пикселов в качестве признаков в указанных нейронных сетях стали применять системы инвариантных признаков, основанных на инвариантных моментах, Фурье инвариантах, клино-кольцевых детекторах (см., например, [29, 30, 31]). Однако указанные инвариантные признаки также были интегральными, т.к. вычислялись по всей площади распознаваемого изображения, что ограничивало эффективность применяемых нейронных классификаторов. Уже в [30] делаются попытки преодолеть некоторые недостатки интегрального подхода: зрительное поле, по которому вычисляются инвариантные признаки, делится на подполя, чтобы в процессе распознавания присутствующие в большом поле зрения посторонние объекты не вносили «шумовую составляющую» в вычисленные интегральные признаки целевого объекта. В [32, 33] были сделаны попытки устранить недостатки интегрального подхода другим путем: в применяемой искусственной нейронной сети глобальная система связей между последовательными слоями нейронов была заменена совокупностью локально связанных подсистем, позволявших независимо анализировать локальные фрагменты образов. Авторы [32, 33] отмечают, что такое усовершенствование оказалось плодотворным.
Принцип дополнения глобального анализа локальным достиг апофеоза в нейронных сетях, сконструированных Кунихико Фукушимой [34]. Будучи дополнительно усовершенствованными путем применения принципов адаптивного резонанса и селективного внимания, эти нейронные сети продемонстрировали впечатляющие способности к распознаванию контурных изображений, подвергнутых сложным локальным трансформациям. Однако этот успех был достигнут слишком дорогой ценой: для каждого варианта локального смещения каждого распознаваемого фрагмента изображения был сконструирован отдельный нейронный детектор. В силу этого нейронная сеть достигла внушительных размеров. Ввиду невозможности дальнейшего расширения и усложнения такая нейронная сеть может иметь дело только с небольшими фрагментами изображения достаточно простого содержания. Дальнейшее ее усовершенствование на основе выбранного подхода (например, введение возможностей анализа изображений с глобальными геометрическими трансформациями, такими как АЛ или ПП) неприемлемо.
Приведенные выше материалы демонстрируют закономерное эволюционирование корреляционных и признаковых методов распознавания изображений в сторону применения структурных подходов. Однако параллельно происходила разработка систем компьютерного зрения, изначально основанных на структурных принципах анализа изображений, в связи с чем целесообразно отметить ряд успешных исследовательских проектов, описание которых было сведено воедино в двухтомнике, посвященном созданию реально функционирующих автономных роботов [35, 36]. Построенные в рамках этих проектов системы компьютерного зрения использовали структурную декомпозицию изображений, основанную не на строгой теории, а скорее на наборах эвристических решений, что тем не менее позволяло созданным роботам достаточно успешно ориентироваться в окружающей обстановке. Несколькими годами позже в печати появляется ряд фундаментальных работ, посвященных теоретическим аспектам построения структурных описаний и выполнения структурного распознавания (см., например, [37, 8, 38, 39]). В таких работах были представлены математические, формально-логические, лингвистические основы для выполнения структурного анализа и синтеза, хотя редко приводились сколько-нибудь ценные результаты практического применения разработанного теоретического аппарата. Можно сказать, что представленный в них формальный аппарат структурного анализа представлял более теоретическую, чем практическую ценность, не будучи в состоянии описать все многообразие свойств реальной действительности, хотя, несомненно, некоторые разработанные теоретические конструкции стали основой механизмов обработки знаний в появившихся вскоре ЭС.
Свойства инвариантного параболического ядра, содержащегося в изображениях локальных объектов
Не имея возможности вычислить (7), реально подставив х = , посмотрим, какую форму имеет спектр при реальных предельных значениях пространственной переменной jr. Оказывается, при со«\/х вычисленные таким образом спектральные гармоники имеют постоянную амплитуду, пропорциональную третьей степени верхнего предела интегрирования; в окрестности значений co l/x происходит падение амплитуды гармоник; а при (о»\1х амплитуда гармоник имеет форму синусоиды, затухающей пропорционально частоте (см. спектральную характеристику, построенную на рис. 1 длях=106).
На практике остается неясным, какова реальная (не стремящаяся к нулю) ширина диапазона пространственных частот, в пределах которого спектр изображения, отвечающего Определению 1 (здесь без потери общности рассматривается одномерный случай), можно сопоставлять со спектром квадратичной параболы. Рассмотрим первые члены разложения функции sin(x)/jr в степенной ряд: sin(jr)/jr = 1 - jr76 + х4/120 - JC6/5040 ... Пусть необходимо представить функцию sin(x)/jc квадратичной параболой с ошибкой аппроксимации, не превышающей одну тысячную часть от квадратичного члена степенного разложения. Тогда четвертым и последующими членами разложения можно будет пренебречь, если наибольший из них на 3 порядка меньше квадратичного (второго) члена разложения. Таким образом, чтобы ошибка аппроксимации функции sin(x)/x квадратичной параболой не превышала одной тысячной от величины квадратичного члена разложения, необходимо, чтобы выполнялось неравенство 6 / 120 откуда следует [х 0,141, или х 0,045 хт Ю,045л, где хт - половина ширины главного лепестка аппроксимируемой функции sin(x)/jc. Следовательно, квадратичная парабола, имеющая область определения хє(-1; 1), аппроксимирует (с относительной ошибкой, не превышающей одну тысячную) «в 1/0,141 раз более широкую» функцию sin(jc)/jc с полушириной главного лепестка, равной 7,07л:. Этому соответствует уменьшение в 7,07 раза угловой частоты, соответствующей аппроксимируемой функции sin(x)/x по сравнению с исходной функцией, аппроксимированной в диапазоне хє(-1; 1).
Таким образом, объекту, имеющему область определения хє(-1; 1) будет соответствовать квадратичная парабола, аппроксимирующая в этом диапазоне значений аргумента функцию sin(x/7,07)/(x/7,07) с относительной ошибкой, не превышающей 10 3. Если объект задан в окне размером 3 (например, от -1 до 1), этому окну будет соответствовать квадратичная парабола, у которой при относительной ошибке аппроксимации, не превышающей 10 3, Фурье спектр может считаться нулевым вне диапазона угловых частот СОЕ (-1/7,07; 1/7,07), а увеличению области определения объекта в 10 раз будет соответствовать дальнейшее сокращение в 10 ;V раз диапазона пространственных частот заданной в этой области параболы.
Обратимся теперь снова к рис. 1. Из формулы (7) следует, что угловой частоте со, обратной по величине пределу х интегрирования, соответствует падение амплитуды спектральных гармоник до уровня 0,22 относительно уровня, соответствующего величине частоты, стремящейся к нулю. Этому значению частоты со=\/х соответствует на рис. 1 точка графика, обведенная кружком. Этой точке соответствует полу-размер объекта, равный 106 (квадратичная парабола, определенная в диапазоне значений аргумента от -106 до 101). Тогда в соответствии с приведенными выше вычислениями угловая частота, соответствующая относительной ошибке аппроксимации, не превышающей 10" , будет для объекта такого размера в 7,07 раз ниже, что при использованном логарифмическом масштабе по оси частот соответствует сдвигу на logio( 1/7,07)= -0,85 влево относительно указанной точки. Это значение частоты показано на рис. 1 вертикальной штрих-пунктирной линией. Точке ее пересечения с графиком соответствует практически незаметное падение амплитуды спектральных гармоник, которое действительно может отвечать заданной величине ошибки аппроксимации, не превышающей 10 \ Таким образом, показана зависимость ширины интервала параболической аппроксимации от заданной ее погрешности и закончено доказательство леммы.
Из выше сказанного следует, что положения Леммы 1 практически оказываются справедливы и при реально заданных для вычисления Фурье-спектра конечных значениях пределов интегрирования, а с точки зрения спектральной аппроксимации представление квадратичной параболы в качестве центральной части функции sin(x)/x достаточно корректно, если ширина главного лепестка последней приблизительно в 7,07л: раз больше области определения параболы. Отличие спектральной характеристики, приведенной на рис. 1, от идеальной ступенчатой характеристики, которая декларируется Леммой 1, объясняется конечными пределами интегрирования, использованными при вычислении формулы (7). Аналогичные эффекты возникают при построении цифровых фильтров [101] в результате ограничения области определения их откликов. При расширении пределов интегрирования, как не трудно убедиться из формулы (7), ширина спектральной полосы, в которой спектр имеет ненулевые постоянные амплитуды, действительно стремится к нулю.
Измерение параметров преобразований вращения и зеркального отражения, входящих в состав аффинного преобразования
Целесообразно отметить, что применение общего подхода, предложенного в главе 2, позволило в данном случае на основе поиска экстремума функции корреляции вывести в аналитическом виде выражение для измерения коэффициента изотропного масштабирования. После компенсации изотропного масштабного преобразования As в соответствии с измеренным значением его параметра М можно переходить к измерению параметров и компенсации преобразований А6 и А4 вращения и зеркального отражения изображения.
Вращение изображения центрированного объекта относительно начала координат и его зеркальное отражение относительно прямой, проходящей через начало координат, не изменяют радиальные координаты точек изображения, поэтому параметры преобразований А6 и А4 также можно измерить по проекции изображения на инвариантное подпространство - на окружность, т.е. на угловую полярную координату. Однако угловая координата циклична, поэтому использование одномерных параболических обобщенных эталонных функций с неограниченной областью определения в этом случае неприемлемо, необходимо использование узкополосных объектно-независимых циклических СЭ. Хорошим примером таких циклических СЭ являются гармоники пространственного Фурье-спектра, вычисленного в полярной системе координат на плоскости. В частности, угловое положение проекции изображения на окружность однозначно определяется фазой первой гармоники, а если она отсутствует или выражена слабо, - то фазами любых двух некратных гармоник. Это свойство проекции центрированного изображения на окружность положено в основу некоторых известных способов определения углового положения изображения, см., например, [114]. Кроме того, как следует из [114], анализ фаз нескольких гармоник позволяет также определить наличие симметричного отражения изображения относительно прямой, проходящей через начало координат. Не трудно убедиться (см., например, [3]), что фаза содержащейся в пространственном спектре проекции изображения на окружность синусоидальной гармоники может быть определена путем поиска экстремума корреляции этой проекции с синусоидой соответствующей частоты, и более того, что преобразование Фурье может быть представлено как результат анализа функции корреляции исследуемой функции с «эталонными» синусоидами. Таким образом, рассмотренный в настоящем разделе метод измерения параметров вращения и зеркального отражения изображения также укладывается в рамки единой концепции сопоставления с объектно-независимыми СЭ, имеющими узкий пространственный спектр, предложенной в главе 2.
В качестве примера реального воплощения этой концепции рассмотрим разработанный автором настоящей работы метод измерения параметров вращения и зеркального отражения по трем соседним гармоникам, описанный также в [115]. Наблюдаемая фаза щ &-той гармоники пространственного спектра проекции изображений на окружность описывается выражением рк+2тк=єу/к+к(р, (38) где 4 - количество не наблюдаемых полных циклов Ахгой гармоники (4=0, 1, ... к-\\ є - параметр зеркального отражения (є = - 1, если изображение претерпело отражение, в противном случае є = 1), щ - значение фазы А-той гармоники эталонного изображения, (р - угол поворота распознаваемого изображения. Для двух других гармоник с номерами пит можно написать аналогичные выражения
Здесь и далее считаем без потери общности, что отражение происходит относительно прямой, имеющей наклон 0 радиан. Вычитая (39) и (40) из (38) получаем систему линейных уравнений, которая легко решается относительно р и е. При решении использованы следующие подстановки: 2л (і к - і J = 0, 2л(і\ - ііп) = 0, поскольку можно считать, что измеряемый угол вращения р& [0;2л"), из чего следует, что разность числа ненаблюдаемых полных циклов соседних гармоник нулевая. Использованы также подстановки к-т=\, к-п=-\. С учетом указанных допущений и подстановок рассматриваемая система уравнений имеет решение Р = Рк- Рт-е(к-т) , (43) є = (2 pk -(р„- рт)і{2у/к -у/п-у/т). (44) Для случаев, когда в спектре проекции изображения на окружность не существует хорошо выраженных гармоник, удовлетворяющих ограничениям (41) и (42), возможны другие математические решения [114], хотя в многочисленных практических экспериментах, проведенных автором настоящей работы, выше описанный метод измерения параметров вращения и зеркального отражения работал удовлетворительно.
Полученное решение (43) и (44) демонстрирует эффективность предложенной в разделе 2.2 общей концепции анализа изображений путем их сопоставления с ОЭФ, имеющими узкий пространственный спектр, и в случае ее применения для измерения параметров преобразований А6 и А4. Однако при получении решений (43) и (44) использовались ОЭФ не относящиеся к синтезированному в настоящей работе ортогональному базису СЭ. Тем не менее, автору удалось найти возможность измерения параметров вращения изображения на основе анализа параметров содержащегося в нем СЭ первого типа, однако, такой анализ производится в контексте измерения и компенсации ПП, рассмотренных в следующем разделе.
Использование структурных элементов первого и второго типов для описания границ объектов на первом иерархическом уровне
Итак, для решения проблемы группирования СЭ необходимо иметь возможность правильно разделять изображения на зоны, соответствующие поверхностям отдельных реальных объектов сцены. Ранее в задачах компьютерного зрения эту проблему удавалось решить для частных случаев, применяя независимо два различных подхода.
С одной стороны, предпринимались попытки разделения изображения сцены на зоны, соответствующие отдельным объектам (или поверхностям объектов), применяя методы сегментации изображений, основанные на признаках текстуры. Этим путем автором были получены обнадеживающие результаты [71] при СА изображений трехмерных сцен. Однако достигнутые возможности разделения сцены на изображения отдельных объектов ограничивалась недостаточной гибкостью существующих методов различения текстур. Традиционный подход к сегментации не достаточно системный. В частности, при выполнении автоматической сегментации изображений по признакам текстуры традиционными методами, как правило, не принимается во внимание связь параметров пространственного распределения пикселов, принадлежащих изображению объекта, например, параметров формы объектов, с параметрами самого процесса различения текстур. При игнорировании этой связи форма областей изображений, выделенных в результате классификации текстур, часто имеет мало общего с формой реальных объектов, содержащихся в исходном изображении: результат сегментации оказывается чрезмерно фрагментированным [93], либо зоны исходного изображения, соответствующие разным объектам, «склеиваются» полностью или частично в одну зону.
Принимая во внимание выше сказанное, было решено подойти к решению этой проблемы с другой стороны, - для разделения сцены на объекты применить зоны внимания (ЗВ), аналогичные тем, что возникают в человеческом зрительном анализаторе при анализе изображений. Этот подход уже оказался плодотворным при разработке объектно-независимых СЭ первого типа. В частности, результаты нейрофизиологического исследования саккадического движения глаз человека, опубликованные И. Мучником и Н. Завалишиным в 1974 году [100], послужили отправной точкой для поиска автором настоящей работы весовых функций детектора, аттракторы которых соответствовали бы центрам тяжести изображений реальных объектов [85, 92]. В результате модификации функции информативности, предложенной И. Мучником и Н. Завалишиным и был получен объектно-независимый СЭ, имеющий форму эллиптического параболоида, который в соответствии со стратегией измерения параметров АП, изложенной выше в главе 3, был использован [85] в качестве весовой функции детектора - ОЭФ - для измерения параметров сдвига изображения и его анизотропного по направлению масштабирования, являющихся простыми составляющими АЛ.
Однако предложенный в [85] метод формирования ЗВ и рассмотренный выше в главе 3 метод измерения параметров и компенсации аффинного преобразования изображений с помощью ОЭФ работоспособен в общем случае только при анализе изображений, на которых объекты распознавания предварительно обособлены друг относительно друга и выделены из фона (показаны на обнуленном фоне). Для необособленных объектов задача формирования ЗВ и распознавания изображений корректно решалась только в частном случае, соответствующем анализу контурных рисунков [92]; именно на таких рисунках проводили свои успешные нейрофизиологические эксперименты И. Мучник и Н. Завалишин [100]. К сожалению, проблема обособления объектов и выделения их из фона и в этом случае не могла быть эффективно решена с использованием классических методов сегментации на основе признаков текстуры, поскольку, как было отмечено выше, эти методы не достаточно системны и не принимают во внимание особенности формы объектов, подлежащих выделению в сегментируемом изображении.
Не трудно видеть, что необходимо соединить методы анализа текстуры с методами учета локальных особенностей пространственного распределения пикселов, принадлежащих изображению объекта. Рассмотрим, каким образом можно соединить эти два механизма в рамках моделирования ЗВ, причем сначала для удобства изложения рассмотрим постановку задачи применительно к частному случаю описания текстуры изображения как яркости его пикселов, а в дальнейшем перейдем к рассмотрению текстуры в общем виде.
Перед тем как приступить к моделированию ЗВ, сформулируем их необходимые качества и предполагаемое пространственно-временное поведение, как это было сделано в [74]. Некоторые из приведенных ниже положений базируются на результатах нейрофизиологического исследования зрения человека, некоторые - следуют из математических моделей ЗВ, разработанных автором настоящей работы в [85]. Недостающие части стратегии формирования и трансформирования ЗВ сформулированы исходя из положения о иерархической структурированности окружающего мира, приведенного выше в п. 6 раздела 2.1.
1. Первостепенный интерес представляют компактные самые яркие или темные области изображения наибольших размеров, имеющие однородную поверхность (последнее в наибольшей степени гарантирует, что выбранная зона в основном соответствует единственному объекту или его части). В связи с этим анализ изображения следует начинать при максимальных размерах ЗВ, считая выделенные в них объекты наиболее важными. В процессе последующего анализа размеры ЗВ и выделяемых в них второстепенных объектов (подобъектов) могут постепенно уменьшаться. Необходимость выполнения анализа изображения с использованием изменяющегося (например, итеративно уменьшающегося) размера ЗВ следует из иерархической структурированности окружающего мира, декларированной в п. 6 раздела 2.1, и из Уточнения 1, сделанного в разделе 2.1 для этого пункта. Вероятно, по той же причине эта стратегия анализа также была выбрана в известных современных методах структурного сопоставления, рассмотренных в Приложении 6.
2. В начале каждого описанного ниже акта адаптации формы и положения ЗВ она должна быть максимально простой, - круглой формы, поскольку объекты поиска заранее не известны.
3. Попавший в ЗВ локальный объект (или компактная его часть) должен быть правильно отделен от фона и от соприкасающихся с ним других объектов. Для того, чтобы стало возможным применять при анализе содержания ЗВ разработанные в настоящей работе СЭ первого типа (подробнее см. ниже, в п. 4), выделенный в ЗВ локальный объект должен быть помещен на нулевой фон, что необходимо в соответствии с Определением 1, сформулированным в разделе 2.2. Выделение объекта из фона должно происходить перед каждой из итераций адаптации положения и формы ЗВ, описанных ниже в пункте 5, т.к. успех адаптации формы ЗВ к форме выделяемого объекта напрямую зависит от результатов его выделения. Отделение объекта от фона должно происходить на основе сопоставления свойств различных частей содержимого ЗВ (например, яркости как частного случая описания текстуры), поэтому успех такого разделения будет в свою очередь напрямую зависеть от результата адаптации позиции и формы ЗВ, влияющего на ее содержание. Таким образом в рамках адаптации параметров ЗВ будет достигаться совместный анализ формы и свойств поверхности объектов.
