Содержание к диссертации
Введение
1 Анализ проблем и задач реализации технического зрения 21
1.1 Обзор передовых достижений науки и техники в области реализации технического зрения 23
1.1.1 Модель работы автофокуса в глазу человека 23
1.1.2 Модели цветового восприятия 26
1.1.3 Спектральные модели цветовой константности 30
1.1.4 Модель человеческого глаза, созданная методами адаптивной оптики.. 33
1.1.5 Видеокамера по образу человеческого глаза 37
1.1.6 Компьютерная модель ретинального изображения 38
1.1.7 Синтез реалистичных изображений 42
1.1.8 Моделирование зрительных иллюзий как метод исследования восприятия 44
1.1.9 Плащ-невидимка на основе метаматериалов 48
1.1.10 Плащ-невидимка, работающий от батареек 50
1.1.11 Автомобиль-невидимка со светодиодными панелями 52
1.2 Выбор сферы научных исследований 53
1.2.1 Апокрифическая комната 53
1.2.2 Постановка задачи исследования 58
1.3 Выводы 60
2 Формализация модели технического зрения 62
2.1 Основные положения БМП-подхода 65
2.2 Выбор способа распределения областей зрительных приоритетов 85
2.3 Положения гипотезы о распределении LOi -областей 114
2.4 Выводы 118
3 Моделирование экспериментальной системы 119
3.1 Выбор способа представления поверхностей 120
3.2 Алгоритм автозаполнения координат точек поверхностей 124
3.3 Представление входных и выходных поверхностей 134
3.4 Отображение осей координат 137
3.5 Параметры точек исходного и смещённого фокуса 138
3.6 Параметры фокусных эллипсоидов 140
3.7 Дополнительные условия экспериментальной системы 145
3.8 Задачи построения экспериментальной системы 146
3.9 Компьютерное моделирование экспериментальной системы 148
3.9.1 Выбор языка программирования 148
3.9.2 Выбор средств графической разработки 150
3.9.3 Разработка библиотеки классов 152
3.10 Выводы 155
4 Получение результатов работы экспериментальной системы 157
4.1 Методика проведения экспериментов 158
4.1.1 Выбор испытуемых объектов 158
4.1.2 Подготовка исходных данных 159
4.1.3 Поиск способа получения результатов эксперимента 160
4.1.4 Выбор критерия оценки результатов эксперимента 163
4.1.5 Разделение испытаний на категории и технология проведения экспериментов 167
4.2 Подготовка к проведению экспериментов 181
4.3 Результаты экспериментов 188
4.4 Выводы 192
Заключение 194
Список сокращений и условных обозначений 196
Список терминов 197
Список литературы 207
- Спектральные модели цветовой константности
- Положения гипотезы о распределении LOi -областей
- Параметры фокусных эллипсоидов
- Выбор критерия оценки результатов эксперимента
Спектральные модели цветовой константности
В настоящее время развитие теории технического зрения идет в направлении построения общей модели когнитивного визуального процесса и разработки алгоритмов автономного решения различных некорректных задач распознавания зрительных образов. В частности продолжаются попытки построения алгоритмов быстрого и релевантного поиска объектов в базах данных изображений и в видеорядах. При этом специфика двумерной регистрации исходно трехмерного образа (когда теряется большая часть геометрической информации) делает предпочтительным цветовой, а не пространственный, анализ изображения. Задача инвариантного цветового анализа в техническом зрении фактически состоит в повторении явления цветовой константности (см. приложение А). Установлена способность человека различать тела не по их цвету, а по тому, что именно является объективным признаком этих тел. Это окраска, которая не коррелирует с цветом излучений, отраженных телом при его цветном освещении. Поэтому современные алгоритмы технического зрения используют те же цветовые инварианты и опираются на тот же набор априорных ограничений, что и зрительная система человека [47].
Но на этом пути существуют препятствия. Естественный зрительный интеллект пока может быть исследован практически только через свои феноменологические проявления. Поэтому прямой подход пока не дал значимых результатов. В области искусственного зрительного интеллекта также еще не предложены полные схемы когнитивного анализа изображений. Современные упрощённые постановки в области автоматического объектного распознавания оказываются следствием недостаточности знаний о работе мозга.
При разработке подобных схем цветового анализа сотрудниками института проблем передачи информации им. А. А. Харкевича РАН П. П. Николаевым, С. М. Карпенко и Д. П. Николаевым [47] было предложено опереться на линейную теорию формирования спектрального стимула, выводящую достаточно широкий круг физических явлений в наблюдаемой сцене на уровень формально разрешимых задач. Объектный анализ изображения разделяется на этапы цветовой сегментации и константной оценки окраски. В такой постановке блок цветовой сегментации выполняет функции предобработки, задавая карту границ разноокрашенных объектов для последующих более сложных вычислений, связанных с формированием поправки на цвет освещения этих объектов в регистрируемой сенсором сцене. Линейные свойства кластера и спектральные свойства объекта, проецирующие в цветовое пространство (ЦП) сенсора, лежат в основе детектирования объекта на этапе его цветовой сегментации. Они дают материал для формирования «ключей константности» как априорных признаков цветности освещения сцены. Ахроматические, глянцевые или складчатые объекты с особой геометрией представительства в ЦП позволяют при их правильной идентификации строить правдоподобные гипотезы о цветности источников освещения.
В алгоритмах технического зрения можно опереться на точные законы аффинной геометрии ЦП, которые для биологических систем выполняются только в колориметрических условиях, что связано с наличием многочисленных механизмов адаптации.
После того, как изображение разбито на сегменты, соответствующие однородно окрашенным объектам сцены, применяются алгоритмы цветовой константности (ПК). Большинство из предлагаемых схем ЦК явно или неявно содержат следующие этапы [47]: 1) выдвигается априорная гипотеза о свойствах сцены или её объектов; 2) исходя из этого конкретного предположения, рассматривается некоторое логическое следствие, позволяющее оценить параметры освещения; 3) вычисляется оценка параметров освещения; 4) получается оценка окрасок объектов.
Более трех десятилетий явление ЦК моделируется в качестве метода объектного распознавания в техническом зрении. Изучение проблемы, относящейся к классу интерпретационных, неоднозначных задач, ведётся по нескольким направлениям. Перспективными считаются решения либо эксплуатирующие обстоятельства изобилия в наблюдаемой сцене объектов с широкой вариативностью цветовых характеристик отражения (модельные предложения, объединяемые идеей алгоритма Gamut), либо нацеленные на поиск «ключей» ЦК (когда на сцене мало объектами) и надежных признаков их распознавания. В инженерной практике реализации схем ЦК оба этих альтернативных подхода стимулировали теоретическое исследование проблемы в направлении физического анализа сцен. Невозможность существования универсального «ключа» ЦК породила ситуацию разнородности приёмов обработки изображений, делающих тот или иной ключ основным в иерархии вспомогательных ключей, что сильно усложняет предварительный анализ изображения на этапе детекции самих ключевых признаков. Разнообразие спектральных характеристик зрительного процесса привело к созданию множества разнородных спектральных моделей (СМ). Отсутствие критериев их сравнения не способствует прогрессу в этой востребованной области интеллектуальных технологий. Коллектив учёных ИППИ РАН предпринял попытку восстановления теоретического пробела в области структуризации проблемы ЦК: фактически предпринята первая детальная попытка теоретически обосновать выбор СМ для гетерархических процедур ЦК [47].
Еще одним следствием целенаправленного подхода в выборе оптимальных ансамблей параметров, обеспечивающего для СМ минимум потерь при переходе из спектрального пространства, является учёт физической разнородности таких потерь. При моделировании феномена ЦК в трихроматическом зрении двупараметрическая цветность является более просто оцениваемой диадой характеристик (достаточной для вычисления цветности освещения по цветностям стимулов в наборе) в сравнении с третьей цветовой компонентой — яркостью источника или светлотой тел. Поэтому целесообразно сделать компоненты этой диады (тон и насыщенность) стандартными для любой спектральной модели ЦК. Тогда связи параметров в наборе будут формулироваться через общность по тону или по насыщенности, что облегчит построение необходимого признака набора в данной СМ [47].
Положения гипотезы о распределении LOi -областей
Один объект (S\) берётся за образец (эталон). Он располагается на более далёком расстоянии от человека, чем второй объект (,%), и превышает его по размерам. Оба предмета могут совпадать по всем параметрам, в том числе и по местоположению — тогда фактически они оказываются равными (S\ = %), но это частный случай. Эталонный объект S\ в действительности может и не существовать или не находиться в заданной точке пространства, где предполагается его локализация. Однако для образца S\ известны координаты размещения и внешний вид: форма и размеры — определена его поверхность. Окраска объектов в пределах данной работы на рассматривается (см. п. 1.2.2).
Второй объект () кажется человеку точно таким же, как и эталонный (Si), но на самом деле он располагается не дальше от наблюдателя, чем объект-образец Si, и не превышает его размеров. Человек воспринимает оба предмета (Si и S2) одинаковыми по форме, хотя по отношению к эталону Sb второй объект S2 является анаморфным (см. приложение Б, п. Б. 1.3), то есть искажённым, кроме случая, когда они совпадают (Si = S2). Субъект безоговорочно воспринимает рассматриваемые предметы (Si и S2) полностью идентичными, если ему кажется что это один и тот же объект, находящийся в одном и том же месте и удалён от наблюдателя на одно и то же расстояние. Таким образом, большую роль играет месторасположение анаморфного объекта S2. Если искажённый предмет S2 приблизить к человеку, по идее, он должен уменьшиться (см. приложение Б, п. Б. 1.1), чтобы казаться наблюдателю по-прежнему равным объекту-эталону Si, и его поверхность при этом также должна измениться для получения достоверной иллюзии.
Получается, при фиксированном положении и форме поверхности образцового предмета Si анаморфный S2, теоретически, может находиться на любом расстоянии до наблюдателя (но не дальше эталона Si), чтобы казаться ему идентичным образцу Si, однако поверхность анаморфного объекта S2 при этом по-разному искажается в зависимости от расстояния до человека.
Очевидно, описываемый эффект предполагает перекрытие образца S\ искажённым объектом S2. Пользуясь наблюдениями из опыта с двумя карандашами (см. п. 1.2.2) [54], можно сказать, что эталонный предмет Si и все потенциально возможные соответствующие ему искажённые объекты (S2) находятся на одной прямой (OF\). Первый объект Sb образец, можно назвать исходным. Второй, искажённый предмет S2, способен варьировать своё место локализации вдоль прямой OF\ между эталонным объектом Si и человеком, то есть он является смещённым вдоль прямой OF\ относительно исходного предмета Si. Если посмотреть шире, то оба рассматриваемых объекта (Si и S2) можно считать одним деформирующимся предметом S, который перемещается вдоль прямой OF\. Вначале он имел исходные координаты и форму, затем переместился, достигнув новый точки, и исказился.
Субъект оценивает форму, размер и местоположение предметов Si и S2, поэтому логично привязать к нему систему отсчёта. Для изучения феномена рассматриваемой иллюзии важны только зрительные анализаторы (см. приложение А), то есть глаза (L и R), наблюдателя. Человек обладает бинокулярным зрением [57], поэтому важны оба глаза (L и R), значит, начало отсчёта О нужно поместить в центре отрезка LR, соединяющего человеческие глаза (L и R). Для вычисления позиций локализации экспериментальных объектов в трёхмерном пространстве необходимо ввести прямоугольную систему координат [17, 3] XYZ с началом отсчёта О как раз между глаз L и R наблюдателя.
Прямую OF\, вдоль которой, искажаясь, перемещается, деформирующийся объект S можно построить по двум точкам: началу отсчёта О и точке F\, связанной с координатами этого объекта S в первоначальном состоянии (с координатами исходного объекта S\). Если между двумя этими точками (О и F{) построить вектор с точкой приложения [3] в начале координат О, то получится радиус-вектор OFx в описанной координатной системе XYZ.
Для восприятия объектов немаловажна фокусировка глаз (L и R), которая достигается за счёт механизма аккомодации (см. приложение А), когда меняется расстояние до предмета. Если объект не находится в фокусе, то человек видит его размытым или не различает деталей, когда предмет оказывается в поле периферического зрения (см. приложение А). Для достижения максимально достоверной иллюзии необходимо учитывать положении точки фокуса.
Субъект следит за анаморфным объектом S2, фокусируя свой взгляд в некоторой точке F2. Поскольку этот объект (S2) считается смещённым, точку фокуса F2 также можно назвать смещённой и связать с ней положение искажённого объекта S2. Тогда по аналогии можно определить точку исходного фокуса F\, смотря в которую, человек видит исходный объект S\ точно таким же, как смещённый S2. Именно через эти две точки фокуса (F\ и F2) и начало координат О проходит прямая OF\ {F\ є OF\, F2 є OF\, О є OF{), вдоль которой перемещается деформирующийся объект S. Значит, если для исходного S\ и смещённого S2 объектов построить радиус-вектора (OFi и OF2), принадлежащие этой прямой OF\ (OFx є OF\ и OF2 є OF\), то это будут радиус-вектора исходного (OFi) и смещённого фокуса (OF2) соответственно.
Ниже сформулирован подход (см. п. 2.1), позволяющий вычислить форму поверхности деформирующегося объекта, который искажается при перемещении вдоль радиус-вектора фокуса в направлении начала координат. Этот подход определяется рядом положений (см. п. 2.1), они описывают совокупность его характеристик, математических выражений, преобразований, условий и ограничений.
Особенностью человеческого зрения является то, что лицевой отдел черепа (можно условно его разделить на переднюю и небольшие боковые доли) содержит глазницы в своей передней части, чьи контуры являются замкнутыми овалообразными кривыми. Если считать эти кривые лежащими в одной плоскости — XOZ, изображённой на рисунке 2.2 — фронтальной плоскости [58], то человек может воспринимать часть пространства, лежащую перед его глазами до данной плоскости [57]. Таким образом, эта часть является полупространством (поэтому подход назван подходом полупространства).
Человек всегда ощущает себя, то есть свои глаза (точку, лежащую посередине отрезка, соединяющего зрачки глаз) центром некоторого пространства, откуда он субъективно наблюдает процессы окружающего мира [46]. Согласно теории преобразования координат и времени от покоящейся системы к системе, равномерно и прямолинейно движущейся относительно первой (электродинамика движущихся тел по теории относительности), человек, перемещаясь самостоятельно и осознавая это, воспринимает свои глаза неподвижными, а окружающие предметы — синхронно перемещающимися относительно своих глаз [72]. С этой позиции целесообразно принять за начало координат (точку О на рисунке 2.2) точку, лежащую посередине отрезка, соединяющего зрачки глаз.
Параметры фокусных эллипсоидов
Наиболее распространёнными языками программирования для разработки оконных приложений на сегодняшний день являются C++, С#, Java и Delphi. Рассмотрим их фундаментальные свойства. Все эти языки объектно-ориентированы, то есть описывают не столько саму задачу, сколько её решение. Так же все они в той или иной степени поддерживают обобщённое программирование, позволяющее записывать алгоритмы, принимающие данные любого типа — это качество лучше всего развито у C+ + [70]. Также следует отметить, что наиболее функциональным языком — имеющим возможность записи программы как композиции функций, выполняющихся в произвольном порядке, хотя и в неполной степени, является С# [71].
Охарактеризуем механизмы обращения с типами данных представленных языков. Все они поддерживают статическую типизацию, где переменные и параметры методов или функций связываются с типами в момент объявления и не могут быть изменены позже. Также всем им присуща явная типизация, где непременно указываются типы параметров и переменных при объявлении. В языках C++ и С# хорошо предусмотрено неявное приведение типов [71-70].
Проанализируем наиболее существенные для данной работы возможности указанных языков. Все они отслеживают выход за границы массивов, предоставляют возможность перегрузки функций, а также поддерживают обработку исключений с помощью блоков try/catch или эквивалентных конструкций (try/except), хотя в C++ не определён раздел finally. Далее идут расхождения, обусловленные спецификой языков. Так, шаблоны — весьма удобная конструкция для реализации схожих алгоритмов для данных разных типов — реализованы в С+ + и С#, хотя в С+ + лучше, потому что там возможно существование шаблонных констант [71]. Автоматический процесс сборки мусора (освобождения динамической памяти, занятой неиспользованными объектами) предусмотрен в С# и Java [71, 73]. Также Java позволяет записывать целые числа сколь угодной длины с помощью литералов — полезная особенность при необходимости соблюдения высокой точности чисел, но достаточно далёкая от проблем поставленной задачи [73]. В Delphi доступно определение целых чисел интервальных типов [40]. Удобным свойством установки значений параметров по умолчанию обладают Delphi и C++ [70, 40]. А в C++ также имеет место множественное наследование, которое может стать причиной дублирования полей и прочих проблем, какие устраняются при замене этой возможности в С# интерфейсами [71].
Язык Java идентичен С#, однако создание графического интерфейса пользователя при помощи библиотеки swing в Java очень трудоёмко и не наглядно для разработки [73] в отличие от визуальных средств проектирования платформы Microsoft .NET Framework [71], поддерживающей С#. Остаются C++, Delphi и С#. C+ + удобен при написании высокопроизводительных приложений, поскольку позволяет контролировать код на более низком уровне, чем С# и Delphi [70], но разработка с его использованием более длительная [71]. Остаются Delphi и С#. Они подходят оба, но в Delphi нет поддержки самодокументирующегося кода и автоматической чистки памяти [73, 40], что также увеличивает сложность и время написания приложения. Остается С#, который и был выбран в качестве языка разработки приложения.
Передовыми графическими утилитами в настоящее время являются DirectX, OpenGL, XNA и WPF. Здесь главным критерием выбора является кроссплатформенность, поскольку графический инструментарий обеспечивает не только вывод получаемых изображений, но и в первую очередь для реализации логического уровня программы, неотъемлемо связного с графическими вычислениями и построениями.
WPF (Windows Presentation Foundation) — система для построения клиентских приложений Windows (не кроссплатформенная) с визуально привлекательными возможностями взаимодействия с пользователем, графическая (презентационная) подсистема в составе .NET Framework, использующая язык ХАМЕ. WPF хорошо решает прикладные графические задачи, но нацелен на создание пользовательских интерфейсов [42]. В отличие от WPFXNA, OpenGL и DirectX конкретно разработаны для реализации графического контента приложений. 151
Microsoft XNA — набор инструментов с управляемой средой времени выполнения (.NET), созданный Microsoft, не кроссплатформенный, облегчающий разработку и управление компьютерными играми. XNA стремится освободить разработку игр от написания повторяющегося кода и объединить различные аспекты разработки игр в одной системе [15]. Из письма Microsoft от 31 января 2013 стало известно, что новые версии XNA более не будут разрабатываться [74] и XNA не будет доступен в новом Metro интерфейсе Windows 8, а также на Windows 8 RT [79]. Хотя инструментарий XNA проще и быстрее в разработке, по сравнению с DirectX и OpenGL [15].
DirectX — это набор API (англ. application programming interface, API — интерфейс программирования приложений), разработанных для решения задач, связанных с программированием под Windows. Наиболее широко используется при написании компьютерных игр [1].
OpenGL (Open Graphics Library — открытая графическая библиотека, графический APT) — открытый стандарт, разрабатываемый некоммерческой организацией Khronos Group при участии сообщества. Все крупные производители графических процессоров (nVidia, AMD, Intel) влияли на OpenGL. В отличие от DirectX, доступен на очень большом количестве платформ. В частности, OpenGL является основным API для взаимодействия с GPU (англ. graphics processing unit, GPU— графический процессор) в Linux и Mac OS [55]. Таким образом, был выбран OpenGL.
Существует устойчивое заблуждение о том, что OpenGL больше подходит для программ создания профессиональной графики, a DirectX — для игр. Изначально OpenGL разрабатывался как библиотека Зі графики, которая может, но не обязана ускоряться аппаратно. Это также объясняет наличие некоторых функций, например, отрисовка стереоизображений, которые не нужны играм. DirectX разрабатывался гораздо позже, сразу с расчётом на ускорение на GPU. В момент появления многих пакетов профессиональной работы с графикой Direct3D просто не было [55].
Выбор критерия оценки результатов эксперимента
Построим по точкам экспериментальный объект — плоскую поверхность, ограниченную упрощённой октаграммой (см. п. 4.1.1). Выберем расположение точек этой фигуры таким образом, чтобы в таблице координат для каждой точки было однозначно понятно, какой точке графического отображения октаграммы в трёхмерном пространстве она соответствует.
Для этого расположим исходную поверхность параллельно фронтальной плоскости XOZ (см. положение 3 БМП-подхода). Программная модель в свою очередь позволяет ориентировать область вывода графического контекста параллельно координатным плоскостям. Значит, плоскость исходной поверхности можно просматривать строго без аксонометрических искажений при проецировании трёхмерного пространства на экран компьютера.
В данном режиме работы программы первый квадрант (х 0, z 0) плоскости XOZ находится справа вверху, второй квадрант (х 0, z 0) располагается слева вверху, третий (х 0, z 0) локализуется слева внизу, а четвёртый (х 0, z 0) — права внизу (см. рисунок 4.4)
В таблицу координаты точек заносятся по строкам, индексы которых изменяются слева направо, и по столбцам, чьи номера увеличиваются сверху вниз. Если применить такую же схему расположения точек к фронтальному обзору плоскости XOZ (см. рисунок 4.4), точки выбранной испытуемой фигуры необходимо записывать от левого верхнего угла к правому нижнему.
Наиболее очевидным будет искажение поверхности (нарушение её симметрии в общем случае распределения LOi -областей) при параллельном переносе в БМП, если разместить центр симметрии [49] упрощённой октаграммы на оси ординат, а две некоторые её взаимно перпендикулярные оси симметрии [49] — параллельно координатным осям ОХ и OZ соответственно. Тогда при проецировании исследуемой фигуры на координатную плоскость XOZ проекция центра её симметрии окажется в начале координат.
Учитывая выдвинутые требования, пусть объект наблюдения выглядит, как на рисунке Обзор октаграммы в плоскости XOZ На рисунке 4.5 Ту1— отображаемая точка таблицы координат исходной поверхности, находящаяся в строке с индексом / = 1,5 и столбцом с индексом Для построения такой фигуры нужно занести в программу данные из таблицы 4.4. В ответ на поступившие данные БМП-модель выдаст значения и изображения, представленные в таблице 4.5 и на рисунке 4.6. В таблице 4.5 LOR-области точек поверхности показаны заливкой ячеек: левая — зеленоватая, средняя — красноватая, правая — желтоватая.
На рисунке 4.6 смещённая поверхность ярче исходной. Точки поверхностей окрашены в соответствии с принадлежностью зонам влияния зрительных центров, цветовая дифференциация которых основана на том же принципе, что и в таблице 4.5. При отображении каркасных линий и выполнении заливки между разноцветными заданными точками выполнен плавный переход.
По нарушению симметрии смещённой поверхности, положению точек исходного и смещённого фокуса, направлению центровых линий и кусочному распределению областей зрительных приоритетов можно сказать, что начальные параметры модели БМП удовлетворяют необходимому условию начала экспериментов: точка фокуса не принадлежала ни одной из координатных плоскостей и не лежала в пределах области между зрительными центрами. Таким образом, можно приступить к опытам.
Однако перед этим следует обговорить некоторые нюансы критерия оценки результатов экспериментов X, выбранного в п. 4.1.4. Оценочный критерий X имеет место быть применённым в испытаниях всех четырёх категорий, описанных в п. 4.1.5, поскольку вводится в качестве аргумента соответствующих функциональных зависимостей, выявить которые — в намерениях серий экспериментов ниже.
Проведём небольшое исследование функций X(k) и X(RTUI Rj1) зависимости критерия оценки результатов эксперимента X от коэффициента гомотетии к и отношения длин радиус-векторов смещённой и исходной поверхностей. Согласно выражению (4.10), кеф; 1], (RTn IRT ) є (0; 1], X є (0; +оо). Найдём пределы [22] рассматриваемой функции при значениях аргументов 0 и 1, а также при к и {Rf I Rf ). изменении углов радиус-вектора фокуса при фиксированных фокусных эллипсоидах, либо о варьировании границ эллипсоида смещённого фокуса (эллипсоид исходного фокуса в таком случае постоянен). Другой аргумент (FFTI$т) — отношение длин радиус-векторов смещённой и исходной точек, изменяясь, говорит о степени отдалённости точек от поверхностей эллипсоидов относительно зрительных центров (эти расстояния у пары соответствующих точек всегда равны по положению 30 БМП-подхода) и косвенно показывает степень кривизны самих эллипсоидов по сравнению с плоскостями. Глобально оценочный критерий X выражает степень искривления результирующей поверхности.