Содержание к диссертации
Введение
1. Актуальные проблемы искусственного интеллекта и возможные пути их решения. Обзор литературы . 20
1.1. Парадигмы искусственного интеллекта. Краткое введение 20
1.2. Нейросетевая парадигма 24
1.2.1. Векторно-матричный формализм описания состояния
1.2.2. Схема голографии Фурье как нейронная сеть 25
1.2.3. Нейросетевые модели ассоциативной памяти 27
1.2.4. Развитие нейросетевой парадигмы 30
1.3. Теория нечетких множеств 32
1.4. Нейро-нечеткие системы 43
1.5. Парадигма когнитивной системы 45
1.5.1. Модель линейного предсказателя случайных процессов 49
1.5.2. Творческое мышление, правдоподобные и немонотонные рассуждения, психологические феномены восприятия информации 51
1.7. Представление и обработка знаний 56
1.8. Выводы по гл.1. Актуальные проблемы искусственного интеллекта и возможные пути их решения в контексте голографической парадигмы 58
2. Оптические и голографические информационные технологии для систем искусственного интеллекта. Обзор литературы 61
2.1. Голографическая ассоциативная память 61
2.2. Оптические реализации нечетких систем 69
2.3. Реализация квантовых вычислений методом голографии 73
2.4. Анализ структуры связей, используемых при реализации ассоциативной памяти по схеме голографии Фурье 76
2.5. Выводы по обзору и постановка задач работы 78
3. Алгебраические основания голографии Фурье 80
3.1. Основные определения и подход 80
3.2. Оптическая реализация модели 82
3.3. Приближение геометрической оптики 84
3.3.1. Операция отрицания 84
3.3.2. Определяющие операции 86
3.3.3. Ограничения на модель аппроксимации при выборе рабочего участка динамического диапазон 90
3.3.3.2. Неинволютивное отрицание 92
3.4. Приближение Фурье оптики. Алгебра Фурье-дуальных операций 96
3.4.1. Определяющие операции 96
3.4.3. Построение последовательности элементов модели.
3.4.4. Выбор метрики и метода дефаззификации 107
3.4.5. Ограничения на модель 109
3.4.5.1. Обратный элемент 110
3.4.5.2. Противоположный элемент 111
3.4.5.3. Ограничения на модель, обусловленные нелинейностью динамического диапазона голографической регистрирующей
3.4.5.3.1. Аддитивно обратный элемент 117
3.4.5.3.2.Противоположный элемент 121
3.4.5.4. Параметризация 122
3.4.5.5.Влияние шумов и помех 137
4. Реализация нечетко-значимых логик методом голографии Фурье .
4.1. Подход к интеграции логического и образного мышления 145
4.2. Реализация логико-лингвистического моделирования 147
4.2.1. Выбор оператора импликации 147
4.2.2. Выбор метода обучения - градуировки шкал 147
4.2.3. Формирование интегральной оценки по набору входных лингвистических переменных и настройка логики 150
4.2.4. Экспериментальная иллюстрация 152
4.2.4.1. Экспериментальная установка 152
4.2.4.2. Выбор типа изображения и формирование ПВР 153
4.3. Немонотонная логика 161
4.3.1. Введение: два типа немонотонной логики 161
4.3.2. Одновременное предъявление ЛП основного правила и 4.3.2.1. Подход 162
4.3.3. Ассоциативное формирование исключения 165
4.3.3.1. Подход и выбор оператора исключения 165
4.3.3.2. Обучение сети основному правилу и исключению 167
4.3.3.3. Работа обученной сети. Формирование паттернов
4.3.3.4. Работа обученной сети. Модификация первоначального заключения основного правила исключением 172
4.3.3.5. Выбор условий обучения исключению 173
4.3.3.6. Параметризация логики выбором условий обучения 175
4.3.3.7. Численное моделирование 177
4.3.4. Моделирование когнитивных механизмов (механизмов восприятия новой информации) 185
4.3.4.1. Динамика системы 185
4.3.4.2. Анализ диссипативного члена 191
4.3.4.4. Рассмотрение в терминах когнитивных механизмов 208
5. Реализация правдоподобных рассуждений. Введение 215
5.1.1. Постановка задачи и выбор метода представления
5.1.2. Выбор метода представления информации на примере
5.1.2.1. Связь паттерна индивидуальных признаков с паттерном понятия как общего признака. Шкала общности свойств 217
5.1.2.2. Характеристики паттерна индуцированного понятия 220
5.2. Реализация индуктивного вывода 221
5.2.1. Индукция как расширение спектра индуцируемого образа 221
5.2.2. Обсуждение биологических и когнитивных аналогий 223
5.2.3. Абдуктивный вывод 224
5.3.0 физической обусловленности характеристик понятия 228
5.3.1. Формулировка вопросов 228
5.3.2. Механизм формирования связей 230
5.3.2.1. Формирование матрицы весов связей 230
5.3.2.2. Запись (запоминание) матрицы весов связей 233
5.3.3. Механизмы согласования спектров амплитуд индуцируемого
5.3.3.1. Смещение на каждой итерации частоты равенства локальных амплитуд спектров в область низких частот 235
5.3.3.2. Согласование спектров понятия и исходного образа 236
5.3.3.2.2. К вопросу оценки адекватности гипотезы 239
5.3.3.2.3. Итерирующее отображение в слое индуцируемого
5.3.3.2.4. Дифракция на голограмме - отображение на матрице
5.3.3.2.5. Численное моделирование динамики 244
5.4. Заключение по разделу 5 251
6. Реализация модели линейного предсказателя случайных процессов и когнитивных эффектов, основанных на механизме предсказания .
6.1. Модель линейной оценки 255
6.1.1. Модель линейной оценки и её реализация методом
6.1.2. Анализ факторов, влияющих на корректность реализации модели методом голографии Фурье 259
6.1.2.1. Ограниченность реализации 259
6.1.2.1.1. Ограниченность реализации и структура связей 259
6.1.2.1.2. Отличия ИКФ от ТКФ 260
6.1.2.2. Ограниченность динамического диапазона голографических регистрирующих сред 262
6.2. Экспериментальная иллюстрация 278
6.2.1. Экспериментальная установка 278
6.2.2. Экспериментальные результаты 280
6.3. Метод применения нейросети со связями по схеме голографии
6.3.2. Биологически мотивированный подход к решению задач 285
6.3.2.1. Классификация задач
6.3.2.2. Самостоятельная настройка сети на тип динамики, необходимый для решения встреченной задачи .
6.3.2.3. Моделирование сценария Фейгенбаума на основе экспериментальных данных .
6.3.2.4. Об адекватности гипотез, порождаемых в хаотическом
6.3. Реализация феномена познавательного дрейфа
А.1. Постановка задачи и подход 322
А.2. Подход к выбору модели аппроксимации 324
А.3. Экспериментальные установки и методика экспериментов 327
А.4. Экспериментальные результаты 331
А.5. Применение модели аппроксимации при моделировании нечетко-значимых логик. Сравнение экспериментальных и
- Нейросетевая парадигма
- Оптические реализации нечетких систем
- Ограничения на модель аппроксимации при выборе рабочего участка динамического диапазон
- Формирование интегральной оценки по набору входных лингвистических переменных и настройка логики
Введение к работе
1. Актуальность: Оптика предлагает альтернативу информационным технологиям, основанным на использовании электронной элементной базы вычислителей, в силу следующих атрибутов света:
естественного параллелизма представления и обработки изображений;
независимостью распространения волн в свободном пространстве;
преобразованием, включая интегральные, комплексных волновых полей со скоростью света; скорость обработки ограничена быстродействием устройств записи и ввода - вывода информации в оптический процессор.
В настоящее время широкое применение в практических задачах контроля и управления в сложной быстроменяющейся обстановке нашли методы и модели, разработанные в рамках фундаментального направления «искусственный интеллект» (ИИ). Эти модели зачастую отличаются высокой алгоритмической сложностью и вычислительной затратностью. В этой связи актуальны соотносимые с образной формой мышления и когнитивным подходом аналогии между свойствами голограмм и мозга; основные из них:
обучение на примерах вместо формализации и программирования;
ассоциативность отклика;
естественная распределенность памяти и вычислений;
- представление информации изображениями как аналогами паттернов
внутренней репрезентации - картин нейронной активности и их обработка.
Эти аналогии, отмеченные еще основателями голографии Д.Габором, Ю.Н.Денисюком и П. Ван Хирденом, положены в основу голографической парадигмы в ИИ, сформулированной К. Прибрамом. Прибрам подчеркивал, что голографическая парадигма основана на аналогиях не на уровне физики работы или устройства реальных мозга и голограммы, но только на уровне их математических моделей. Такой феноменологический подход развивает ряд исследователей: школы О.П. Кузнецова, К.В. Судакова, Ю.И. Александрова, W.J. Freeman и др. Интерес к голографии со стороны ИИ обусловлен резким контрастом между сложностью решения ряда задач в рамках компьютерной парадигмы и быстротой их решения мозгом и, соответственно, поиском биологически и психологически мотивированных альтернатив компьютерной парадигме в ИИ и, в свою очередь, создания адекватных новым подходам принципов функционирования, элементной базы и схем вычислителей. В большинстве этих работ эффективно использованы общие принципы голографии, но часто без детального учета физики моделируемых явлений и механизмов. Принятые термины: «квазиголографическое кодирование», «псевдооптические нейронные сети», «псевдофизические логики», работы по моделированию голографических методов в семантических сетях, отражают, на наш взгляд, признание актуальности физической обоснованности моделей.
1 Прибрам К. Нелокальность и локализация: голографическая гипотеза о функционировании
мозга в процессе восприятия и памяти // В сб. «Синергетика и психология». В.1.
«Методологические вопросы». М.: МГСУ «Союз», 1997. С.156 - 183.
2 Аверкин А.Н, Вагин В.Н., Кузнецов О.П., Тарасов В.Б. Круглый стол «Парадигмы
искусственного интеллекта» //Новости искусственного интеллекта. 1998. №3. С.140-161.
Степень разработанности темы исследования: Большая часть работ по применению голографии в ИИ, выполненных оптиками, направлена на реализацию голографической ассоциативной памяти. Разработки выполнены в ФТИ им. А.Ф. Иоффе (школа СБ. Гуревича), институте Автоматики и Электрометрии СО АН РФ (школа П.Е. Твердохлеба), институте оптико-нейронных технологий РАН (школа А.Л. Микаэляна), МГТУ им. Баумана (группа СБ. Одинокова). Значительная часть работ посвящена реализации модели нейронной сети Хопфилда в схеме голографии Фурье с обращением волновых фронтов или замыканием резонатора видео трактом.
Память - фундамент интеллекта, но еще не интеллект, основная функция которого - решение задач. Ряд работ посвящен оптическим реализациям моделей искусственных нейронных сетей для решения задач классификации и оптическим процессорам нечеткой логики. В них эффективно использован параллелизм оптики, но реализованы преимущественно модели, ранее разработанные в рамках формально-эвристического подхода к ИИ, без учета физической обоснованности - не только ограничений, но и возможностей, определяемых реальными свойствами оптических механизмов, схем и сред.
В настоящее время повышенное внимание привлекает когнитивный подход к обработке информации, акцентирующий внимание, в том числе, и на тезисе о существенной зависимости модели от свойств её материального носителя , т.е. постулирующий примат физической обоснованности модели.
Таким образом, для значительной части работ по применению голографии в ИИ, ориентированных на реализацию механизмов и моделей, соотносимых с образной формой мышления, характерна слабая физическая обоснованность моделей, их ограниченность кругом уже разработанных в ИИ и, как следствие, неполное использование потенциала оптики, включая голографию, оптических информационных технологий и голографических схем как параллельных специализированных вычислителей, ориентированных на задачи обработки информации. В то же время, современные тенденции и проблемы развития ИИ постоянно, в разных формах и терминах, подводят исследователей и разработчиков систем ИИ к вопросу физической обоснованности используемых моделей. Для реализации всего потенциала голографии в ИИ необходимо наполнение голографической парадигмы физически обоснованными моделями, на феноменологическом уровне аналогичными современным представлениям о методах обработки информации мозгом.
Цель работы: Разработка и исследование физически обоснованных моделей обработки информации методом голографии Фурье, отчасти аналогичных методам обработки информации мозгом.
Задачи работы: Для достижения определенной цели были поставлены и решены следующие, взаимосвязанные логикой исследования, задачи: 1. Формулировка логико-алгебраического описания схемы голографии Фурье и определение физически обусловленных свойств модели.
Кузнецов О.П. Когнитивная семантика и искусственный интеллект // Искусственный интеллект и принятие решений. 2012. №4. С.32-42.
-
Разработка в рамках порождаемой схемой голографии Фурье алгебры биологически мотивированного метода интеграции логической и образной форм мышления и реализации при обработке изображений методом голографии Фурье логик из класса нечетко-значимых, включая немонотонные. Выявление закономерностей немонотонных рассуждений в связи с характеристиками голографической схемы и её элементов.
-
Разработка в рамках алгебры и исследование физически обусловленной модели правдоподобных рассуждений, в том числе, в контексте задачи перехода от образного к понятийному мышлению. Выявление закономерностей формирования индуктивно порождаемого понятия в связи с характеристиками оптической схемы и регистрирующих сред.
-
Разработка и исследование голографической реализации модели предсказателя случайных процессов и метода решения задач на базе схемы голографии Фурье в рамках когнитивного подхода.
-
Разработка на основе построенных моделей и исследование физических механизмов, обуславливающих проявление аналогов когнитивных феноменов, характерных для биологического интеллекта. Выявление физически обусловленных закономерностей проявления когнитивных феноменов.
Методы исследований: Использованы методы теоретического, численного и экспериментального (на голографических стендах) моделирования, включая: математический аппарат и методы геометрической и дифракционной оптики, теории нечетких множеств, теории случайных процессов, теории динамических систем, искусственных нейронных сетей.
Достоверность и обоснованность полученных результатов:
Достоверность полученных результатов подтверждена сравнением теоретических, расчетных и экспериментальных данных, в том числе, с опубликованными результатами других исследователей. Использованы признанные и апробированные математические модели и методики численного и экспериментального моделирования. Разработанные модели физически обоснованы, результаты и выводы имеют ясную физическую трактовку, соотнесены с известными когнитивными феноменами. Дано достаточное для независимой верификации и повторения описание методов и условий численного и экспериментального моделирования.
Научная новизна:
1. Впервые показано, что схема голографии Фурье порождает алгебру фурье-дуальных определяющих модель операций; фурье-дуальность порождает нечетко-значимость как атрибут модели.
Для каждого элемента модели физически реализуемы аксиоматические определения четырех элементов: отрицательного, дополнительного, противоположного и аддитивно обратного. Операция корреляции реализует вычитание (абстрактное). При обращении волнового фронта в плоскостях входной и задней фокальной второй фурье-преобразующей линзы схема строит последовательность элементов модели, реализуя аксиомы Пеано с
ограничением аксиомы индукции информационной емкостью схемы и угловой инвариантностью голограммы.
Фурье-дуальность вкупе с ограниченностью динамического диапазона регистрирующих сред обуславливают структуру аддитивной полугруппы и необратимость арифметики. Показаны физически обусловленные свойства алгебры: нелинейность экспозиционных характеристик регистрирующих сред и сенсоров параметризирует модель; для операндов с отношением глобального максимума автокорреляционной функции к боковым, превышающим динамический диапазон сред и сенсоров, возможна частичная обратимость арифметики.
Предложена и экспериментально подтверждена аппроксимативная формула для моделирования логического заключения в классе нечетко-значимых логик с учетом реальных характеристик голографических регистрирующих сред для частного случая высокочастотных голограмм.
-
Впервые предложен и экспериментально подтвержден метод интеграции логической и образной форм мышления в пространстве Фурье, объединяющий концепцию логико-лингвистического моделирования на основе арифметики нечетких чисел с биологически мотивированным методом представления информации паттернами внутренней репрезентации и их обработки.
-
Впервые дана модель логики с исключением на основе фурье-дуальности операций основного правила вывода «Обобщенный Modus Ponens» и исключения, в которой значение исключения ассоциативно формируется заключением, сформированным в рамках вывода «Обобщенный Modus Ponens», и модифицирует значение первоначального заключения.
-
Впервые дана модель редуцирования когнитивного диссонанса на алгебре фурье-дуальных операций и показано, что его редуцирование по сценарию, соответствующему обыденному когнитивному стилю, обусловлено диссипативным характером модели. Впервые показано, что сценарий редуцирования когнитивного диссонанса, ведущий к формированию неадекватного заключения, обусловлен разрушением внутренней коррелированности паттернов репрезентации информации.
-
Впервые дана модель индуктивного и абдуктивного выводов в схеме голографии Фурье на основе итерационного расширения частотного диапазона в область низких частот посредством нелинейного итерирующего отображения в плоскости репрезентации паттерна формируемой гипотезы. Впервые показано, что максимальная общность и адекватность индуктивно формируемого понятия субъективному представлению о реальности достигается при равенстве радиуса его корреляции радиусу корреляции индексного образа; формирование внутренней коррелированности понятия, разрушенной на этапе абстрагирования от частных признаков, обеспечивает диссипативный механизм - дифракция на голограмме Фурье - отображение индексного образа на матрице связей в пространстве Фурье, реализующее соотнесение гипотезы понятия с субъективным представлением о реальности.
-
Впервые теоретически и экспериментально показано, что 4f схема голографии Фурье с обращением волнового фронта в корреляционной плоскости, при использовании на этапе обратного прохождения света от корреляционной плоскости к плоскости изображений инверсной голограммы, реализует модель множественной линейной регрессии. Ореол, формируемый вокруг восстановленного в обратном ходе лучей изображения эталона, представляет линейное предсказание объектного изображения.
-
Впервые дан мотивированный с позиций когнитивной психологии метод решения задач на базе схемы голографии Фурье, основанный на самостоятельной настройке схемы на модель обработки и тип динамики, необходимые для решения встреченной задачи, за счет нелинейности экспозиционных характеристик голографических регистрирующих сред. Тип задачи и метод её решения определяет величина отношения глобального максимума автокорреляционной функции к боковым максимумам:
при большой величине отношения - задача на вспоминание известного, метод - ассоциативная память, динамика - конвергентная или циклическая;
при низкой величине отношения - задача на рассуждение, решение на основе имеющихся знаний методом предсказания или логического вывода, динамика - конвергентная или циклическая;
при отсутствии глобального максимума имеющихся знаний недостаточно - задача должна решаться творчески; метод решения - генерация континуума гипотез, связанных с условиями задачи и знаниями моделью линейной регрессии, играющей ключевую роль механизма, предотвращающего порождение гипотез, противоречащих фундаментальным законам мироздания, тип динамики - хаотический.
8. Впервые показано, что при режекции глобального максимума
автокорреляционной функции модель линейной регрессии дает эффект, отчасти
аналогичный феномену «когнитивного дрейфа» в форме, характерной для
амбьентного зрения - выделение по интенсивности области объектного
изображения, отличного от эталона.
Теоретическая значимость: В диссертации разработан комплекс взаимосвязанных теоретических положений, формирующих научные основы новых технологий обработки информации методом голографии Фурье на принципах искусственного интеллекта.
Практическая значимость: Результаты работы актуальны для создания параллельных вычислителей и автономных интеллектуальных систем управления, действующих в сложной, быстроменяющейся обстановке, при обработке потоковой информации в реальном времени, в том числе, систем оперативного контроля на основе контекстно-адресуемого доступа к памяти.
Голографический предсказатель случайных процессов актуален также для решения задачи предсказания в реальном времени, например, загрузки узлов телекоммуникационных сетей большой информационной емкости.
Модели выдвижения гипотез (абдуктивных, индуктивных и творческих) актуальны также в системах поддержки принятия решений.
Реализация аналога феномена когнитивного дрейфа применима для автоматической фокусировки внимания оператора на области изменений при контроле обстановки по оперативным видео данным в системах контроля и управления, дистанционного зондирования и экологического мониторинга.
На защиту выносятся следующие научные положения и результаты:
1. Схема голографии Фурье порождает алгебру фурье-дуальных
определяющих модель операций; фурье-дуальность порождает нечетко-
значимость как атрибут модели.
Для каждого элемента модели физически реализуемы аксиоматические определения четырех элементов: отрицательного, дополнительного, противоположного и аддитивно обратного. Операция корреляции реализует вычитание (абстрактное). При обращении волновых фронтов во входной и задней фокальной плоскости второй фурье-преобразующей линзы схема строит последовательность элементов модели, реализуя аксиомы Пеано с ограничением аксиомы индукции информационной емкостью схемы и угловой инвариантностью голограммы.
Фурье-дуальность вкупе с ограниченностью динамического диапазона регистрирующих сред обуславливают структуру аддитивной полугруппы и необратимость арифметики. Экспозиционные характеристики регистрирующих сред и сенсоров параметризируют модель; для операндов с отношением глобального максимума автокорреляционной функции к боковым, превышающим их динамический диапазон, возможна частичная обратимость арифметики.
-
Метод интеграции логической и образной форм мышления в пространстве Фурье.
-
Логика с исключением и модель редуцирования когнитивного диссонанса на алгебре фурье-дуальных операций.
-
Модель индуктивного и абдуктивного выводов в схеме голографии Фурье на основе итерационного расширения частотного диапазона в область низких частот посредством нелинейного итерирующего отображения в плоскости репрезентации паттерна формируемой гипотезы.
-
4f схема голографии Фурье с обращением волнового фронта в корреляционной плоскости, при использовании инверсной голограммы на этапе обратного прохождения света от корреляционной плоскости к плоскости изображений, реализует модель линейной регрессии. Ореол, формируемый вокруг восстановленного в обратном ходе лучей изображения эталона, представляет линейное предсказание объектного изображения. При режекции глобального максимума автокорреляционной функции модель линейной регрессии дает эффект, отчасти аналогичный феномену «когнитивного дрейфа» в форме, характерной для амбьентного зрения - выделение по интенсивности области объектного изображения, отличного от эталона.
-
Метод решения задач на базе схемы голографии Фурье, основанный на самостоятельной настройке схемы на модель обработки и тип динамики,
необходимые для решения встреченной задачи, за счет нелинейности экспозиционных характеристик голографических регистрирующих сред.
Реализация и внедрение результатов исследований: Результаты работы внедрены в учебный процесс в СПб НИУ ИТМО в виде лекционных курсов и экспериментальных практикумов по курсам «Технологии искусственного интеллекта» и «Методы обработки информации в фотонике».
Апробация работы: Результаты работы представлены в 64-х докладах на ведущих Российских и Международных конференциях по оптике и искусственному интеллекту, из них наиболее значимы следующие:
19 (2003), 21 (2008) and 22 (2011) General Congresses of the International Commission for Optics (ICO); 45 (2000), 46 (2001), 49 (2004)Annual SPIE Meetings (Applications and Science of Neural Networks, Fuzzy Systems, and Evolutionary Computations); Photonics Prague 2002; Optics in Computing 98; Information Photonics: 2006, 2008, 2013; European Symposium on Intelligent Techniques ESIT'2000 (ERUDIT); Международные конференции «Фундаментальные проблемы оптики»: 2000, 2012; Национальные конференции по искусственному интеллекту: 2004, 2006, 2008, 2010, 2012; Международные научно-практические семинары и конференции «Интегрированные модели и мягкие вычисления в искусственном интеллекте», Коломна: III (2005), IV (2007), V (2009), VI (2011), VII (2013); Международные конференции и конгрессы по системам искусственного интеллекта AIS - CAD: 2003, 2004, 2005, 2007, 2009, 2011 2012, 2013; по мягким вычислениям и измерениям SCM: 1998, 1999, 2001, 2002; «Speech and computer»: 2004, 2006; Управление и информационные технологии 2003; 1-ый Международный симпозиум "Гибридные и синергетические интеллектуальные системы: теория и практика" 2012; Международные научно-практические конференции «Голоэкспо»: 2007, 2010, 2011, 2012, 2013; XXVIII Школа-симпозиум по голографии и когерентной оптике 2013; Научные сессии НЯИУ МИФИ -семинары и конференции «Фотоника и информационная оптика».
Публикации: Основные результаты опубликованы в 107 статьях, из их: 48 - в Российских и зарубежных изданиях, удовлетворяющих критериям ВАК (38 -Российские журналы из списка ВАК, 10 - иностранные журналы и периодические издания, индексируемые SCOPUS, Web of Science), трудах Всероссийских и Международных конференций (45 статей и 11 тезисов), сборниках и профильном журнале (3), 4-х учебных пособиях с грифом УМО.
Личный вклад: Все результаты, представленные в диссертации, получены автором лично или под его научным руководством. В работах, выполненных в соавторстве, автору принадлежат: постановка задач, определение подходов и методов исследований, планирование экспериментов, участие в их проведении и моделировании, обработка и анализ результатов. Вклад соавторов отмечен в тексте диссертации, конфликт интересов отсутствует.
Структура и объем диссертации: Объем диссертации составляет 384 страницы, включая 187 рисунков. Диссертация состоит из Введения, пяти глав, Заключения, Приложения А и Списка литературы (442 ссылки).
Нейросетевая парадигма
Бурный прогресс 50-70-х годов XX века в развитии кибернетики и ЭВМ сопровождался своеобразной эйфорией, доминировала точка зрения, что любая интеллектуальная задача может быть формализована, алгоритмизирована и, следовательно, сосчитана, а проблема лишь в том, чтобы разработать достаточно подробный и адекватный алгоритм, увеличить объем памяти и вычислительную мощность ЭВМ. Этот подход, основанный на формальном выводе, символьном представлении информации и обработке алгоритмизируемыми логико-комбинаторными методами, известен под названием компьютерной парадигмы в ИИ [19,20]. Символ здесь понимается только как знак алфавита, не имеющий ни семантики, ни прагматики [20].
Однако по мере как возрастания сложности алгоритмов, так и параллельного увеличения объема памяти и вычислительной мощности ЭВМ, выявился класс задач, в рамках компьютерной парадигмы не решаемых, или решаемых недопустимо высокой ценой. В предположении, что проблема заключается отнюдь не в недостаточности вычислительной мощности, слабости моделей и алгоритмов, рядом исследователей была поставлена под сомнение исходная посылка компьютерной парадигмы о правомочности абстрактного рассмотрения информационных процессов безотносительно к свойствам их материального носителя и, соответственно, правомочности моделирования информационных процессов мозга в терминах формальных систем [19, 20]. Иными словами, и в ИИ был поставлен классический вопрос о физической обоснованности математических моделей.
Психологические, анатомические и нейрофизиологические исследования мозга показали, что ряд задач «безнадежно медленный по сравнению с ЭВМ» [19] мозг решает быстрее и эффективнее прежде всего потому, что решает их принципиально по другому, чем ЭВМ [7, 12, 26 - 28]. В этой связи задачи, решаемые интеллектом, условно могут быть разбиты на два класса [19, 20]: 1. задачи, требующие строго-логических методов решения; 2. задачи трудноформализуемые, комбинаторно-комплексные, нечетко определенные, не алгоритмизируемые и не вербализируемые.
Такое разграничение в определенной степени соответствует известному функциональному разделению полушарий мозга - левое полушарие по преимуществу решает задачи из первого класса, правое - второго [10, 19, 28]. При этом известно, что в случае необходимости правое полушарие может взять на себя функции левого, но не наоборот. Применительно к методам решения задач из второго класса представляют интерес следующие атрибуты информационных процессов, характерные для человека, но не учитываемые, или учитываемые не в полной мере, в рамках компьютерной парадигмы. [19] 1. Мозг здорового бодрствующего человека - предельно неустойчивая хаотическая система; способности к творчеству определяются способностью перехода к хаотической динамике нейронной активности коры головного мозга [15, 23, 29 - 32]. 2. Функциональная асимметрия полушарий мозга [10, 28]. Правое полушарие реализует процессы не алгоритмизируемые и не вербализируемые, относящиеся к категории «образного мышления», левое реализует «логическое мышление». Кавычки потому, что даже «лево-полушарные» информационные процессы у человека протекают не так, как в ЭВМ, логико-алгоритмические процессы - лишь часть модели этих процессов. 3. Приоритетно стремление к целостности и устойчивости уже сформировавшихся информационных структур (внутренней картины мира), а не к формальной логичности рассуждений [19, 31]. Этот атрибут можно соотнести с определением цели существования информационной системы как стремления к сохранению собственной информации [33]. 4. Несимвольное, аналоговое представление информации. На концептуальном уровне преобразования информации непрерывные, но дискретизируемые в целях их объективизации и передачи. [6, 7, 19] 5. Образность мышления. Внутренние репрезентации информации физически суть картины нейронной активности коры головного мозга. Мозг обрабатывает не цифры, как ЭВМ, а паттерны внутренней репрезентации. [11] 6. Наличие эффектов размывания и обострения образов. [19] 7. При описании работы мозга на уровне математической модели более адекватно отношение сходства (толерантности), а не тождества. В этой связи важна ассоциативность как атрибут мышления, обеспечивающий способность сравнения, классификации и понимания [19, 22]. 8. Распределенность (пространственная) информации - даже локальная информация хранится и считывается в структурах мозга глобально. [11, 19] 9. Параметричность модели - свойства модели должны зависеть не только от архитектуры реализующего её устройства, но и от ряда параметров, изменение которых меняет свойства реализуемой модели обработки информации без перенастройки связей (изменения архитектуры) [19].
Признание актуальности этих атрибутов привело к развитию альтернативных подходов - т.н. «некомпьютерных» парадигм в ИИ, в том числе, бионических. В контексте настоящей работы, следует упомянуть в первую очередь парадигму искусственных нейронных сетей (НС), изначально опиравшуюся на результаты анатомических и нейрофизиологических исследований мозга, и теорию нечетких множеств (ТНМ) - чрезвычайно плодотворную и красивую попытку на строгом языке математики описать присущую человеческому мышлению, неполноту, неоднозначность и противоречивость [34, 35]. Эти два направления интегрированы в концепции нейро-нечетких систем [34]. Очень условно, в рамках нейро-нечетких систем теория НС может рассматриваться как теория аппаратной реализации или «hardware», а теория нечетких множеств - «software». Интересующая нас голографическая парадигма (ГП) [8] обычно рассматривается в тесной связи с НС парадигмой [12, 19, 35 - 44].
Оптические реализации нечетких систем
Уместно отметить, что с практической точки зрения хаос дает еще и эффективный механизм ассоциативной памяти при записи информации на предельных циклах и хаотических орбитах [115, 122 - 125]. Биологическая мотивированность некоторых из предложенных алгоритмов такой записи информации не вполне очевидна. Авторы [33, 117] разделяют процессы генерации новой информации, для которых необходима неустойчивость системы, и запоминания, требующие, наоборот, устойчивости.
То, что интеллектуальные способности определяются в значительной степенью именно возможностями реализации не только предельных циклов высокого порядка, но и хаотической динамики, то есть в терминах физических -нелинейностью экспозиционных характеристик мозга как регистрирующей среды (при всей условности такой трактовки), на сегодня признан достаточно широко [30, 32, 106]. В этой связи представляют интерес модели как нейросетей, так и отдельных нейронов, реализующих сценарии перехода от конвергентной к хаотической динамике, и наоборот [118]. В первую очередь, имея в виду физическую реализуемость голографическими методами, следует обратить внимание на два пути перехода к хаосу: - реализуемый в системах с нелинейным звеном сценарий Фейгенбаума (переход через каскад бифуркаций на нелинейных отображениях) [126] ; - становление динамических структур в открытых диссипативных системах [23, 33, 112, 115, 116].
Интерес представляют развитые в теории связи методы согласования хаотических систем [127], учитывающие присутствующий в реальных системах диссипативный фактор [109, 115 - 120, 128]. Отметим различие терминов «хаос» как математическую идеализацию, учитывающую точность задания значений и точность измерения, но абстрагирующуюся от флуктуации, и «физический хаос», учитывающий присутствующие в реальной системе флуктуации [116]. Модель линейного предсказателя случайных процессов
Важнейший атрибут интеллекта - способность к предсказанию. Как было показано П.К.Анохиным [105] и не единожды подтверждено впоследствии [106, 129 - 131], предсказание играет ключевую роль в восприятии информации из внешнего мира. Предсказание как способность предвидения дальнейшего развития обеспечивает выживаемость организма в реальной, изменяющейся обстановке. Предсказание как один из механизмов пусковой афферентации (этап афферентного синтеза, рис.1.5.) обеспечивает запуск процессов выработки решения [43]. Предсказание - ключевой элемент механизма самодостраивания образов который рассматривается как один из возможных методов реализации феноменов интуиции, творческого и, шире, вообще решения задач интеллектом [23, 31, 121, 129, 130]. Соответственно, и ряд известных в когнитивной психологии феноменов, например, феномен познавательного дрейфа, заключающийся в фокусировке внимания на происшедших изменениях при абстрагировании от неизменных фрагментов, могут быть реализованы, в том числе, и на основе механизмов предсказания, вкупе с механизмом поиска совпадений [31, 129, 131].
В этой связи представляет интерес разработанная в теории случайных процессов модель линейного предсказателя (ЛП) случайных процессов, дающая наилучшую по критерию минимума среднего квадрата ошибки оценку значения процесса вне области наблюдения [132 - 134]. В рамках метода наименьших квадратов минимизируется значение ошибки: о / ———— \ 2 где f{x)- расчетные, affx) - фактические значения процесса на [xmin,x0] Если имеется некоторый случайный процесс f{x) с автокорреляционной функцией С (С), реализация которого наблюдаема на интервал e[xmin,x0], где х0-точка наблюдения - граница кадрового окна в оптике, то оценка значения процесса в точке хк дается выражением Известно, что большинство реальных процессов и полей [135, 136] критерию стационарности (однородности для полей) не удовлетворяют. В рамках данной работы важно, что нестационарность (неоднородность) реальной информации должна вести, при условии адекватности восприятия, и к неоднородности репрезентирующих их картин нейронной активности коры головного мозга. Из теории случайных процессов известно, что для нестационарных процессов минимум ошибки обеспечивает модель нелинейного предсказателя, но задача его построения в общем случае весьма нетривиальна [132, 133]. В то же время, многие реальные процессы и поля принадлежат к классу процессов и полей со стационарными приращениями, соответственно, переход к обработке не реализаций, а приращений позволяет применить относительно простой аппарат линейного предсказателя, например, при предсказании трафика телекоммуникационных сетей [137, 138]. В контексте данной работы модель ЛП представляет интерес также и в силу того, что один из методов решения уравнений Винера-Хопфа (1.25) основан на использовании преобразования Фурье [139].
Отметим, что модель ЛП (1.24), развитая в классической теории случайных процессов, замечательно включается в ТНМ посредством понятия нечеткого преобразования [140-142], которое определяется для непрерывной функции /:Х—»М как вектор (FTv...,FTn), где
В [143] показана интуитивно очевидная из сравнения (1.26) с (1.24), (1.25) применимость нечеткого преобразования в задаче предсказания. В [144] показано, что предсказание на основе модели нечеткого преобразования при выборе треугольных функций atf(x) строит предсказание тренда, т.е. низкочастотных компонент процесса со сложным спектральным составом.
Ограничения на модель аппроксимации при выборе рабочего участка динамического диапазон
С другой стороны, отказ от требования на инволютивность отрицания позволяет существенно расширить рабочий участок динамического диапазона. Например, для аппроксимации функцией Лоренца (рис.3.1.) динамический диапазон, в котором погрешность выполнения свойства инволютивности менее 0.01, составляет всего 0.3 диапазона. Отказ от инволютивности позволяет повысить точность моделирования в силу того, что инволютивность представляет собой математическую абстракцию, приемлемую в качестве первого, грубого приближения при описании процесса фоторегистрации [327] и поэтому правомочную лишь при довольно строгих ограничениях.
В качестве примера, на рис.3.3.б. экспериментально измеренные значения зависимости туЕа), приведенной на Рис.3.1, в диапазоне экспозиций (по дуальную произведению. При X = 0 имеем отрицание Заде и, соответственно, алгебраическую сумму (3.19), т.е. условие включенности линейной аппроксимации в данную модель выполнено.
Значения параметров аппроксимирующих функций, так же, как и границы диапазона, подбирались по критерию минимизации среднеквадратичного отклонения. Для аппроксимации отрицанием Сугено (3.21) найденное оптимальное значение = 4.5 дало минимальную величину а = 0.030, для аппроксимации полиномом а = 0.029 (рис.3.3.б). Отрицание полиномом в [0,1] несколько раз меняет характер со слабого на интуитивное, е двойное отрицание дало максимальную ошибку относительно двойного применения инволюции не
более 0.02, а = 9.34-10 . Исходя лишь из традиционного критерия минимума среднеквадратичного отклонения, аппроксимация полиномом выглядит, казалось бы, чуть более предпочтительной. Для простых систем с одно- или двукратным применением отрицания обе аппроксимации практически равноправны.
Однако в схеме рис.3.2 операция отрицания при реализации абстрактного сложения, как и в (1.11), применяется трижды. На рис.3.4.а дано графическое изображение результата операции сложения при аппроксимации туа) отрицанием Сугено, а на Рис.3.4.б - разности значений результатов сложения, даваемых моделью при двух указанных аппроксимациях зависимости i(«). По осям абсцисс и ординат отложены значения операндов, а по оси аппликат - значение результата, все значения для наглядности даны в долях интервалов \о,и\ = [01].
Разность результатов сложения при аппроксимации х(а) в диапазоне экспозиций [0.11, 2.11] (мкВт0.5/см2) (Рис.3.3) отрицанием Сугено (Х=4.5) и полиномом четвертой степени. На рис.3.5.а приведены разности результатов сложения и умножения для аппроксимации участка кривой рис.3.1 (штрих-пунктир), в котором ошибка двойного отрицания относительно инволюции для аппроксимации функцией
Лоренца не превышает 0.01, функциями Лоренца (а = 7.746-10 ) и отрицанием Сугено ( =1.301, а = 8.367-10 ). Для сложения максимальная ошибка при аппроксимации Лоренца достигла 0.15, для умножения -0.024. Рис.3.5.а. Разность результатов сложения при аппроксимации в диапазоне экспозиций [0.339, 0.995] (мкВт0.5/см2) (Рис.3.3) отрицанием Сугено (Х=1.301) и функцией Лоренца. Рис.3.5.б. Разность результатов умножения при аппроксимации xyaj в диапазоне экспозиций [0.339, 0.995] (мкВт0.5/см2) (Рис.3.3) отрицанием Сугено (Я,=1.301) и функцией Лоренца.
Если операнды представлены волновыми полями, то неадекватный выбор аппроксимирующей функции для операции отрицания, как и участка динамического диапазона, может повлечь, в зависимости от вида реальной зависимости т( 2), утрату в некотором где J] - функция Бесселя первого рода первого порядка [306, 333]. В случае нормальных унимодальных функций преобразование Фурье удовлетворяет аксиоме монотонности (3.4) в форме, т.е.
Имея в виду рассматриваемую реализацию алгебры методом голографии, имеет смысл использовать эквивалентную форму условия невозрастания в пространстве корреляций, где оно имеет силу только для глобальных максимумов функций автокорреляции (ГМ АКФ) сравниваемых операндов: порядка на множестве элементов модели FIm\XLj. Далее для обозначения отношений порядка элементов модели в смысле (3.25) и (3.26) будем использовать символы - , =, т.е. ос А(х}уВ(х}о(А(х} А(х}) (5(JC)В(Х)) (3.27) для заданного а, и наоборот. В очевидных случаях будем писать - и у. Достоинства такого способа введения порядка следующие: - универсальность в плане применимости к любому типу изображений и сигналов; - учет внутренней коррелированности как атрибута информации, отличающего её от шума, и её изменения в результате фильтрации.
Обозначение величины а, по которой определяется отношение порядка, необходимо в силу того, что, как неоднократно будет показано ниже, в процессе обработки форма АКФ результата операции может изменяться относительно АКФ как операндов, так и результатов других операций. Соответственно, в зависимости от величины а, может меняться знак в (3.27) - с на и наоборот. Соответственно, для выполнения свойства монотонности в этом случае необходимо определить и различать а и (3.
Вопрос соответствия величин срезов а и (3 в (3.25) и (3.26) должен решаться в зависимости от вида АКФ. Для большинства реальных изображений, характеризующихся экспоненциальной АКФ, при величинах искажений и фильтраций, не ведущих к сильной в смысле недетектируемости ГМ АКФ декорреляции, на практике можно принять а = (3. Требование на инволютивность формально удовлетворяется использованием пары прямого и обратного преобразований Фурье. В силу нереализуемости в оптике обратного преобразования Фурье двукратное последовательное использование прямого преобразования Фурье ведет к инверсии координат [47] учет которой эквивалентен выполнению условия (3.28). Но это рассуждение не учитывает свойства ограниченности как апертур, так и динамического диапазона, ведущего к потере разрешения, т.е. к диссипативности системы.
Таким образом, в алгебре фурье-дуальных определяющих операций в качестве минимального элемента (9(х) выступает 8-функция, описывающая дифракционно ограниченный точечный источник, а максимального, фурье-дуального минимальному, Uyv) = Ryv), т.е. квази-плоский волновой фронт, ограниченный апертурой кадрового окна 2L или 2vmax в пространстве Фурье. Поскольку частотная координата v в рамках параксиального приближения связана с пространственной Хр (в пространстве Фурье) простым соотношением Xr = Xfv, где f - фокусное расстояние линзы, а X - длина волны, то координаты х/ и v равноправны.
Формирование интегральной оценки по набору входных лингвистических переменных и настройка логики
Это рассмотрение влияния фильтрации, согласно которому с ростом высокочастотное фильтрации уменьшается оценка диссипативного фактора и, соответственно, скорость конвергенции, правомочно в предположении унимодальности члена (4.28). Вместе с тем, при высокочастотной фильтрации, включая режекцию низких частот, имеет место немонотонность как самого (4.28), так и его АКФ - наличие боковых максимумов. При превышении величиной боковых максимумов (4.28) порога, определяемого динамическим диапазоном сред, они будут оказывать влияние на условие равновесия (4.23) со смещением его вверх. При этом оценки самих паттернов (3.33) сдвигаются вниз. В результате возможно нарушение монотонности динамики - дивергентный тип на начальных итерациях с последующим резким изменением её типа на конвергентный.
Анализ диссипативного фактора (4.28) показывает и допустимые условия обучения сети. Выше было отмечено, что ограниченность динамического диапазона ГРС ведет к некоммутативности вычитания (корреляции) даже в смысле модуля результата. Следствие этого факта - требование на то, что вычитаемое должно быть меньше уменьшаемого, применительно к диссипативному члену (4.28) это требование приобретает вид
Для иллюстрации схождения системы к устойчивому состоянию (4.23) моделировалась динамика системы при обработке паттернов - реализаций случайного процесса с Гауссовым спектром амплитуд и случайным спектром фаз, равномерно распределенных на [0, 2л]. Размер реализаций 1024 и 2048 пикселей. изложенного в 4.3.3 - запись голограммы И паттернами 1щпт±п, голограммы п - ІтЕ = ІЩптіп и ImoutGood заключением монотонной логики при максимальном значении входной переменной / /гапах. Моделировались условия записи голограммы (4.10): (4.19) - линейная, (4.20) - "разбеливание" спектра эталонного паттерна исключения, (4.21) - "разбеливание" обоих паттернов.
Предъявлялась последовательность ПВР в рамках используемого примера {Imsize} = {lmsmaii Imuttie Ітме йшп ImBig} отличающихся спектрами амплитуд с одинаковыми спектрами фаз. На рис.4.16 приведены зависимости значения заключения от значения входной ЛП, формируемые (4.25) на разных итерациях, демонстрирующие схождение к устойчивому состоянию - на 9-й итерации все значения входной переменной оцениваются одинаково. экспозиционных характеристик 1 PC при записи голограммы И и трех моделях голограмм исключения в таблице 4.7. приведены для последовательностей с Гауссовым спектром амплитуд (полуширины элементов разрешения {imSize0606} полуширины элементов разрешения и диаметры корреляции минимального элемента набора {Imjn} (все по уровню среза а=0.606), параметры дополнительного фильтра, моделирующего нелинейность ГРС (нормированные на длину реализации частоты), коэффициент затухания у - показывающий скорость конвергенции показатель аппроксимирующей размах колебаний экспоненты г060Д«)-г0606(«-1) =_у0+ех/?(у«), где п - номер итерации и радиусы АКФ диссипативного фактора (4.28). Показатель затухания у вычислялся для диапазона затухания, ограниченного сверху достижением устойчивого состояния (4.22). Динамический диапазон ГРС ограничивался 2 порядками.
Характеристики динамики приведены для предъявления системе входного паттерна - максимального из набора входных ПВР ImIn (х) = ImInmax (х) = ImBi (х) . подтверждают показанную выше связь условий обучения и характеристик ГРС с динамикой системы, в части ослабления влияния диссипативного члена (4.28) при высокочастотной фильтрации (кривые 1.1 на рис.4.18.а и 4.18.6) и, наоборот, усилении при низкочастотной (кривые 8.1 на рис.4.18.а и 4.18.6). При высокочастотной фильтрации наблюдается меньшее влияние условий записи голограммы исключения сравнительно с голограммой основного правила ОМП на скорость схождения системы (Табл.4.7 и 4.8, строка 1.1). Высокочастотная фильтрация на голограмме исключения ведет к возрастанию чувствительности логики, выражающемуся в большей амплитуде колебаний на рис.4.18.6 сравнительно с рис.4.18.а (кривые 1).
На рис. 4.19.а приведены зависимости коэфициента затухания у от r iss -радиуса ГМ АКФ диссипативного фактора (4.28) по уровню 0.606 для трех типов голограмм исключения - линейной (4.19), (4.20) и (4.21), Табл.4.7, серии (а) в диапазоне монотонной зависимости (достаточно больших радиусов ГМ АКФ диссипативного члена (4.28)). Зависимости для остальных серий, как видно из приведены аналогичные зависимости для серий (а) и (б) с показанием участка малых радиусов АКФ диссипативного фактора, на котором нарушена монотонность зависимости коэфициента затухания у от радиуса ГМ АКФ диссипативного фактора (4.28). Причина в появлении у члена (4.28) ярко выраженных боковых максимумов, вплоть до превышения их амплитудами амплитуды глобального максимума, и, соответственно, в нарушении унимодальности формируемого системой отклика. Для иллюстрации, на рис. 2.20.а и 2.20.6 даны сечения диссипативного члена (4.28) и его АКФ при параметрах фильтрации, приведенных в строке 1.1. табл.4.7 (серия а) , и для параметров фильтрации Vo=40, Vo.606=6, фактически соответствующих режектированию низких частот. Наглядно видно нарушение унимодальности диссипативного члена и рост боковых максимумов его АКФ при ультра-высокой і TTGMP фильтрации на голограмме И