Содержание к диссертации
Введение
1 . Импульсные рекуррентные нейронные сети з задачах распознавания образов 14
1.1. Рекуррентные нейронные сети 14
1.1.1. Классификация РНС 15
1.1.2. Структура РНС 17
1.1.3. РНС как динамическая система 18
1.1.4. Анализ динамики РНС 26
1.1.5. Обучение РНС 27
1.1.6. Вычисления в РНС 28
1.2. Импульсные НС 32
1.2.1 Импульсные нейроны 32
1.2.2. Химические синапсы 36
1.2.3. Импульсные НС 36
1.2.4. Обучение импульсных НС 36
1.2.5. Импульсное кодирование 37
1.2.6. Вычисления в импульсных НС 37
1.2.7. Моделирование импульсных НС 39
1.3. Распознавание динамических образов 39
1.3.1. Распознавание образов 39
1.3.2. Распознавание динамических образов 40
1.3.3. РНС в распознавании динамических образов 43
1.4. Выводы 43
2. Анализ исследуемой модели и ее состав 46
2.1. Интерпретация МНС с точки зрения ее функционирования 46
2.2. Структура модели МНС 48
2.3. Импульсные нейроны 49
2.3.1. Модели типа Интегрирование-Возбуждение 49
2.2.2 Детальная модель Ходжкина-Хаксли 52
2.3.3. Модели сокращенной размерности з
2.2.2 Нейрон Ижикевича 56
2.3. Синапсы 58
2.3.1. Электрические синапсы 58
2.3.2. Химические синапсы 59
2.3.3. Динамические синапсы 61
2.3.4. Синапсы с пластичностью 62
2.3.5 Моделирование сигнала на входе импульсных нейронов 67
2.4. Импульсное кодирование 68
2.4.1. Кодирование да/нет 69
2.4.2. Фазовое кодирование 69
2.4.3. Частотное кодирование 69
2.4.4. Популяционное или пространственно-временное кодирование 70
2.4.5. Кодирование на основе синхронизации 70
2.5. Машина неустойчивых состояний 71
2.5.1. Математическая модель 71
2.5.2. Основные свойства системы распознавания на основе МНС 72
2.5.3. Резервуар МНС 73
2.5.4. Считыватели МНС 74
2.6. Итоговое аналитическое описание модели импульсной РНС 76
2.7. Метод исследования - кибернетическая физика 78
2.8. Выводы 79
3. Реализация среды моделирования импульсных РНС 81
3.1. Обоснование необходимости разработки среды моделирования 81
3.2. Требования к разрабатываемой среде моделирования 82
3.3. Функциональная декомпозиция 83
3.4. Пользовательский интерфейс 86
3.5. Алгоритмы моделирования 86
3.5.1. Особенность моделирования динамических синапсов 87
3.5.2. Особенность моделирования синаптической пластичности 87
3.5.3. Алгоритм моделирования импульсных РНС 88
3.6. Структура представления входных данных 95
3.7. Возможности разработанной среды моделирования 97
3.8. Выводы 98
4. Разработка методики синтеза импульсной РНС 100
4.1. Последовательность этапов разработки методики 100
4.2. Определение иерархии подсистем, составляющих модель 102
4.3. Исследование подсистем, составляющих импульсную РНС 103
4.3.1. Исследование способов представления входных данных 103
4.3.2. Исследование моделей нейронов 108
4.3.3. Исследование синапсов 128
4.3.4. Исследование структуры импульсных РНС 134
4.4. Определение иерархии параметров модели 142
4.4.1. Параметры входных данных 142
4.4.2. Параметры резервуара 142
4.4.3. Параметры считывателей 144
4.4.4. Обобщенная иерархия параметров 145
4.4.5. Анализ зависимости, выбор варьируемых и фиксированных параметров 147
4.4.6. Анализ влияния параметров и выбор диапазонов их изменения 148
4.5. Определение набора возможных задач и показателей качества 150
4.6. Исследование и анализ влияния параметров 151
4.7. Разработка обобщенной методики синтеза 171
4.8. Выводы 180
5. Применение методики 181
5.1. Применение на простых задачах 181
5.1.1. Описание задачи 181
5.1.2. Применение методики 181
5.2. Применение на реальных данных 190
5.2.1. Описание задачи 190
5.2.2. Применение методики 190
5.3. Выводы 195
Заключение 197
Список сокращений и условных обозначений 201
Список литературы
- РНС как динамическая система
- Импульсные нейроны
- Особенность моделирования динамических синапсов
- Анализ зависимости, выбор варьируемых и фиксированных параметров
Введение к работе
Актуальность темы исследования и степень ее проработанности. Распознавание динамических образов имеет много практических приложений: в обработке аудиоинформации - распознавание речи, мелодий; в обработке видеопоследовательностей и компьютерном зрении - распознавание жестов, мимики лица, детектирование движения, сопровождение целей; в прогнозировании - предсказание временных рядов; в диагностике - выставление диагнозов по электрокардиограмме (ЭКГ), электроэнцефалограмме (ЭЭГ), тремору пальцев; в управлении - идентификация и управление объектами.
В задаче распознавания динамических образов входной сигнал, подлежащий распознаванию, рассматривается не в статике, а в динамике и основная информация об образе содержится в траектории изменения входного сигнала во времени. В результате образ получает новое измерение - время, что значительно усложняет решение задачи распознавания.
Все существующие методы распознавания динамических образов делятся на структурные (синтаксические) и статистические. Структурные методы основаны на использовании априорной информации, синтаксисе входных сигналов, они разрабатываются под конкретный тип сигнала - речь, видеоряд, финансовые показатели, погоду. Однако часто требуется решать задачу распознавания в такой постановке, при которой информация о структуре входного сигнала отсутствует. В этом случае используются статистические методы распознавания, основной проблемой которых является необходимость выбора соответствующих метрик и их настроечных коэффициентов для вычисления по сигналу показателей с последующим выделением признаков. Большой вклад в развитие методов распознавания динамических образов внесли как российские (советские) ученые - Алпатов Б. А., Вапник В.Н., Васильев В.И., Винцюк Т. К., Галушкин А.И., Журавлев Ю. И., Загоруйко Н.Г., Лобанов Б. М., Местецкий Л. М., Радченко Ю.С., Сосулин Ю. Г., Фаворская М.Н., Файн B.C., Харкевич А.А., так и их зарубежные коллеги - Duda R.O., Flanagan J. L., Gonzalez R.C., Grenader U., Hart P.E., Lea W., Oppenheim A. V., Patrick E.A., Rabiner L.R., Rosenblatt F., Tou IT., SchaferR. W.
Новый подход к решению задачи выделения признаков динамического сигнала в
контексте задачи распознавания был предложен в конце 90-х годов прошлого столетия и
основан на использовании рекуррентных нейронных сетей (РНС) и парадигмы резервуарных
вычислений (РВ). Значительные результаты в данном направлении получены в работах
ученых - Нечаев Ю.И., Терехов В. A., Bertschinger N., Burgsteiner Н., Buonomano D.V., Elman
J.L., Hochreiter, S., Hopfield J. J., Jaeger H., Joshi P., Legenstein R., Maass W., Markram H., Ozturk
M. C, Principe J. C, Schmidhuber, J., Schrauwen В., Sejnowsky T. J., Sompolinsky H., Steil J.J.,
Tank D. W., Verstraeten D., Williams, R.J., Zipser D., и др.
РНС в отличие от обычных статических нейронных сетей (НС) обладают обратными связями, благодаря чему они имеют собственную динамику. Наличие обратных связей и нелинейность автоматически превращает РНС в сложные динамические системы. Такие системы обладают большими вычислительными возможностями, превосходящими машину Тьюринга, что доказывают существующие теоремы, однако, вопрос о том, как использовать эти возможности, остается открытым.
В результате анализа существующих проблем обучения РНС появилась новая парадигма - РВ, в соответствии с которыми предлагается формировать РНС вначале случайным образом без какого-либо обучения. Входной изменяющийся во времени сигнал РНС преобразует в вынужденную динамику нейронов. При правильно сгенерированной РНС динамика входного сигнала будет автоматически присутствовать в динамике РНС, и поэтому в определенный момент времени эту динамику можно «считать» и распознать входной сигнал. Одна из моделей, реализующих РВ - машина неустойчивых состояний (МНС). Она в качестве резервуара использует РНС из специальных импульсных нейронов, приближенных по свойствам к реальным нейронам человеческого мозга.
Эта модель является идеальным средством для решения задачи распознавания динамических образов так как имеет большие вычислительные возможности в теории, сложную нелинейную динамику, огромное число степеней свободы, сходство с биологическим прототипом. Однако для ее практического использования должны быть решены задачи синтеза резервуара - выбора параметров импульсной РНС и выбора считывателей в зависимости от сложности входного сигнала. К настоящему времени в научных работах, посвященных разработке и применению рассматриваемого типа РНС, отсутствует системный анализ параметров МНС, а их назначение выполняется либо случайным образом, либо путем последовательного перебора. Задача разработки методики синтеза РНС в зависимости от сложности входных образов является актуальной, так как ее решение позволит как повысить качество распознавания, так и уменьшить трудоемкость разработки и применения РНС при использовании в различных практических приложениях.
Тема исследований связана с критическими технологиями РФ, утвержденными Президентом РФ в 2011 году - «Нано-, био-, информационные, когнитивные технологии», а также «Технологии и программное обеспечение распределенных и высокопроизводительных вычислительных систем», и относится к области разработки математического и программного обеспечения компьютерных методов обработки информации.
Цель диссертационного исследования - разработка методики синтеза РНС в составе МНС для решения задачи распознавания динамических образов.
Задачи диссертационного исследования
-
Выполнение аналитического обзора в области исследования.
-
Построение математико-методологического базиса модели МНС.
-
Разработка среды моделирования импульсных РНС.
-
Экспериментальное исследование модели МНС.
-
Проверка методики на реальной задаче распознавания динамических образов. Объектом исследования является РНС и считыватели в составе машины
неустойчивых состояний. Предметом исследования являются свойства МНС в зависимости от ее параметров с целью повышения качества распознавания динамических образов путем настройки параметров РНС.
Научная новизна.
Новизна результатов работы заключается в следующем:
разработана новая методика синтеза импульсных РНС в составе системы распознавания динамических образов;
предложен новый подход к анализу и синтезу резервуаров в концепции РВ, заключающийся в разделении непосредственно самого резервуара от считывателя;
- предложен новый подход к моделированию резервуарных вычислителей
включающий в себя обобщенную структуру входных и выходных данных и алгоритм
моделирования импульсных РНС.
Теоретическая значимость работы
-
Предложен новый подход к анализу и синтезу резервуаров в концепции РВ, а также проведена систематизация знаний в области РНС, импульсных НС, РВ, отсутствующая в русскоязычной литературе и фрагментарно представленная в зарубежной, что необходимо для развития теории динамических нейронных сетей.
-
Характеристические зависимости динамики импульсных РНС для различных сочетаний входных воздействий (образов) и параметров резервуара, а также предложенная классификация различных способов кодирования/декодирования информации из импульсной формы в аналоговую, дополняют теоретические представления о режимах работы импульсных нейронных сетей с обратными связями.
Практическая значимость работы
1. Предложенная методика синтеза импульсных РНС в составе МНС в зависимости от решаемой задачи включает в себя: оценку влияния параметров отдельного элемента/системы (микро/макро уровень); построение иерархии параметров, оценку их взаимосвязей; выявление свойств и динамики системы в зависимости от параметров; определение рекомендуемых сочетаний диапазонов значений параметров для различных задач и показателей качества.
Разработанная методика позволяет сократить сложность и трудоемкость разработки систем распознавания на основе резервуарного подхода и таким образом перевести новую концепцию МНС из области теоретических разработок в практическую. Кроме того, предложена схема взаимодействия считывающих модулей, упрощающая выбор считывателей при решении различных задач распознавания.
-
Показано на примере обработки как тестовых данных различной сложности, так и реальных данных ЭКГ с различными формами аритмии, что предложенная методика синтеза импульсных РНС и новая модель резервуара применимы для решения задач обработки динамических образов и могут дополнить существующие подходы в системах обработки информации для повышения качества и скорости их работы.
-
Предложен новый алгоритм моделирования импульсных РНС, который позволяет задавать большое количество вариантов типов нейронов и синапсов, учитывать различные задержки и моделировать кратковременную и долговременную синаптическую пластичность. На основе предложенного алгоритма разработано программное средство для исследования как РВ, так и импульсных РНС, которое может быть использовано как в учебных целях, так и для проведения НИР.
Методология и методы исследования. В работе использованы методы теории вероятностей и математической статистики, системного анализа, теории моделирования, теории динамических систем, кибернетической физики.
Положения, выносимые на защиту
-
Разработана методика синтеза импульсных РНС в составе системы распознавания динамических образов, позволяющая проводить направленный синтез резервуара и сокращающая трудоемкость разработки и использования РВ в задачах распознавания.
-
Предложен новый подход к анализу и синтезу резервуаров в концепции РВ, заключающийся в разделении непосредственно самого резервуара (импульсной РНС) от считывателя (наблюдателя), для устранения неопределенностей, вносимых считывателем и позволяющий выйти на системный анализ влияния параметров резервуара на качество его работы.
-
Предложен новый подход к моделированию резервуарных вычислителей включающий в себя: обобщенную структуру входных и выходных данных (задачи), позволяющие предложить эффективный алгоритм чтения данных и преобразования (экспорт/импорт); алгоритм моделирования импульсных РНС, позволяющий учесть особенности как импульсного кодирования, так и многообразие вариантов биологически ориентированных моделей импульсных НС (синаптических задержек, синаптической
пластичности и динамических синапсов), что дает возможность проводить адекватное сравнение моделей путем компьютерного моделирования.
-
Предложена новая модель импульсной РНС для РВ на основе нейронов Ижикевича, отличающаяся наличием незатухающей динамики и за счет этого дающая более высокие показатели качества распознавания динамических образов (по сравнению с другими импульсными моделями на несколько процентов).
-
Получены характеристические зависимости динамики импульсных РНС для различных сочетаний входных воздействий (образов) и параметров резервуара, позволяющие представить карты режимов работы, которые могут быть использованы в том числе и для методики синтеза резервуара.
Степень достоверности и апробация результатов
Достоверность результатов обеспечивается всесторонним анализом поставленной цели и подходов к ее достижению; корректностью используемого математического аппарата; согласованностью полученных экспериментальных результатов с предполагаемыми результатами качественного анализа условий экспериментов; всесторонней проверкой предлагаемых методов путем экспериментальных исследований как на нижнем уровне - все составляющие импульсной РНС и считывателей были промоделированы отдельно и результаты их работы были сравнены с эталонными из литературы, так и на верхнем уровне -на различных исходных данных, охватывающих различные варианты сложности задачи распознавания; практическим применением разработанных методов для решения задачи обработки реальных данных - ЭКГ.
Внедрение и реализация результатов работы. Основные результаты работы использованы в ООО «Мед-Байт» и 000 «НПО Интеграция» при обработке медицинских данных. Реализация научных положений и результатов работы подтверждена соответствующими документами о внедрении. Также результаты использованы в учебном процессе на кафедре Компьютерных Систем и Программных Технологий СПбГПУ в дисциплинах «Мягкие вычисления» и «Математическое моделирование объектов и систем управления», в НИР по гранту фонда Научный потенциал (Human Capital Foundation, United Kingdom, 2007), в НИР по грантам правительства Санкт-Петербурга 2007, 2008, 2009 гг.
Апробация. Результаты работы докладывались и обсуждались на 10-ти международных и всероссийских конференциях в Санкт-Петербурге и Москве. Результаты работы отмечены: дипломом I степени Международной Балтийской олимпиады по управлению (2006 г.), дипломами правительства Санкт-Петербурга победителю конкурса грантов Санкт-Петербурга для студентов, аспирантов (2007, 2008, 2009 гг.), дипломом
победителя конкурса «Молодые таланты - будущее Политехнического университета» (2008 г.), грамотой лауреата стипендии Президента РФ 2009 г.
Публикации. По теме диссертационной работы опубликованы 19 печатных работ, из них 2 в издании «Перечня ВАК».
Объем и структура работы. Диссертация состоит из введения, 5 глав, заключения и 2 приложений. Список использованной литературы содержит 198 наименований. Основной текст диссертации содержит 213 страниц машинописного текста, включая 110 рисунков, 24 таблицы.
РНС как динамическая система
Структура РНС является ее основной характеристикой, от которой напрямую зависят все ее свойства. Выделяют полносвязные РНС и РНС с локальными связями. В полносвязных РНС [121] каждый нейрон связан с каждым. Это приводит к подчинению всех нейронов сети какому-то одному глобальному режиму. В РНС с локальными [80, 192] связями каждый нейрон связан лишь с нейронами в некоторой окрестности вокруг него. Такие связи формируются детерминированным или случайным образом. Локальная связность дает нейронам больше независимости, в разных областях РНС могут преобладать разные динамические режимы. Существуют примеры РНС с изменяющейся структурой - в ходе работы нейронной сети у нее могут появляться (исчезать) нейроны и связи [136].
При небольшом количестве элементов структура РНС представляет собой решетку в одно-, двух- и максимум трех- мерном дискретном пространстве. Для ее математического описания используются системы ДУ. Если количество элементов велико, то от дискретного пространства переходят к непрерывному, и структура РНС представляет собой непрерывную среду с распределенными параметрами. Динамика таких бесконечномерных в пространстве систем описывается специальными волновыми уравнениями - уравнениями в частных производных или интегрально-дифференциальными уравнениями.
Для анализа структуры РНС может быть применен подход, основанный на теории графов [177]. Он заключается в вычислении различных показателей, таких как матрица достижимости, пути, циклы, маршруты, кластерный индекс и др. С помощью этих показателей можно сделать грубую оценку о взаимодействии элементов в РНС.
РНС является нелинейной системой, работающей, в дискретном или непрерывном времени. В случае дискретного пространства изменение ее состояния может быть описано системой нелинейных разностных или дифференциальных уравнений.
Устойчивость
Одним из главных свойств РНС, как динамической системы является устойчивость [4]. РНС может быть устойчива (не устойчива) в малом и в большом. Устойчивость в большом гарантирует устойчивость во всем пространстве состояний, а устойчивость в малом лишь в определенных точках. Теоремы Ляпунова дают аналитические критерии устойчивости нелинейных систем: - для устойчивости в большом необходимо подобрать специальную функцию, удовлетворяющую условиям второй теоремы Ляпунова. - для устойчивости в малом необходимо произвести линеаризацию системы в точке равновесия и проверить в ней устойчивость.
Как правило, устойчивость в большом удается выявить лишь для небольшого класса РНС (например, НС Хопфилда [121]). А устойчивость в малом свидетельствует лишь о поведении системы в точках равновесия. Поэтому разработаны специальные численные характеристики, позволяющие судить об устойчивости системы по ее фазовой траектории.
В зависимости от устойчивости различают три основных типа динамики РНС: - устойчивая динамика, при которой за конечное время РНС сходится к устойчивому состоянию равновесия (в данном режиме при изменении входного сигнала возможны переходы системы из одного состояния в другое); - колебательная динамика: состояние РНС описывает замкнутую циклическую траекторию - предельный цикл; с одной стороны можно считать, что предельный цикл кодирует некоторую информацию, а с другой стороны - что происходят колебания, при этом информация передается в фазовых соотношениях; - неустойчивая динамика: траектории РНС при сколь угодно близких начальных состояниях расходятся со временем; если рост состояния системы никак не ограничен, то оно уходит в бесконечность, в противном случае устанавливается хаотическая динамика, при которой состояние системы спонтанно изменяется во времени внутри определенной области фазового пространства.
Необходимо отметить, что существует еще хаотическая динамика, при которой изменения состояния РНС носят непредсказуемый характер, и со стороны случайного наблюдателя процесс является стохастическим. С точки зрения физики процесса, система «уходит в себя» и слабо реагирует на входные сигналы. В хаотическом режиме количество информации, содержащееся в состоянии РНС большое, но извлечь эту информацию сложно. Во многих лабораториях исследуется поведение динамических систем в хаотических режимах и предлагаются варианты интерпретации этой динамики [1, 136, 108]. Данный тип динамики является неустойчивым в малом, но устойчивым в большом и в некоторых случаях динамику можно рассматривать как колебательную.
Различные динамические режимы РНС могут рассматриваться как отдельные этапы решения конкретной задачи. Например, хаотический режим соответствует начальному поиску решений - выбору между различными гипотезами, колебательный режим отражает процессы переключения внимания с одного решения на другое, а устойчивый режим отвечает найденному решению [106].
Динамика РНС зависит как от ее структуры, так и от свойств составляющих ее элементов. При этом возможны случаи, когда РНС из устойчивых элементов при определенной структуре неустойчива и наоборот - когда РНС из неустойчивых, хаотических элементов является устойчивой. Однако, при исследовании устойчивых режимов НС, как правило, формируется из устойчивых элементов, при исследовании колебательных режимов - из осцилляторов-колебательных элементов, и, наконец, при исследовании хаотических режимов - из хаотических осцилляторов. Переходные и установившиеся режимы
Динамику РНС можно представить в виде суммы двух составляющих - установившейся и переходной. Переходная составляющая со временем затухает, после чего остается только постоянная составляющая. Для распознавания образов используются переходные [104] и установившиеся [74] составляющие (режимы): - в переходном режиме после подачи входного образа его динамика накладывается на динамику РНС - по «снимку» результирующей динамики через некоторое время можно распознать входной образ; в данном случае используется свойство кратковременной памяти -учета предыстории изменения входного сигнала (стимула); - в установившемся режиме после подачи входного образа через какое-то время система выходит на аттрактор (фиксированное состояние, предельный цикл или хаотический аттрактор) -по этому аттрактору можно распознать входной образ. РНС с устойчивыми режимами
РНС данного класса являются устойчивыми в большом. После изменения их состояния или после подачи входного сигнала через некоторое время они сходятся к устойчивым точкам равновесия - фиксированным аттракторам.
Самым известным представителем таких РНС является НС Хопфилда (НСХ) [121]. Это полносвязная РНС с симметричной матрицей связей. Ее работа аналогична движению шарика по холмистому ландшафту в сторону ближайшей потенциальной ямы или аттрактора. Цель обучения НСХ - задать весовые коэффициенты таким образом, чтобы аттракторы совпадали с распознаваемыми образами.
На макроуровне НСХ описывается специальной функцией энергии (функцией Ляпунова). В ходе функционирования НСХ ее энергия уменьшается до тех пор, пока НСХ не попадет в состояние, соответствующее аттрактору. НСХ получила два основных применения -ассоциативная память [20, 169] и оптимизация.
НСХ породила целое направление в исследовании РНС - аттракторные НС [74]. Были предложены разные модификации [61, 71, 97, 105, 154, 169, 178], улучшающие ее основные недостатки - небольшой объем памяти, наличие ложных аттракторов - химер, а также скорость работы. В простейшем случае изменялся алгоритм обучения и как следствие - связность между нейронами. В некоторых подходах состояние каждого нейрона описывалось не одним числом, а вектором [21].
Импульсные нейроны
Из этой таблицы хорошо видна сложность исследуемой модели: - на уровне законов, описывающих ее динамику - это система нелинейных нестационарных стохастических дифференциальных, разностных уравнений; - на уровне количества различных настраиваемых параметров.
В частности, импульсная РНС, состоящая из 125 нейронов Ижикевича, связанных динамическими химическими синапсами, с параметрами связности Л=2, С = наличии внутреннего шума моделируется явной системой из 125 нелинейных стохастических дифференциальных уравнений второго порядка (для нейронов) и неявной системой из около 400 разностных уравнений третьего порядка (для синапсов). При этом свойства импульсной РНС определяются большим количеством параметров (более 30), а структура каждый раз генерируется случайным образом в соответствии с вероятностным законом. Отсюда можно сразу сделать вывод, что модель импульсной РНС является аналитически неразрешимой и поэтому для разработки методики ее структурно-параметрического синтеза потребуется выполнение большого количества экспериментов.
Кибернетическая физика (КФ) является новым подходом к изучению физических систем кибернетическими методами. Главным инструментом КФ является компьютерное моделирование или вычислительный эксперимент. В качестве объекта исследования КФ выбираются сложные системы (физические модели), не поддающиеся аналитическому разрешению.
Схема является замкнутой и состоит из трех этапов: - составляется план экспериментов с учетом интересующих зависимостей и все эксперименты проводятся; - по результатам экспериментов накапливается статистика (феноменологическая база); - анализ статистики позволяет выявить новые взаимосвязи, свойства и сделать предположения, гипотезы; эти гипотезы в дальнейшем могут быть положены в основу нового закона, теоремы, методики и др.; для проверки гипотез может быть проведено новое экспериментальное исследование и возврат на первый шаг.
Таким образом, исследования могут выполняться до тех пор, пока не будет достигнут результат - набор непротиворечащих данным экспериментов гипотез. В разделе 2.6 показана сложность рассматриваемой модели импульсной РНС и поэтому можно с уверенностью сказать, что она подходит в качестве объекта исследования КФ.
Одним из ключевых этапов в описанной схеме исследования является составление плана экспериментов. Для уменьшения количества экспериментов зачастую используется теория планирования экспериментов. Однако, эта теория работает хорошо лишь в том случае, когда можно выдвинуть гипотезы о виде предполагаемых зависимостей. В данном случае исследуемая модель является многомерной, нелинейной, сложной, аналитически неразрешимой (п. 2.6), поэтому количество гипотез может быть очень большим и что самое главное, истинная гипотеза может не войти в набор выдвигаемых гипотез. Поэтому наиболее разумным решением является построение иерархии параметров системы, определении рабочих диапазонов значений для каждого из параметров и последовательное выполнение экспериментов с внесением корректировок в план экспериментов в течение исследования.
Исследуемая в работе модель системы распознавания находится на стыке множества научных дисциплин и поэтому ее функционирование может быть рассмотрена с различных позиций.
Структурно система распознавания на основе МНС состоит из резервуара в форме импульсной РНС и считывателей. Импульсная РНС состоит из импульсных нейронов, связанных синапсами.
Импульсные нейроны являются биологически приближенными моделям нейронов и среди всего множества можно выделить две ключевые модели - нейрон интегрирования и возбуждения и нейрон Ижикевича. Первая модель является наиболее простой с точки зрения поведения и затрат на моделирование. Она позволяет моделировать импульсные НС из большого числа нейронов. Вторая модель обладает более широким спектром поведения и в то же время требует не очень высоких вычислительных затрат, по сравнению с детальными моделями. Синапсы выполняют роль связей между нейронами. Они в зависимости от типа входного сигнала могут быть электрическими или химическими. Также синапсы могут обладать кратковременной памятью (динамические синапсы) и долговременной памятью, реализующей механизм адаптации, самообучения (синапсы с пластичностью).
Существуют особенности, связанные с представление информации в импульсной форме. В результате анализа существующих подходов была предложена классификация алгоритмов кодирования и декодирования информации из импульсной в непрерывную форму и наоборот.
Структура РНС задается по образу и подобия биологического прототипа - в форме трехмерной решетки со случайными локальными связями, при этом входные сигналы также случайно связаны с определенным количеством нейронов.
Считыватели - это специальные устройства, извлекающие из состояния импульсной РНС необходимую информацию. Они преобразуют информацию из импульсной формы в непрерывную, сокращают размерность пространства признаков, анализируют динамику РНС с помощью специальных показателей, а также решают конечную задачу распознавания путем обучения с помощью классических алгоритмов. В результате анализа возможных типов считывателей была предложена их классификация в форме блок-схемы.
Целиком модель импульсной РНС описывается системой нелинейных нестационарных ДУ, решение которой может быть получено только с помощью компьютерного моделирования. Поэтому основным методом исследования является кибернетическая физика, в которой искомые зависимости свойств системы от параметров находятся путем обобщения накопленных экспериментальных данных. В связи с этим возникает необходимость использования специальной среды моделирования импульсных РНС для проведения экспериментов. Этому вопросу будет посвящена следующая глава. 3. Реализация среды моделирования импульсных РНС
Как было показано в конце предыдущей главы, методом исследования импульсной РНС является кибернетическая физика, которая требует выполнения большого количества экспериментов. Для этого необходимо иметь модель исследуемой системы - импульсной РНС. В силу невозможности реализовать модель на аппаратном уровне, остается только программный уровень. Для этого лучше всего подходит среда моделирования импульсных РНС. Вначале было решено рассмотреть уже существующие среды моделирования импульсных РНС [84, 174, 118] - результаты их предварительного анализа приведены в таблице 3.1 ниже.
Особенность моделирования динамических синапсов
Поскольку объектом исследования в работе является импульсная РНС, то остановимся более внимательно на ее параметрах.
Исследования п. 4.3.4 показали, что параметр X влияет на дальность связей, а С - на их плотность. В свою очередь параметр Wm - сила связей влияет на значимость связей - если сила связей маленькая, то это равносильно отсутствию связей. Поэтому можно говорить о том, что эти 3 параметра являются взаимосвязанными. При исследовании целесообразно изменять эти параметры в соответствии с их .иерархией - вначале X, затем С, затем WM. Учитывая, что С -матрица 2x2, более целесообразным является исследование влияния этой матрицы 1 раз при фиксированных параметрах Я и WM С последующей фиксацией этой матрицы.
Процент подавляющих нейронов рм сильно влияет на динамику РНС, поэтому этот параметр является варьируемым. Рекомендуемый диапазон изменений его значений должен находиться в районе 20-50 %. Также целесообразно рассмотреть граничные случаи, когда все нейроны - возбуждающие или наоборот все нейроны - подавляющие.
Уровень pnotse и силу in0ise шума вначале следует задавать равными нулю. После изучения динамики при отсутствии шума следует провести исследование по влиянию уровня и силы шума на динамику.
Процент связей вход-нейроны pvh является важным и следовательно варьируемым параметром. Сила связи вход-нейроны Wvh также должна быть подобрана с учетом количества входов rivh, нейронов Ппт, процента связей вход-нейроны pvh и свойств входного сигнала, поэтому она является варьируемым параметром.
Из параметров нейрона IaF наиболее значимыми являются постоянная времени т и период рефракторности Trefrac Их можно варьировать в небольших диапазонах. Остальные же параметры (наличие/отсутствие утечки, потенциал сброса vreSet, покоя vrest, порог в) являются взаимозависимыми и могут быть зафиксированы.
Параметры нейрона Ижикевича a,b,c,d следует изменять, только не случайно, а путем задания уже известных сочетаний параметров, которым соответствуют определенные модели -типа RS, FS, СН. Достаточно ограничиться 2-3 вариантами моделей нейрона Ижикевича, отличающимися друг от друга, например, быстрой и медленной моделями, наличием и отсутствием беретов.
Параметры синапсов в части силы синапсов w дублируют соответствующие параметры структуры, уже рассмотренные выше. Задержка синапсов Tdeiay в основных экспериментах должна быть фиксированной. Постоянная времени Zsyn затухания синаптического тока в соответствии с биологическими данными может быть задана различной для быстрых и медленных нейронов. В целом же этот параметр немного связан с силой синапса, поэтому основное внимание следует уделить изменению силы синапсов.
Параметры динамических синапсов U, D, F следует настроить один раз в соответствии с рабочим режимом и зафиксировать. Точно также следует сделать с параметрами синапсов с
Большой неопределенности при выборе параметров входного сигнала и считывателей нет, по сравнению с выбором параметров импульсной РНС. Для входного сигнала наиболее важным является форма его подачи на вход импульсной РНС. Здесь варьируемыми являются алгоритм преобразования сигнала из непрерывной в импульсную форму и его параметры. Также важно правильно произвести нормализацию входного сигнала во временном диапазоне.
Что касается считывателей, то выбор их параметров может быть осуществлен уже после того, как сформирован резервуар. Здесь наиболее важными параметрами являются время считывания treadout, алгоритм преобразования сигнала из импульсной формы в непрерывную. Выбор классификатора, аппроксиматора в данном случае не играет большой роли, если правильно синтезирован резервуар.
Далее приведем небольшое описание каждого из параметров, диапазоны их изменения в случае варьируемых параметров или просто значения для фиксированных параметров.
Пх, пу, «г, определяют размер НС. Чем больше размер НС, тем лучше в смысле богатства динамики при условии того, что правильно подобраны все остальные параметры. Диапазон изменения - произведение пхПуПг - от 100 и выше.
Я, параметр, влияющий на связность между нейронами в составе НС. Если расстояние между нейронами не больше чем Я, то вероятность связи между нейронами относительно высока. С увеличением расстояния между нейронами вероятность связи падает. Диапазон изменения X -от 1 до 3.
Матрица С задает плотность связей. Диапазон значений - от 0 до 1. p,nh, соотношение числа подавляющих нейронов по сравнению с общим числом нейронов. Изменяется от 0 до 100 процентов. При 0 процентов реакция НС более богатая (много импульсов, не всегда со временем затухает) - обусловлено тем, что в НС происходит только возбуждение. Подавление обусловливается лишь свойством рефракторности. При 100 процентов ситуация обратная - реакция НС на каждый импульс - одиночная пачка импульсов. Диапазон изменения p,nh - от 20 до 50, а также крайние значения 0, 100.
Wmt, матрица, задающая средние значения силы химических синапсов в зависимости от типов нейронов РНС. Диапазон изменения элементов W,„i от 0.05 до 0.2 для нейронов IaF, от 0.01 до 0.2 для нейронов Ижикевича.
Wvh, матрица, задающая средние значения силы синапсов, соединяющих входы и нейроны в зависимости от типа нейронов и синапсов. Диапазон изменения элементов Wvh для химических синапсов и нейронов IaF от 0.05 до 0.2, для химических синапсов и нейронов Ижикевича от 0.01 до 0.2, для электрических синапсов и нейронов IaF от 0.01 до 0.05, для электрических синапсов и нейронов Ижикевича от 0.005 до 0.05. Pnoise, уровень шума, диапазон изменения от 0 до 100 процентов. inom, сила шума, рекомендуемые диапазоны значений - те же, что у элементов Wvt, для электрических синапсов.
Tdeiay, синаптическая задержка. Важно не абсолютное, а относительное значение задержки по отношению, например, к таким параметрам нейрона IaF как Тге/гас - период рефракторности, а также т - постоянная времени. Как правило, длительность синаптической задержки Tdeiay выбирается меньшей на порядок, чем постоянная времени нейрона т. В противном случае нейрон не сможет заряжаться и генерировать импульсы (пока до него будут доходить импульсы от других нейронов, он будет успевать разряжаться). Если длительность синаптической задержки Tdeiay больше, чем период рефракторности Тге/гас, то свойство рефракторности фактически отсутствует. Например, пусть нейрон сгенерировал импульс - тогда до следующего нейрона этот импульс дойдет через Tdeiay- Если этот следующий нейрон возбудится, то он сможет передать импульс первому нейрону обратно через 2deiay- Очевидно, что в этом случае первый нейрон уже успеет выйти из рефракторности. Рекомендуемое значение Tdeiay - 1 мс.
Анализ зависимости, выбор варьируемых и фиксированных параметров
Вначале была определена иерархия подсистем, составляющих модель. Затем было выполнено исследование подсистем, составляющих модель - нейронов, синапсов, обучающей системы, определены диапазоны рабочих значений параметров. Для нейронов IaF было получено несколько аналитических характеристик. Была произведена настройка параметров алгоритмов преобразования информации из непрерывной формы в импульсную. Было исследовано влияние параметров на генерируемую случайную структур РНС, а также рассмотрен вопрос визуализации матриц связности пространственных структур.
Были выделены все основные параметры МНС и определена их иерархия. Параметры импульсной РНС были проанализированы с точки зрения зависимости друг от друга, и в результате часть параметров была выделена как варьируемая, а часть - фиксированная. Для всех параметров были определены возможные диапазоны изменения их параметров.
Затем был определен класс решаемых задач распознавания, сформулированы требования к входным и выходным данным, определено понятие сложности задачи и заданы несколько критериев для оценки качества распознавания непосредственно по динамике РНС.
После этого было выполнено экспериментальное исследование в соответствии с предложенной схемой. В результате были определены рекомендуемые сочетания диапазонов значений параметров для всего множества параметров импульсной РНС. В итоге была построена обобщенная методика синтеза в зависимости от особенностей решаемой задачи с учетом всех этапов распознавания
На примере реальных данных - ЭКГ показано, что разработанная методика применима для решения задач обработки динамических образов и может дополнить существующие подходы в системах обработки информации для повышения качества и скорости их работы.
Для проверки правильности разработанной методики, эта методика была применена при решении практических задач распознавания динамических образов. Задачи рассматривались двух типов: простая и сложная.
В качестве простой задачи была выбрана задача распознавания образов Ижикевича - двух пространственно-временных импульсных последовательностей, распространяющихся в разных направлениях. В результате синтеза резервуара в соответствии с методикой система без ошибок решила задачу распознавания.
В качестве сложной задачи была выбрана задача распознавания ЭКГ - классификация типа биений сердца. Рассматривались биения с суправентикулярной аритмией и нормальные биения. В результате проведенного экспериментального исследования были получены показатели качества распознавания - вероятность правильного распознавания нормальных биений и биений с аритмией для рассматриваемой системы распознавания на основе МНС. Эти показатели качества были сравнены с имеющимися данными по качеству распознавания с помощью классических методов распознавания - статистического и. структурного. Было проведено сравнение, которое показало, что система распознавания на основе МНС с резервуаром Ижикевича по качеству распознавания превосходит все классические методы - на 1 -2 % при распознавания нормальных биений, на 5 % при распознавании биений с аритмией.
Разработана среда проектирования и исследования импульсных РНС. Данная среда обладает рядом преимуществ по сравнению с существующими средами. С ее помощью было выполнено экспериментальное исследования МНС при построении методики.
В связи с необходимостью выполнения большого количества экспериментов над моделью МНС потребовалась среда моделирования импульсных РНС. Анализ существующих сред моделирования выявил множество их недостатков, которые затрудняют или не позволяют полноценно выполнять исследование модели импульсной РНС. Поэтому было принято решение о разработке среды моделирования импульсных РНС.
Вначале к разрабатываемой среде были предъявлены требования, которым она должна удовлетворять: универсальность, удобство, визуализация, интерактивность и др. Затем была построена функциональная декомпозиция проектируемой среды моделирования. С ее помощью была получена модель взаимодействия между системами и подсистемами среды, которая легла в основу программного кода. С учетом требований был продуман и реализован настраиваемый MDI-пользовательский интерфейс
После разработки среды моделирования для нее было написано руководство пользователя, позволяющее в короткие сроки овладеть навыками моделирования импульсных РНС. Среда использовалась в курсе лабораторных работ у студентов 5-го курса.
Анализ возможностей разработанной среды моделирования подтвердил ее соответствие выдвинутым требованиям и еще раз подтвердил правильность решения создавать собственную среду моделирования.
Предложен подход к исследованию свойств и настройке импульсных РНС в составе систем распознавания динамических образов, заключающийся в разделении динамической (резервуара) и статической (считывателя) частей системы распознавания, что позволяет исключить нежелательное влияние на результаты настройки статической части системы
Разработан математико-методологический базис моделирования импульсных РНС, включающий в себя: - новый алгоритм моделирования импульсных РНС с разными типами нейронов, синапсов, пластичности и учетом задержек; - обобщенную структуру представления входных/выходных данных, позволяющую подавать на вход МНС произвольные входные данные. Для обеспечения универсальности среды в смысле моделирования РНС из произвольных нейронов, синапсов с учетом временных задержек, шума и возможности обучения был разработан специальный алгоритм моделирования импульсных РНС. Он состоит из основной части и нескольких вспомогательных функций. С помощью данного алгоритма могут моделироваться все основные модели импульсных нейронов, электрические и химические синапсы, синапсы с пластичностью и динамические синапсы. Преимуществом алгоритма является то, что добавление новых моделей нейронов, синапсов не требует изменения самого алгоритма.
Для обеспечения универсальности среды при подаче на вход произвольных входных данных бьша разработана унифицированная структура данных. С ее помощью на вход импульсной РНС можно подавать данные в непрерывной, импульсной форме, а также с преобразованием из непрерывной формы в импульсную с помощью нескольких алгоритмов.
