Введение к работе
Актуальность темы. Диссертация посвящена изучению процессов обработки информации в искусственных нейронных сетях. В последние годы они успешно применяются в системах распознавания текстов, речи, видеоизображений, предсказания финансового рынка, системах автоматического управления технологическими процессами, экспертных системах. При этом нейронные сети решают задачи классификации образов, оптимизации маршрутов, разбиения графов, предсказания временных последовательностей и другие. Среди нейросетевых моделей важное место занимают аттракторные нейронные сети (АНС). Известно, что АНС робастно функционируют, в качестве ассоциативной памяти, как, например, хорошо изученная модель Хопфилда. Принципиальные проблемы возникают в случае, когда обрабатываемая информация обладает пространственной организацией, как, в частности, в упорядоченных массивах данных - последовательности или таблице символов. В рамках традиционных моделей АНС не удается адекватно формулировать и решать задачи распознавания пространственно организованной информации. Так, не находит решения проблема распознавания информационного массива как целого путем непрерывной (квази)локальной обработки поступающей информации. Развитие теории АНС на случай пространственной организации информации является новой и актуальной задачей.
Недавно А.Ю. Плаховым, О.И. Фисуном и автором диссертации была предложена концепция топологических моделей нейронных сетей, позволившая решить вышеуказанную проблему распознавания. Общая концепция была применена к случаю одномерной информации - последовательности бит, в результате построена модель нейронной сети с топологией окружности (НСТО). В этой модели ключевую роль в процессе воспроиз-
ведения информации играют динамические режимы.
Цель работы - выяснить возможности и ограничения динамической ассоциативной памяти в модели нейронной сети с топологией окружности. Одновременно, на примере рассмотрения специальной одномерной модели предложить общий подход к исследованию топологических моделей нейронных сетей.
В диссертации решаются следующие проблемы теории:
-
Обобщение аналитических методов теории А НС на случай пространственной упорядоченности массива информации и нейронов сети.
-
Анализ динамических режимов распознавания информации и фазовых переходов в модели НСТО.
-
Адаптация алгоритмов обучения АНС для пространственно упорядоченной информации.
Результаты работы представляют собой последовательное развитие теории АНС и связаны с изучением функции динамической ассоциативной памяти в АНС нового типа - топологических нейронных сетях.
Общая методика исследований. В работе систематически используются методы и подходы теории динамических систем, статистической механики и численного моделирования.
Научная новизна:
-
Сформулирована концепция топологических моделей нейронных сетей для распознавания пространственно упорядоченной информации.
-
Детально исследована динамика одномерной топологической нейронной сети с пространственной организацией информационного массива в виде спирали. Обнаружены два устойчивых динамических режима, соответствующие альтернативным типам распознавания информации - мозаичному и квазилокальному.
3. Численно изучены способность НСТО к распознаванию информации при
наличии статического и температурного шума, а также устойчивость ре
жима бегущей волны воспроизведения информации в зависимости от про
странственной асимметрии связности.
4. Определены условия распознавания нестационарного внешнего поля.
Найдена критическая амплитуда внешнего поля как функция загрузки па
мяти, радиуса связности и скорости бегущей волны внешнего поля.
-
Определены ограничения на параметры модели для распознавания слабого пространственно локализованного сигнала, для чего вычислен радиус обрезания спектра Фурье как функция температуры и параметров связности.
-
Определены низколежащие метастабильные состояния системы, и найдены условия переходов между ними.
-
Предложен алгоритм-предписание типа проектор-правила для запоминания в НСТО заданной последовательности из векторов состояния, составленных из упорядоченного информационного массива.
8. Предложен итерационный алгоритм типа перцептрон для обуче
ния НСТО. Найдены условия его сходимости для случая равномерной
трансляционно-инвариантной связности с произвольной пространственной
структурой. В модельных экспериментах определены скорость сходимости
алгоритма, а также качество обучения в зависимости от загрузки памяти
и структуры связности.
Теоретическая и практическая значимость. Результаты и предложенные подходы к изучению топологических моделей нейронных сетей могут служить теоретической основой создания эффективных нейросете-вых устройств для обработки пространственно упорядоченной информации.
Апробация работы. Основные результаты работы, представленные в диссертации, докладывались на семинаре "Нейронные схемы и теория нейронных сетей" (руководитель семинара В.Л. Дунин-Барковский) в Институте проблем передачи информации РАН, на 1-й Международной конференции по анализу изображений и распознаванию образов (ITIAPR), г. Львов, 1990 и на семинаре-совещании "Алгоритмы обработки информации в нейроподобных системах", г. Нижний Новгород, 1993.
По теме диссертации опубликовано четырнадцать работ.
Структура и объем работы. Диссертация состоит из введения, 5 глав, заключения, приложения, 23 рисунков и списка литературы из 112 наименований. Общий объем работы -132 страницымашинописного текста.
