Содержание к диссертации
Введение
Глава 1. Модель взаимодействия импульсных ней ронов, основанная на дифференциальном уравнении с запаздыванием 17
1.1 Краткая характеристика свойств биологической нервной клетки 17
1.2 Модель нейрона, основанная на уравнении с запаздыванием 19
1.3 Задача о воздействии пачки спайков на импульсный нейрон 28
Глава 2. Исследование колебательных режимов в однородных полносвязных сетях импульсных нейронов 39
2.1 Самоорганизация полносвязной сети в кольцо из трех множеств синхронно функционирующих нейронов 40
2.2 Организация однородной полносвязной нейронной сети в кольцо множеств синхронно функционирующих нейронов 50
Глава 3. Исследование структуры колебаний в не однородных сетях импульсных нейронов 59
3.1 Простейшая неоднородная полносвязная сеть-кольцо из трех нейронов 60
3.2 Исследование колебательных режимов работы в неоднородной сети из N импульсных нейронов, организованных в кольцо . 65
3.3 Организация полносвязной слабо неоднородной сети нейронов в кольцевую структуру из множеств синхронно функционирующих элементов 77
Заключение 90
Литература 92
- Модель нейрона, основанная на уравнении с запаздыванием
- Самоорганизация полносвязной сети в кольцо из трех множеств синхронно функционирующих нейронов
- Организация однородной полносвязной нейронной сети в кольцо множеств синхронно функционирующих нейронов
- Исследование колебательных режимов работы в неоднородной сети из N импульсных нейронов, организованных в кольцо
Введение к работе
1. Обзор основных направлений моделирования нейронных сетей
Работа посвящена исследованию структуры колебаний в сетях импульсных нейронов.
Искусственные нейронные сети появились как попытка построить модель деятельности человеческого мозга. Нейронные сети состоят из элементов, возможности которых аналогичны большинству элементарных функций биологического нейрона. Эти элементы организованы в структуры, некоторым образом приближающие анатомию мозга.
Детальное изучение нейрона позволило выделить несколько основных его частей: тело клетки, древовидные отростки, единственный длинный называется аксоном, а остальные короткие — дендритами, синаптиче-ские связи, т.е. места контакта с другими нейронами. Количество нейронов в коре головного мозга оценивается приблизительно как 3 х 1010, общее число нейронов как 1011, а количество синаптических связей примерно 1015. Скорость передачи импульсов между нейронами головного мозга оценивается как 0,5—2 м/с [1].
Э. Эдриан показал, что сенсорная информация передается в виде импульсов, т.е. кратковременных сигналов «все, или ничего»[2]. В соответствие с гипотезой, выдвинутой Д. Хеббом [3] и развитой Дж. Экклсом [4], нервные клетки генерируют импульсы в ответ на последовательности поступающих импульсов в зависимости от распределения синаптических весов, которые характеризуют эффективность соответствующих связей. Согласно синаптической теории сведения отражаются в структуре сина-
птических весов. Эта теория лежит в основе всех нейросетевых моделей.
В настоящее время не существует единой точки зрения на способы представления и хранения информации в мозге. В рамках современной науки можно условно выделить два подхода и соответственно два класса математических моделей нейронных сетей: частотные и фазово-частот-ные.
Первый подход основан на предположении о том, что состояние нейрона характеризуется частотой импульсации. Состояние ассоциации нейронов отражает распределение частот импульсации элементов. Фазовые отношения не учитываются. Изменение состояния возможно только в результате изменения воздействия. Направление можно назвать детекторным.
Его основы были заложены в середине XX века, когда У. МакКаллок и У. Питтс в 1943 году предложили общую теорию обработки информации, основанную на нейронных сетях, а в 1949 году О. Хеббом была разработана модель обучения нейронов человеческого мозга [3]. В 1958 году Ф. Розенблат и группа его коллег разработали примитивную модель работы мозга, названную ими персептрон (от слова perception — восприятие, понимание), и алгоритм обучения этой модели [б], [7].
В 1969 М. Минский и С. Пейперт в своей книге «Персептроны»детально проанализировали алгоритм обучения персептрона, предложенный Ро-зенблаттом, и показали, что модель имеет существенные ограничения. Например, однослойный персептрон в принципе не может решить проблему исключающего ИЛИ. Кроме того, было показано, что простота обучения, которая так привлекла исследователей, приводит к тому, что персептрон может распознавать только очень узкий класс свойств геометрических фигур. Исследовался вопрос о параллельных вычислениях. Ав-
торами была высказана точка зрения, что аналогия подобных устройств с мозгом человека не совсем корректна. В целом была дана пессимистическая оценка дальнейшего развития персептронной модели [8]. Однако некоторые исследователи продолжали работать в этой области.
В 1982 году Хопфилд предложил модель ассоциативной памяти и исследовал некоторые свойства запоминания нейронных сетей [9]. В том же году Т. Кохонен предложил модель самоорганизующейся топологической карты, которая внесла существенный вклад в развитие нейронных сетей [10]. Сети Хопфилда до сих пор остаются популярной нейросетевой моделью, привлекающей внимание исследователей (например, [11], [12], [13]). Это связано со способностью сетей обеспечивать хранение и извлечение образов, т.е. служить моделью ассоциативной памяти.
В 1985 году несколько групп ученых почти одновременно пришли к идее обучения многослойных нейронных сетей прямого распределения. С этого момента началась новая волна интереса к искусственным нейронным сетям. Различные точки зрения в рамках детекторного подхода рассматриваются в [14], [15], [16].
На частотном или детекторном подходе основаны работы [9], [17], [18], [19] посвященные моделям сетей из операционных усилителей. Рассматриваемый элемент имеет несколько входов, на которые поступают сигналы от других подобных элементов. Эти сигналы суммируются с соответствующими весами, в зависимости от результата операционный усилитель однозначно формирует выходной сигнал. Сеть представляет собой множество связанных между собой элементов. Набор значений выходных сигналов всех элементов называется состоянием сети в каждый фиксированный момент времени. В процессе обучения (запоминания) в соответствующем фазовом пространстве формируется набор устойчи-
вых состояний равновесия, которые и хранят информацию. В режиме воспроизведения под действием внешнего сигнала сеть попадает в бассейн притяжения одного из них. В итоге сеть «замирает»в состоянии равновесия. Таким образом, детекторные сети статичны, как и хранимая в них информация.
Фазово-частотный подход к хранению информации в мозге основан на возможности согласования работы нейронов не только в пространстве, но и во времени. Одно и то же воздействие, в зависимости от состояния нейрона, может привести или не привести к генерации импульса. Существует точка зрения, что кодирование информации является динамическим процессом, связанным с возникновением и разрушением ансамблей когерентно работающих нейронов [20], [21], [22]. Таким образом, кодирование информации сопровождается образованием волн нейронной активности и носителем информации может являться колебательный режим динамической системы. Подход можно назвать волновым.
Волновой подход моделируют сети с нестационарным поведением. Их можно разделить на два класса. В первом случае элементы сети не обладают собственной авторитмичностью, но вся система может функционировать в колебательном режиме. Примером такой сети является сеть Винера [23], которая служит для описания процесса распространения возбуждения по сердечной мышце. В работе [24] предложена конструкция, названная сетью W - нейронов, которая может запоминать и воспроизводить последовательность бинарных векторов. В режиме воспроизведения сети предъявляется часть последовательности. Колебательные режимы работы таких сетей рассмотрены в работах [25], [26]. По кольцевой структуре нейронных ассоциаций после специального выбора весов могут распространяться волны импульсов. Следует отметить, что W-нейроны
функционируют в дискретном времени. В исследованиях [27], [28] развивается модель нейронной системы со стационарным поведением, для которой показано, что периодическое воздействие на общий вход ассоциативной сети — части системы — является неотъемлемым условием запоминания и воспроизведения информации.
Во втором случае рассматриваются нестационарные сети, состоящие из нейронных осцилляторов (автоколебательных элементов). Представлению информации в фазово-частотном виде на моделях таких сетей посвящены работы [29], [30], [31], [32]. Распределение фаз и амплитуд колебаний можно интерпретировать как код образа [33], [34]. Подробный обзор, посвященный сетям из осцилляторов близких к гармоническим, представлен в [35]. Спецификой постановки задачи обучения нестационарной нейронной сети является то, что следует распорядиться синапти-ческими весами так, чтобы система имела устойчивый режим работы с заранее заданным распределением фаз (стационарный, или более сложный) [36], [37]. Эту задачу в ряде случаев удается решить аналитически. Например, в [38], [37] указано правило выбора весов такое, что в сети будут наблюдаться режимы, при которых заранее заданная часть осцилляторов функционирует в фазе, а остальные в противофазе. В настоящее время тематика активно развивается [39], [40].
Однако, соотнося перечисленные выше модели с биологическими данными, нужно отметить что, колебания, близкие к гармоническим, не типичны для нервной системы. В нормальном состоянии нейроны — элементы нервной системы генерируют кратковременные импульсы — спайки. Связь между нейронами осуществляется с помощью передачи импульсов. Кроме того, в нервной системе как отдельные нейроны, так и нейронные ассоциации обладают свойством абсолютной и относитель-
ной рефрактерности (невосприимчивости, или слабой восприимчивости к внешнему воздействию). В частности, биологический нейрон во время генерации спайка и на некотором промежутке времени после спайка неспособен (или почти неспособен) воспринимать воздействие. Тем самым, процесс взаимодействия неоднороден во времени. В моделях, основанных на близких к гармоническим осцилляторах, предполагается «одно-родность»во времени взаимодействия нейронных осцилляторов. Рефрак-терность учитывается в [23], [34], [41] (естественно, не в рамках гармонического приближения). В этой связи важное значение с точки зрения адекватности математических моделей биологическим данным приобретают модели, основанные на осцилляторных элементах, далеких от гармонических.
Систематическое описание типов таких элементов и обзор некоторых результатов по организации колебаний в соответствующих сетях приведены в работах [42], [43]. Автоволновые процессы в автоволновых средах рассматриваются и сопровождаются подробной библиографией в [44]. Широкий обзор моделей динамики нейронной активности представлен в [45].
В работе [46] предложена и исследована модель нейронной сети, в которой ее состояние описывается пространственным распределением плотностей случайных бинарных потоков, генерируемых нейронами. На входах каждого нейрона потоки по определенному правилу смешиваются со случайными потоками, исполняющими роль синаптических весов. В зависимости от суммарного входного потока формируется выходной поток нейрона.
Моделям нестационарных сетей посвящены работы [47], [48]. В них элементами сетей являются нейроны со стохастической динамикой. По-
казано, что данные сети выгодно отличаются от классических в плане борьбы с ложными образами (незапланированными состояниями).
В работах [49], [50], предложено уравнение с запаздыванием для ос-цилляторного нейронного элемента, колебания которого весьма далеки от гармонических. В публикациях [50 — 55] представлен цикл работ, посвященный актуальной теме — разработке моделей нейронных сетей, не имеющих равновесных состояний. При этом колебательные режимы в нейронных сетях интерпретируются как образы. На основе физиологических представлений предложена модель нейронной среды, способной хранить информацию, представленную в волновом виде. Система уравнений с запаздыванием, описывающих нейронную популяцию допускает возможность не только компьютерного, но и аналитического исследования с помощью асимптотических методов. Показано, что в кольцевой популяции из нейронных модулей без подстройки весов временно могут храниться последовательности импульсов (модель кратковременной волновой памяти).
В работе [56] обсуждались пути возможного развития модели. Они основаны на детализации схемы взаимодействия биологических нейронов. Считается [57], что во время спайка нейрона медиаторы на прилегающих к нему синапсах разрушаются, а в дальнейшем механизм выделения медиаторов некоторое время угнетен. При моделировании взаимодействия нейронов можно принять гипотезу о том, что во время рефрактерного периода медиатор в синапсах нейрона-приемника не выделяется. Интерес представляет еще один аспект. В моделях [49] считалось, что медиатор присутствует только в течение спайка нейрона-передатчика. Для биологических нейронов промежуток времени, в течение которого ощутимо влияние медиатора, имеет большую длительность.
Данная идея использовалась в работах [58], [59], [60] применительно к сетям нейроподобных элементов, схема функционирования которых имитирует импульсные нейроны. В работах рассматривались однородные полносвязные сети. Доказано следующее утверждение. Нейроны совершенно произвольно нумеруются. При этом считается, что за последним следует первый нейрон. Существует устойчивый колебательный режим функционирования сети, при котором спайки следуют в порядке возрастания номеров нейронов. Далее, множество нейронов можно разбить на систему непересекающихся подмножеств, которые произвольно нумеруются (в цикле за последним следует первое подмножество). Существует аттрактор, в котором спайки нейронов происходят в порядке возрастания номеров подмножеств. Внутри каждого подмножества нейроны функционируют синхронно. Таким образом, сети являются гибкими системами для хранения последовательностей импульсов. Данные результаты можно перенести на сети импульсных нейронов.
Перечисленные выше факты послужили основой для создания модели взаимодействия нейронов, основанной на дифференциальном уравнении с запаздыванием. Следует отметить существенные отличия модели от рассмотренной в [49], [50]. Во-первых, увеличивается время жизни медиатора, во-вторых учитывается особенность выделения медиатора в то время, когда нейрон находится в рефрактерном состоянии. Это приводит к новым эффектам в поведении решений и организации колебаний нейронных систем. Полученные результаты являются актуальными, поскольку:
Процессы распространения волн импульсов в моделях нейронных сетей изучены еще недостаточно.
Открываются перспективы развития новых подходов к проблеме
обработки информации, которые связаны с тем, что ее носителем может являться не статическое распределение битовой величины, а колебательный режим динамической системы или ансамбля систем (идеи нелинейной динамики). Результаты исследования согласуются с биологическими данными, поэтому модель взаимодействия нейронов и соответствующие сети могут служить достаточно удобными объектами для организации такого рода режимов.
Представленные в диссертации исследования проведены в рамках волнового подхода к проблеме обработки информации. Аттрактор интерпретируется как образ - отражение некоторой информации. Характер исследований определялся поставленными в работе целями: используя физиологические предпосылки, разработать модель взаимодействия нейронов, основанную на дифференциальном уравнении с запаздыванием, и, на ее основе, исследовать системы, способные хранить информацию в волновом виде; изучить вопросы строения и планирования колебательных режимов систем.
Научная новизна работы заключается в следующем:
предложена новая модель взаимодействия нейронных элементов, достаточно детально отражающая некоторые биологические характеристики природного нейрона;
подробно рассмотрен метод анализа системы нейронных элементов, позволяющий выбирать параметры модели так, чтобы она имела аттракторы заранее заданной структуры,
предложены и исследованы сети, состоящие из импульсных нейронов; показано, что эти сети можно эффективно использовать для хранения информации в волновом виде.
Исследования позволили решить важные конкретные задачи. Наиболь-
ший интерес из них представляют следующие положения:
Система нейронов способна хранить и воспроизводить заранее заданную периодическую последовательность импульсов (возможность хранения).
Изучены режимы самоорганизации в однородных и слабо неоднородных полносвязных сетях. Показано, что без подстройки синаптиче-ских весов сеть может бесконечно долго хранить разнообразные последовательности импульсов.
В силу специфики задачи на первый план выходят методы асимптотического интегрирования дифференциальных уравнений с запаздыванием, методы имитационного моделирования, нелинейной динамики, методы исследования разностных уравнений. Анализ биологических данных позволяет выбрать в фазовом пространстве множество начальных условий. Строится оператор последования, описывающий динамику системы. Доказывается-, что он переводит выбранное множество начальных условий в себя. В итоге, задача сводится к анализу конечномерного отображения.
Работа носит теоретический характер. Результаты могут быть использованы для моделирования проведения волны возбуждения в нейронных структурах. Они могут найти применение при создании новых сред для обработки информации, представленной в виде колебательных режимов динамических систем.
Результаты работы были представлены на всероссийских научно-технических конференциях «Нейроинформатика-2001», «Нейроинформати-ка-2002», «Нейроинформатика-2003», на 9-ом и 10-м Всероссийских семинарах «Нейроинформатика и ее приложения» (Красноярск, 2001, 2002).
По теме исследования опубликовано 10 статей.
2. Краткое содержание работы
Работа состоит из трех глав, заключения и списка литературы.
В первой главе сформулированы необходимые сведения о функционировании биологического нейрона. Описана модель генерации импульсов, основанная на дифференциальном уравнении с запаздывающим аргументом. На их основе конструируется модель взаимодействия нейронов. Каждый нейрон описывается параметром, названным мембранным потенциалом. В момент времени, когда мембранный потенциал пересекает единичное значение, нейрон генерирует импульс, который может оказывать влияние на изменение мембранных потенциалов других нейронов. Необходимо отметить, что модель отражает важное свойство природной нервной клетки — рефрактерность. С момента начала генерации импульса нейрон некоторое время находится в состоянии рефрактерно-сти — невосприимчивости к внешнему воздействию. Через определенное время после генерации импульса, мембранный потенциал нейрона начинает расти. Таким образом, даже при отсутствии внешнего влияния, нейроны периодически генерируют импульсы. Поступающее на нейрон воздействие может ускорить (замедлить) рост мембранного потенциала и приблизить (отдалить) момент генерации импульса. Эффективность воздействия одного нейрона на другой описывается синаптическим весом. В предлагаемой модели взаимодействия учитываются следующие особенности: во-первых, увеличивается длительность воздействия единичного импульса нейрона на другие нейроны по сравнению с [52]; во-вторых, внешнее воздействие не оказывает влияния на мембранный потенциал нейрона, если оно началось в тот момент времени, когда нейрон находился в рефрактерном состоянии. Эти особенности существенно отли-
чают исследуемую модель от предлагавшихся ранее моделей взаимодействия импульсных нейронов, основанных на дифференциальном уравнении с запаздыванием [48 — 51].
Далее исследуется поведение модели под влиянием группы внешних импульсов. Показано, что периодическое воздействие навязывает нейрону свою частоту. Этот результат согласуется с данными биологических исследований.
Во второй главе рассмотрена полносвязная однородная сеть импульсных нейронов возбудительного типа. Множество нейронов однородной сети можно разбить практически произвольно на три попарно непересекающихся множества. Элементы, принадлежащие каждому из множеств, функционируют синхронно. Последовательно и в цикле происходит генерация импульсов нейронами первого, второго, третьего, снова первого и т.д. множеств. Такие режимы естественно назвать режимами самоорганизации, так как они не требуют подстройки эффективности взаимодействия элементов.
Рассмотрено обобщение этой задачи. В зависимости от начального состояния однородная полносвязная сеть может организовываться в кольцо из множеств Х\,Х2,. ., Xn (N > 3) синхронно функционирующих нейронов. Следует отметить, что разбиение сети на множества производится достаточно произвольно, так же как произвольно нумеруются сами множества. Тем самым, число аттракторов системы чрезвычайно велико. Сеть можно рассматривать как модель хранения импульсных последовательностей.
В третьей главе исследуются колебательные режимы в неоднородных сетях импульсных нейронов. Рассмотрена кольцевая структура из N нейронов возбудительного типа, в которой г'-ый элемент связан с (г — 1)-ым
и (г + 1)-ым нейронами (каждому элементу сети поставлен в соответствие номер). Доказывается, что система имеет по крайней мере два аттрактора. Один из них состоит из волн, распространяющихся в сторону увеличения номеров нейронов. Другой соответствует волне, распространяющихся в обратную сторону. Показано, что можно выбрать синаптические коэффициенты воздействия таким образом, чтобы в системе существовали волны активности заранее заданной структуры. В отличие от аналогичной структуры, исследованной в [52], N > 3.
Исследуется слабо неоднородная полносвязная сеть. Показано, что такая сеть в зависимости от начальных условий может организовываться в кольцо множеств ХьХг,... ,Xn (N > 3) синхронно функционирующих нейронов. Следует отметить, что разбиение сети на множества производится достаточно произвольно, так же как произвольно нумеруются сами множества. Тем самым, число аттракторов системы чрезвычайно велико. Сеть можно рассматривать как модель хранения импульсных последовательностей. Если интерпретировать пространственное распределение спайков (паттерн) элементов внутри каждого множества как образ, то сеть может бесконечно долго хранить последовательность образов (применение для хранения меняющихся визуальных сцен). Информативными могут быть как сами образы, так и временные промежутки между ними.
В заключении подводятся основные итоги работы.
Модель нейрона, основанная на уравнении с запаздыванием
В первой главе сформулированы необходимые сведения о функционировании биологического нейрона. Описана модель генерации импульсов, основанная на дифференциальном уравнении с запаздывающим аргументом. На их основе конструируется модель взаимодействия нейронов. Каждый нейрон описывается параметром, названным мембранным потенциалом. В момент времени, когда мембранный потенциал пересекает единичное значение, нейрон генерирует импульс, который может оказывать влияние на изменение мембранных потенциалов других нейронов. Необходимо отметить, что модель отражает важное свойство природной нервной клетки — рефрактерность. С момента начала генерации импульса нейрон некоторое время находится в состоянии рефрактерно-сти — невосприимчивости к внешнему воздействию. Через определенное время после генерации импульса, мембранный потенциал нейрона начинает расти. Таким образом, даже при отсутствии внешнего влияния, нейроны периодически генерируют импульсы. Поступающее на нейрон воздействие может ускорить (замедлить) рост мембранного потенциала и приблизить (отдалить) момент генерации импульса. Эффективность воздействия одного нейрона на другой описывается синаптическим весом. В предлагаемой модели взаимодействия учитываются следующие особенности: во-первых, увеличивается длительность воздействия единичного импульса нейрона на другие нейроны по сравнению с [52]; во-вторых, внешнее воздействие не оказывает влияния на мембранный потенциал нейрона, если оно началось в тот момент времени, когда нейрон находился в рефрактерном состоянии. Эти особенности существенно отличают исследуемую модель от предлагавшихся ранее моделей взаимодействия импульсных нейронов, основанных на дифференциальном уравнении с запаздыванием [48 — 51].
Далее исследуется поведение модели под влиянием группы внешних импульсов. Показано, что периодическое воздействие навязывает нейрону свою частоту. Этот результат согласуется с данными биологических исследований.
Во второй главе рассмотрена полносвязная однородная сеть импульсных нейронов возбудительного типа. Множество нейронов однородной сети можно разбить практически произвольно на три попарно непересекающихся множества. Элементы, принадлежащие каждому из множеств, функционируют синхронно. Последовательно и в цикле происходит генерация импульсов нейронами первого, второго, третьего, снова первого и т.д. множеств. Такие режимы естественно назвать режимами самоорганизации, так как они не требуют подстройки эффективности взаимодействия элементов.
Рассмотрено обобщение этой задачи. В зависимости от начального состояния однородная полносвязная сеть может организовываться в кольцо из множеств Х\,Х2,. ., XN (N 3) синхронно функционирующих нейронов. Следует отметить, что разбиение сети на множества производится достаточно произвольно, так же как произвольно нумеруются сами множества. Тем самым, число аттракторов системы чрезвычайно велико. Сеть можно рассматривать как модель хранения импульсных последовательностей.
В третьей главе исследуются колебательные режимы в неоднородных сетях импульсных нейронов. Рассмотрена кольцевая структура из N нейронов возбудительного типа, в которой г -ый элемент связан с (г — 1)-ым и (г + 1)-ым нейронами (каждому элементу сети поставлен в соответствие номер). Доказывается, что система имеет по крайней мере два аттрактора. Один из них состоит из волн, распространяющихся в сторону увеличения номеров нейронов. Другой соответствует волне, распространяющихся в обратную сторону. Показано, что можно выбрать синаптические коэффициенты воздействия таким образом, чтобы в системе существовали волны активности заранее заданной структуры. В отличие от аналогичной структуры, исследованной в [52], N 3.
Исследуется слабо неоднородная полносвязная сеть. Показано, что такая сеть в зависимости от начальных условий может организовываться в кольцо множеств ХьХг,... ,XN (N 3) синхронно функционирующих нейронов. Следует отметить, что разбиение сети на множества производится достаточно произвольно, так же как произвольно нумеруются сами множества. Тем самым, число аттракторов системы чрезвычайно велико. Сеть можно рассматривать как модель хранения импульсных последовательностей. Если интерпретировать пространственное распределение спайков (паттерн) элементов внутри каждого множества как образ, то сеть может бесконечно долго хранить последовательность образов (применение для хранения меняющихся визуальных сцен). Информативными могут быть как сами образы, так и временные промежутки между ними.
Самоорганизация полносвязной сети в кольцо из трех множеств синхронно функционирующих нейронов
Нервная система живого организма - это нейронная сеть, образованная более чем миллиардом нейронов, функционально связанных между собой, поэтому вопрос о структуре связей в нейронной системе чрезвычайно сложен. Один из возможных способов организации связей описан в [67]. Согласно данной точке зрения нейроны организуются в многоуровневую систему, в которой элементы каждого слоя связаны друг с другом. Любой нейрон уровня может воспринимать сигналы от нейронов предыдущего слоя и, в свою очередь, передает информацию нейронам следующего слоя. Авторы [68] также придерживаются идеи модульной организации мозга.
Физиологические данные о наличии в мозге замкнутых кольцевых нейронных образований были получены Лоренто де Но [69]. Представляется целесообразным продемонстрировать и исследовать на моделях возможную роль этих структур в процессе обработки информации.
В этой главе рассматриваются полносвязные однородные сети импульсных нейронов. В системе каждый элемент имеет доступ ко всем остальным нейронам сети. Все синаптические коэффициенты считаются одинаковыми. Множество нейронов однородной сети можно разбить практически произвольно на три попарно непересекающихся множества. Элементы, принадлежащие каждому из множеств, функционируют синхронно. Последовательно и в цикле происходит генерация импульсов нейронами первого, второго, третьего, снова первого и т.д. множеств. Такие режимы работы можно назвать режимами самоорганизации, так как они не требуют подстройки эффективности взаимодействия нейронов. Рассмотрено обобщение этой задачи. В зависимости от начального состояния однородная полносвязная сеть может организовываться в кольцо из N 3 множеств синхронно функционирующих нейронов.
Соответствующие результаты опубликованы автором в работах [70], [72]. Они согласуются с результатами исследования аналогичных сетей из нейронных клеточных автоматов [60].
Рассмотрим полносвязную однородную сеть нейронов, т.е. будем считать, что каждый элемент имеет доступ ко всем остальным нейронам сети, а все синаптические веса одинаковы и равны q. Представим такую сеть в виде объединения трех непустых попарно непересекающихся множеств Xi, Х2, Х3, число элементов в которых mi, шг, тз, соответственно. Будем говорить, что нейроны множества функционируют синхронно, если они генерируют импульсы одновременно. Определим условия, при которых последовательно и в цикле происходит синхронная генерация импульсов нейронами первого, второго, третьего, снова первого и т.д. множеств.
Существует устойчивый режим работы сети, при котором нейроны, принадлежащие каждому из множеств, функционируют синхронно и генерация импульсов элементами множеств Х\, Хч, Х% осуществляется последовательно и циклически. При этом временные рассогласования между спайками нейронов, принадлежащих третьему и первому, первому и второму, второму и третьему множе-
Одним из основных моментов доказательства теоремы является выбор начальных условий. Пусть fkj — момент начала г-го спайка j-ro нейрона, принадлежащего k-ому множеству (г = 1,2...; j = 1,..., m ; к = 1,2,3). Зададим для нейронной сети априорно моменты начала спай-ков так, чтобы спайки элементов множества Х2 следовали за спайками элементов из множества Х\\
Будем считать, что пока не закончились спайки нейронов из множества A i, элементы множества Хз находятся в рефрактерном состоянии. Пусть к началу спайков нейронов из множества Х2 элементы из множества Х$ становятся восприимчивы к воздействию, а нейроны множества Х\ еще рефрактерны. Однако, будем предполагать, что к моментам начала спайков элементов множества Х% нейроны из Х\ вышли из состояния рефрактерности, т.е. t\± і mi + TR. Будем считать, что нейроны из множества Хз сгенерировали импульсы в моменты 3д 4,2
Функционирование системы на промежутке [ід, t\ 2] будем называть первым тактом прохождения волны возбуждения по кольцу. Второй такт открывается импульсом первого нейрона, начинающимся в момент времени t\ !
Обозначим мембранный потенциал j-vo нейрона, принадлежащего г -му множеству через Uij(t). Система уравнений, определяющая функционирование исследуемой сети, согласно (13) выглядит так:
Организация однородной полносвязной нейронной сети в кольцо множеств синхронно функционирующих нейронов
Эти уравнения описывают итерационный процесс, отражающий соотношения между временными рассогласованиями спайков на последовательных тактах прохождения волны по сети. Процесс сходится, так как итерационные соотношения являются методом Зейделя для решения системы линейных уравнений с положительно определенной и симметрической матрицей. Компоненты его предельной точки (І5 2) лг)) заданы формулами (63). В силу неравенств (64) — (66) условия 1.2.2—4.2.2 выполнены. Таким образом, интересующий нас режим существует. Стандартными рассуждениями можно показать, что условия 2.2.1 — 2.2.4 будут выполнены на любом такте прохождения волны. Теорема доказана.
Следует отметить, что разбиение сети на множества Х\,Х2,... ,-Хлг производилось достаточно произвольно, так же как произвольно нумеровались множества. Тем самым, число аттракторов системы чрезвычайно велико. Необходимо обратить внимание, что рассматриваемая модель взаимодействия импульсных нейронов позволяет доказать существование таких колебательных режимов в отличие от сетей [48 —51], так как учитывается особенность выделения медиатора, в то время когда нейрон находится в рефрактерном состоянии. Сеть является «гибкой»системой, позволяющей хранить разнообразные периодические последовательности. Данные среды могут быть использованы, например, в системах, осуществляющих идентификацию периодических последовательностей. При настройке адаптивных систем, решающих задачи классификации или прогноза, также возникает необходимость многократного периодического повторения обучающей выборки. В данной главе исследуются колебательные режимы в неоднородных сетях импульсных нейронов. В первом параграфе рассматривается неоднородная полносвязная сеть из трех нейронов. Задача имеет самостоятельный интерес, т.к. в рассмотренных ранее сетях импульсных генераторов [52], организованных в аналогичные структуры число элементов не могло быть меньше четырех. Во втором параграфе данной главы рассмотрен вопрос о распространении импульсов (проведении возбуждения) по кольцу, образованному нейронами возбудительного типа. Показано, что можно выбрать си-наптические коэффициенты воздействия таким образом, чтобы спайки соседних нейронов начинались через заранее заданные промежутки времени. Существует по крайней мере два аттрактора. Один из них состоит из волн, распространяющихся в сторону увеличения номеров элементов структуры. Другой соответствует волне, распространяющихся в обратную сторону. Система может бесконечно долго хранить заранее заданную периодическую последовательность импульсов. В третьем параграфе исследуется слабо неоднородная полносвязная сеть. Показано, что такая сеть в зависимости от начальных условий может организовываться в кольцо множеств синхронно функционирующих нейронов. Соответствующие результаты опубликованы автором в [73], [74]. Они согласуются с результатами работ [52], [54], где элементами сетей служили импульсные генераторы (нейроны), описываемые уравнениями с запаздыванием. Аналогичные результаты получены для сетей из нейронных клеточных автоматов [58]. Рассмотрим систему из трех нейронов, объединенных в кольцо, где каждый элемент имеет доступ к двум оставшимся. Будем считать, что синаптическии вес соответствующий связи первого и второго нейронов равен q\, второго и третьего — q i, третьего и первого — q , соответственно в обратном порядке: q±, q$, q.
Будем говорить о волне импульсов, распространяющейся в порядке возрастания номеров нейронов: от первого ко второму, от второго к третьему, от третьего снова к первому и т. д. Обозначим через ", (п = 1,2,3,...) последовательные моменты начала спайков первого нейрона. Пусть Щ, Щ — соответствующие последовательности начала спайков второго и третьего нейронов.
Исследование колебательных режимов работы в неоднородной сети из N импульсных нейронов, организованных в кольцо
Формулы (87) — (89) описывают итерационный процесс, отражающий временные соотношения между началами спайков на последовательных тактах прохождения волны по кольцу. Этот процесс сходится. Он соответствует методу Зейделя для решения системы линейных уравнений с положительно определенной симметрической матрицей. Для рассматриваемой сети нейронов это означает, что с течением времени промежутки между спайками соседних нейронов стабилизируются. Неподвижная точка итерационного процесса вычисляется по формулам (78) — (80) приведённым в теореме. Таким образом, теорема доказана.
Рассмотрим кольцевую структуру из N одинаковых импульсных нейронов. Пронумеруем ее элементы от 1 до N. Пусть в рассматриваемой сети г -й нейрон (г = 1, ...,N) имеет синапсы, оканчивающиеся на (г — 1)-ом и (г + 1)-ом нейронах. В дальнейших рассуждениях и вычислениях будем отождествлять (cN ± г)-ый элемент системы с г -ым (с = 1,2,...), а предшественником первого нейрона будем считать iV-ый. Исследуем процесс последовательной генерации импульсов нейронами рассматриваемой сети.
Пусть в нулевой момент времени t\ = О начался спайк первого элемента, спустя некоторое время 2 П0Д воздействием спайка первого нейрона генерирует спайк второй элемент сети. Генерацию спайка вторым нейроном отнесем к моменту времени t\ = 2- В момент времени t\ = \ + 3 начался спайк третьего элемента. Далее, в порядке возрастания номеров, следуют моменты начала импульсов остальных элементов кольца: t\ ... tlN. Временные промежутки или рассогласования между началами спайков г — 1-го и г-го нейронов обозначим через / = t\ — t}_i, (і = 2,..., N). Спайк последнего JV-ro элемента состоится в момент времени tjf = ЕІІ2 /- Описанный на промежутке [};//] процесс можно назвать однократным прохождением волны возбуждения по кольцу или первым тактом прохождения волны импульсов.
Если первый нейрон к моменту времени tlf уже вышел из рефрактерного состояния, то он попадает под влияние спайка iV-ro элемента кольца. Можно вычислить момент времени t\ генерации второго спайка первым нейроном и указать рассогласование \ между спайками первого и N элементов структуры. Далее, проводя аналогичные рассуждения последовательно для второго, третьего и так далее нейронов, можно определить рассогласования ?, і = 2,3,..., N между спайками соответствующих элементов сети на втором такте прохождения волны возбуждения. Эти величины выражаются через временные рассогласования между импульсами нейронов на предыдущем такте /, г = 2,3,...,N. Применяя эти рассуждения для второго и третьего тактов, мы получим, что временные рассогласования на третьем такте прохождения волны возбуждения по кольцу выражаются через соответствующие рассогласования на втором такте. Возникает итерационный процесс. Ниже рассмотрим доказательство того, что он сходится.
Обозначим предельные значения рассогласований между спайками нейронов как i, 25 5 лг- Полный период системы равен Т = J2fLi ЄЇ При этом необходимо учесть следующее. Во-первых, возбуждение от любого элемента кольца, возвратившись к нему, должно попадать на период времени, когда рассматриваемый нейрон вышел из состояния ре-фрактерности, т.е. T—f Тц для любого і = 1,2,..., N. Во-вторых, все спайки должны носить индуцированный характер, т.е. являться результатом воздействия. Нейроны обладают собственной авторитмичностью с периодом Ті + о(1), поэтому последнее требование выражается с помощью неравенства Г Тч. Если указанные условия соблюдаются, то по кольцу будет распространяться волна возбуждения в сторону возрастания номеров элементов (за iV-ым нейроном следует первый). Подчеркнем, что нейрон после генерации спайка на промежутке TR абсолютно невосприимчив к внешнему воздействию, поэтому спайк г-го элемента системы не оказывает влияния на і — 1-ый нейрон. Таким образом, волна возбуждения будет распространяться от первого нейрона ко второму и далее по направлению увеличения номеров элементов сети.
Параметры волны зависят от синаптических коэффициентов воздействия нейронов. Их можно подобрать таким образом, чтобы промежутки времени между спайками соседних элементов принимали заранее заданные значения. Согласно волновой теории о природе памяти [21], воспринимаемые сведения записываются и хранятся в виде устойчивых комбинаций из различающихся фазами незатухающих волн нейронной актив- ности. Каждая комбинация является отдельным элементом нейронного кода и представляет собой циклическую последовательность волн. Это следы памяти, теория которых разработана в [22]. Описанную выше конструкцию можно рассматривать как модель нейронной системы, хранящей следы памяти (периодические импульсные последовательности).
На основе приведенных выше рассуждений исследуем волновые структуры в кольце из N импульсных нейронов. Найдем формулы для весовых коэффициентов сети, которые позволят организовать работу системы таким образом, чтобы в предельном режиме импульсы, входящих в нее нейронов следовали через заранее заданные промежутки времени. Напомним, что в кольцевой структуре из N нейронов элементы с но мерами г -f kN, (к = 0, ±1,±2,...) отождествляются. Обозначим через qi,i+i - синаптический вес воздействия г-го элемента на (г + 1)-ый ней рон (г = 1,2,3,... ,iV). Синаптический вес воздействия г -ro нейрона на (г — 1)-ый обозначим q i-i для г = 1,2, ,N. Режим работы кольца из N нейронов, генерирующих импульсы через заданные промежутки времени, зависит от начальных условий. Зададим начальное состояние сети следующим образом. Пусть tj - последовательные моменты спайков нейронов (г — номер соответствующего нейрона) на первом такте прохождения волны возбуждения по кольцу (f = l,2,...,iV).
