Введение к работе
Актуальность темы.
Одним из важных направлений развития фундаментальных и прикладных научных исследований является развитие методов обработки информации на основе организованных последовательно - параллельных систем из относительно простых процессорных элементов, связанных между собой информационными связями. Каждый процессорный элемент способен независимо обрабатывать поступающую к нему информацию, способен к индивидуальному и/или коллективному обучению и адаптации. Важным качеством таких систем является способность к росту и организации/самоорганизации в процессе обучения и адаптации.
Основные принципы организации, функционирования и развития таких систем сформировались под влиянием научных и практических достижений в области изучения механизмов обработки информации в живых организмах и процессов развития и эволюции биологических систем. Определенное влияние оказали также научные и практические достижения классического искусственного интеллекта, развитие аппаратного и математического обеспечения цифровых компьютеров с параллельной и распределенной архитектурой.
Важный класс таких систем представляют многослойные последовательно-параллельные искусственные нейронные сети (ИНС) с прямыми и обратными связями, построенные на основе искусственных нейронов (ИН). Это классические перцеп-тронные и сигмоидальные сети в базисе классических дискретных или непрерывных искусственных нейронов, радиальные сети на основе радиальных функций, нечеткие нейронные сети, полиномиальные и сигма-пи НС в базисе нейроподобных полиномиальных преобразователей и др.
Теоретические методы и алгоритмы обучения НС можно разделить на два основных вида: неконструктивные и конструктивные. Неконструктивные методы и алгоритмы ориентированы на обучение НС с заранее заданной архитектурой. Конструктивные методы и алгоритмы ориентированы на динамическое формирование архитектуры НС и настройку ее синаптических параметров в процессе обучения. Большинство известных методов и алгоритмов обучения являются неконструктивными. В связи с этим особую актуальность приобретает задача построения конструктивных методов и алгоритмов обучения НС.
С 90-х годов получило развитие семейство конструктивных алгоритмов для обучения некоторых классов НС перцептронного, радиального и полиномиального типа, которые позволяют одновременно формировать структуру обучаемой сети и настраивать веса искусственных нейронов. Как правило, в таких алгоритмах построение начинается с некоторой сети достаточно простой структуры. В процессе обучения, по мере необходимости, добавляются новые нейроны, образуются новые связи и обучаются. Это позволяет строить потенциально оптимальную архитектуру сети для решения задачи, а также уменьшить вычислительные затраты на обучение, увеличить скорость сходимости процесса обучения. Такой конструктивный подход к
обучению широкого класса алгебраических сигма-пи НС и некоторых их обобщений был теоретически обоснован и развит в настоящей диссертации.
Конструктивные схемы обучения искусственных НС могут быть применены для эффективного построения корректных расширений некоторых множеств некорректных (эвристических) алгоритмов в рамках идеологии алгебраического подхода Ю.И. Журавлева. Такой конструктивный подход к построению одного вида корректных расширений некоторых допустимых классов алгоритмов был теоретически обоснован и развит в настоящей диссертации.
Исследования по докторской диссертации проводились в рамках плана научно-исследовательских работ Института прикладной математики и автоматизации КБНЦ РАН по следующим двум направлениям исследований: "Математическое моделирование и информатизация смешанных систем, проектирование и интеллектуализация информационно управляющих систем" (ГР №01.9.50 004495); "Конструктивное обучение и компьютерное моделирование модульных баз знаний и нейронных сетей для интеллектуализации информационно-управляющих систем" (ГР №01.20.0012840). Исследования также были поддержаны грантом РФФИ "Конструктивное обучение сигма-пи нейронных сетей и мультисетей распознавания и классификации" №01-01-00142 (2001-2003гг.); научным проектом Президиума РАН №111 6-го Конкурса-экспертизы научных проектов молодых ученых РАН "Конструктивные алгоритмы адаптивного синтеза и оптимизации иерархических сигма-пи нейронных сетей и их применение" (2002-2003гг.); проектом Отделения математических наук РАН "Исследование моделей логико-алгебраических сигма-пи сетей и дискретных эволюционных процессов" по программе фундаментальных исследований "Алгебраические и комбинаторные методы математической кибернетики" (2003-2005 гг.); грантом РФФИ "Корректные и квази-корректные алгебраические сигма-пи расширения некорректных распознающих алгоритмов" (2004-2005гг.). Часть результатов, вошедших в содержание диссертации, были отмечены как важнейшие в Отчете о деятельности РАН в 1998 году1.
Предмет исследования.
Предмет исследования: 1) некоторые классы искусственных сигма-пи НС (алгебраические ЕП-нейроны и ЕП-нейромодули с обратными связями и без них, каскадные сети из ЕП-нейронов и ЕП-нейромодулей, многослойные сети ЕП-нейронов) и их обобщения; 2) теоретически обоснованные конструктивные методы обучения с учителем сигма-пи НС и их обобщений; 3) корректные расширения некоторых классов некорректных (эвристических) распознающих алгоритмов в контексте алгебраического подхода к задачам распознавания и прогнозирования, построенные
Отчет о деятельности РАН в 1998 году; том Важнейшие результаты в области естественных, технических, гуманитарных и общественных наук; название: "Разработаны теоретическая схема построения алгоритмов для синтеза и оптимизации решающих функций и нейронных сетей для обработки многозначных сигналов..."
на основе применения теоретического и алгоритмического аппарата алгебраических сигма-пи НС.
Цель работы.
Диссертационная работа преследует следующие две главные цели: -к исследование и теоретическое обоснование конструктивных методов и адаптивных алгоритмов обучения и оптимизации сложности большого класса алгебраических сигма-пи НС для параллельной и последовательно-параллельной обработки информации;
-к исследование и теоретическое обоснование конструктивных методов построения корректных расширений некоторых классов некорректных (эвристических) распознающих алгоритмов в контексте алгебраического подхода к задачам распознавания и прогнозирования на основе применения конструктивных методов обучения алгебраических сигма-пи НС.
Методы исследования.
В диссертации используются методы современной и компьютерной алгебры, дискретной математики и математической кибернетики, теории искусственных нейронных сетей.
Научная новизна.
Разработана новая теоретически обоснованная масштабируемая схема построения конструктивных алгоритмов обучения и оптимизации сложности некоторых классов нейросетевых архитектур для обработки информации, кодируемой при помощи элементов коммутативного кольца не содержащего делителей нуля, а именно:
-к класс алгебраических ЕП-нейронов (в том числе с обратными связями) и его обобщение — класс алгебраических ЕФ-нейронов;
-к класс алгебраических ЕП-нейромодулей (в том числе с обратными связями) с параллельным и конкурирующим функционированием и его обобщение — класс алгебраических ЕФ-нейромодулей;
-к класс последовательно-параллельных НС с каскадной архитектурой из ЕП-нейронов или ЕП-нейромодулей и его обобщение — класс последовательно-параллельных НС с каскадной архитектурой из ЕФ-нейронов или ЕФ-нейромодулей;
-к класс многослойных параллельных НС из ЕП-нейронов и ЕП-нейромодулей и его обобщение — класс многослойных параллельных НС из ЕФ-нейронов и ЕФ-нейромодулей.
Разработан теоретически обоснованный конструктивный метод построения корректных расширений некоторых допустимых классов некорректных (эвристических) алгоритмов в рамках алгебраического подхода к задачам распознавания и прогнозирования на основе теоретического и алгоритмического аппарата алгебраических сигма-пи НС.
Практическая ценность.
Практическая ценность полученных научных результатов определяется тем, что -к исследованные и теоретически обоснованные методы позволяют строить корректные конструктивные алгоритмы обучения больших классов алгебраических сигма-пи НС для решения задач распознавания и прогнозирования, управления и анализа изображений в определенном смысле минимальные по сложности;
-к исследованные и теоретически обоснованные конструктивные методы построения корректных расширений на основе применения конструктивных методов обучения алгебраических сигма-пи НС позволяют повысить эффективность алгебраического подхода к задачам распознавания и прогнозирования, управления и анализа изображений.
Основные результаты диссертации выносимые на защиту.
-
Совокупность теоретических результатов, обосновывающих конструктивный рекуррентный и рекурсивный метод обучения с учителем некоторых классов алгебраических ЕФ-нейронов и ЕФ-нейромодулей (и, соответственно, в частном случае алгебраических ЕП-нейронов и ЕП-нейромодулей) над коммутативным кольцом, не содержащим делителей нуля.
-
Совокупность теоретических результатов, обосновывающих конструктивный метод минимизации сложности одного класса корректных алгебраических ЕФ-нейронов (и, соответственно, в частном случае алгебраических ЕП-нейронов) над коммутативным кольцом, не содержащим делителей нуля, обучаемым конструктивным образом.
-
Совокупность теоретических результатов, обосновывающих конструктивный метод обучения с учителем рекуррентных алгебраических ЕФ-нейронов и ЕФ-нейромодулей (и, соответственно, в частном случае алгебраических ЕП-нейронов и ЕП-нейромодулей) над коммутативным кольцом, не содержащим делителей нуля.
-
Совокупность теоретических результатов, обосновывающих конструктивный метод обучения с учителем некоторых классов каскадных сетей из алгебраических ЕФ-нейронов и ЕФ-нейромодулей (и, соответственно, в частном случае алгебраических ЕП-нейронов и ЕП-нейромодулей) над коммутативным кольцом, не содержащим делителей нуля.
-
Совокупность теоретических результатов, обосновывающих конструктивный метод обучения с учителем некоторых классов многослойных сетей из алгебраических ЕФ-нейронов и ЕФ-нейромодулей (и, соответственно, в частном случае алгебраических ЕП-нейронов и ЕП-нейромодулей) над коммутативным кольцом, не содержащим делителей нуля.
-
Совокупность теоретических результатов, обосновывающих конструктивный метод построения корректных замыканий конечных множеств некорректных (эвристических) алгоритмов из некоторого допустимого класса распознающих алгоритмов на основе применения алгоритмических ЕП-операторов.
7. Совокупность теоретических результатов, обосновывающих один конструктивный последовательный подход к построению корректных замыканий конечных множеств некорректных (эвристических) алгоритмов из некоторого допустимого класса распознающих алгоритмов на основе применения алгоритмических ЕФ/ЕП-операторов.
Апробация работы.
Результаты, полученные в докторской диссертации, были апробированы на следующих научных мероприятиях: Всероссийская конференция "Математические методы распознавания образов" (ВЦ РАН) в 1999, 2001, 2003, 2005 гг.; Международной конференции "Распознавание образов и анализ изображений: новые информационные технологии" в 2000г (Самара), 2002г (Великий Новгород), 2004г (Санкт-Петербург); Всероссийской научно-технической конференции "Нейроинформатика", Москва, МИФИ в 1999, 2001, 2004 гг.; Санкт-Петербургского симпозиума по теории адаптивных систем (SPAS'99) в 1999 г.; Международной конференции "Интеллектуализация обработки информации" (Украина, Крым) в 2000 г.; Международной конференции "Интеллектуальные многопроцессорные системы" (Таганрог, ТРТУ) в 1999 г.; VII Международной конференции "Информационные сети, системы и технологии" (Минск, БГЭУ) в 2000 г.; Международной конференции "Нелокальные краевые задачи и родственные проблемы математической биологии, информатики и физики" (КБР, Нальчик) в 2001 г.; Конференции, посвященной 90-летию со дня рождения А.А. Ляпунова (Новосибирск) в 2001г.; Всероссийский симпозиум "Математическое моделирование и компьютерные технологии" (Кисловодск) в 1997, 1999 гг.; VIII International Workshop on Advanced Computing and Analysis Techniques in Physics Research (Moscow, MSU) в 2002 г.; International IASTED Conference "Automation, Control and Information Technology" (Novosibirsk) в 2002 гг.; VI German-Russian Workshop "Pattern Recognition and Image Undestanding" (Novosibirsk) в 2003 г.
Публикации.
Основные научные результаты, полученные в диссертации изложены в 45 научных работах, из них 12 опубликовано в центральных рецензируемых журналах [2, 12, 24-28, 33-34, 41-43], двух монографиях [38, 45], в в трудах международных и всероссийских конференций - 21 публикация [4, 7-11, 14-17, 20-22, 29-32, 35-37, 39-40, 44], а также в отчетах о НИР по зарегистрированной тематике в 2000 г. [18] и в 2005 г.
Объем и структура диссертации.
