Содержание к диссертации
ВВЕДЕНИЕ 7
ГЛАВА 1- КОНЦЕПЦИИ СИСТЕМНОГО МОДЕЛИРОВАНИЯ
НЕЙРОННЫХ СЕТЕЙ 21
Обзор направлений и тенденций развития нейротехнологии 21
Принципы системного моделирования нейронных сетей 24
Концептуальный анализ биологических нейронных сетей 28
Свойства и функции одиночных нервных клеток 28
Структурная организация биологических нейронных сетей 29
Концептуальная модель биологической нейронной сети 32
1.4. Математические модели нейронных сетей 34
Модели одиночных нейронов 34
Архитектура нейронных сетей прямого распространения 36
Структурная оптимизация многослойных нейронных сетей 42
Методы оценки качественных характеристик нейронных сетей...48
Модульные нейронные сети 54
Перестраиваемые спектральные преобразования и ядерные l нейронные сети 57
Средства технической реализации нейросетевых алгоритмов
высокой размерности 62
Концепция системного моделирования модульных нейронных сетей 66
Результаты и выводы по главе 70
ГЛАВА 2, СИСТЕМНЫЕ МОДЕЛИ МОДУЛЬНЫХ НЕЙРОННЫХ
СЕТЕЙ 73
Математические модели динамических модульных систем 74
Системные модели «общего положения» 85
Применение теории категории для исследования модульных систем 89
Системные характеристики математических категорий 90
Геометрия несущих пространств 94
Категории несущих пространств 97
Категория общих систем 100
2 А Сигнальные категории модульных систем 102
Категории модульных систем для объектов с однородными терминальными полями 103
Сигнальные категории для объектов с не однородными терминальными полями 106
Ориентированные категории модульных систем 109
Топологические категории модульных систем 115
Ориентированная модульная сеть в пространстве системных состоят тий 120
Результаты и выводы по главе 120
ГЛАВА 3. МОДУЛЬНЫЕ НЕЙРОННЫЕ СЕТИ ПРЯМОГО
РАСПРОСТРАНЕНИЯ 122
ЗЛ. Структурная модель модульной сети 123
3.2. Алгоритм построения топологии модульной сети 124
33. Обучение модульных нейронных сетей 127
3.4. Многослойные ядерные нейронные сети 133
ЗАЛ. Ранговые матрицы 134
Алгоритм построения топологии ядерной сети 135
Модель ядерной нейронной сети е операторной форме 138
Матричные представления 139
Обучение ядерных нейронных сетей 141
3.5. Результаты и выводы по главе 147
ГЛАВА 4. СТРУКТУРНЫЙ АНАЛИЗ МОДУЛЬНЫХ НЕЙРОННЫХ
СЕТЕЙ 148
4.1. Пластичность нейронных сетей 148
Операторные многообразия нейронных модулей 149
Модальные множества и отношения 152
Модальные категории модульных нейронных сетей 154
Ориентированные категории 158
4
42. Пластичность модульных нейронных сетей 161
Примеры расчета пластичности 163
Оценка спосоьности пейроі и юй сети к аппроксимации многомерных отображений 168
4.5. Оценка способности нейронной сети к распознаванию образов . 173
4-6. Оценка обобщающей способности нейронной сети 177
Операторный ранг модульной сети [78
Быстродействие ядерных нейронных сетей 180
Топологическая пластичность нейронных сеч ей 181
4.10. Результаты и выводы по главе 187
ГЛАВА 5- СТРУКТУРНЫЙ СИНТЕЗ СЛАБОСВЯЗАННЫХ
НЕЙРОННЫХ СЕТЕЙ 189
Морфология слабосвязанных сетей 189
Генезис слабосвязанных сетей 194
Алгоритмическая модель криэйтора 197
Криэйторы общего вида 197
Криэйторы градуированных нейронных сетей 200
Криэйторы ядерных нейронных сетей. 202
Стратегии синтеза ядерных слабосвязанных сетей 206
Структурный синтез регулярных сетей 213
5.5. L Формальный язык регулярных сетей 213
Алфавит языка играмматика слов 214
Грамматика предложений 217
Семантическая интерпретация предложений 218
Структурные свойства графических интерпретаций 222
5.6. пластичность слабосвязанных сетей 223
5/7. Результаты и выводы по главе 228
ГЛАВА 6. ПРОЕКТИРОВАНИЕ БЫСТРЫХ НЕЙРОННЫХ СЕТЕЙ...230
6. L Структурный анализ алгоритмов БПФ 232
Парадигма быстрой нейронной сети 238
Топологическое проектирование быстрых нейронных сетей 238
Топологии нейронных слоев 239
Графическая интерпретация топологий 241
Регулярные порождающие схемы 244
Граничные условия и топологические матрицы 247
Внешняя траектория топологий 250
6А АЛГОРИТМ ОБРАБОТКИ ДАННЫХ В БНС 251
Градиентное обучение БНС 252
Вычислительная эффективность БНС 255
Перестраиваемые спеісгральньіе преобразования 257
Настройка перестраиваемых преобразований 258
Настройка на базис Адамара 259
Настройка на базис Фурье 262
Быстроевейвлет преобразование 268
6.8. НЕИРОСЕТЕВАЯ АППРОКСИМАЦИЯ РЕГУЛЯРНЫХ ФРАКТАЛОВ 276
6.8. L Аналитическая форма регулярного фрактала 276
6.8.2. Дискретная аппроксимация фракталов 278
6.9. ФРАКТАЛЬНАЯ ФИЛЬТРАЦИЯ СИГНАЛОВ 281
6.10- ПРИСПОСОБЛЕННЫЕ БЫСТРЫЕ ПРЕОБРАЗОВАНИЯ 285
6. ЮЛ. Алгоритм приспособления 285
Приспособленные преобразования в нечетком пространстве 289
Спектральные приспособленные преобразования 291
Быстрые нейронные сети в квантовых вычислениях 294
Многомерные БНС 299
Результаты и вывода по главе 301
ГЛАВА 7. НЕИРОСЕТЕВАЯ КЛАССИФИКАЦИЯ ДВИЖУЩИХСЯ
ГРУППОВЫХ ОБЪЕКТОВ 303
7. L Функциональное описание системы транспортного мониторинга
303
Информационный канал 303
Синхронизация измерений 306
Информативные признаки 306
Постановка задачи классификации 307
7_2. Формирование лингвистических переменных 308
7.2J. Метод фаззификации 308
7.2.2. Лингвистическая переменная «Структура» 314
7.23. Семантика группового объекта 315
7.2.4. Лингвистическая переменная «Длинна объекта» 319
7.3. Классификация объектов 321
73.1. Архитектура нейронной сети 321
7.3.2. Контрастирующие функции активации 322
7.33. Алгоритм обработки данных & нечеткой нейронной сети 323
7.3.4. Оценка достоверности классификации групповых объектов 325
7.4. Результаты и выводы по главе 325
ГЛАВА 8- ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА ПРОЕКТИРОВАНИЯ
ЯДЕРНЫХ НЕЙРОННЫХ СЕТЕЙ 327
Концепция иархитектурл программных средств 328
Формат представления ядерной нейронной сети 330
Класс реконфигурируемых регулярных сетей 333
Изменение размерности нейронных ядер 334
Изменение ранга межъядерных связей 336
Изменение числа нейронных слоев 338
Объединение и деление нейронных слоев 339
8.4. Результаты и выводы по главе 342
ЗАКЛЮЧЕНИЕ 343
ЛИТЕРАТУРА 346
ПРИЛОЖЕНИЕ 1. ПРОГРАММНЫЙ ПАКЕТ «NEURO OFFICE» -
ИНТЕРФЕЙС ПОЛЬЗОВАТЕЛЯ 366
ПРИЛОЖЕНИЕ 2, ПРОТОКОЛЫ ЭКСПЕРИМЕНТАЛЬНОГО ИССЛЕДОВАНИЯ РАЗДЕЛЯЮЩЕЙ МОЩНОСТИ НЕЙРОННЫХ СЕТЕЙ 386
Введение к работе
Конец 20-го столетия и начало нового века явились периодом бурного развития методов решения плохо формализуемых задач. Во многом этому процессу способствовало интенсивное развитие средств вычислительной техники. Задачи, которые раньше невозможно было решить ввиду вычислительной сложности или отсутствия формализованного представления, теперь часто решаются путем простого перебора вариантов. Однако с ростом размерности задач потребность в вычислительных ресурсах возрастает экспоненциально, поэтому несмотря на появление новых быстродействующих процессоров и развитие суперкомпьютеров «проклятие размерности» сохранят свои позиции. Ясное осознание невозможности победы над природой только с помощью технологической революции породило в конце двадцатого столетия новый импульс развития математических методов решения сложных задач. Искусственные нейронные сети (обучаемые коннепионистские модели) являются одним из таких методов, занимая определенную нишу между строгими математическими методами и методами эвристики, основанными на биологических аналогиях. Возможность обучения позволяет переложить на нейронную сеть проблему формализации. Не решая явно эту задачу, нейронная сеть позволяет создать модель, в которой инкапсулируется внешний образ объекта исследования, что дает возможность устранить полный перебор возможных вариантов за счет целенаправленного использования информации сосредоточенной в обученной нейронной сети.
Искусственные нейронные сети возникли как грубое подобие биологических нейронных сетей, тем не менее, они несут в себе существенный отпечаток живой природы. Наиболее наглядно это проявляется на уровне сиеіемно-структурньїх представлений. Однородность образующих элементов, нелинейность преобразования информации, многослойность, модульность искусственных нейронных сетей имеют прямые соответствия в биологических сетях. Несмотря на то, что искусственные нейронные сети прошли свой путь развития, биологические аналогии и в настоящее время являю гея источником новых плодотворных идей. Способность искусственных нейронных сетей обобщать накопленную информацию наряду с простотой их алгоритмической реализации обусловило их широкое использование в технических приложениях.
Актуальность. В настоящее время методы нейротехнологии активно применяются в таких прикладных технических областях как обработка аэрокосмических изображений и гидроакустических сигналов, управление интеллектуальными робото-техническими системами, распознавание слитной речи, моделирование многомерных динамических объектов в реальном времени и др. В целом этот класс приложений характеризуются высокой размерностью данных (1000 и более переменных) и критичностью к времени обработки (вплоть до долей секунды),
В последние годы теория нейронных сетей получила значительное развитие, однако до сих пор не достаточно развиты методы системного проектировании и анализа быстродействующих модульных нейронных сетей высокой размерности и родственных к ним быстрых перестраиваемых преобразований. Основной проблемой проектирования больших нейронных сетей является наличие системного противоречия между быстродействием и уровнем «интеллекта» нейронной сети. Анализ имеющихся научных источников показал, что одним из наиболее перспективных путей его разрешения является использование модульных нейронных сетей, с регулярной структурой и топологией. С основной проблемой связана следующая группа практически значимых задач:
Задача построения системных моделей нейронных сетей адекватных технической и биологической концепции модульности.
Задача количественная оценки коннекционистских свойств и потенциальных возможностей модульных нейронных сетей,
Задача оптимального выбора структуры и топологии нейронной сети,
Задача обучения и предварительной настройки модульных нейронных сетей.
Задача проектирования больших и сверхбольших нейронных сетей высокого быстродействия.
Задача эффективного сопряжения больших нейронных сетей с алгоритмами предварительной обработки данных;
Задача построения реконфигурируемых регулярных нейронных сетей.
Основные трудности решения связаны с тем, что ни один из существующих методов анализа модульных систем полностью не покрывают спектра проблемных задач. Комплексированию методов препятствует их неоднородность, отсутствие мо*
9 дельной поддержки процедур обучения модульной сети, ориентация базовых моделей на геометрию векторного пространства, отсутствие унификации в методах анализа.
Специфика нейронных сетей требует модельного описания выражающего двойственность поведения нейронной сети как объекта обучения и как средства обработки данных для различного вида несущих пространств, типа модулей и уровня представления моделей. Широкий диапазон проблемных задач и прикладных интерпретаций, не может быть разрешен в рамках какой либо одной модели, поэтому возникает необходимость использования семейства моделей, каждая из которых описывает поведение нейронной сети с точки зрения выбранного уровня абстрагирования (страты). Отношение порядка между уровнями представлений задает иерархию между моделями.
Перечисленные вопросы приводят к необходимости системною исследования модульных нейронных сетей. Актуальность темы подтверждается значительным масштабом научных исследований, объемом публикаций, числом проводимых научно-технических конференций, как за рубежом, так и в России связанных с приложениями модульных нейронных сетей.
Постановка задачи. В области системного анализа и проектирования модульные сети непосредственно граничат с теорией сложных систем управления. Математические модели сложных систем управления изучались в работах Н.П.Бусленко. В.В.Калашникова. И.М.Коваленко [1) (1965-1971гг.), Р. Калмана, МАрбиба, П.Фалба [2] (1971), МЛІесаровича, Т.Такахара [3] (1975г.) А.А.Вавилова, ДХИмаева, [4] Б,Ф.Фомина [5] (1983-1986гг.) и других авторов.
В настоящее время известны различные типы математических моделей сложных систем, конкретный вид которых обусловлен областью их приложения, степенью охвата реально действующих факторов, подробностью отображений физических явлений, целями исследования. Однако можно выделить базовые общесистемные принципы построения подобных моделей, к ним относятся:
