Содержание к диссертации
Введение
1. Анализ состояния теориии практики создания интеллектуальных информационных технологий 13
1.1. Проблемы создания новых информационных технологий для решения сложных
задач науки и техники 13
1.2. Эволюционное моделирование 22
1.3. Создание гибридных моделей на основе различных методик и информационных технологий 28
1.4. Обзор программных средств, использующих нейронные сети 33
Выводы по главе 1 38
2. Структурно-параметрический синтез неиросегевых моделей 40
2.1. Синтез нейронной сети для решения прикладной задачи 40
2.2. Кодирование и предварительная обработка входных данных 42
2.3. Выбор типа НС 48
2.4. Проблемы формирования топологии НС 50
2.5. Влияние алгоритма обучения на эффективность использования НС 59
2.6. Сравнительный анализ квазиньютоновских методов обучения НС .61
2.7. Алгоритм обучения нейронной сети на основе 65
генетического алгоритма и его оценка 65
2.8. Разработка и оценка качества многопопуляционного ГА 69
2.9. Экспериментальное исследование генетического алгоритма 71
2.10. Исследование комбинированных алгоритмов 83
обучениям основе ГА 83
2.11. Задача интерпретации результатов работы нейронной 87
сетивИИТи ее решение 87
Выводы по главе 2 90
3. Разработка методов и алгоритмов повышения эффективности использования НС моделей в ИИТ 92
3:1. Разработка метагенетического алгоритма 92
3.2. Разработка и исследование комбинированного алгоритмаюбучсния НС на основе ГА и имитации отжига : 95
3.3. Использование нечеткой логики для регулирования скорости обучения-НС :. 98
Выводы по главе 3 104
4. Исследование разработанных алгоритмов и оценка их эффективности при решении практических задач 105
4.1. Цели и методы проводимых исследований 105
4.2. Исследование эффективности разработанной системы при решении реальных задач пользователей сети Интернет 112
4.3. Пример применения НС к выбору параметров ЛВС 128
4.4. Повышение эффективности функционирования распределенной вычислительной системы 134
4.5. Внедрение в учебный процесс 137
Выводы по главе 4 138
Заключение 139
Список литературы
- Эволюционное моделирование
- Влияние алгоритма обучения на эффективность использования НС
- Использование нечеткой логики для регулирования скорости обучения-НС
- Повышение эффективности функционирования распределенной вычислительной системы
Введение к работе
Актуальность. Интеллектуальные информационные технологии в настоящее время являются одним из ключевых направлений развития информатики. Исследования по форме и методам создания интеллектуальных информационных технологий (ИИТ) для решения различных научных и практических задач активно проводятся как России, так и за рубежом.
Особенно важным в этих исследованиях представляется изучение и использование на практике новых подходов к реализации ИИТ, поскольку в большинстве случаев традиционные методы требует больших временных затрат и материальных вложений. В последнее время для решения сложных задач управления, информационного мониторинга, диагностики, автоматизированного проектирования, распознавания образов, классификации и т.д используют технологии нейронных сетей (НС), эволюционного моделирования и генетических алгоритмов, нечеткой логики, а также различные гибридные технологии или технологии мягких вычислений - Soft computing (нейро-нечетких, нейро-генетических и т.п.).
Сфера практического применения перечисленных технологий постоянно расширяется. Однако, несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов синтеза нейронной сети и интерпретации результатов ее работы для конкретных приложений, недостаточно проработаны вопросы создания гибридных моделей и особенности их реализации в интеллектуальных системах.
Таким образом, решаемые в диссертационной работе задачи создания алгоритмического и программного обеспечения ИИТ на основе нейронных сетей и различных гибридных моделей для повышения эффективности реализации в них механизмов обучения, самообучения и адаптации к особенностям проблемной среды являются важными и актуальными.
Целью диссертации является повышение эффективности структурно-параметрического синтеза нейросетевых и гибридных моделей сложных систем для обоснованного принятия решений при автоматизированном формировании интеллектуальных информационных технологий.
Для достижения поставленной цели необходимо решить следующие основные задачи.
Проанализировать существующие методы формирования интеллектуальных информационных технологий для решения практических задач. Выявить их достоинства и недостатки.
Разработать и исследовать принципы автоматизации построения базовых нейросетевых моделей, ориентированных на специфику предметной области и предназначенных для комплексного решения типовых задач, лежащих в основе создания интеллектуальных информационных технологий.
Разработать и исследовать эффективность гибридных нейросетевых моделей на основе использования генетических алгоритмов и систем на нечеткой логике.
Выполнить программную реализацию разработанных методов и алгоритмов. Проверить их работоспособность на тестовых задачах.
Исследовать на практике эффективность применения созданных методов, алгоритмов и инструментальных средств, точности заложенных в них методов и алгоритмов подготовки и формирования интеллектуальной информационной технологии для решения практических задач.
Методы исследования. Проведенные теоретические и прикладные исследования базируются на методах современного системного анализа, нейроинфор-матики, генетических и эволюционных алгоритмов, теории нечеткой логики, теории распознавания образов, теории оптимизации, методах математической статистики, объектно-ориентированного программирования.
Научную новизну полученных в работе результатов определяют.
Модифицированный конструктивный алгоритм, автоматически формирующий нейросетевые модели, отличающийся от известных универсальностью подхода к выбору топологии НС, что позволяет уменьшить время обучения и время распознавания в НС.
Новые эволюционные алгоритмы, отличающиеся комплексностью подхода к созданию нейросетевой модели и позволяющие, в отличие от известных, минимизировать как топологию, так и ошибку обучения НС.
Методика и алгоритмы формирования специализированных баз знаний на основе предварительно обученных нейросетевых модулей, обеспечивающих гибкость их применения для решения конкретных задач и накопление опыта эксперта в заданной предметной области.
Новые методы и алгоритмы на основе совместного использования НС, систем нечеткой логики, алгоритмов глобальной оптимизации, позволяющие осуществлять комплексное моделирование сложных систем интеллектуальными информационными технологиями.
Практическая значимость результатов диссертационной работы определяется созданием формальных методик, позволяющих автоматически проектировать интеллектуальные информационные технологии. Разработанные программные системы позволяют пользователю, не обладающему профессиональными знаниями в области ИИТ, НС, эволюционного моделирования, получать решения для конкретных практических задач. Теоретические и практические результаты реализованы в виде программных модулей, позволяющих проверить работоспособность разработанных алгоритмов.
Полученные в диссертационной работе результаты внедрены в учебный процесс кафедры «Компьютерные системы и сети» Калужского филиала МГТУ им. Н.Э.Баумана, кафедры «Прикладная информатика» Калужского филиала Российского государственного гуманитарного университета при чтении лекций и проведении лабораторных занятий по курсам «Нейронные сети», «Информационные технологии», «Модели и алгоритмы обработки информации», использованы при выполнении работ по проектированию и оптимизации компьютерных систем в НПФ «Эверест» (г. Калуга) и Калужском НИИ телемеханических устройств, а также для повышения эффективности функционирования центра ин-
формационных технологий и систем (ЦИТ и С) и организации Росинтер ресто-рантс (г. Москва).
Достоверность. Достоверность научных положений, теоретических выводов и практических результатов, полученных в диссертации, подтверждена результатами экспериментальной проверки методов, алгоритмов и программного обеспечения с использованием стандартных и специально разработанных тестов на основе существующих методик, обоснованием и анализом моделей с применением методов математической статистики, подтверждением полученных результатов работы другими авторами, а также результатами практического использования разработанных в диссертации математических, алгоритмических и программных методов и средств.
Основные положения, выносимые на защиту.
Применение новой формальной модели для выбора архитектуры НС, которая позволяет получить НС меньшей вычислительной сложности при сохранении точности решаемой задачи.
Многопопуляционный параллельный генетический алгоритм, обеспечивающий возможность одновременного развития нескольких популяций, что позволяет повысить эффективность эволюционного поиска минимальной ошибки обучения НС в ИИТ.
Методы и алгоритмы формирования специализированных нейросетевых баз знаний на основе предварительно обученных нейронных модулей, обеспечивающих гибкость и снижение времени на разработку основной модели НС в ИИТ.
Комплекс гибридных моделей на основе совместного использования НС, нечеткой логики и ГА, позволяющий повысить точность моделирования предметной области с помощью ИИТ.
1. Апробация работы. Основные результаты работы докладывались и обсуждались на следующих симпозиумах, форумах, конференциях и семинарах: Международной конференции «Континуальные алгебраические логики, исчисления и нейроинформатика в науке, технике и экономике (Ульяновск-2003), Региональной студенческой конференции «Применение кибернетических методов в решении проблем общества XXI века (Обнинск-2003), Региональной научно-технической конференции студентов, аспирантов и молодых ученых «Прогрессивные технологии, конструкции и системы в приборо- и машиностроении» (Ка-луга-2003), Седьмой всероссийской научной конференции молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» Обнинск-2004, Международном форуме «Информатика МФИ-2003, Информационные средства и технологии» Москва-2003, Всероссийской научно-технической конференции «Автоматизация проектирования сложных технических систем в приборо- и машиностроении» Москва-2004, Пятой региональной конференции «Информатика: проблемы, методология, технологии» Калуга-2005, III Межд. научно-практ. семинаре «Интегрированные модели и мягкие вычисления в искусственном интеллекте» Москва-2005, 4 Всерос. н-т конференции «Новые информационные технологии в системах управлении и связи» Калуга-2005, 10 Национальной конференции по искусственному интеллекту Москва-2006, 7
Международном симпозиуме «Интеллектуальные системы» Обнинск-2006, 4 Международной научно-практической конференции «Интегрированные модели и мягкие вычисления в искусственном интеллекте» Обнинск-2007, «Дистанционное обучение - образовательная среда 21 века» Минск-2007, научно-технической конференции "Наукоемкие технологии в приборо- и машиностроении и развитие инновационной деятельности в вузе" Калуга - 2008, научной сессии МИФИ-2009 «Интеллектуальные системы и технологии» Москва-2009, международной научно практической конференции «Интегрированные модели и мягкие вычисления в искусственном интеллекте» Москва-2009.
Публикации. По теме диссертации автором опубликовано 26 работ, из них 4 в журналах, рекомендуемых ВАК.
Эволюционное моделирование
Подсистема приобретения знаний предназначена для добавления в базу знаний новых правил и модификации имеющихся [43, 75, 90]. В ее задачу входит приведение правила к виду, позволяющему подсистеме вывода применять это правило в процессе работы. В более сложных системах предусмотрены еще и средства для проверки вводимых или модифицируемых правил на непротиворечивость с имеющимися правилами.
Диалог с ЭС осуществляется через диалоговый процессор - специальную компоненту ЭС. Существуют две основные формы диалога с ЭС - это диалог на ограниченном подмножестве естественного языка с использованием словаря (меню) и диалог на основе из нескольких возможных действий [43].
База знаний представляет наиболее важную компоненту экспертной системы. В отличие от всех остальных компонент ЭС, база знаний — есть «переменная» часть системы, которая может пополняться и модифицироваться носителями знаний, и-опыта использования ЭС между консультациями, а в некоторых системах и в процессе консультации-[23, 49].
Другим актуальным направлением разработки ИС является создание искусственных нейронных сетей (ИНС). Характер разработок в области ИНС принципиально отличается от ЭС. В-основе нейронных сетей лежит преимущественно поведенческий подход к решаемой задаче: сеть «учится на примерах» и подстраивает свои параметры при помощи так называемых алгоритмов обучения через механизм обратной связи [4,.75, 82]. Парадигма ученика включает следующие положения и последовательность действий: формирования базы данных на основе обработки1 наблюдений и изучения-опыта частных примеров; индуктивное обучение - изучение аппроксимирующих, вероятностных и логических механизмов получения общих выводов из частных утверждений, то есть превращение базы данных (БД) в базу знаний (БЗ) и обоснование процедуры извлечения знаний из, БЗ; дедукция - выбор информации из БЗ на основе обоснованной или предполагаемой процедуре.
В рамках этой парадигмы самообучающиеся системы являются менее изученными, чем экспертные системы. Искусственные нейронные сети индуцированы биологией, так как они состоят из элементов, функциональные возможности которых аналогичны большинству элементарных функций биологического нейрона [83].
Нейрон реализует достаточно простую передаточную функцию, позволяющую преобразовать возбуждения на входах, с учетом весов входов, в значение возбуждения на выходе нейрона. Функционально законченный фрагмент мозга имеет входной слой нейронов - рецепторов, возбуждаемых извне, и выходной слой, нейроны которого возбуждаются в зависимости от конфигурации возбуждения нейронов входного слоя [83].
Распределение величин возбуждения нейронов выходного слоя, чаще всего поискнейрона обладающего максимальной; величиной возбуждения, позволяет установить соответствие между комбинацией ИІ величинами возбуждений;. на входном слое. Эта зависимость. определяет возможность логического вывода вида «если;-то» [4].
Управление и формирование данной; зависимости осуществляется; весами синаптических связей нейронов; которые влияют на направление распространения возбуждения нейронов в. сети, приводящие на этапе обучения к «нужным» нейронам выходного слоя: Отсюда следует, что сеть работает в двух режимах: в; режиме обучения! и в режиме распознавания (рабочем режиме) [10, 77].
В режиме обученияшроизводится формирование логических цепочек. В режиме; распознавания ; нейронная» сеть пр; предъявленному образу с высокой достоверностью; определяет, к. какому типу он относится, какие; действия; следует предпринять и т.д. Следовательно; под ИНС следует понимать, системы, параметры, которых могут изменятьсяв процессе обучения или самообучения, исходя из накопленного опыта обобщающего предыдущие прецеденты на но 18 вые случаи и извлекающего существенные свойства из поступающей информации [48, 84].
Нейронные сети применяются для решения трудно формализуемых задач, в которых информация об объекте является неполной, неточной или нечеткой [49]. Кроме того, связь между входными и выходными параметрами может быть настолько сложна, что моделирование в традиционном смысле становится малоэффективным, а порой просто невозможным. Примерами эффективного применения ИНС являются задачи управления, распознавания образов, анализа данных, моделирования и прогнозирования. В работах [30, 31] приводится информация о широком применении нейронных сетей (НС) в области распознавания текста и изображений, анализа и восстановления сигналов, управлении техническими системами, АСУТП т. д. ИНС получили такое широкое применение благодаря [37, 48]: универсальности применения. Так как многие НС обладают математически доказанной сходимостью і (например, многослойный персептрон), то при. правильном выборе методики кодирования и предобработки- входных сигналов практически любые данные, в том числе разнородные данные и данные высокой размерности, могут быть обработаны НС; способности к решению задач, для которых отсутствуют теоретические описания или эвристические правила, определяющие формальную методику решения задачи. ИНС позволяют заменить сложные математические модели образцами функционирования, заложенными в обучающей выборке, алгоритмом обучения.НС и ее структурой; способности адаптироваться к изменениям в условиях работы, в том числе и к условиям, которые не были учтены в исходной обучающей выборке и при начале работы НС за счет обучения непосредственно в процессе работы;
Влияние алгоритма обучения на эффективность использования НС
При использовании ГА возникает ряд проблем: какое количество информации необходимо включать в используемое представление топологии, какие генетические операторы применять для преобразования представлений во время эволюции, как организовать схему реализации ГА. В существующих методах формирования топологии НС с помощью ГА используются следующие способы представления топологии [48]: максимально допустимое представление с детализацией до отдельных нейронов или межнейронных связей (прямое кодирование); представление только некоторых, наиболее значимых параметров (параметрическое представление).
Наиболее часто применяемые способы кодирования в первом случае: представление в виде битовой матрицы, в которой каждый элемент c(ij) = 1, если присутствует соединение нейрона і с нейроном-j. Недостатки такого кодирования состоят в возможности появления недопустимых архитектур в процессе работы ГА и быстрое увеличение размера описания при наращивании сети [97].
Во втором способе архитектура представляется количеством нейронов в отдельных сегментах и относительной плотностью связей между сегментами. При параметрическом представлении НС необходим набор правил, позволяющий однозначно определять архитектуру НС по неполной информации, содержащейся в. представлении [97].
Как отмечает ряд авторов [48, 97 , 112], задача выбора топологии НС обладает специфической особенностью, негативно влияющей на эффективность работы ГА. Существует так называемая проблема эквивалентных представлений, состоящая в том, что в рамках заданных типов НС и способов представления топологий одна и та же топология НС может иметь разное представление. Например, при использовании битовой матрицы размерностью N N лю 56 бая перестановка строк или столбцов порождает другое представление одной и той же топологии (всего возможно 2 N! возможных перестановок), что приводит к существенному увеличению пространства возможных решений. Другой трудностью использования ГА при решении комбинаторных задач, к которым относится выбор топологии НС, является трудность реализации оператора кроссинговера [68].
Выводы по обзору рассмотренных методов построения топологии НС сводятся к следующему: Статистические методы дают лишь приближенные оценки оптимальности [60]. Деструктивные методы требуют полноты топологии НС до начала исследования и могут быть рекомендованы как вспомогательные (для улучшения построенной архитектуры) [77]. Конструктивные методы являются простыми (вычислительная сложность алгоритма невелика), обеспечивают быстрое построение топологии НС, но могут применяться.там, где не предъявляется жестких требований к эффективности решений, поскольку не гарантируют получение оптимального решения [97].
Эволюционные методы позволяют исследовать все пространство возможных решений, но обладают высокой вычислительной сложностью. Отмеченные трудности применения каждого из подходов вынуждают для построения эффективных алгоритмов формирования топологии НС исследовать новые и модифицировать используемые методы.
В соответствии с принятой выше методикой синтеза нейронной сети для решения конкретной прикладной задачи1 наиболее важной проблемой вляется формирование топологии НС, которая» в значительной» степени влияет на качество распознавания. Сложность топологии» НС определяется общим числом нейронов сети и количеством, связей между ними. Задача выбора топологии НС в настоящей работе решается применительно к многослойному персептро-ну. Для многослойного персептрона оптимальная топология — это такая топо 57 логия, которая обеспечивает наименьшее число слоев и наименьшее число нейронов в каждом слое при заданной ошибке обобщения [25], которые определяют размерность вектора W.
Будем решать задачу синтеза НС в постановке, при которой задана максимально допустимая ошибка обобщения Еобщ, и требуется сформировать топологию НС с минимальным количеством межнейронных связей. Сформулированная задача относится к классу задач комбинаторной оптимизации [6], сложность которой существенно возрастает с увеличением числа слоев НС и числа нейронов в каждом слое.
Проведенный в параграфе 3.1 обзор и анализ существующих методов формирования топологии НС показал, что модификации наиболее простого конструктивного подхода к решению этой задачи во многих случаях позволяют быстро найти приемлемый вариант: ниже предлагается один из вариантов такой модификации.
При использовании конструктивного подхода-к формированию топологии НС неизбежно возникает избыточность [25]. Один из способов модификации конструктивного подхода [48] заключается в следующем. Если при добавлении очередного нейрона в некоторый слой НС, ошибка обучения Ео. существенно изменяется в заданном диапазоне, то этот нейрон является значимым, и его необходимо включать в топологию НС, в противном случае - незначимым. Связи, соединяющие значимые нейроны, остаются неизменными во время всей процедуры обучения. Межнейронные связи, которые соединяют незначимые нейроны, являются обучаемыми. Основная проблема использования метода - определение момента добавления очередного нейрона или слоя. В предложенном модифицированном алгоритме решается данная проблема.
Основная идея предложенного алгоритма последовательного наращивания нейронов в топологии НС заключается в том, что на каждой итерации, как и в алгоритме [48], обучается только часть связей между нейронами в сети. Это позволяет, в отличие от классического конструктивного подхода, существенно сократить время обучения
Использование нечеткой логики для регулирования скорости обучения-НС
Алгоритм имитации отжига (АИО) относится к классу глобальных алгоритмов оптимизации и основывается на понятии тепловой энергии, введенной С. Кирпатриком. Автор алгоритма использовал "тепловой шум" для выхода из локальных минимумов и для повышения вероятности попадания в более глубокие минимумы. Этот процесс Кирпатрик назвал "имитацией отжига" (по аналогии с процессом отжига металла, в результате которого появляются его новые свойства) [27]. Использование алгоритма АИО в процедуре обучения НС позволит повысить вероятность нахождении глобального минимума ошибки распознавания и классификации.
Рассмотрим организацию процедуры оптимизации на основе имитации отжига. Пусть задано-конечное множество возможных конфигураций D. Обозначим через Hi - возможную конфигурацию; I I- число конфигураций; i=l, ... , I I. Пусть также задана стоимостная функция F(H), которая каждой кон 96 Н е= D фигурации ставит в соответствие оценку (в простейшем случае действительное число). АИО может быть сформулирован как некоторая последовательность смены цепей Маркова. Каждая цепь представляет собой последовательность конфигураций Н, а вероятность перехода к новой конфигурации (от і к j) определяется следующим образом: \D,\ l-2Lbe(t)pe, если i = j (3.1) где pij - вероятность получения конфигурации Hj из Ні в результате воз действия "теплового шума", bij - вероятность принятия конфигурации; t управляемый параметр отжига (аналог уровня теплового шума), начальное значение которого задается априорно и изменяется в процессе работы алго ритма по определенному закону. Для каждой конфигурации Hi подпростран ство конфигураций Di определяется как множество возможных Hj, которые достижимы из і в результате одного возмущения системы. В этом случае веро ятность перехода к новой конфигурации вычисляется как: приращение определяемой пользователем стоимостной функции. При этом предполагается, что вероятности возмущений симметричны, а также, что из данной конфигурации Hi любая.другая Hj может быть достигнута посредством конечного числа возмущений. В [27] было доказано, что для цепей Маркова с бесконечной длиной при постепенном уменьшении t от некоторого, априорно заданного значения, до нуля система достигает оптимальной конфигурации с вероятностью, равной 1.
На практике невозможно реализовать цепи Маркова бесконечной длины и поэтому используются приближенные алгоритмы АИО.
Суть метода оптимизации по алгоритму АИО состоит в том, что процесс формирования конфигураций начинается при некотором начальном значении tO, затем процедура уменьшения t повторяется до тех пор, пока t не будет равно минимальному значению, при котором система достигает оптимального состояния [27]. На эту процедуру влияют следующие факторы: 1. начальное значение управляющего параметра t (начальное значение Г0 обычно полагается равным 1); 2. правило уменьшения t; при определенном числе итераций параметр t изменяется по формуле: 3 hew = a oId» 4. где а - параметр, контролирующий уменьшение температуры ; 0 а 1 (задается пользователем в пределах а =0,8 -0,9999 [27]; 5. длина цепи Маркова с (задается пользователем) - число итераций, которые выполняются при t-const; 6. конечное значение tk (критерий останова).
Варьируя данные параметры, можно получать различные реализации АИО. Проведем сравнительный анализ разработанного алгоритма на сложных тестовых функциях Химмельблау, Жилинскаса, Роджерса (рис. 3.3).
Результаты экспериментов исследования глобальных алгоритмов оптимизации ГА и АИО с локальным алгоритмом
На основе проведенных исследований можно сделать следующий вывод: нейросетевой классификатор на основе многослойного персептрона с генетическим алгоритмом обучения может быть использован, когда требуется подстройка уже обученной сети к новым примерам, а алгоритм имитации отжига целесообразно использовать при малых обучающих выборках.
Использование нечеткой логики для регулирования скорости обучения НС
Решение проблем, связанных с медленной сходимостью алгоритма ВР и блокировкой НС, может быть получено путем подстройки параметров обучения НС с использованием методов нечеткой логики. Схема подстройки параметров обучения НС с помощью нечеткой логики представлена на рис. 3.4.
Нечеткая база правил, содержащая экспертные знания, используется для адаптивного изменения значений параметров обучения, в зависимости от состояния сети и реального значения параметров обучения.
Правило обновления весовых коэффициентов в стандартном алгоритме обратного распространения в общем виде представляется формулой: Дм (/) = -hS x? + пЬн (t -1), (3.4) где J J , a E - ошибка обучения; h — скорость обучения и л - коэф фициент инерционности; t - текущая итерация; п - номер слоя; xi - значение входа i-o нейрона в слое п. Основная проблема получения более быстрой сходимости состоит в автоматической подстройке параметров обучения h и л, влияющих на процесс сходимости.
В нечетких котроллерах для регулирования параметров управления используются средства нечеткой логики [48]. С помощью экспертов также можно сформулировать правила регулирования h и ж, которые будут использовать информацию об изменении значений градиента ошибки Е - IE и информацию о градиенте второго порядка (изменение IE - НЕ), связанного с ускорением сходимости. Примеры нечетких правил, в которых IE и НЕ являются нечеткими переменными, могут быть представлены следующим образом:
Повышение эффективности функционирования распределенной вычислительной системы
В ходе эксперимента после обработки 100 запросов у обеих групп был произведен сброс весовых коэффициентов нейронных сетей. Количество нейронов при этом также было возвращено к исходному (20). После этого первая группа снова начала работать в штатном режиме. У второй группы модуль корректировки топологии был отключен. Она также начала работу и обучение нейронных сетей сначала, но количество нейронов в промежуточных слоях нейронных сетей в данном случае не изменялось.
Результаты эксперимента (рис. 4.11), показывают, что у пользователей, которые продолжали использовать модуль корректировки топологии, повторное обучение нейронных сетей и соответствующий рост оценок происходил аналогично первоначальному. У пользователей, которые эту функцию не использовали, обучение сетей происходило медленнее. Оценки возрастали медленнее, чем у этих же пользователей при первоначальном обучении (с корректировкой топологии) и медленнее, чем у контрольной группы.
Рассмотрим пример выбора топологии и других параметров локальной вычислительной сети (ЛВС) на основе многослойной нейронной сети персеп-тронного типа. Требования к создаваемой ЛВС представлены в табл. 4.8.
Требования формируют вектор, состоящий в из 17 входных переменных. Число варьируемых значений каждой переменной от 3 до 4; при этом могут использоваться как качественные оценки (типа "высокая", "простая"), так и количественные. Задание значений всем исходным данным не является обязательным. По умолчанию все входные переменные устанавливаются в неопределенное состояние ("не знаю", "не важно" и т.д.). Для не определенных входов весовые коэффициенты, связывающие эти входы со скрытым слоем, устанавливаются в нуль.
Необходимо выбрать следующие параметры ЛВС (в скобках указаны возможные варианты): 1) топологию (звезда, шина, кольцо); 2) физическую среду передачи данных (Ethernet, Оптоволокно, WiFi) ; 3) тип сетевой операционной системы (Windows 2000, Windows 2008, Solaris, OS/2 Warp, Intranet Ware, NetWare), 4) ранга сети (одноранговая, сеть с выделенным сервером, комбинированная). Таким образом, комбинаторная емкость исследуемого про 129 странства вариантов ЛВС составляет приблизительно 105, поэтому обычные переборные методы здесь не могут быть применены.
Для решения каждой из этих задач формируется НС, количество входов которой равно числу входных переменных (требований, к сети), а число выходов определяется количеством исследуемых вариантов некоторого параметра ЛВС. Например, для топологии ЛВС число выходов НС равно 3, для операци 130 онной системы - 8. Выбор числа скрытых слоев и числа нейронов в каждом слое осуществляется на основе алгоритмов, разработанных в главе 2.
В качестве примера построим НС для выбора топологии ЛВС. Процедура формирования НС сводится к следующей последовательности действий: 1. поиск в библиотеке готовых проектов подходящих нейронных модулей, решающих аналогичную задачу; 2. в случае отсутствия таких модулей - формирование топологии НС по разработанным в главе 2 алгоритмам.
Ранее (в главе 2) решалась задача выбора топологии НС для определения топологии ЛВС, число выходов которой соответствует числу выходов конструируемой НС, но число входов НС (соответствующих первым 8 переменным в табл.4.8) меньше требуемого (заданного полной табл. 4.8). В архитектуру искомой МНС будем включать нейронный модуль МНС с необучае-мыми связями, добавив недостающие входы (рис. 4.12); число скрытых слоев и нейронов скрытого слоя определим на основе предложенного в главе 2 алгоритма.
При обучении МНС на вход подается пара (R, Y) из обучающей выборки, где R = (г\, ..., гп), a Y = (уиУг,Уз)- При обучении подстраиваются только, весовые коэффициенты межнейронных связей скрытого и выходного слоя, а также скрытого слоя с входным (г8, ..., ги) и выходным (уі ,у2 ,Уз ) МНС .
Это значительно снижает время обучения НС , позволяет проводить дообучение нейронных сетей при появлении новых данных и сохранять накопленные знания, что, в свою очередь, приводит к повышению качества прогноза. Обучение и тестирование НС осуществлялось на основе нейроимитатора. Для заданного входного вектора результаты работы НС (выбранные варианты подчеркнуты, уверенность в ответе дается в интервале [0, 1]) представлены ниже.
