Содержание к диссертации
Введение
ГЛАВА 1. Математические модели и алгоритмы обработки информации на основе методов искусственного интеллекта и теории вейвлетов 12
1.1. Искусственные нейронные сети и нечеткие системы 12
1.1.1. Строение биологического нейрона 13
1.1.2. Структура и свойства искусственного нейрона 14
1.2. Комбинация нейронных сетей и систем, основанных на нечеткой логике 26
1.3. Вейвлет-анализ 30
1.4. Комбинация нейронных сетей и вейвлетов 40
1.5. Задачи идентификации и оценивания 43
1.6. Выводы, цель и задачи исследования 49
ГЛАВА 2. Обработка сигналов на основе вейвлетов и нечетких систем 51
2.1. Оценивание случайных последовательностей с использованием регрессии и вейвлетов 51
2.2. Применение нечеткого логического вывода при вейвлет-анализе сигналов 68
2.2.1. Пример создания нечеткой системы определения вида вейвлета ...69
2.2.2. Пример создания нечеткой системы определения типа порога 71
2.3. Выводы 73
ГЛАВА 3. Модели и алгоритмы идентификации пользователя корпоративной информационной системы на основе нейронных сетей и вейвлетов 74
3.1. Модели для идентификации пользователя КИС 74
3.2. Использование нейронной сети для идентификации пользователя 79
3.3. Использование вейвлетов для идентификации пользователя КИС 85
3.4. Выводы 88
ГЛАВА 4. Математическое и компьютерное моделирование, алгоритмы обучения вейвлет-нейронных сетей и нечетких вейвлет-нейронных сетей 89
4.1. Обработка информации на основе вейвлет-нейронных сетей 89
4.1.1. Алгоритмы обучения вейвлет-нейрона 91
4.1.2. Проверка адекватности математических моделей на основе данных натурного и вычислительного экспериментов 95
4.2. Разработка модели нечеткой вейвлет-нейронной сети 99
4.2.1. Компьютерное моделирование нечеткой вейвлет-нейронной сети102
4.3. Выводы 107
Заключение 108
Список использованных источников 110
- Комбинация нейронных сетей и систем, основанных на нечеткой логике
- Пример создания нечеткой системы определения вида вейвлета
- Использование нейронной сети для идентификации пользователя
- Проверка адекватности математических моделей на основе данных натурного и вычислительного экспериментов
Введение к работе
Современное развитие различных областей человеческой деятельности характеризуется ростом в них информационной составляющей, представляющей собой опыт, накопленный при решении конкретных задач в прошлом. В настоящее время структура информационной составляющей такова, что получение на ее основе строгой математической модели посредством методов интерполяции или экстраполяции, сводящихся к задаче построения регрессионных уравнений, весьма затруднительно, а в некоторых случаях невозможно. В условиях недетерминированной системы (где отсутствует четкая функциональная связь между причиной и следствием) накладываются значительные ограничения на использование распространенных методов системного анализа - например, статистики. В таких условиях хорошо зарекомендовали себя интеллектуальные системы, построенные на основе теории нечетких множеств и нейронных сетей [1-2, 28, 54, 56, 57, 82, 88-90, 103]. Параллельно с интеллектуальными системами развивался аппарат веивлетов [40, 42, 48, 55, 58, 59, 61-63], являющийся весьма эффективным средством локального представления сигналов как во временной, так и в частотной областях.
Каждый из методов интеллектуальных систем имеет свои достоинства и недостатки, что в отдельности позволяет с их помощью эффективно решать различные задачи. В последнее время наблюдается тенденция к объединению различных подходов в гибридные интеллектуальные системы, которые позволяют усилить эффективность применения. На стыке этих концепций появились новые конструкции, получившие название нечетких нейронных сетей [28, 54, 78] и вейвлет-нейронных сетей [64, 80, 84, 110, 117], которые сочетают в себе гибкость и обучаемость нейронных сетей, возможности компактного описания сигналов, присущее вейвлетам и возможность построения прозрачных правил вывода решений на основе аппарата нечеткой логики.
Следует отметить, что в работах ученых не уделяется внимание вейв-
7 лет-оцениванию случайных последовательностей и формализации выбора вейвлета при вейвлет-анализе, в следствие чего вейвлет подбирается «вручную», буквально под каждую конкретную ситуацию; не достаточно освещена математическая задача идентификации пользователя информационной системы; процедуры обучения гибридных сетей, которые традиционно используются, имеют низкую скорость сходимости, что в свою очередь ограничивает их использование, особенно при работе в реальном времени.
В связи с этим актуальной является задача разработки методов и алгоритмов обработки информации на основе совместного использования теории нейронных сетей, теории веивлетов и теории нечетких систем, имеющих повышенную скорость обучения, способных функционировать в условиях априорной и текущей неопределенности.
Вклад в развитие искусственных нейронных сетей внесли такие ученные, как МакКаллок B.C., Питтс В.Х., Роземблат Ф., Кохонен Т., Хопфилд Дж., Танк Д., Фальман С.Е., Липман Р., Янг Дж., Вильяме Р., Зипсер Д, Хе-рольт Дж., Джуттен К., Круглов В.В. и другие. Теории нечеткой логики посвящены работы Заде Л.А., Мамдани Е.Х., Такаги Т., Сугено М., Янга Дж., Ванга Л., Менделя Дж., Ларсена, Круглова В.В. и других. Теории веивлетов посвящены работы ученных Гроссмана А., Морле Дж., Добеши И., Малла С, Мейера Р., Лемарье П., Смоленцева Н.К. и других.
Целью исследования является разработка современных моделей и алгоритмов с использованием веивлетов и неиронечетких систем и комплекса программ на их основе для решения задач идентификации и оценивания случайных последовательностей.
В ходе достижения цели решались следующие задачи:
разработка алгоритма оценивания случайных последовательностей с использованием веивлетов;
разработка алгоритма выбора вейвлета и типа порога для процедуры трешолдинга на основе аппарата нечеткой логики;
разработка математической модели пользователя корпоративной информационной системы, модели и алгоритма идентификации пользователя на основе аппаратов нейронных сетей и вейвлетов;
модификация алгоритмов обучения вейвлет-нейрона на основе градиентных методов;
разработка математической модели и алгоритма реализации нечеткой вейвлет-нейронной сети;
реализация программных средств обеспечения имитационного моделирования разрабатываемых алгоритмов и моделей.
Основные методы исследования базируются на математическом аппарате теории нечетких множеств, искусственных нейронных сетей, теории вейвлетов, дискретной математике, математического анализа, методах вычислительной математики и математического программирования. Для практических исследований и алгоритмической обработки использованы среды «Math Works Matlab 7.5», «Borland C++ Builder 6.0».
Научную новизну работы составляют:
- алгоритм оценивания случайных последовательностей на основе
вейвлет-преобразования;
алгоритм определения материнского вейвлета и вида порога для тре-шолдинга на основе аппарата нечеткой логики;
математическая модель пользователя корпоративной информационной системы;
технология идентификации пользователя корпоративной информационной системы;
модели и алгоритмы идентификации пользователя с использованием нейронных сетей и вейвлетов;
модифицированные алгоритмы обучения вейвлет-нейрона на основе градиентных методов;
- математическая модель и алгоритм реализации нечеткой вейвлет-
9 нейронной сети, реализующие систему нечеткого вывода Сугено в виде пя-тислойной нейронной сети прямого распространения сигнала;
- алгоритмы и компьютерные программы для обработки одномерных, двумерных и трехмерных сигналов с использованием вейвлетов.
Научная и практическая значимость работы:
Основные результаты диссертационной работы были получены автором при проведении исследований, выполнявшихся в 2005 - 2009 гг. Практическая ценность работы состоит в возможности использования ее результатов для решения задач идентификации и оценивания реальных случайных процессов в динамических системах различного назначения, в том числе, в системах управления, информационных системах и др. Практическая полезность подтверждается актом об использовании результатов при разработке и внедрении в эксплуатацию корпоративной информационной системы ФГОУ ВПО «АмГПГУ» и актом внедрения результатов в учебной деятельности ГОУВПО «КнАГТУ». В 2005 году издано пособие «Искусственные нейронные сети, нечеткие и экспертные системы: Лабораторный практикум» [2], рекомендованное Дальневосточным региональным учебно-методическим центром в качестве учебного пособия для студентов специальностей «Прикладная информатика (по областям)», «Информационные системы и технологии» вузов региона; авторы: Амосов О.С., Магола Д.С. С июля 2008 года функционирует сайт , на котором размещены научные труды соискателя.
Публикации. Содержание диссертации отражено в 12 публикациях. В числе основных - 8 статей, из них 2 опубликованы в журналах, рекомендованных ВАК; 2 авторских свидетельства о регистрации программ для ЭВМ.
Структура и объем работы.
Диссертация состоит из введения, четырех глав, заключения и списка литературы, содержащего 118 наименований работ отечественных и зарубежных авторов. Объем диссертации составляет 125 страниц, включая 43 ри-
10 сунка, 5 таблиц и 3 приложения. Кроме того, в приложении D представлен код программы для обработки трехмерных сигналов с использованием вейвлетов на 5 страницах.
В первой главе приведен обзор и анализ современного состояния математических аппаратов искусственных нейронных сетей, нечетких систем, теории вейвлетов для решения задач обработки информации, в том числе для решения задач идентификации и оценивания.
Вторая глава посвящена использованию вейвлетов для оценивания случайных последовательностей, описанию этапов вейвлет-анализа , использованию нечетких систем для определения материнского вейвлета и типа пороговой обработки.
Третья глава посвящена моделям и алгоритмам идентификации пользователя корпоративной информационной системы с использованием нейронных сетей и вейвлетов.
Четвертая глава посвящена математическому моделированию и алгоритмам обучения вейвлет-нейронных сетей и нечетких вейвлет-нейронных сетей и проверке адекватности предложенных моделей на основе данных натурного и вычислительного экспериментов.
Положения, выносимые на защиту:
Алгоритм оценивания случайных последовательностей на основе регрессии и вейвлет-преобразования.
Алгоритм определения вида вейвлета и типа порога на основе аппарата нечеткой логики.
Математическая модель пользователя корпоративной информационной системы.
Модели и алгоритмы идентификации пользователя на основе нейронных сетей и вейвлетов.
Модифицированные алгоритмы обучения вейвлет-нейрона на основе градиентных методов.
6. Математическая модель нечеткой вейвлет-нейронной сети.
Основные научные результаты, полученные в диссертации были опубликованы в работах [3-9, 15, 33-35, 73], в том числе двух свидетельствах на регистрацию программ для ЭВМ [15, 73] (Приложение С).
Работа выполнена на кафедре «Информационные системы» Комсо-мольского-на-Амуре государственного технического университета. Автор выражает искреннюю благодарность своему научному руководителю — доктору технических наук, профессору Амосову Олегу Семеновичу за помощь и чуткое руководство при написании диссертации.
Комбинация нейронных сетей и систем, основанных на нечеткой логике
Основными достоинствами нейронных сетей является способность к обучению и возможность успешного применения при решении сложных в вычислительном отношении задач. Дальнейшее повышение производительности компьютеров все в большей мере связывают с искусственными нейронными сетями, в частности, с нейрокомпьютерами, основу которых составляет искусственная нейронная сеть. Системы нечеткой логики также целесообразно применять для сложных процессов, когда нет простой математической модели, и их достоинством является возможность описания уеловий и метода решения на языке, близком к естественному.
Можно заметить, что подходы на основе нейронных сетей и систем не- четкой логики находят все новые и новые применения на практике при принятии решений и управлении сложными организационно-техническими системами. Технологии нейронных сетей, нечеткой логики применимы практический в любой области. С их помощью можно решать широкий круг задач распознавания образов, идентификации, прогнозирования, оптимизации, управления сложными объектами [28].
Актуальность новых технологий обусловлена тенденцией увеличения сложности математических и формальных моделей реальных систем и процессов управления, связанная с желанием повысить их адекватность и учесть все большее число различных факторов, оказывающих влияние на процессы принятия решений. Однако стоит отдельно отметить недостатки и ограничения нейронных сетей и нечетких систем, которые необходимо принимать во внимание при проектировании систем. Основными недостатками аппарата нейронных сетей являются: 1) отсутствие строгой теории по выбору структурной схемы нейронной сети; 2) сложность извлечения приобретенных знаний из обученной нейронной сети. Системы с нечеткой логикой, напротив, хороши для объяснения получаемых с их помощью выводов, но они не могут автоматически приобретать знания для использования их в механизмах выводов. Основные недостатки систем с нечеткой логикой связаны с тем, что: 1) исходный набор постулируемых нечетких правил формулируется экспертом-человеком и может оказаться неполным или противоречивым; 2) вид и параметры функций принадлежности, описывающие входные и выходные переменные системы, выбираются субъективно и могут оказать 26 ся не вполне отражающими реальную действительность. Таким образом, в соответствии с изложенным выше, у нейронных сетей и нечетких систем имеются свои достоинства и недостатки. Данное соображение легко в основу перспективного аппарата гибридных сетей, в которых выводы делаются на основе аппарата нечеткой логики, но соответствующие функции принадлежности подстраиваются с использованием алгоритмов обучения нейронных сетей, например, алгоритма обратного распространения ошибки. Такие системы не только используют априорную информацию, но и могут приобретать новые знания и для пользователя являются логически прозрачными. На их основе можно выполнять нечеткие экспертные и управляющие системы адаптивными - корректируя по мере работы системы и правила и параметры функций принадлежности [1-2]. 1.2. Комбинация нейронных сетей и систем, основанных на нечеткой логике Систему нечеткого логического вывода можно представить в виде ней-ронечеткой сети - нейронной сети прямого распространения сигнала особого типа [27, 31, 44, 56, 57, 78]. История нейронечетких сетей начинается с 1991 г., когда Янг (Jang) предложил ANFIS-модель (Adaptive-Network-based Fuzzy Inference System) [78]. Архитектура нейронечеткой сети изоморфна нечеткой базе знаний. В нейронечетких сетях используется дифференцируемые реализации треугольных норм (умножение и вероятностное ИЛИ), а также гладкие функции принадлежности. Это позволяет применять для нейронечетких сетей алгоритмы обучения нейронных сетей, основанные на методе обратного распространения ошибки. ANFIS реализует систему нечеткого вывода Сугено в виде пятислой-ной нейронной сети прямого распространения сигнала . Назначение слоев: первый слой - термы входных переменных; второй слой — посылки нечетких правил; третий слой - нормализация степеней выполнения правил; Слой 2. Количество узлов второго слоя равно тр. Каждый узел этого слоя соответствует одному нечеткому правилу. Узел второго слоя соединен с теми узлами первого слоя, которые формируют посылки соответствующего правила. Следовательно, каждый узел второго слоя может принимать от 1 до п сигналов. Выходом узла является степень выполнения правила, которая рассчитывается как произведение входных сигналов. Обозначим выходы узлов этого слоя через eXr, г=1,тр. Слой 3. Количество узлов третьего слоя также равно тр. Каждый узел этого слоя рассчитывает относительную степень выполнения нечеткого правила по формуле: Слой 4. Количество узлов также равно тр. Каждый узел соединен с одним узлом третьего слоя, а также со всеми входами сети (на рис. 1.5 связи с входами не показаны). Узел четвертого слоя рассчитывает вклад одного нечеткого правила в выход сети по формуле:
Типовые процедуры обучения нейронных сетей могут быть применены для настройки ANFIS-сети, так как в ней используются только дифференцируемые функции. Обычно применяется комбинация градиентного спуска в виде алгоритма обратного распространения ошибки и метода наименьших квадратов. Алгоритм обратного распространения ошибки настраивает параметры посылок правил, т.е. функций принадлежности. Методом наименьших квадратов оцениваются коэффициенты заключения правил, так как они линейно связаны с выходом сети. Каждая итерация процедуры настройки выполняется в два этапа. На первом этапе на входы подается обучающая выборка и по невязке между желаемым и действительным поведением сети методом наименьших квадратов находятся оптимальные параметры узлов четвертого слоя. На втором этапе остаточная невязка передается с выхода сети на входы и методом обратного распространения ошибки модифицируются параметры узлов первого слоя. При этом найденные на предыдущем этапе коэффициенты заключений правил не изменяются. Итерационная процедура настройки продолжается, пока невязка превышает заранее установленное значение. Для настройки функций принадлежности, кроме метода обратного распространения ошибки, могут использоваться и другие алгоритмы оптимизации, например, метод Левенберга-Марквардта [27, 28, 56].
Несмотря на преимущества искусственных нейронных сетей, нечетких систем и гибридных сетей, использование данных математических аппаратов осложняется при обработке нестационарных стохастических последовательностей. Гибкую технику обработки сигналов дает теория вейвлетов.
Пример создания нечеткой системы определения вида вейвлета
В общем случае под идентификацией [12, 13, 39] понимают определение структуры и параметров математической модели, которые обеспечивают наилучшую близость значений выходных переменных модели и объекта в смысле заданного критерия при одних и тех же входных воздействиях.
Основной задачей системного анализа является определение выходного сигнала системы по известному входному сигналу и характеристикам системы. Задача идентификации, которую иногда называют обратной задачей системного анализа, заключается в определении уравнения, описывающего поведение системы по заданным входному и выходному сигналам. Таким образом, необходимо получить правило или такую связь, которая позволяла бы приписать неизвестному параметру в рассматриваемого объекта некоторое числовое значение (оценку) в, причем эта оценка зависит от последовательности наблюдений \ит;ут), где ит - есть управление. Часто подразумевается, что идентификация начинается из "ничего" без всякой априорной информации об объекте. Но в большинстве технических задач такое предположение не реалистично; из структуры объекта и, по крайней мере, частичного понимания его функционирования можно извлечь определенную априорную информацию и, в частности, вид структуры модели. В этом случае остается только получить информацию о числовых значениях ряда параметров (коэффициентов дифференциальных уравнений, описывающих динамику объекта, и т. д.). В результате задача идентификации случайных последовательностей сводится к задаче оценивания параметров. Под оцениванием параметров понимается экспериментальное определение значений параметров, характеризующих динамику поведения объекта, в предположении, что структура модели объекта известна.
Задача оценивания случайных последовательностей может быть сформулирована как задача нахождения наибольшего (наименьшего) значения некоторого функционала. Но так как значения параметров непосредственному наблюдению не доступны, то критерием выбора оптимума должен быть функционал от выходных сигналов или от математического ожидания ошибок оценок параметров.
При оценивании случайных последовательностей используют различные виды оценок, которые различаются объемом исходной информации. Например, при нахождении оценки по методу наименьших квадратов предполагается, что динамика объекта может быть аппроксимирована выбранной моделью. При получении "марковских" оценок считается также известной ковариационная матрица шума. Для вычисления оценок максимального правдоподобия необходимо знание плотности вероятности измеряемого случайного процесса. Байесовские оценки, или оценки с минимальным риском, требуют знания априорных плотностей вероятности неизвестных параметров и величины штрафа за ошибки [39].
В зависимости от априорной информации об объекте управления различают задачи идентификации в узком и широком смыслах. Задача идентификации в узком смысле состоит в оценивании параметров и состояния системы по результатам наблюдений над входными и выходными переменными, полученными в условиях функционирования объекта. При этом известна структура системы и задан класс моделей, к которому данный объект относится. Априорная информация об объекте достаточно велика.
Априорная информация об объекте при идентификации в широком смысле отсутствует или очень бедная, поэтому приходится предварительно решать большое число дополнительных задач, такие как выбор структуры системы и задание класса моделей, оценивание линейности объекта и действующих переменных, оценивание степени и формы влияния входных переменных на выходные и др.
К выбору метода идентификации нельзя подойти однозначно, поскольку в самой постановке задачи заранее предполагается неопределенность (неполнота знаний об объекте, ограничения в наблюдениях объекта во времени, неточность измерения сигналов на входе и на выходе объекта и т. п.) [37]. Комплекс задач при идентификации модели объекта обычно разделяется на три этапа: на первом этапе выбирается структура модели по результатам изучения объекта или по имеющимся априорным сведениям, на втором этапе -критерий близости (подобия) модели и объекта, на третьем этапе по экспериментальным данным определяются параметры модели исходя из выбранного критерия.
Следует заметить, что вследствие значительной сложности этап структурной идентификации часто сводят в значительной мере к эвристическому заданию структуры модели, опираясь на априорные данные об объекте. Очевидно, что в таких случаях эффективность последующей параметрической идентификации во многом определяется тем, насколько удачно была выбрана структура модели. Для решения задач параметрической идентификации разработано большое число методов, учитывающих особенности объектов, условия их функционирования, способ тестирования и математическую основу анализа экспериментальных данных, вид получаемых моделей и т.п. [39].
Методы параметрической идентификации можно характеризовать различными признаками. По способу тестирования исследуемого объекта методы идентификации делятся на активные и пассивные. Применение активных методов предполагает подачу на вход объекта специально сформированных воздействий - детерминированных или случайного характера. Среди активных методов идентификации широкое распространение получили частотные методы, основанные на измерении установившихся выходных сигналов исследуемого объекта, вызванных гармоническим входным воздействием. Для идентификации линейных объектов используют и другие периодические воздействия (прямоугольные, треугольные), а также апериодические воздействия в виде ступенчатых, импульсных и других сигналов. В качестве случайных тестовых сигналов особенно широко применяют псевдослучайные двоичные последовательности, что объясняется простотой их получения и удобством обработки с помощью средств вычислительной техники. Достоинство активной идентификации заключается в нежесткости требований к априорным данным об объекте. Основываясь на методах планирования эксперимента, такую идентификацию можно осуществлять целенаправленно, что позволяет ускорять выявление закономерностей в зависимостях между переменными объекта и сокращать тем самым временные и материальные затраты на его испытания.
Использование нейронной сети для идентификации пользователя
В качестве сенсоров определения «почерка» пользователя могут выступать как аппаратные, так и программные средства, например для определения частоты ввода текста, продолжительности пауз между словами и коэффициента допущенных ошибок при вводе текста могут выступать утилиты, подобные тем, что используются в таких программных продуктах, как «Соло на клавиатуре» [29]. В соответствии с приведенной схемой (рис. 3.2), потенциальный пользователь КИС за своим автоматизированным рабочим местом для доступа в КИС предоставляет свой логин и пароль, причем пароль пользователя может быть набран с клавиатуры или хранится на специальных устройствах, таких как устройства Touch-Memory, USBoken и других, что должно быть подкреплено технической возможностью. После успешной аутентификации и авторизации у пользователя появляется возможность использования ресурсов КИС.
В диссертации предложена следующая технология идентификации пользователя КИС [34]: в течение работы пользователя в КИС, на АРМе начинают функционировать службы определения «почерка» пользователя, которые по истечению заданного промежутка времени передают соответствующие данные пользователя на сервер, под условным названием «сервер безопасности» (пример работы одной из служб приведен на рис. 3.3).
На сервере данные обрабатываются и на основе имеющих данных, хранящихся в соответствующей базе данных и знаний базы знаний, генерируется «ключ» подтверждения доступа данного пользователя в КИС, который передается на соответствующий АРМ. Данный «ключ» в свою очередь предоставляется службам идентификации пользователя КИС. В случае предоставления истинного «ключа» доступа, работа пользователя КИС не прекращается, в случае если «почерк» пользователя является ложным, генерируется ложный «ключ», предоставление которого работу пользователя блокирует. Для пользователя работа служб идентификации должна проходить в фоновом режиме. По мере работы пользователя в КИС данные и знания о пользователе должны пополняться и (или) редактироваться в соответствующих базах.
В зависимости от размеров КИС и количества пользователей в качестве сервера могут выступать различные ЭВМ, например IBM System х3200 М2, 1 Gb ОЗУ, 3 Ghz processors х2, 500 Gb HDD. В качестве СУБД могут выступать Microsoft SQL Sever или Oracle под управлением соответствующих операционных систем, например Microsoft Windows 2003 Server. Под базой знаний следует понимать базу правил поведения пользователя КИС.В качестве блока идентификации, аутентификации и авторизации представленного на рис. 3.1, предлагается использовать НС, обученную на N примерах образа «Друг». Эта НС, исходя из данных о «поведении» пользователя в сети, воспроизводит пароль или код доступа, принадлежащий образу «Друг», предоставляя, таким образом, доступ пользователю. В случае, когда «поведение» пользователя не соответствуют образу «Друг», НС воспроизводит «ложный» пароль, при вводе которого, доступ не предоставляется.
В качестве одного из преимуществ предложенного подхода является гибкость, которую предоставляют НС. НС способна анализировать данные, даже если эти данные являются неполными или искаженными, обладает возможностью проводить анализ данных в нелинейном режиме. Поскольку защита вычислительных ресурсов требует своевременной (быстрой) идентификации атак, скорость обработки в НС может быть достаточной для реагирования в реальном времени на проводимые атаки до того, как в системе появятся непоправимые повреждения, что является еще одним преимуществом этого подхода. Это возможно за счет использования двух режимов работы НС: обучение НС (off-line) и работа НС в режиме реального времени (online).Недостаток предложенного подхода связан с требованиями к обучению НС. Поскольку способность НС идентифицировать указания на атаку полностью зависит от точности обучения системы, обучающие данные и используемые методы обучения являются наиболее важными [10].
На основе проведенного анализа литературных источников [12, 24, 26-28, 41, 44, 47, 54, 57], и исходя из преимуществ и недостатков различных моделей НС, сделан вывод, что наибольшую эффективность при решения выше описанной задачи можно достигнуть, используя НС радиально базисных функций (РБФ). НС с РБФ выполняют те же функции, что и сигмоидальные сети, однако реализуют иные методы обработки данных, связанные с локальными отображениями [40].
На рис. 3.4 представлена структурная схема НС с РБФ. Она содержит в наиболее простой форме три слоя: обычный входной слой, выполняющий распределение данных образца для первого слоя весов; слой скрытых нейронов с радиально симметричной активационной функцией, каждый j -й из которых предназначен для хранения отдельного эталонного вектора в виде вектора весов w/ ; выходной слой. Для построения сети РБФ необходимо выполнение следующих условий.
Во-первых, наличие эталонов, представленных в виде весовых векторов нейронов скрытого слоя. Во-вторых, наличие способа измерения расстояния входного вектора от эталона. Обычно это стандартное евклидово расстояние. В-третьих, специальная функция активации нейронов скрытого слоя, задающая выбранный способ измерения расстояния. Обычно используется функция Гаусса, существенно усиливающая малую разницу между входным и эталонным векторами. Выходной сигнал эталонного нейрона скрытого слоя а— это функция (гауссиан) только от расстояния между входным вектором х и сохраненным центром w/ :
Проверка адекватности математических моделей на основе данных натурного и вычислительного экспериментов
AWNFIS-технология была использована для построения модели, предсказывающая значение ряда через шесть интервалов времени x{t + 6) на основе предыдущих четырех наблюдений временного ряда: x(t-18), x(t -12), x(t-6), x(t). Таким образом, для обучающей выборки необходимо использовать следующий массив: (x(t - 18),x(t - 12),x(t - 6),x(t),x(t + 6)). Использовали 1000 пар данных указанного формата при t = 118,119,...,1117. Первые 500 пар использовались как обучающая выборка, а остальные — как тестовая. Для лингвистической оценки входных переменных использовались по три терма с гауссовой вейвлет-функцией принадлежности (4.5). Количество итераций равнялось 10. На рисунке 4.12, а представлен предсказанный временной ряд xAWNFIS(ґ)за, рассматриваемый интервал. Разница между исходным и предсказанными временными рядами Ax(t) = x(t) - XAWNF1S(t) (рисунок 4.12, б) такая незначительная, что визуально ее заметить очень сложно.
На основе радиально-базисной нейронной сети представлена модель вейвлет-нейронной сети и вейвлет-нейрона. На основе градиентных методов модифицированы алгоритмы обучения вейвлет-нейронов. Пример исследования реального объекта позволяет сделать вывод об адекватности предложенных моделей и алгоритмов. 3. На основе системы ANFIS предложена модель нечеткой вейвлет-нейронной сети AWNFIS. Пример исследования реального объекта позволяет сделать вывод об адекватности предложенной модели. В ходе диссертационного исследования были получены следующие результаты: - разработан алгоритм оценивания случайных последовательностей на основе регрессии и вейвлетов. Рассмотрен пример вейвлет-оценивания скалярного процесса; - разработан алгоритм определения материнского вейвлета и вида порога для трешолдинга на основе аппарата нечеткой логики. Рассмотрены примеры определения вида вейвлета и типа порога с использованием нечеткого вывода Мамдани; - разработана формальная математическая модель пользователя корпоративной информационной системы; - разработана технология идентификации пользователя корпоративной информационной системы; - разработаны модели и алгоритмы идентификации пользователя корпоративной информационной системы с использованием нейронных сетей радиально-базисных функций и вейвлетов. Рассмотрены примеры идентификации пользователя с помощью нейронной сети радиально-базисных функций и ортогонального вейвлета Добеши; - модифицированы 3 алгоритма обучения вейвлет-нейрона на основе градиентных методов. Рассмотрен пример использования вейвлет-нейронной сети для исследования реальной компьютерной сети предприятия; - разработаны математическая модель и алгоритм реализации нечеткой вейвлет-нейронной сети, реализующие систему нечеткого вывода Сугено в виде пятислойной нейронной сети прямого распространения сигнала. Рассмотрен пример использования нечеткой вейвлет-нейронной сети для исследования реальной компьютерной сети предприятия; - созданы алгоритмы и компьютерные программы для обработки одномерных, двумерных и трехмерных сигналов с использованием вейвлетов. Свидетельства о регистрации программ для ЭВМ представлены в приложении С. В приложении D представлен код программы для обработки трехмерных сигналов с использованием вейвлетов. Таким образом, в диссертации решена комплексная задача математического, и на его основе численного, моделирования обработки случайных последовательностей на основе теории вейвлетов, теории искусственных нейронных сетей и теории нечеткой логики. Апробация работы. Основные положения и отдельные результаты работы докладывались и обсуждались на научных конференциях: 35, 37 и 38 научно-технических конференциях студентов и аспирантов КнАГТУ (Комсомольск-на-Амуре, 2005 г., 2007 г., 2008 г.), научно-практической конференции «Информационно-коммуникационные технологии в образовании» (Хабаровск, 2007 г.), IX (Всероссийской) и X (Международной) научно-технических конференциях «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2008 г., 2009 г.), научно-практической конференции «Информационные и коммуникационные технологии в образовании и научной деятельности» (Хабаровск, 2008 г.), XI Санкт-Петербургской международной конференции «Региональная информатика-2008» (Санкт-Петербург, 2008 г.), региональной научно-практической конференции «Актуальные проблемы математики, физики, информатики в вузе и школе» (Комсомольск-на-Амуре, 2009 г.). Практическая полезность подтверждается актом об использовании результатов при разработке и внедрении в эксплуатацию корпоративной информационной системы ФГОУ ВПО «АмГПГУ» и актом внедрения результатов в учебной деятельности ГОУВПО «КнАГТУ». Акты об использовании и внедрении результатов представлены в приложениях А, В. Научные труды соискателя размещены в сети Интернет на сайте [118].
