Содержание к диссертации
Введение
1 Анализ методов аппроксимации законов распределения ортогональными многочленами и нейронными сетями 12
1.1 Методы аппроксимации законов распределения 12
1.2 Методы аппроксимации законов распределения ортогональными полиномами 17
1.3 Методы аппроксимации законов распределения нейронными сетями 20
Выводы и результаты 25
2 Аппроксимация функций распределения и плотностей вероятности ортогональными рядами 27
2.1 Построение сплайн-модели аппроксимируемой характеристики 27
2.2 Гистограммно-аппроксимативные оценки плотности вероятности и функции распределения 28
2.3 Метод повышения точности аппроксимации сведением концов аппроксимируемой функции к нулю 32
2.4 Метод двусторонней аппроксимации функций распределения и плотности вероятности 34
2.5 Степенное представление аппроксимируемых характеристик и нормировка 39
2.6 Состоятельность и несмещенность оценки погрешности 41
Выводы и результаты 44
3 Аппроксимация функций нейронными сетями 45
3.1 Математическое обоснование возможности аппроксимации функций нейронными сетями 45
3.2 Аппроксимация многослойным персептроном 47
3.3 Аппроксимация радиально-базисной сетью 52
3.4 Состоятельность и несмещенность оценки погрешности 56
Выводы и результаты 59
4 Программный комплекс аппроксимативного анализа законов распределения ортогональными полиномами и нейронными сетями 61
4.1 Описание программного комплекса 61
4.2 Подсистема задания входных воздействий 63
4.3 Подсистема аппроксимативного анализа 65
4.4 Подсистема интерполяции 71
4.5 Подсистема статистической обработки 72
4.6 Подсистема информационного обеспечения 73
Выводы и результаты 74
5 Исследование качества аппроксимации и апробация программного комплекса 75
5.1 Исследование аппроксимативных возможностей ортогональных базисов 75
5.2 Исследование аппроксимативных возможностей MLP-сетей 84
5.3 Исследование аппроксимативных возможностей RBF-сетей 87
5.4 Исследование погрешности аппроксимации от объема выборки и числа дифференциальных коридоров 90
5.5 Применение комплекса программ для обработки результатов экспериментальных исследований 93
Выводы и результаты 97
Заключение 99
Список литературы 101
Приложение 1 Форматы файлов 109
Приложение 2 Акты внедрения 110
- Методы аппроксимации законов распределения ортогональными полиномами
- Гистограммно-аппроксимативные оценки плотности вероятности и функции распределения
- Аппроксимация многослойным персептроном
- Подсистема аппроксимативного анализа
Введение к работе
При проведении различного рода исследований зачастую приходится прибегать к обработке больших массивов однородной информации. При этом объем выборки может достигать огромных размеров, и оперировать им становится не очень удобно. Кроме того, любые результаты несут в себе некоторую долю погрешности, вносимую по различным причинам. Если в условиях конкретной задачи можно исходить из предположения о том, что данная выборка распределена по какому-либо закону, пусть даже нам неизвестному, то в таком случае можно перейти от хранения информации в виде числовых массивов к хранению закона распределения числового ряда. Помимо удобства в хранении это позволит:
а) избавиться от необходимости повторных исследований, зачастую
длительных и дорогостоящих, для получения альтернативной выборки, ее
можно будет сгенерировать по имеющемуся закону распределения,
б) уменьшить влияние случайных погрешностей при получении данных
на реальных объектах, это так называемая операция сглаживания,
в) упростить получение вероятностных характеристик числовых выбо
рок.
Аппроксимация законов распределения (ЗР) методом моментов или параметрическими методами имеет ряд недостатков, который делает их неприменимыми в ряде случаев. Во-первых, мы не всегда можем предположить, какому именно закону подчинена имеющаяся у нас выборка, а во-вторых, исследуемые ЗР могут существенно отличаться от имеющегося набора стандартных законов.
По этим причинам в качестве альтернативного метода можно предложить аппроксимацию ЗР ортогональными рядами. Этот метод аппроксимации инвариантен к виду распределения, что расширяет область его применимости.
Предлагаемый метод основан на аппроксимации гистограммы, полученной при анализе исследуемой выборки, и построении непрерывной функ-
ции, сглаживающей гистограмму. В дальнейшем полученная гладкая функция может использоваться для нахождения моментных и функциональных характеристик.
Кроме аппроксимации функций многочленами в последнее время все больше внимания уделяется приближению функций многих переменных с помощью линейных операций и суперпозиций функций одного переменного. Такое приближение осуществляется специальными формальными «устройствами» - нейронными сетями. Нейрон получает на входе вектор сигналов х, вычисляет его скалярное произведение на вектор весов w и некоторую функцию одного переменного
Для решения задачи аппроксимации с применением нейронной сети следует спроектировать структуру сети, адекватную поставленной задаче. В данной работе используется многослойный персептрон с одним скрытым слоем и радиально-базисная сеть.
Вопросы разработки аппроксимативных методов и алгоритмов, а также вопросы, посвященные теории нейронных сетей, в разное время исследовали Л.Деврой, Л.Дьерфи, В.Н.Вапник, Э.А.Надарая, С.А.Прохоров, Ф.П.Тарасенко, Н.Н.Ченцов, У.Мак-Каллок, У. Питц, Ф.Розенблатт, Д.Хопфилд, С. Гроссберг, Т.Кохонен, М.Минский, А.И.Галушкин, Н.М.Амосов, А.Н.Горбань, С.А.Терехов, С.Хайкин, С.Осовский и другие ученые.
Анализ существующих современных автоматизированных комплексов математических расчетов (Statistica, Mathematica, MatLab, Mathcad) показал, что они позволяют использовать ортогональные функции, однако в большинстве из них отсутствуют алгоритмы аппроксимации, использующие в качестве аппроксимирующих выражений ортогональные полиномы. Также эти
комплексы требуют дополнительной настройки или программирования для решения определенных задач.
Существует довольно много универсальных программных пакетов для работы с нейронными сетями (Statistica Neural Networks, NeuroShell, Matlab Neural Network Toolbox, NeuroSolutions, BrainMaker). Однако для решения задач с помощью этих комплексов пользователь должен выполнить настройки нейронной сети - выбрать ее структуру, алгоритм обучения и т.д., подходящие именно для конкретной решаемой задачи. Это, в свою очередь, требует от пользователя владения знаниями по теории нейронных сетей.
В связи с этим актуальной представляется задача разработки алгоритмов аппроксимации законов распределения ортогональными полиномами (Лагерра, Лежандра, Чебышева первого и второго рода, Эрмита) и нейросете-выми моделями (многослойным персептроном и радиально-базисной сетью), а также построения комплекса программ, реализующего эти алгоритмы.
Целью работы является разработка алгоритмов и комплекса программ для аппроксимативного анализа законов распределения в ортогональных базисах, а также с использованием нейронных сетей.
В соответствии с поставленной целью в диссертационной работе решаются следующие задачи исследования:
Разработка алгоритмов аппроксимации законов распределения с использованием ортогональных базисов и нейронных сетей.
Оценка результатов аппроксимации с помощью максимума и верхней границы доверительного интервала по «правилу трёх сигма» для среднего квадратического отклонения, а также с помощью критериев Пирсона и Колмогорова.
Исследование и сравнительный анализ результатов аппроксимации ортогональными полиномами и нейронными сетями.
Разработка программного комплекса, реализующего разработанные алгоритмы.
5. Проведение экспериментальных исследований по обработке реальных данных с целью апробации комплекса программ. Методы исследования, используемые в диссертации, основаны на положениях теории вероятностей и математической статистики, теории оптимизации и аппроксимации, методах имитационного моделирования, численных методах, теории нейронных сетей.
Научная новизна работы заключается в следующих положениях:
Предложена методика аппроксимации законов распределения ортогональными полиномами с разбиением закона распределения на две ветви относительно точки экстремума.
Предложена методика аппроксимации законов распределения ортогональными полиномами со сведением концов аппроксимируемой функции к нулю.
Предложена методика аппроксимации законов распределения многослойным персептроном. Многослойный персептрон используется не для построения сетевой модели, аппроксимирующей заданную функцию, а для обучения сети с целью получения неизвестных коэффициентов разложения на выходе.
Предложена методика аппроксимации законов распределения ра-диально-базисной сетью. В качестве узлов радиально-базисной сети используются не только классические радиально-базисные функции, но и сигмоидальные функции, степенные функции, а также ортогональные полиномы Лежандра, Чебышева I и II рода, Лагерра и Эрмита.
Исследованы алгоритмы аппроксимации законов распределения ортогональными полиномами и нейронными сетями.
Практическая ценность работы заключается в разработке алгоритмического и программного обеспечения автоматизированного программного комплекса аппроксимативного анализа, позволяющего решать следующие задачи:
Моделирования случайных последовательностей с заданным законом распределения.
Аппроксимации законов распределения ортогональными полиномами.
Аппроксимации законов распределения нейронными сетями.
4. Обработка данных натурного эксперимента.
Положения, выносимые на защиту:
Методика и алгоритмы аппроксимации законов распределения ортогональными полиномами Лежандра, Чебышева первого и второго рода, Лагерра, Эрмита с выделением точки экстремума и со сведением концов аппроксимируемой функции к нулю.
Методика и алгоритмы аппроксимации законов распределения многослойным персептроном и радиально-базисной сетью. Многослойный персептрон используется не для построения сетевой модели, аппроксимирующей заданную функцию, а для обучения сети с целью получения неизвестных коэффициентов разложения на выходе. Помимо классических радиально-базисных функций в качестве узлов радиально-базисной сети используются сигмои-дальные и степенные функции, а также ортогональные полиномы Лежандра, Чебышева I и II рода, Лагерра и Эрмита.
Программный комплекс аппроксимативного анализа законов распределения ортогональными базисами, а также нейронными сетями.
Внедрение результатов работы
Результаты работы внедрены в учебном процессе кафедры ИСТ СГАУ при подготовке студентов по специальности 230102 и на ФГУП ГНП РКЦ «ЦСКБ-Прогресс».
Апробация работы
Основные положения и результаты работы докладывались и обсуждались на XXX Юбилейной Самарской областной студенческой научной кон-
ференции (Самара, 2004), международном симпозиуме «Надежность и качество» (Пенза, 2004), международной научно-технической конференции «Информационные, измерительные и управляющие системы (ИИУС - 2005)» (Самара, 2005), международной научно-технической конференции, посвященной 110-летию изобретения радио и 75-летию Саратовского государственного технического университета «Радиотехника и связь» (Саратов, 2005), Всероссийской молодежной научной конференции с международным участием «VIII Королевские чтения» (Самара, 2005), Всероссийской межвузовской научно-практической конференции «Компьютерные технологии в науке, практике и образовании» (Самара 2005), третьей международной научно-технической конференции «Радиотехника и связь» (Саратов, 2006), научно-технической конференции с международным участием «Перспективные информационные технологии в научных исследованиях, проектировании и обучении» (ПИТ-2006) (Самара, 2006), Всероссийской научной конференции «Инновационные технологии в управлении, образовании, промышленности» («АСТИНТЕХ-2007») (Астрахань, 2007), международной научно-технической конференции «Проблемы автоматизации и управления в технических системах» (Пенза, 2007), II межрегиональной научно-практической конференции «Информационные технологии в высшем профессиональном образовании» (Тольятти-Самара, 2007), четвертой международной научно-технической конференции «Радиотехника и связь» (Саратов, 2007).
Публикации
Соискатель имеет 15 опубликованных работ, в том числе по теме диссертации 15 работ, из них опубликованы в ведущих рецензируемых научных журналах и изданиях, определенных Высшей аттестационной комиссией, 2.
Объем и структура работы
Диссертация состоит из введения, пяти глав и заключения. Основное содержание работы изложено на 108 страницах, включая 32 рисунка и 22 таблицы. Список использованных источников включает 62 наименования, 2 приложения размещены на 5 страницах.
Методы аппроксимации законов распределения ортогональными полиномами
Теория ортогональных многочленов в своем развитии к настоящему времени достигла значительного совершенства. Подробно исследованы свойства ортогональных многочленов различных типов при достаточно общих условиях, изучены наиболее важные и характерные классы ортогональных многочленов. Кроме того, постоянно расширяется множество теоретических и прикладных вопросов, при решении которых используются ортогональные многочлены.
Как известно, первые примеры классических ортогональных многочленов рассмотрели А.Лежандр, П.Лаплас, Ж.Лагранж, Н.Абель. Затем великий русский математик П.Л. Чебышев разработал общую теорию ортогональных многочленов и исследовал важные частные случаи классических ортогональных многочленов. Дальнейшие, наиболее важные результаты по теории ортогональных многочленов получили Т.Стилтьес, К.Якоби, Ш.Эрмит, Э.Лагерр, К.А.Поссе, Ю.В. Сохоцкий.
В.А.Стеклов [51] разработал эффективный метод исследования асимптотических свойств классических ортогональных многочленов. С помощью этого метода подробно изучены асимптотические свойства многочленов Якоби, Чебышева-Эрмита и Чебышева-Лагерра.
Классические результаты в теории ортогональных многочленов получил Г.Сеге [51]. Он открыл новый метод исследования асимптотических свойств многочленов, ортогональных на окружности с произвольным весом. С помощью этого метода Г.Сеге получил асимптотические формулы для ортогональных многочленов вне окружности и на самой окружности. Далее, Г.Сеге нашел формулу представления многочленов, ортогональных на сегменте, через многочлены, ортогональные на окружности. С помощью этой формулы были подробно исследованы асимптотические свойства многочленов, ортогональных на сегменте.
С.Н.Бернштейн [51] разработал еще один метод исследования асимптотических свойств многочленов, ортогональных на сегменте. Этот метод основан на результатах теории приближения функций.
Весьма важные результаты по теории ортогональных многочленов получены в работах Е.А.Рахманова [51]. В этих работах излагаются различные оценки для ортогональных многочленов при наиболее общих условиях на весовую функцию.
В работах В.М.Бадкова [51] глубоко исследованы асимптотические свойства ортогональных многочленов при степенных и логарифмических особенностях весовой функции.
Хорошо известны многочисленные применения классических ортогональных многочленов в вычислительной математике, математической физике, в квантовой механике и во многих других областях науки. В настоящее время эти применения значительно расширяются и усиливаются.
Одно из возможных применений классических ортогональных многочленов - аппроксимация законов распределения. Эта задача решалась многими авторами, разработавшими ряд методов ее решения [2,4,7,8,10,13,14,17,19,26,29,32,38,54,56,59,60,62], однако интерес к задачам такого рода сохраняется.
Задача непараметрического оценивания плотности вероятности решается в различных автоматизированных комплексах [3,4,5,8,21,28]. Универсальные системы Statistica, Mathematica, MatLab, Mathcad достаточно широко известны, отличаются широким спектром статистических методов и отсутствием ориентации на специфическую предметную область.
Программный комплекс, описанный в [3], ориентировании на восстановление зависимостей по выборкам ограниченного объема в соответствии с принципом оптимального соотношения сложности приближающей функции с объемом эмпирических данных. В этом комплексе решается задача аппроксимации эмпирической функции распределения разложением по базисным функциям методом наименьших квадратов, а восстановление плотности рассматривается как задача восстановления производной от функции распределения.
Разработанный в Обнинском государственном техническом университете атомной энергетики комплекс программ [4] предназначен для анализа статистической информации о функционировании элементов подсистем и систем объектов ядерных установок и определения характеристик надежности объектов. В комплексе применяются алгоритмы непараметрического оценивания плотности вероятности (гистограммный подход, оценка тригонометрическим рядом Фурье, вейвлет-метод).
Следует отметить диссертационную работу Дегтяревой О.А. [20], посвященную созданию программного комплекса аппроксимативного анализа законов распределения случайных процессов ортогональными функциями.
В работе Дегтяревой О.А. предложены алгоритмы построения проекционных и гистограммно-аппроксимативных оценок плотности вероятности, определенной на всей числовой оси, с помощью ортогональных функций Эрмита, Лагерра, Лежандра, Дирихле, основанные на разделении аппроксимируемой функции на две ветви. Также предложены формулы расчета коэффициентов разложения оценок плотности вероятности, обеспечивающие «склеивание» и «гладкое склеивание» аппроксимирующих ветвей при соблюдении условия нормировки, проведен сравнительный анализ результатов аппроксимации плотности вероятности с использованием ортогональных функций Эрмита, Лагерра, Лежандра, Дирихле, разработан алгоритм формирования класса согласованных с экспериментальными данными оценок плотности вероятности, основанный на применении критерия Пирсона, а также предложен алгоритм получения аналитических выражений для характери стической функции по параметрам аппроксимирующего выражения для плотности вероятности.
Таким образом, задача оценивания плотности вероятности методами, описанными в главах 2 и 3, может быть решена с помощью универсальных или специализированных систем, однако в каждом случае необходима разработка дополнительных программных средств в соответствии с поставленной задачей и предлагаемыми алгоритмами ее решения, либо нужно реализовы-вать свой комплекс программ с помощью языка высокого уровня.
В настоящей работе рассматривается вопрос о разработке алгоритмов построения гистограммно-аппроксимативных оценок с использованием ортогональных полиномов Лежандра, Чебышева I и II рода, Лагерра, Эрмита. Отличительной особенностью является то, что первые четыре базиса, которые определены на полуоси, предлагается использовать для построения оценок плотности вероятности, определенной на всей числовой оси, путем разбиения на две ветви. При этом обеспечивается нормировка оценки, а при необходимости - ее непрерывность в точке «склеивания» ветвей. Также в данной работе применяется метод сведения концов аппроксимирующей функции к нулю, что обеспечивает повышение точности аппроксимации.
Современная эра нейронных сетей началась с работы У.Мак-Каллока и У.Питца [58]. В ней была описана логика вычислений в нейронных сетях на основе результатов нейрофизиологии и математической логики. Формализованная модель нейрона соответствовала принципу «все или ничего». Ученые показали, что сеть, составленная из большого количества таких элементарных процессорных единиц, соединенных правильно сконфигурированными и синхронно работающими синаптическими связями, принципиально способна выполнять любые вычисления. Этот результат был реальным прорывом в области моделирования нервной системы. Именно он явился причиной зарож дения таких направлений в науке, как искусственный интеллект и нейронные сети.
Гистограммно-аппроксимативные оценки плотности вероятности и функции распределения
Рассмотрим возможность аппроксимации функции распределения и плотности вероятности произвольного вида ортогональными полиномами.
При численном нахождении значения интеграла (2.13) [24] в силу того, что на границах интервала аппроксимации трудно добиться хорошего при ближения, имеет смысл предварительно преобразовать аппроксимируемую функцию так, чтобы ее значение на одном из концов интервала (или сразу на обоих) стало равно нулю. В таком случае удается точнее посчитать коэффициенты и избежать на концах аппроксимируемой функции эффекта Гиббса.
Значения коэффициентов d и с рассчитывается в зависимости от того, сколько концов функции требуется свести к нулю. Если к нулю сводится левый конец, то коэффициенты рассчитываются по следующим формулам.
Следующим приемом аппроксимации плотности распределения вероятностей, позволяющим уменьшить погрешность, является двухсторонняя аппроксимация. Суть этого метода заключается в том, что какая-то определенная точка х (например, точка экстремума) разбивает интервал аппроксимации функции [ min,xmax] на два независимых интервала [хт/ 2,х] и [x, waJ.
На каждом из них функцию аппроксимируют отдельно, что в ряде случаев позволяет значительно улучшить результат, уменьшив погрешность и сокра тив количество членов в разложении функции f(x).
Зачастую при двусторонней аппроксимации используют операцию совмещения максимумов. Смысл данной операции состоит в том, что после вычисления коэффициентов для выражения (2.22) их нормируют, то есть совмещают в точке х значения аппроксимирующих, выражений для обеих ветвей со значением аппроксимируемой функции. Этот подход дает возможность использовать комбинированные модели, т.е. применять для аппроксимации левой и правой ветвей различные ортогональные полиномы.
Заметим, что по полученному аналитическому выражению плотности распределения вероятностей легко находится аналитическое выражение функции распределения и наоборот, поскольку аналитическое интегрирование и дифференцирование полиномов не представляет большой сложности.
Точечной оценкой восстановления аналитического выражения для функции плотности вероятностей с помощью ортогональных полиномов является квадратическая погрешность аппроксимации. Оценим погрешность численного нахождения коэффициентов по конечной выборке для ортогональной модели (2.9).
Если количество коридоров гистограммы поставить в зависимость от объема выборки согласно правилу Стёрджеса, то при бесконечном увеличе ний размера выборки N количество коридоров гистограммы М также стремится к бесконечности. При этом гистограммные оценки плотности вероятности р, сходятся к своему истинному значению р , , которое при бесконечно малом Аг может быть представлено как Pi=f{Xi)Ax. (2.43)
Соответственно от суммы в формуле (2.39) мы можем перейти к интегралу (2.11), то есть коэффициенты Д сходятся по вероятности к своему истинному значению рк. Тогда в свою очередь погрешность (2.40) сходится к значению (2.12), и это говорит о том, что такая оценка погрешности аппроксимации плотности вероятности (2.9) является состоятельной.
1. Разработан алгоритм получения гистограммно-аппроксимативной оценки плотности вероятности и функции распределения со сведением концов аппроксимируемой функции к нулю, основанный на сглаживании предварительно построенной гистограммы.
2. Разработан алгоритм получения гистограммно-аппроксимативной оценки плотности вероятности с разделением на две ветви, основанный на сглаживании предварительно построенной гистограммы.
3. Полученные корректирующие выражения для коэффициентов разложения позволяют произвести нормировку аппроксимирующих выражений в соответствии с основным свойством плотности вероятности.
4. Полученная оценка погрешности аппроксимации исследована на состоятельность и несмещенность. Расчеты показали, что полученная оценка погрешности является состоятельной и смещенной.
Аппроксимация многослойным персептроном
Поскольку многослойный персешрон [30,35,43,44,45,48,58] является универсальным аппроксиматором, то существует возможность использования нейронной сети данного вида для нахождения неизвестных параметров выражения (2.9).
Структура многослойного персептрона (MLP-сети) представлена на рисунке 3.1. Обучающие данные подаются на вход сети (на рисунке - слева), они обрабатываются в скрытых слоях (узлы обозначены квадратами), а затем результат считывается с выходных нейронов.
Структура многослойного персептрона В отличие от аппроксимации ортогональными полиномами, данный подход не требует предварительного построения сплайн-модели, по которой затем определяется аппроксимирующее выражение. Более того, он не накладывает на выражение (2.9) ограничения, что семейство аппроксимирующих функций должно быть ортогональным.
Построение и настройка сети с целью получения коэффициентов разложения включает в себя следующие шаги: 1) построение гистограммы (рисунок 2.1 или рисунок 2.2) и определение количества входов сети, оно равно количеству «узловых точек» {ХІ УІ} т-е- М при аппроксимации плотности вероятности (М+1 при аппроксимации функции распределения), где М - количество дифференциальных коридоров; 2) определение количества членов ряда разложения, т.е. задание числа т, соответственно количество выходов сети будет равно т+1, с них после обучения сети будут сниматься значения коэффициентов; 3) определение количества скрытых слоев, на практике достаточно одного слоя с количеством нейронов К, в 2-3 раза превышающим количество входов сети; 4) задание пороговых функций и начальных значений параметров сети; 5) генерация обучающих выборок; 6) обучение сети последовательным предъявлением обучающих выборок и корректировкой параметров сети по методу обратного распространения ошибки [35,53,58]; 7) предъявление на вход сети значений аппроксимируемой функции и получение на выходах сети значений коэффициентов рк.
Итак, многослойная сеть состоит из нейронов, расположенных на разных уровнях, причем, помимо входного и выходного слоев, имеется еще, как минимум, один внутренний скрытый слой. Сигнал в виде вектора входных воздействий поступает на нейроны входного слоя и затем распространяется по сети, претерпевая изменения в узлах персептрона. Рисунок 3.1 представляет пример сети с одним скрытым слоем.
Обучение сети с использованием алгоритма обратного распространения ошибки проводится в несколько этапов. На первом из них предъявляется обучающая выборка у и рассчитываются значения сигналов соответствующих нейронов сети. При заданном векторе у определяются вначале значения выходных сигналов v, скрытого слоя, а затем значения Д нейронов выходного слоя по формулам (3.6) и (3.7). После получения значений выходных сигналов Д становится возможным рассчитать фактическое значение целевой функции E(w), заданной выражением (3.10). На втором этапе минимизируется значение этой функции.
Сети на основе радиальных базисных функций (RBF-сетя) [25,35,53,58] похожи на многослойный персептрон. Согласно решаемой задаче, в данной работе используется расширенный случай RBF-сети с одним входом, одним выходом и одним скрытым слоем. «Расширенный» значит, что класс базисных функций, используемый при решении задачи аппроксимации, не ограничивается радиальными функциями, но также включает ортогональные полиномы, степенные функции и т.д. Ниже представлена графическая схема подобной сети (рисунок 3.2).
Полученная архитектура радиальных сетей имеет структуру, аналогичную многослойной структуре сигмоидальных сетей с одним скрытым слоем. Роль скрытых нейронов в ней играют базисные радиальные функции, отличающиеся своей формой от сигмоидальных функций. Несмотря на отмеченное сходство, сети этих типов принципиально отличаются друг от друга. Радиальная сеть имеет фиксированную структуру с одним скрытым слоем и линейными выходными нейронами, тогда как сигмоидальная сеть может содержать различное количество слоев, а выходные нейроны бывают как линейными, так и нелинейными. Частный случай персептрона, используемый в предыдущем случае, имеет довольно много общего с радиальной сетью. Используемые радиальные функции могут иметь весьма разнообразную структуру. Более того, вместо радиальных функций можно использовать функции других типов, таким образом расширяя возможности RBF-cerrepL.
Например, использование сигмоидальных функций вида (3.8) и (3.9) превращает радиальную базисную сеть в многослойный персептрон с одним скрытым слоем и линейной функцией активации нейронов выходного слоя.
В любом случае, независимо от вида базисных функций, сеть не используется как промежуточный шаг для нахождения параметров аппрокси мации, она сама является аппроксиматором. И значение на выходе сети является значением аппроксимирующей функции в точке х, поданной на вход сети.
Уточнение нелинейных параметров базисной функции завершает очередной цикл обучения. Многократное повторение ведет к полному и быстрому обучению сети, особенно когда начальные значения параметров базисных функций близки к оптимальным. В данной работе используется один из простейших, хотя и не самый эффективный, способ определения параметров базисных функций, - случайный выбор. Однако алгоритм обратного распространения ошибки обладает довольно хорошей сходимостью, и даже такой подход обеспечивает нахождение решения при небольшом увеличении временных затрат. Он основан на том, что неизвестные параметры выбираются случайным образом на основе равномерного распределения.
Подсистема аппроксимативного анализа
При выборе вкладки «Аппроксимация», открывается форма, на которой прежде всего следует выбрать аппроксимируемую характеристику - процесс, плотность вероятности или функцию распределения. Затем следует выбрать из предложенного списка интервал и систему аппроксимирующих полиномов, ортогональных на определенном интервале (конечном, полубесконечном, бесконечном). Далее следует выбрать критерий, по которому будут проверяться результаты аппроксимации. Это может быть среднее квадратиче-ское отклонение, критерий Пирсона или Колмогорова. При нажатии на кнопку «Оптимум» система автоматически подберёт оптимальное количество полиномов, то есть такое минимальное число полиномов, при котором результат аппроксимации удовлетворяет критерию Пирсона или Колмогорова, при выборе соответствующего критерия. Затем следует нажать на кнопку «Аппроксимировать».
Для улучшения результатов аппроксимации пользователь может выбрать двустороннюю аппроксимацию, однако это возможно лишь в тех случаях, когда плотность вероятности имеет явно выраженный экстремум. Важным является то обстоятельство, что системы полиномов для правой и левой ветви могут быть не одинаковыми, таким образом, их можно произвольно комбинировать. При двусторонней аппроксимации возможна операция сведения максимумов. Для улучшения результатов аппроксимации возможно также применение приема сведения концов аппроксимируемой функции к нулю.
При двусторонней аппроксимации можно посмотреть общее значение среднего квадратического отклонения, если в качестве критерия было выбрано «Теоретическое» или «Отклонение», либо общее значение критерия Пирсона или Колмогорова для обеих ветвей при выборе соответствующего кри терия. Для этого, перед тем как нажать на кнопку «Аппроксимировать», нужно выбрать пункт «Общая погрешность».
Возможно сохранение результатов в файл. Для этого нужно нажать на кнопку «В файл». Также возможно сохранение результатов и исходной функции в базу данных системы. Для этого нужно щёлкнуть мышью по кнопке «В базу данных» и в появившемся окне ввести название графика.
Вкладка «RBF-анализ» реализует адаптивный алгоритм нейросетевой аппроксимации.
Для того чтобы начать процесс аппроксимации, необходимо задать вид аппроксимируемой характеристики - функция распределения, плотность вероятности или процесс. Эти характеристики включены в радиогруппу «Характеристика».
После выбора характеристики следующим шагом идет определение узловой функции адаптивной нейронной сети. В системе предусмотрены следующие виды пороговых функций: сигмоидальные, радиальные, степенные, полиномы Лежандра, полиномы Чебышева I и II рода, полиномы Лагерра и полиномы Эрмита.
К последней очереди установок перед аппроксимацией-обучением является задание группы характеристик «Параметры». Эти значения определяют структуру нейронной сети, а также параметры ее обучения. В этой группе задается количество нейронов в скрытом слое сети, значение шага обучения, максимальное число шагов обучения сети, максимальное время обучения сети и выбирается критерий, по которому будет происходить анализ результатов аппроксимации (среднее квадратическое отклонение, критерий Пирсона, критерий Колмогорова). Предусматриваются три критерия останова обучения: достижение максимального числа шагов обучения, достижение максимального времени обучения сети или достижение заданной величины среднего квадратического отклонения или критерия Пирсона или Колмогорова.
Алгоритм обучения сети запускается нажатием на кнопку «Рассчитать» в верхнем меню. После обучения результаты обучения выводятся в графиче ском виде на график, содержащий информацию об узлах аппроксимируемой функции. Действительные значения критериев остановки алгоритма выводятся справа от заданных значений критериев. В области текстового вывода в правом верхнем углу приводится список значений параметров нейронной сети после обучения. Результаты нейронной аппроксимации могут сохраняться в базу системы нажатием на кнопку «В базу данных».
Алгоритм адаптивной аппроксимации заключается в том, что нейронная сеть моделирует аналитическое выражение аппроксимируемой характеристики, а обучение сети сводится к адаптации аналитического выражения, моделируемого нейронной сетью, к текущим значениям узловых точек аппроксимируемой характеристики. После обучения параметры нейронной сети подставляются в формулу - прототип нейронной сети. Таким образом, получается аналитическое выражение, моделирующее аппроксимируемую характеристику.
Второй нейросетевой модуль «MLP-анализ» осуществляет аппроксимацию функциональных характеристик с использованием метода с однократным обучением.
Аппроксимация начинается с определения аппроксимируемой характеристики - плотность вероятности, функция распределения или процесс. Этот параметр определяется в радиогруппе «Функция».
Следующим шагом идет определение функций разложения аппроксимируемой характеристики. Это может быть ряд степенных функций, полиномы Лежандра, полиномы Чебышева I и II рода, полиномы Лагерра или полиномы Эрмита.
Последним шагом задаются параметры и структура однослойного пер-септрона, с помощью которого будут определяться коэффициенты аппроксимирующей модели.
Это количество выходов нейронной сети, равное количеству членов ряда разложения аппроксимируемой характеристики, количество шагов обучения нейросети перед аппроксимацией, объем обучающей выборки и выбор критерия, по которому будет происходить анализ результатов аппроксимации (среднее квадратическое отклонение, критерий Пирсона, критерий Колмогорова).
Нажатием на кнопку «Обучить» на верхней панели инициируется процесс обучения однослойного персептрона. Количество входов задается равным количеству узловых точек аппроксимируемой характеристики, автоматически генерируется требуемое количество обучающих примеров, и они предъявляются на вход сети заявленное число раз по циклу.
После обучения кнопка «Рассчитать» становится доступна. Нажатие на нее подает на вход сети значения узловых точек аппроксимируемой функциональной характеристики. Выходные значения воспринимаются как искомые коэффициенты аппроксимативной модели, ее график выводится на экран для визуального сравнения того, насколько точно он проходит через узловые точки. Результаты можно сохранить в базу системы нажатием на кнопку «В базу данных».
Похожие диссертации на Аппроксимативный анализ законов распределения ортогональными полиномами и нейросетевыми моделями
