Содержание к диссертации
Введение
Глава 1. Анализ и классификация существующих автоматизированных систем прогнозирования. Методика построения автоматизированных систем прогнозирования, решающих задачу регрессионного анализа 20
1.1. Анализ и классификация существующих автоматизированных систем прогнозирования 21
1.2 Основные особенности автоматизированных систем прогнозирования 28
1.3. Требования к функциональным возможностям автоматизированных систем прогнозирования, решающих задачи регрессионного анализа 30
1.4. Обобщенная методика построения автоматизированных систем прогнозирования, решающих задачи регрессионного анализа 33
Выводы по главе 1 36
Глава 2. Математические модели, методы и алгоритмы автоматизированных систем прогнозирования, решающих задачи регрессионного анализа 37
2.1. Операции над временными рядами, определенные для преобразования исходных данных прогнозируемой величины и аргументов 39
2.2. Описание функций и моделей, предоставленных для реализации аппроксимирующей функции 44
2.2.1. Описание нелинейных функций, применяемых в нейросетевом анализе 45
2.2.2. Описание нелинейных функций, полученных в рамках теории детерминированного хаоса 46
2.3. Представление аппроксимирующей функции в виде двухслойной, неоднородной, искусственной нейронной сети 50
2.4. Разложение двухслойной нейронной сети на потоки. Обобщенный алгоритм обучения двухслойной нейронной сети 53
2.5. Методы и алгоритмы обучения многослойных, искусственных нейронных сетей 58
2.5.1. Линейный регрессионный анализ 60
2.5.1.1. Применение метода наименьших квадратов в линейном регрессионном анализе 60
2.5.1.2. Применение метода гребневой оценки в линейном регрессионном анализе 63
2.5.2. Универсальный метод обучения многослойных, искусственных нейронных сетей - метод обратного распространения ошибки 64
2.5.3. Методы безусловной минимизации, использующие производные функции 66
2.5.3.1. Краткое описание метода градиентного спуска 67
2.5.3.2. Краткое описание метода наискорейшего спуска 68
2.5.3.3. Краткое описание метода сопряженных градиентов 68
2.5.3.4. Краткое описание метода Ньютона 69
2.5.3.5. Краткое описание квазиньютоновских методов 70
2.5.4. Методы обучения Коши и Больцмана 71
2.5.5. Разработанные методы обучения многослойных нейронных сетей, созданные на основе методов обратного распространения ошибки, безусловной минимизации, использующих градиент функции, и обучения Коши 73
2.5.6. Алгоритм метода обратного распространения ошибки, усовершенствованный с помощью метода обучения Коши 76
2.5.7. Обобщенные алгоритмы методов безусловной минимизации, использующих производные функции, усовершенствованные с помощью метода обучения Коши 78
2.6. Определение значимости параметров и входных сигналов с целью сокращения множества аргументов прогноза 87
2.6.1. Определение значимости параметров и входных сигналов на основании функции оценки 87
2.6.2. Определение значимости параметров и входных сигналов по изменению выходных сигналов 89
2.7. Проверка возможности с помощью заданной нейронной сети реализовать полученную функцию 90
Выводы по главе 2 93
Глава 3. Разработка программного комплекса автоматизированных систем прогнозирования, решающих задачу регрессионного анализа 95
3.1. Требования к проектированию и реализации автоматизированных систем прогнозирования, решающих задачи регрессионного анализа 96
3.2. Проектирование размещения типовых компонент автоматизированных систем прогнозирования 98
3.3. Разработка информационного, программного и методического обеспечения модулей сервера приложений, образующих ядро исследуемых автоматизированных систем прогнозирования 102
3.3.1. Обоснование выбора средств разработки библиотек сервера приложений автоматизированной системы прогнозирования 103
3.3.2. Описание библиотек сервера приложений автоматизированных систем прогнозирования, решающих задачи регрессионного анализа 104
3.3.3. Классификация таблиц БД, с которыми работают функции библиотек сервера приложений автоматизированных систем прогнозирования 106
3.3.4. Методическое обеспечение 108
Выводы по главе 3 110
Глава 4. Создание автоматизированной дилинговои системы с использованием библиотек ядра автоматизированных систем прогнозирования 111
4.1. Описание задач, решаемых автоматизированными дилинговыми системами. Определение подсистем, входящих в состав автоматизированной дилинговои системы 112
4.1.1. Задачи, решаемые автоматизированными дилинговыми системами 112
4.1.2. Определение подсистем, входящих в состав автоматизированной дилинговои системы. Требования к функциональным возможностям подсистем 116
4.2. Описание функциональных возможностей подсистем автоматизированной дилинговои системы 119
4.2.1. Описание функциональных возможностей подсистемы ввода данных 119
4.2.2. Описание функциональных возможностей подсистемы технического анализа рынка 121
4.2.3. Описание функциональных возможностей подсистемы прогноза тенденций финансовых рынков 122
4.2.4. Описание функциональных возможностей подсистемы оптимального распределения свободных средств инвестора 123
4.2.4.1. Решение задач оптимального распределения свободных средств инвестора для модели Блека 126
4.2.4.2. Решение задач оптимального распределения свободных средств инвестора для модели Марковица 128
4.3. Разработка программного комплекса автоматизированной дилинговои системы 132
4.3.1. Выбор информационного и системного программного обеспечения, аппаратного обеспечения и средств разработки клиентских приложений АДС 132
4.3.1.1. Обоснование выбора сервера СУБД для работы с автоматизированной дилинговои системой 135
4.3.1.2. Обоснование выбора операционных систем для работы с автоматизированной дилинговои системой 138
4.3.1.3. Обоснование выбора средств разработки клиентских приложений автоматизированной дилинговои системы 140
4.3.1.4. Обоснование выбора аппаратного обеспечения автоматизированной дилинговои системы 143
4.3.1.4.1. Серверы на базе Intel-процессоров 143
4.3.1.4.2. Серверы на базе RISC-процессоров 144
4.3.1.4.3. Нейрокомпьютеры 147
4.3.2. Типовые реализации автоматизированной дилинговои системы 147
4.3.3. Состав приложений клиента. Взаимодействие приложений типовых компонент автоматизированной дилинговои системы 148
4.3.4. Описание потоков данных автоматизированной дилинговои системы 151
4.3.5. Методическое обеспечение автоматизированной дилинговои системы 153
Выводы по главе 4 155
Глава 5. Экспериментальные исследования работы автоматизированной дилинговой системы 157
5.1. Описание задач, поставленных перед экспериментальными исследованиями 159
5.2. Сравнение качества аппроксимации зависимости прогнозируемой величины от аргументов прогноза с помощью двухслойной и трехслойной нейронных сетей 161
5.3. Оценка величины линейной составляющей зависимости прогнозируемой величины от множества аргументов прогноза 165
5.4. Исследование качества аппроксимации искомой нелинейной составляющей посредством различных функций из предоставляемого АСП набора 173
5.5. Сравнение качества обучения двухслойной нейронной сети с помощью различных методов и алгоритмов 181
5.6. Иллюстрация работы подсистемы оптимального распределение свободных средств инвестора для различных классов портфеля и задач инвестора 187
Выводы по главе 5 191
Заключение 193
Список литературы 195
Приложения 203
- Анализ и классификация существующих автоматизированных систем прогнозирования
- Операции над временными рядами, определенные для преобразования исходных данных прогнозируемой величины и аргументов
- Проектирование размещения типовых компонент автоматизированных систем прогнозирования
- Определение подсистем, входящих в состав автоматизированной дилинговои системы. Требования к функциональным возможностям подсистем
Введение к работе
Представляемая диссертационная работа посвящена вопросам создания автоматизированных систем прогнозирования (АСП). Данный класс систем включает в себя системы, использующие при прогнозе различный математический аппарат (статистический анализ, анализ Фурье, трендовый анализ и т.д.), для реализации которого используется широкий спектр методов и алгоритмов. Поэтому задача была сужена, и в данной работе рассматриваются только АСП, решающие задачи регрессионного анализа с использованием элементов теории нейронных сетей.
Одной из наиболее часто встречающихся проблем, встающих перед учеными различных специальностей, является проблема нахождения зависимости между некоторым набором величин, описывающих поведение объекта. Эта зависимость может быть выведена из теории и (или) может быть получена на основании экспериментальных исследований. Если зависимость выведена из теоретических соображений, то довольно часто она может быть представлена в аналитическом виде, заданном с точностью до нескольких неизвестных параметров. Если же в основе построения зависимости лежат экспериментальные исследования, то параметрическая зависимость постулируется. В любом случае при построении математической модели должны использоваться данные об исследуемом объекте, на основании которых мог бы быть сделан вывод о достаточной точности описания объекта моделью.
Далее приведена постановка задачи, решаемой исследуемыми АС.
Имеется некоторый объект прогноза, он обладает следующими свойствами. Совокупность числовых характеристик Z, описывающих или влияющих на поведение объекта прогноза, можно представить как множество векторов характеристик zq (q = 1, ..., I), каждый элемент zq которых - значение q-ой характеристики в ti момент времени, т.е. значения характеристик получены в дискретные моменты времени. Совокупность возможных прогнозируемых величин W является подмножеством Z.
Пусть на прогнозируемую величину wg оказывают влияние аргументы прогноза zq (q = 1, ..., m) m I, при чем изменение прогнозируемой величины наступает через время At после соответствующих изменений аргументов прогноза. Естественно, что даже в самых простых случаях невозможно учесть все факторы, влияющие на изменение состояния объекта прогноза, поэтому в данной работе считается, что определены все наиболее значимые аргументы zq (q = 1,..., m) для рассматриваемой прогнозируемой величины wg. Значения прогнозируемой величины wg известны в точках t, + At (і = 1 п), они образуют вектор известных значений прогнозируемой величины Y = (wg\ ..., wgn), элементы которого обозначают у (і = 1,..., п).
Значения аргументов прогноза {z, zj известны в моменты времени t (і = 1,..., n + 1), они образуют матрицу аргументов прогноза X = IIZq H (i = 1, ..., n), (q = 1,..., m), элементы которой обозначают xqj (і = 1 n), (q = 1 m), и вектор х(п+1) = (х1(п+1),..., v (п+1)\ Лт )•
В задаче необходимо определить у(п+1), т.е. значение прогнозируемой ВеЛИЧИНЫ Wg В ТОЧКе t(n+i)+At.
Описанная выше задача является задачей регрессионного анализа. Можно выделить следующие этапы ее решения:
1) формирование аппроксимирующей функции F(x, а), где а - вектор неизвестных параметров, х - вектор аргументов прогноза размерностью пл;
2) определение неизвестных параметров а, обеспечивающих наилучшую аппроксимацию согласно определенному критерию качества, в данной работе предложен метод наименьших квадратов (МНК), тогда целевая функция:
0(3) = 2( , a))- min; (1)
І=І
3) вычисление прогнозируемого значения у(п+1) = F(x(n+1), а) и погрешности прогноза є.
Несмотря на идентичность математического обеспечения, существующие АС, решающие задачи регрессионного анализа при прогнозировании, ориентированы на решение задач конкретной предметной области. Поэтому определение обобщенной методики построения данных АС является актуальной задачей.
При определении методики построения АСП были определены следующие задачи, подлежащие решению в рамках работы:
1. Разработка набора функций для формирования аппроксимирующей функции F(x, а), позволяющего создавать эффективно работающие модели. В существующих АС либо реализованы функции, адаптированные для решения конкретных задач прогнозирования, либо, как в случае нейропакетов, считается, что предлагаемые функции могут использоваться для решения самого широкого круга задач, адаптация к условиям задачи происходит при проектировании архитектуры нейросети.
Хотя в последняя время был проведен ряд исследований, показавших, что в рамках теории детерминированного хаоса можно получить ряд моделей, способных успешно прогнозировать развитие событий для целого класса объектов (говорят, что данные объекты прогноза проявляют детерминированный хаос, примером таких объектов являются финансовые рынки), на практике хаотические модели почти не используются. Все вышеизложенное определяет необходимость создания эффективно работающих моделей при прогнозировании поведения различных объектов.
Для создания аппроксимирующей функции F(x, а) в работе реализованы линейная функция и нелинейные функции, обладающие следующими свойствами: во-первых, везде дифференцируемы и непрерывны, во-вторых, являются гладким отображением (- », +оо) на некоторый ограниченный отрезок. Аргументами данных функций являются скалярные произведения векторов аргументов прогноза Xі (i = 1,..., п) и неизвестных параметров а. Нелинейные функции можно разделить на два класса: хорошо зарекомендовавшие себя в нейросетевом анализе для решения широкого круга задач и полученные в рамках теории детерминированного хаоса. Теория детерминированного хаоса подробно изложена в работах [3, 4, 6, 55, 83, 90, 115], ее приложение к анализу финансовых рынков описано в работах [59, 103].
2. Определение правил формирования F(x, а). При реализации F(x, а) нейронной сетью определение архитектуры предлагаемой нейромодели.
В работе широко используются элементы теории нейронных сетей, поэтому далее приведены ее основные понятия и терминология.
В нейросетевой терминологии совокупность значений прогнозируемой величины и соответствующих им значений аргументов прогноза, использующаяся для обучения нейронной сети, называется обучающей выборкой (другими словами -это точки, по которым строится аппроксимирующая функция), известные значения прогнозируемой величины называются требуемыми выходными сигналами нейронной сети, вектора аргументов прогноза (каждый вектор соответствует требуемому выходному сигналу) - входными сигналами.
Базовым строительным блоком в нейронных сетях является нейрон. Существует несколько видов нейронов, в представляемой работе рассматривается только нейрон, полученный последовательным соединением адаптивного сумматора с преобразователем, его структура представлена на рис. 1.
Адаптивный сумматор 2 вычисляет скалярное произведение вектора входного сигнала х (аргументы прогноза) и вектора неизвестных параметров а. Адаптивный сумматор можно разложить на набор из m параллельных линейных связей и следующий за ними простой сумматор. Линейная связь (синапс) имеет один настраиваемый параметр аь получает на входе скалярный сигнал х, и выдает на выходе ЭХ (і = 1,..., т). Преобразователь выполняет некоторое, определенное в нем функциональное преобразование над полученным с помощью адаптивного сумматора скалярным произведением. Поэтому нейрон, реализующий линейную функцию, собственно не является нейроном, т.к. содержит только адаптивный сумматор. Но для единообразия далее он также называется нейроном и считается, что его функция f равна 1. В общем случае выходной сигнал нейрона может рассылаться по нескольким адресам, т.е. иметь точку ветвления.
Каждая нейронная сеть имеет свою архитектуру (порядок расположения, тип и количество нейронов), систему предобработки и подачи входных сигналов, способ интерпретации ответов, правила настройки параметров и тип решаемых задач. При программной реализации на ЭВМ представляют интерес только синхронно функционирующие в дискретные моменты времени нейронные сети. Существует огромное количество типов архитектур нейронных сетей. Основными архитектурами считаются сети с обратными и без обратных связей (слоистые сети).
Многослойные нейросети без обратных связей: нейроны расположены в несколько слоев (см. рис. 2). Нейроны первого слоя получают входные сигналы, преобразуют их и через точки ветвления передают нейронам второго слоя и т.д. до j-ro, который выдает выходные сигналы. Если не оговорено противное, то выходной сигнал каждого нейрона і-го слоя подается на вход каждого нейрона і + 1-го. Число нейронов в каждом слое может быть любым. Стандартный способ подачи входных сигналов: все нейроны первого слоя получают каждый входной сигнал. Количество слоев обычно определяется по количеству слоев параметров.
Нейросети с обратными связями: данные нейронные сети имеют пути, передающие сигналы от выходов к входам. Крайним вариантом нейросетей с обратными связями являются полносвязные сети: каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе, выходными сигналами могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.
На сегодняшний день существует огромное разнообразие архитектур и принципов функционирования нейронных сетей, не рассмотренных выше, вот только некоторые из них: однородные и неоднородные сети, монотонные нейросети, сети Хопфилда, сети с двунаправленной ассоциативной памятью, адаптивные нейросети и т.д. Для ознакомления с наиболее распространенными классами нейронных сетей рекомендуются работы [1, 11, 14, 30, 38, 51, 58, 61, 66, 72-74, 77, 96, 98, 107, 111, 117].
В работе для реализации функции, аппроксимирующей зависимость прогнозируемой величины от аргументов прогноза, предлагается двухслойная, неоднородная, искусственная нейронная сеть без обратных связей (хотя функции, полученные на основе моделей детерминированного хаоса, зависят от выходных сигналов, полученных для предыдущих входных сигналов, данные выходные сигналы не подаются на вход нейронов, поэтому "хаотические" функции реализуются с помощью обычной двухслойной сети). Тогда функция F(x, а) строится из функций, реализуемых нейронами сети, как здание из кирпичиков. Кроме удобства представления, это предоставляет возможность использовать как алгоритмы специально разработанные для обучения нейронных сетей, так и традиционные методы минимизации. F(x, а) состоит из ноль или одной линейной функции и ноль, одной или нескольких нелинейных.
В последнее время нейронные сети и нейрокомпьютеры получили широкое распространение для решения задач в самых различных предметных областях, как то при социологическом и финансовом прогнозировании, диагностике заболеваний и т.д. Применение искусственных нейронных сетей для решения широкого круга задач, например, задач классификации, оптимизации, фильтрации, построения функций по конечному набору значений и т.д. в самых различных сферах деятельности, в том числе и финансовой, рассматривается в работах [10, 25-27, 32, 35, 40, 43, 46, 53, 71, 81, 84, 86, 93-95, 100, 109, 115, 124, 126].
3. Разработка методов и алгоритмов обучения нейронных сетей выбранного класса, позволяющих улучшить качество аппроксимации. Данная задача не зависит от предметной области. В качестве наиболее популярных, традиционных методов ее решения можно привести численные методы, методы Гаусса-Ньютона и Марквардта, методы безусловной минимизации, использующие производные функции и т.д. Методы, используемые при решении задач линейного и нелинейного регрессионного анализа, подробно описаны в работах [28, 33, 36, 54, 75], вопросы применения численных методов рассмотрены в работах [9, 21, 29, 34, 64], методам безусловной минимизации, использующим производные функции, посвящены работы [21, 47, 63].
Современные нейропакеты для решения задачи аппроксимации реализуют как специально созданные для обучения нейронных сетей методы (методы обратного распространения ошибки, обучения Коши и Больцмана), так и традиционные. Все перечисленные методы имеют свои достоинства и недостатки, и создание на их основе методов и алгоритмов, умножающих достоинства и исключающих наиболее существенные недостатки - является по сей день актуальной задачей. К тому же мало изучен вопрос: какие из методов наиболее эффективно работают в условиях рассматриваемой предметной области. Методы и алгоритмы обучения искусственных нейронных сетей изложены в работах [15, 16, 19,20,22-25,31,45,56,62,70,72,74,85,97,99, 101, 102, 105, 108, 110, 112-114, 118, 122, 123, 125, 126].
4. Определение методов оценки значимости аргументов и параметров, анализа результатов применения моделей и методов. Для многих объектов, являющихся предметом исследований, характерно изменение с течением времени найденных зависимостей между прогнозируемыми величинами и аргументами прогноза, т.е. возникает необходимость в переопределении состава аргументов прогноза zq и аппроксимирующей функции F(x, а) при прогнозировании величины wg. Поэтому в системе должны быть реализованы методы, сигнализирующие об "устаревании" используемых наборов и моделей. Использование данных методов особенно актуально, если объект прогноза характеризуется такими особенностями, как "загрязнения" в данных и их неоднородность, а также наличием малоинформативных аргументов, причем зачастую в большом количестве при относительно малом объеме статистики. Вопросы создания обучающей выборки, определения значимости входных сигналов и параметров, достаточности и неизбыточности нейронной сети для решения поставленной задачи рассмотрены в работах [13, 17, 18,25,44,78].
Необходимо отметить, что прогноз можно разделить на краткосрочный и долгосрочный. В случае краткосрочного прогноза считается, что все участвующие в нем аргументы на прогнозируемую дату известны и хранятся в базе данных. Горизонт краткосрочного прогноза, как правило, не превышает 3-4 дней (зависит от прогнозируемого объекта). В случае долгосрочного прогноза считается, что на прогнозируемую дату известны ожидаемые значения аргументов с некоторой погрешностью. Соответственно, погрешность определения прогнозируемой величины при долгосрочном прогнозе существенно увеличивается. Естественно, что чем дальше горизонт прогноза, тем больше погрешность ожидаемых значений аргументов и величина ошибки. Т.к. нет существенных различий в методике проведения краткосрочного и долгосрочного прогнозов, в дальнейшем данное разделение не учитывается.
Рассматриваемые АС используются в различных предметных областях, например, в промышленности, финансовой деятельности, социологии, медицине и т.д. Для них характерны следующие особенности:
- являются подсистемой АСУ организации, поэтому при реализации АСП должна быть обеспечена как можно большая независимость от аппаратно-программной платформы, что дает возможность легкой адаптации АСП к работе в условиях организаций, во-первых, различного масштаба, во-вторых, решающих специфические задачи, в-третьих, АСУ которых функционирует на базе некоторой аппаратно-программной платформы;
- работают с большими объемами данных, поступающими из разных источников;
- реализуют многоитерационные алгоритмы обработки данных.
В данной работе в качестве примера АСП, иллюстрирующего эффективность применения разработанных моделей, методов и алгоритмов, рассматривается автоматизированная дилинговая система (АДС), основными задачами которой являются прогноз тенденций финансовых рынков и разработка стратегии поведения в прогнозируемой рыночной ситуации (базовые принципы инвестирования, теории построения оптимального портфеля изложены в работах [39, 60, 87]), при чем первичной задачей является прогноз тенденций финансовых рынков. АДС предназначена для использования в организациях, активно работающих на финансовых рынках (коммерческие банки, инвестиционные фонды и т.д.).
Можно назвать следующие причины, по которым в качестве объекта прогноза выбраны финансовые рынки:
1) В последние несколько лет в нашей стране наблюдается интенсивное развитие фондового и валютного рынков. На сегодняшний день существует широкий спектр зарубежных аналогов АДС. Как правило, им свойственны следующие недостатки: во-первых, весьма дорогостоящи, во-вторых, неадаптированы к условиям российских финансовых рынков. Российские же производители программного обеспечения делают только первые несмелые шаги в этом направлении. Поэтому разработка методики построения, методов и алгоритмов АДС является актуальной задачей.
2) Финансовые рынки представляют большой интерес как объект прогноза, т.к. они являются нелинейными, динамично развивающимися системами, и согласно ряду исследований проявляют детерминированный хаос, т.е. их поведение может быть описано с помощью хаотических моделей. Поэтому финансовые рынки могут с успехом выступать в качестве объекта прогноза при исследовании эффективности применения моделей, методов и алгоритмов, разработанных и предлагаемых в данной диссертационной работе.
Целью настоящей работы является разработка для автоматизированных систем прогнозирования, решающих задачи регрессионного анализа, методов и алгоритмов, позволяющих повысить качество прогноза, с использованием элементов теории нейронных сетей.
Для достижения поставленной цели в работе предпринята попытка решения комплекса задач, в частности: научно-технических, в рамках которых проведена классификация существующих АСП, определена обобщенная методика построения АС данного класса, определены операции над временными рядами данных, посредством которых происходит предварительная обработка исходных данных, предложены математические модели, методы и алгоритмы для решения задач прогноза, на их основе разработаны модели, методы и алгоритмы АСП; прикладных, в рамках которых разработан информационно-программный комплекс, реализующий разработанные методы и алгоритмы, данный комплекс является ядром АСП, решающих задачи регрессионного анализа, на его основе разработана автоматизированная дилинговая система, предназначенная для использования в различных организациях, работающих на финансовых рынках (коммерческие банки, инвестиционные фонды и т.д.); экспериментальных, в рамках которых проведены экспериментальные исследования эффективности работы предлагаемых и реализуемых моделей, методов и алгоритмов, разработаны рекомендации.
При решении поставленных задач в работе использованы элементы теории детерминированного хаоса, математический аппарат линейного регрессионного анализа, линейной алгебры, теории нейронных сетей, теории оптимизации, нелинейного программирования, теории вероятностей, теории информационных систем и обработки данных.
Научная ценность работы состоит в следующем:
1) Для формирования функции, аппроксимирующей зависимость прогнозируемой величины от множества аргументов прогноза, разработан набор функций на основе моделей, полученных в рамках теории детерминированного хаоса.
2) Обоснованы и развиты методы теории нейронных сетей применительно для решения задачи аппроксимации искомой зависимости. Разработан обобщенный метод обучения двухслойной, неоднородной, искусственной нейронной сети с произвольным числом нейронов в первом слое путем разбиения ее на потоки.
3) Введено понятие потока, где поток - это структура, являющаяся составной частью нейронной сети и пересекающаяся с другими подобными структурами только при формировании выходного сигнала сети.
4) Разработаны методы и алгоритмы обучения многослойных, искусственных нейронных сетей, основанные на методе обратного распространения ошибки, методах безусловной минимизации, использующих производные функции, и методе обучения Коши, применяющемся для выхода из точек локальных минимумов.
Достоверность полученных научных результатов, выводов и рекомендаций диссертационной работы подтверждена результатами экспериментальных исследований разработанной АДС, проведенных на базе Казначейства Промстройбанка России. Полученные в работе результаты наглядно демонстрируют эффективность использования разработанных моделей, методов и алгоритмов для решения задач прогноза.
Естественно, что погрешность прогноза во многом зависит от значимости выбранных аргументов прогноза. При эксплуатации данной автоматизированной системы на базе Казначейства Промстройбанка России была проведена работа по выявлению наиболее значимых аргументов для финансовых рынков и их инструментов. Так, с момента внедрения системы в опытную эксплуатацию в ноябре 1998 года средняя погрешность краткосрочного прогноза цен (горизонт 1-3 дня) для рынка облигаций составила 0.21%, для рынка акций - 0.88%, для валютного рынка -1.01%, средняя погрешность долгосрочного прогноза доходности ценных бумаг и валюты с горизонтом не более 10 дней составила 4.5%. Для сравнения, в аналогичных системах средняя погрешность краткосрочного прогноза равна 3-7%, средняя погрешность более долгосрочного прогноза (до 10 дней) достигает 15%.
Практическая ценность работы состоит в том, что предложенные и разработанные модели, методы и алгоритмы позволяют реализовывать автоматизированные системы, эффективно решающие задачи прогноза.
Разработанные библиотеки ядра АСП содержат функции, решающие задачи регрессионного анализа согласно определенным условиям прогноза. Благодаря предоставленным и разработанным моделям, методам и алгоритмам, обеспечены наилучшие показатели прогноза по критерию качество/время. Созданный программный комплекс АДС позволяет: работать с различными источниками данных; проводить визуальный анализ рынка посредством индикаторов, реализованных последовательным применением операций над исходными рядами данных; выполнять прогноз поведения финансовых рынков и их инструментов; определять оптимальное распределение средств инвестора на основе прогноза ценовой динамики. При реализации информационного, аппаратного и программного обеспечения использовались результаты исследований, изложенные в работах [5, 7, 49, 52, 57, 65, 68, 69, 88, 89].
Полученные в работе результаты: математические модели, методы, алгоритмы и программы используются при прогнозировании тенденций финансовых рынков и определении структуры банковского портфеля в Казначействе Промстройбанка России. Копия акта о внедрении прилагается.
Внедрение результатов работы продолжается, они также могут быть использованы при создании иных автоматизированных систем прогнозирования, решающих задачу регрессионного анализа.
Аппробация работы: результаты были представлены на V-ой Всероссийской конференции "Нейрокомпьютеры и их применение" (Россия, Москва, 17-19 февраля 1999), конференции "Информатика и системы управления в XXI веке" (Россия, Москва, март 1999), международной конференции стран СНГ "Молодые ученые -науке, технологиям и профессиональному образованию для устойчивого развития: проблемы и новые решения" (Россия, Москва, декабрь 1999). Докладывались на семинарах "Современные информационные системы" и "Наукоемкие технологии и интеллектуальные системы" в МГТУ им. Н.Э. Баумана.
Основные результаты работы опубликованы в 7 печатных работах.
Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы и приложений. Общий объем диссертации 219 страниц, 36 рисунков, список использованных источников из 126 наименований.
Анализ и классификация существующих автоматизированных систем прогнозирования
Данный класс систем включает в себя системы, использующие при прогнозе различный математический аппарат, для реализации которого используется широкий спектр методов и алгоритмов. Например, во многих АСП успешно применяется статистический анализ, трендовый анализ, анализ Фурье для выделения циклов во временных рядах и т.д. Поэтому задача была сужена, и в данной работе рассматриваются только АСП, решающие задачи регрессионного анализа с использованием элементов теории нейронных сетей.
Во введении приведена постановка задачи регрессионного анализа, там же описаны свойства объекта прогноза. Диссертационная работа посвящена вопросам создания АС, задачей которых является прогнозирование значения некоторой числовой характеристики объекта в момент времени t(n+i + At, где t(n+1) - текущий момент времени и At 0. При этом известно, что значение прогнозируемой величины в момент времени t + At определяется значениями некоторых числовых характеристик - аргументов прогноза в момент времени t. Аргументы прогноза могут быть как характеристиками самого объекта, так и внешними параметрами, оказывающими влияние на объект, их значения известны в точках (і = 1,..., n + 1), значения прогнозируемой величины известны, соответственно, в точках tj + At (і = 1 n).
Т.о. при прогнозе, проводимым исследуемыми АСП, находится зависимость между значениями аргументов прогноза и значением прогнозируемой величины, отстоящими друг от друга во времени на величину At, т.е. находится зависимость между причинами и следствием. Поэтому АСП, решающие задачи регрессионного анализа имеют преимущества перед АС, анализирующими только закономерности, действующие внутри временного ряда прогнозируемой величины. Это преимущество особенно велико при работе с объектами, являющимися частью системы и активно взаимодействующими с другими объектами системы. Примером таких объектов являются финансовые рынки, являющиеся частью политико-экономической системы страны.
Далее приводится классификация наиболее популярных автоматизированных систем, используемых при прогнозировании поведения различных объектов. В работе рассматриваются только функциональные возможности этих систем.
Системы, реализующие набор операций для преобразования векторов х1 0 = 1, ..., п), результат - временной ряд Y. Результат предоставляется пользователю либо в графическом, либо в табличном видах. Пользователь, анализируя результаты преобразований, делает субъективные выводы, относительно дальнейшего развития объекта прогноза.
Данные автоматизированные системы строго нельзя назвать аналитическими, т.к. анализ рыночных тенденций проводит пользователь, а система лишь заданными методами преобразует значения характеристик объекта прогноза и представляет их указанным образом. Методы преобразования данных зависят от автоматизируемой предметной области. К системам этого класса относятся следующие программные продукты: "TenFore", аналитические модули "Reuters", "MetaStock", "Analitic", "Observation" (перечисленные системы выполняют финансовый прогноз) и пакет программ "Medic Diagnostic", прогнозирующий течение болезни глаза. . Системы, указывающие направление изменения прогнозируемой величины у(П+1) с некоторой вероятностью. Системы этого класса, выполнив обработку входных данных, предоставляют прогноз направления движения прогнозируемой величины, в большинстве систем при этом указывается вероятность движения в прогнозируемом направлении (к таким системам относится "Эвриста"). Некоторые системы также проводят вероятностный анализ количественного изменения цен с некоторой градацией, т.е. предоставляется вероятность изменения прогнозируемой величины в пределах 5%, 10% и т.д., к таким программным продуктам относятся AMS и модули анализа временных рядов системы "Прогноз". Перечисленные АСП работают с финансовыми рынками. К рассматриваемому классу относятся также системы DNR100, анализирующая демографическую ситуацию в регионах, и "MultiNeuron", широко используемая для диагностики различных заболеваний. погрешность прогноза. Системы этого класса, выполнив обработку входных данных, возвращают значение прогнозируемой величины и погрешность ее нахождения. Они могут использовать различные математические методы и алгоритмы. Примерами систем этого класса являются "Прогноз", "Мезозавр", "Consult", предназначенные для работы в финансовых организациях, "MultiNeuron", "EmployerNeuro", являющаяся кадровой системой, и нейропакеты BMP, "NeuroSolution" и IQ300, неадаптированные к работе с конкретной предметной областью. Некоторые из вышеперечисленных систем имеют в своем составе модули, относящиеся к различным классам приведенной классификации. 2. По способу работы с выборкой аргументов прогноза X. 2.1. Для каждого вектора аргументов прогноза х (і = 1, ..., п) определяются параметры а . Для всей выборки аргументов прогноза X неизвестные параметры определяются в соответствии с выбранной нормой а = а . В нейросетевой терминологии данный способ обучения называется обучением по примерам. МНК вырождается в простую разность между требуемым выходным сигналом и значением выходного сигнала. 2.2. Выборка аргументов прогноза X разбивается на к матриц Xі (I = 1, ..., к) размерностью m х П, где Епі = п. Для каждой матрицы Xі находятся а , для всей выборки X неизвестные параметры определяются в соответствии с выбранной нормой а = а . В нейросетевой терминологии данный способ обучения называется обучением по страницам. Коррекция а проводится после прохождения I страницы. Матрица аргументов прогноза X разбивается на страницы по различным эвристическим правилам. 2.3. Искомые параметры а определяются сразу для всей выборки аргументов прогноза X. Этот способ обучения называется обучением по всему задачнику. Как показывают тестовые испытания [25], обучение по всему задачнику, как правило, сходится быстрее, чем обучение по отдельным примерам, однако за это улучшение приходится платить дополнительным расходом памяти. По страничное обучение является промежуточным вариантом. При по страничном и по примерном обучении значения результирующих параметров а зависят от выбранной нормы и могут сильно отличаться от результата обучения по всему задачнику. Значимость недостатка обучения по всему задачнику - дополнительный расход памяти -уменьшается с развитием вычислительной техники. Применение обучения по примерам и по страницам исключено, если обучающая выборка аргументов прогноза X имеет небольшой объем, т.е. п незначительно больше т. По предоставляемым функциям для формирования аппроксимирующей функции F(x, а).
Операции над временными рядами, определенные для преобразования исходных данных прогнозируемой величины и аргументов
Настоящая глава посвящена исследованию и разработке математических моделей, методов и алгоритмов решения задач прогноза, т.е. разработке математического обеспечения ядра АСП, решающих задачи регрессионного анализа. В разделе 2.1 описаны операции над временными рядами, определенные в системе для преобразования исходных данных прогнозируемой величины и аргументов прогноза при подготовке данных. В разделе 2.2 представлены функции и модели, предлагаемые для формирования аппроксимирующей функции F(x, а). Данный набор функций содержит линейную функцию, нелинейные функции, традиционно используемые в неиросетевом анализе для аппроксимации различных нелинейных зависимостей, и нелинейные функции, полученные в рамках теории детерминированного хаоса. В разделе 2.3 для реализации аппроксимирующей функции, состоящей из состоящей из ноль или одной линейной функции и ноль, одной или нескольких нелинейных, предложена двухслойная, неоднородная, искусственная нейронная сеть с произвольным числом нейронов в первом слое. В разделе 2.4 описан метод разбиения полученной двухслойной сети на потоки и алгоритм обучения нейронной сети, как процесс последовательного обучения потоков. В разделе 2.5 приведены методы и алгоритмы обучения нейронных сетей, и хотя в данной работе обучаются двухслойные потоки, предложенные методы и алгоритмы применимы для обучения любых многослойных, искусственных нейронных сетей. Для обучения потоков, выполняющих линейную аппроксимацию (линейный регрессионный анализ), предложены алгоритм решения матричного уравнения (раздел 2.5.1) и методы безусловной минимизации, использующие производные функции (их описание приведено в разделе 2.5.3, алгоритм - в разделе 2.5.7). Для обучения потоков, выполняющих нелинейную аппроксимацию, разработаны методы и алгоритмы (их описание приведено в разделе 2.5.5, алгоритмы - в разделах 2.5.6 и 2.5.7), основанные на методах обратного распространения ошибки (раздел 2.5.2), методах безусловной минимизации, использующих производные функции, и методах обучения Коши и Больцмана (их описание приведено в разделе 2.5.4). В разделе 2.6 описаны методы определения значимости входных сигналов и параметров сети на основании функции оценки и по изменению выходных сигналов. Их задача - установить наиболее значимые аргументы, которые и будут использоваться в дальнейшем при прогнозировании данной величины. Раздел 2.7 посвящен описанию метода проверки возможности с помощью заданной нейронной сети реализовать полученную функцию. Анализ на основании константы Липшица проводится для каждого потока, после чего делается вывод о достаточности и неизбыточности сети в целом. Операции над временными рядами, определенные для преобразования исходных данных прогнозируемой величины и аргументов. Предобработка данных используется почти всегда (кроме тех случаев, когда данные представляют собой бинарные векторы с координатами 0, 1 или ±1, либо символьные последовательности). Цель этих преобразований - сделать так, чтобы каждая компонента вектора данных лежала в отрезке [0, 1] (либо [-1, 1] в тех случаях, когда не существенна положительность) или, по крайней мере, не слишком далеко выходила из этого отрезка, и ее характерный разброс тоже был бы единичным. Кроме того, с помощью преобразований можно получить более значимые аргументы прогноза, чем при использовании исходных данных. Например, при прогнозе некоторой характеристики объекта часто наблюдается сильная корреляция между настоящим и будущем значением прогнозируемой характеристики, в таких случаях в состав аргументов прогноза включается сдвиг ряда прогнозируемой величины на некоторый период. В результате проведенных исследований были определены следующие операции над временными рядами, рекомендуемые для реализации в АСП. Пусть At, Bt и Ct - временные ряды, определенные на интервале [ti, tr], г объем выборки, соответственно, ati, Ьц и cti - их значения в момент времени tj є [ti, tr], n - натуральное число, s - некоторая действительная константа. В качестве временных рядов могут выступать вектора xq (q = 1 m) и Y.
Проектирование размещения типовых компонент автоматизированных систем прогнозирования
При проектировании в системе выделена три уровня: клиент, сервер приложений и сервер БД. PS и PL реализуются в виде единого пользовательского интерфейса и располагаются на клиенте. Данные компоненты реализуются в виде исполняемых файлов (тип файлов зависит от ОС клиентской машины). Они располагаются на жестом диске клиента и хранятся в базе данных АСП. При запуске пользователем приложения происходит проверка версий приложения на клиентской машине и в БД, если в БД хранится более свежая версия, происходит копирование файла приложения из базы на жесткий диск клиентской машины. Это позволяет при изменениях в PS или PL производить замену файлов единожды в БД.
DS и FS располагаются на сервере базы данных. DS реализуется выбранной СУБД, FS - серверной ОС. Предложенное расположение PS, PL, DS и FS является фактически типовым, т.к. реализовано в самых различных автоматизированных системах. Особенности решаемых задач, как правило, сказываются на размещении DL и BL. На расположение DL и BL оказали влияние следующие два свойства АСП. Во-первых, работу системы с данными, хранящимися в БД, можно разделить на два класса. К первому классу относятся, реализуемые в каждой информационной автоматизированной системе, функции работы с БД (запись, хранение, модификация) и несложные функции обработки данных. Ко второму классу относятся функции, реализующие многоитерационные алгоритмы обработки данных и, соответственно, предъявляющие повышенные требования к аппаратно-программному обеспечению. Во-вторых, автоматизированная дилинговая система является частью более глобальной системы и, в связи с этим, должна как можно меньше зависеть от аппаратных и системных программных средств. Поэтому функции первого класса было решено реализовать в виде библиотек, расположенных на клиенте, они так же как и приложения пользовательского интерфейса хранятся в БД, откуда перезаписываются на жесткий диск клиентской машины в случае появления новой версии. А функции второго класса, реализованные в виде библиотек, расположить на сервере приложений. Выделенные в сервер приложений серверную прикладную логику (BL) и логику управления данными (DL) можно разделить на общие для всех АСП данного класса (составляют ядро системы, реализуют математическое обеспечение, описанное в главе 2) и решающие дополнительные задачи АС. Функции доступа к БД и функции преобразования данных отнесены к отдельным модулям. Все вышесказанное проиллюстрировано на рис. 1. На рисунке цветом выделены общие для АСП, компоненты; стрелками показаны пути обмена данными между приложениями системы и базой данных. Т.о. на клиенте расположены часть логики управления данными и крайне небольшая часть прикладной логики, причем одна и та же библиотека может содержать функции клиентских DL и BL. На сервере приложений расположены серверная прикладная логика и логика управления данными, образующие общее для разрабатываемых АСП ядро и модули, решающие дополнительные задачи конкретной АС, причем они строго разделены по библиотекам. Вызов функций BL клиента и сервера приложений осуществляется из приложений интерфейса пользователя, для вызова удаленных процедур используется сервис RPC. Вызов функций DL осуществляется из функций BL, т.е. назначение функций DL клиента и сервера приложений - обеспечить работу соответствующих функций BL с БД. Функции, расположенные на уровнях клиента и сервера приложений, могут взаимодействовать между уровнями только посредством данных, хранящихся в базе. На сегодняшний день типовой является двухуровневая архитектура системы, когда прикладная логика не выделяется в отдельный уровень. В данной работе была выбрана трехуровневая архитектура по следующим причинам: 1) в рамках прикладной логики реализуются многоитерационные алгоритмы обучения нейронных сетей, отсюда повышенные требования к системному программному и аппаратному обеспечению; 2) ядро АСП, решающих задачи регрессионного анализа, реализуемое в виде библиотек сервера приложений, должно не зависеть от клиентского уровня и предоставлять широкий выбор возможных серверов СУБД и серверных операционных систем. Физическое размещение клиента, сервера приложений и сервера БД может быть различным, далее перечислены типовые варианты реализации АСП: 1) Все компоненты системы (клиент, сервера приложений и БД) располагаются на одной ЭВМ. В качестве операционной системы используется выбранная клиентская ОС. 2) Клиент располагается на одной или нескольких рабочих станциях, сервера приложений и БД располагаются на одном сервере. Для данного варианта необходимо выбрать клиентскую и серверную операционные системы. 3) Все три компоненты системы располагаются на разных узлах сети. Данный вариант совершенно аналогичен предыдущему, только добавляется серверная ОС сервера приложений.
Определение подсистем, входящих в состав автоматизированной дилинговои системы. Требования к функциональным возможностям подсистем
Первые попытки предугадать ценовую динамику отдельных финансовых инструментов или группы с помощью графиков цен зафиксированы в Соединенных Штатах на рубеже столетий. Первооткрывателями были Чарльз Доу, автор знаменитой теории рынка ценных бумаг, и Вильяам Гамильтон, изложивший принципы теории Доу в книге "Барометр акций". Десятилетие 1930-х было золотым веком графиков. Именно в это время благодаря Шакаберу, Pea, Эллиоту, Ганну и прочим началось бурное развитие технического анализа. Следующий серьезный поворот произошел в 1950-х. В этот момент, во-первых, серьезно изменилась рыночная конъюнктура, во-вторых, появилась масса экономических теорий, например, теория поиска ценового цикла, теория оптимального портфеля Марковица и т.д. С 1960-х происходит бурное развитие вычислительной техники и математического моделирования, что не могло не сказаться на такой важной составляющей экономической жизни стран Запада, как биржевая деятельность. Появилось сразу несколько направлений решения задачи прогнозирования тенденций финансовых рынков: продолжал развиваться технический анализ, новые индикаторы становились все сложнее, и на сегодняшний день их реализация без помощи электронно-вычислительной аппаратуры не представляется возможной, появился трендовый анализ временных рядов цен, анализ Фурье стал использоваться для выделения циклов из ряда ценовых данных, регрессионный анализ применительно к прогнозу финансовых рынков получил свое развитие только в последние 10-15 лет. Т.о. прогресс вычислительной техники привел к широкому использованию математического моделирования в одной из самых практических областей человеческой деятельности - финансовой.
Технический анализ рынка используется для прогнозирования рыночных тенденций уже более полувека, с тех пор он, конечно, значительно изменился, но по-прежнему остается весьма популярным. Технический анализ рынка представляет собой набор методов, преобразующих некоторым образом временные ряды исходных данных, после чего они представляются в виде графиков или таблиц.
Анализируя графики, получаемые в результате, пользователь делает вывод о том, кто сильнее в настоящий момент: "быки" или "медведи", и как долго продлиться текущий баланс сил. Индикаторы технического анализа рассматривают рынок как закрытую систему, состояние которой изменяется под действием внутренних сил, т.е. индикаторы технического анализа не учитывают внешние воздействия. Технический анализ графиков полезен для получения общего, качественного представления о рыночных тенденциях и определения наиболее удачного момента для выхода на рынок. Подробно технический анализ рынка изложен в работах [50, 91, 104, 120].
Далее описана постановка задачи регрессионного анализ применительно к прогнозу тенденций финансовых рынков. Прогнозируемыми величинами wg являются ценовые характеристики финансовых инструментов и их групп. На wg оказывают влияние различные макро- и микроэкономические показатели (характеристики, оказывающие влияние на объект прогноза) и торговые данные (характеристики, описывающие состояние объекта), они образуют совокупность аргументов прогноза. Ценовые характеристики реагируют на соответствующие изменения аргументов прогноза с некоторой временной задержкой At. Известные значения прогнозируемой ценовой характеристики образуют вектор прогнозируемой величины Y, элементы которого обозначают уі (і = 1, ..., п). Значения аргументов прогноза известны в моменты времени tj (і = 1, ..., n + 1), они образуют матрицу аргументов прогноза X, элементы которой обозначают xq (і = 1, ..., n), (q = 1, ..., m), и вектор x(n+1) = (хі(п+1),..., xm(n+1)). Необходимо определить У(П+і), т.е. значение прогнозируемой величины в точке t(n+i)+At. Для чего выполняется аппроксимация посредством некоторой функции зависимости между прогнозируемой величиной и набором аргументов прогноза, т.е. устанавливается зависимость между реакцией рынка и причинами ее вызвавшими. Поэтому данное направление имеет преимущество по сравнению с направлениями, анализирующими только динамику цен, которая на самом деле является следствием ряда причин. Это преимущество наиболее велико при работе на динамичных, существующих в условиях политической и экономической нестабильности, подверженных стремительным подъемам и спадам финансовых рынках.
Возможными прогнозируемыми величинами являются доходность, ценовые показатели (средневзвешенная цена, цены закрытия и открытия, максимальная и минимальная цены) и их преобразования посредством определенных в системе операций над временными рядами. В АДС в качестве аргументов прогноза определены различные макро- и микроэкономические показатели, торговые данные, экспертные оценки специалистов. Выбор аргументов, оказывающих в данный момент влияние на рассматриваемую прогнозируемую величину, является весьма сложной задачей, требующей от аналитика приложения его знаний, опыта и интуиции. Финансовые рынки относятся к классу объектов прогноза, которым свойственны "загрязнения" в данных и их неоднородность, а также наличие малоинформативных аргументов при относительно малом объеме статистики. Сила влияния аргументов может сильно меняться с течением времени (меняется рыночная конъюнктура).
До настоящего времени при реализации регрессионного анализа для прогноза финансовых характеристик не уделялось достаточного внимания проблеме разработки рекомендаций по формированию аппроксимирующей функции F(x, а). В печати были опубликованы исследования, показавшие, что финансовые рынки проявляют детерминированный хаос, т.е. в рамках теории детерминированного хаоса можно получить ряд моделей, способных воспроизводить развитие событий на финансовых рынках. Поэтому правомочны исследования эффективности использования представленных в разделе 2.2.2 хаотических функций при прогнозировании финансовых тенденций.
Благодаря современному развитию средств связи, телекоммуникаций, вычислительной техники временной интервал между изменением аргументов прогноза и соответствующей коррекции прогнозируемой финансовой величины (At) чрезвычайно мало. Это накладывает жесткие требования на время проведения прогноза, т.е. финансовые рынки относятся к объектам, для которых важна не только точность, но и время прогноза. Поэтому в АДС предъявляются повышенные требования к времени обучения нейронной сети, реализующей аппроксимирующую функцию F(x, а).
