Содержание к диссертации
Введение
Глава 1. Методы исследования свойств сложных систем и прогнозирование их динамики 12
1.1. Необходимость и особенности применения системного подхода к решению задач прогнозирования нестационарных процессов 12
1.2. Анализ существующих методов прогнозирования 21
1.3. Исследование свойств процессов, протекающих в макроэкономических системах, и факторов оказывающих на них влияние 25
1.4. Сравнительный анализ методов спектрального и сингулярного разложения в задачах прогнозирования состояния сложных динамических систем 33
1.5. Выводы 40
Глава 2. Анализ нестационарных процессов с использованием алгоритмов их сингулярного разложения 42
2.1. Анализ динамического состояния системы с помощью метода сингулярного разложения 42
2.2. Особенности применения метода сингулярного разложения при анализе нестационарных процессов 51
2.3. Анализ структуры нестационарных процессов с использованием графических критериев качества 59
2.4. Выводы 72
Глава 3. Прогнозирование нестационарных процессов на базе методов сингулярного разложения и искусственных нейронных сетей 74
3.1. Использование аппарата искусственных нейронных сетей при решении задач прогнозирования нестационарных процессов 74
3.2. Разработка рекомендаций по повышению качества и оптимизации алгоритмов обучения нейронных сетей на основе обратного распространения ошибки при создании экспертной системы прогнозирования 80
3.3. Повышение достоверности методики прогнозирования на основе найденных критериев качества сингулярного разложения и оптимизации размерности входного вектора нейросетевой модели 93
3.4. Выводы 103
Глава. 4. Экспертная система для анализа и прогнозирования нестационарных процессов на базе программного комплекса NEUROCAD 105
4.1. Функциональное назначение и структура программного комплекса NeuroCAD 105
4.2. Блок рабочей области 107
4.3. Блок сингулярного анализа 109
4.4. Блок настройки ИНС 110
4.5. Особенности функционирования и результаты практического применения экспертной системы 112
4.6. Выводы 116
Основные результаты работы 117
Список литературы 119
Приложение 132
- Необходимость и особенности применения системного подхода к решению задач прогнозирования нестационарных процессов
- Анализ динамического состояния системы с помощью метода сингулярного разложения
- Использование аппарата искусственных нейронных сетей при решении задач прогнозирования нестационарных процессов
- Функциональное назначение и структура программного комплекса NeuroCAD
Введение к работе
Актуальность темы
Современные реальные системы (технические, экономические, социальные, экологические и др ) необозримы из-за сложности внутренних взаимосвязей и воздействия большого числа факторов, предусмотреть и учесть влияние которых не всегда представляется возможным При этом системы могут менять режим (планово или случайным образом), структуру элементов, что определяет новые состояния системы, качественно отличающиеся от предыдущих, определяя нестабильное и нестационарное развитие всех ее процессов Указанные проблемы не позволяют детально описать процессы с помощью традиционных подходов, в частности, математического описания в виде систем дифференциальных уравнений.
В настоящее время активно развивается новое научное направление, в основе которого лежит представление многомерных выборок реальных процессов в виде матрицы развертки (набора копий временного ряда, взятых с определенными сдвигами) При этом сингулярное разложение указанной матрицы позволяет описать динамику сложной системы и спрогнозировать ее дальнейшее поведение
Большой вклад в развитие теории и практики в этом направлении внесли известные отечественные и зарубежные ученые Александров Ф И, Бух-штабер В М, Гнатюк В И, Голяндина Н Э, Данилов Д Л , Дженкинс Г М , Ермаков С А, Жиглявский А.А, Каштанова Ю Н, Котляров О Л, Лоскутов А.Ю., Монин А С, Некруткин В В., Осипов Е В , Питерберг Л И, Солнцев В Н, Тсонис А А , Шоельхамер Д X., Эльснер Д Б , и др
Выполненные исследования недостаточны для того, чтобы считать проблему решенной, поэтому создание математического аппарата для анализа, моделирования и прогнозирования процессов и принятия взвешенных управленческих решений в системах обладающих нестационарной динамикой является актуальной задачей
Цель работы состоит в разработке совокупности методик и программно-математического обеспечения для анализа динамического состояния сложных систем, направленных на повышение эффективности прогнозирования нестационарных процессов
В соответствии с поставленной целью в диссертационной работе решались следующие задачи
1. Обоснование необходимости и исследование особенностей применения системного подхода к решению задач прогнозирования нестационарных процессов на примере промышленных и макроэкономических систем 2 Сравнительный анализ методов спектрального и сингулярного разложения для оценки их применимости в задачах прогнозирования состояния сложных динамических систем, определение особенностей применения метода сингулярного разложения, влияющих на качество анализа неста-д ционарных процессов
3. Рассмотрение особенностей использования аппарата искусственных ней
ронных сетей и разработка критерия, повышающего достоверность при
менения нейросетевых моделей прогнозирования, создание комбиниро
ванной методики прогнозирования нестационарных макроэкономических
процессов на базе аппарата искусственных нейронных сетей с использо
ванием методов сингулярном анализа
Основные методы исследования. Для решения поставленных в диссертационной работе задач использованы методы, базирующиеся на основе теории автоматического управления, теории вероятностей и математической статистики, аппарата сингулярного разложения, а также понятий и методов теории нейронных сетей и технологии объектно-ориентированного программирования
Достоверность предложенных методик и алгоритмов основывалась на вычислительных экспериментах, проводимых с использованием разработанного программного комплекса NeuroCAD, а также апробацией результатов диссертационной работы, на научно-технических конференциях
В диссертационной работе впервые получены, составляют предмет научной новизны и выносятся на защиту следующие результаты:
1 Методика прогнозирования нестационарных процессов, состоящая из
двух этапов
разложение исходной выборки на простейшие аддитивные компоненты, имеющие предсказуемый характер и простое математическое описание,
поэлементное прогнозирование компонентов и синтез прогноза совокупной выборки процесса на основе свойства аддитивности предварительного разложения
Критерий качества найденных составляющих сингулярного разложения, характеризующий близость их к гармоническим (легко предсказуемым) компонентам
Методика модифицированного сингулярного анализа на базе итерационного рекурсивного алгоритма последовательного выделения отдельных элементарных компонентов при вариативном изменении длины сингулярной матрицы развертки.
4. Критерий оценки размерности вектора входных признаков, позволяющий
повысить эффективность построения нейросетевой модели прогнозиро
вания
Практическая ценность полученных научных результатов состоит в разработке методик, направленных на повышение эффективности прогнозирования нестационарных процессов и реализации их виде программного комплекса
Предложенные методики позволят решать задачу прогнозирования производственных и макроэкономических показателей, описывающих состояние сложных динамических систем.
Разработанный программный комплекс NeuroCAD предназначен для использования в промышленных и финансово-кредитных организациях, а также в учебном процессе для широкого круга специальностей вузов при решении задач анализа и прогнозирования нестационарных процессов
Результаты позволяют повысить качество прогнозирования промышленных и экономических показателей, характеризующих сложный нестационарный процесс, увеличить эффективность принятия стратегических решений в условиях сложившейся экономической ситуации, минимизировать потери капитала
Реализация и внедрение результатов работы. Основные результаты работы в виде практических рекомендаций и программного обеспечения для ЭВМ переданы в ОАО комбинат «Братскжелезобетон» (ОАО «КБЖБ-1»), ЗАО «Управление лесозаготовок и лесосплава» (ЗАО «УЛиЛ»), в филиале акционерного коммерческого сберегательного банка российской федерации (ОАО) Братского отделения № 2413/0103 Байкальского банка СБ РФ и ООО «СОЖ»
Материалы диссертации используются в учебном процессе Братского государственного университета
Апробация работы. Основные результаты работы докладывались и обсуждались на межрегиональных научно-технических конференциях БрГУ, Братск 2005 - 2007 гг, на всероссийских научно-методических конференциях БрГУ, Братск 2005 - 2006 гг , на научно-практических конференциях «Сибре-сурс-2006» и «Сибресурс-2007» БГУЭП, Иркутск 2006 - 2007 гг, на VI и VII международных научно-практических конференциях «Моделирование Теория, методы и средства», ЮРГТУ, Новочеркасск 2006 - 2007 гг, на X международной научно-практической конференции «Системный анализ в проектировании и управлении», СПбГПУ, Санкт-Петербург 2006 г, на всероссийской научно-практической конференции «Научный поиск парадигмы, проекции, практики» ИГУ, Иркутск, 2007 г, на расширенном заседании кафедры «Управление в технических системах» (БрГУ, Братск), на заседании научно-технического совета БрГУ в 2007 г
Публикации. Основные результаты исследований опубликованы в 18 научных статьях, 2 из них в изданиях, рекомендованных ВАК для кандидатских диссертаций
Структура работы. Диссертация состоит из введения, четырех глав, заключения, библиографического списка из 125 наименований Работа изложена на 131 страницах машинописного текста, содержит 70 рисунков и 8 таблиц
Необходимость и особенности применения системного подхода к решению задач прогнозирования нестационарных процессов
Современные реальные системы (технические [49], социальные [13], экономические [40], экологические [7] и другие) необозримы из-за сложности внутренних взаимосвязей и воздействия большого числа факторов, предусмотреть и учесть влияние которых не всегда представляется возможным. При этом реальные системы могут менять режим (планово или случайным образом), структуру элементов, что определяет новые состояния системы, качественно отличающиеся от предыдущих, определяя нестабильное и нестационарное развитие всех её процессов. Указанные проблемы не позволяют детально описать процессы, протекающие в них, с помощью систем дифференциальных уравнений. Поэтому для исследования процессов, протекающих в реальных системах, необходимо заменять их рядом математических эквивалентов, в которых выде-лены существенные свойства, характеризующиеся вектором параметров фиксированной размерности. Данный вектор параметров в зависимости от внешних и внутренних причин будет описывать динамику исследуемого процесса в определенной области на определенном этапе развития большой системы.
Одним из примеров таких систем являются финансовые рынки [66]. Эти системы обладают указанными выше сложностями и вызывают повышенный интерес у экономических субъектов всех уровней (государство, корпорации и частные лица). Данный интерес к процессам, протекающим на финансовых рынках, определяется необходимостью эффективного вложения капитала в различные финансовые инструменты, сохранения и защиты активов от таких факторов, как инфляция и девальвация. При этом точность прогнозирования поведения макроэкономических процессов позволит наилучшим образом диверси фицировать инвестиции и снизить риски [54]. Поэтому задача повышения адекватности моделирования и эффективности прогнозирования макроэкономических процессов приобретает все большую практическую актуальность. В то же время существующий математический аппарат имеет ограниченные возможности для её решения.
Одним из эффективных путей решения указанной задачи является применение системного подхода. Такой подход диктует необходимость рассмотрения финансовых рынков как больших систем. Это предполагает изучение финансового рынка с помощью методов, учитывающих наличие тесных связей между большим числом факторов, определяющих состояние объекта. Кроме того, исследуемую систему необходимо рассматривать как совокупность взаимосвязанных подсистем, объединенных общей целью функционирования [84]. Для этого рассмотрим основные особенности и свойства финансовых рынков для дальнейшей их формализации в рамках системного подхода.
Финансовый рынок — организованная институциональная структура для создания финансовых активов и обмена финансовыми активами [117]. Экономическая ситуация (конъюнктура) в данных системах характеризуется уровнями спроса и предложения, рыночной активностью, ценами, объемами продаж, движением процентных ставок, валютного курса, заработной платы, дивидендов, а также динамикой производства и потребления. Основные сегменты финансового рынка представлены на рис. 1.1. 1. Рынок государственных казначейских обязательств (fixed Incomes) — товаром на этом рынке выступают казначейские обязательства, выпускаемые соответствующими государственными институтами стран, как правило, государственными казначействами и министерствами финансов. 2. Рынок драгоценных металлов (commodities) — товаром на этом рынке являются драгоценные и редкоземельные металлы (серебро, золото, платина, палладий и др.). 3. Фондовые рынки (stocks) — товаром на этом рынке являются акции компаний. 4. Международный валютный рынок FOREX (currency) — товаром на этом рынке являются валюты различных стран.
Приоритетным направлением деятельности финансового рынка является мобилизация капитала, предоставление кредита, осуществление обменных денежных операций и рациональное размещение финансовых средств в товарном производстве. В виду быстрых темпов развития валютный рынок FOREX приобретает все большую значимость, при этом данный сектор виртуальной экономики обладает всеми свойствами больших систем и соответственно присущими им проблемами, которые будут проанализированы далее. Высокий темп развития валютного рынка определяется рядом особенностей (ликвидность, распределенность, доступность, прибыльность) [74].
Современный финансовый рынок FOREX — это всемирная сеть, банков, инвестиционных фондов и брокерских домов, которая включает в себя структуру, связанную с помощью глобальной сети Internet, обслуживающую клиентов, торгующих валютами, заключающих спекулятивные сделки для того, чтобы получить прибыль от ежесекундно изменяющихся курсов валют [112] (рис 1.1.2.).
Анализ динамического состояния системы с помощью метода сингулярного разложения
Предложенный в первой главе подход для исследования макроэкономических процессов на базе системного анализа требует разработки эффективного метода разложения процесса на отдельные составляющие части.
Разложение процесса на аддитивные составляющие переплетается с идеей нахождения размерности подпространства, содержащего развертку временного ряда [3, 4], которая была развита в работе Бухштабера [5], где рассматривается задача построения модели (аппроксимации) для временного /= (flt .... ,fN) с f. = f((i-i)At), а функция/ имеет вид:
Для решения этой задачи используется метод многомерной развертки временного ряда. В указанной работе под n-мерной разверткой временного ряда /= (fi, .... /N) подразумевается кусочно-линейная кривая Xf, соединяющая последовательно вектора Xi eR",j = 2,...,р = N-n+ 1, определяемые сегментами длины п исходного временного ряда X j =\fj,...,fJ+n_x). Изучая геометрию развертки временных рядов, автор работы [5] вводит следующее основное определение: w-ранг временного ряда/не превышает г (г п), если существует r-мерная гиперплоскость L с R", такая что XfcL.
Подходы, использующие преобразование исходного ряда в многомерную выборку, развиваются методами теории динамических систем [11, 19, 27, 28, 57]. Математическое описание этих методов в применении к нелинейным системам впервые опубликовал Takens [30], который доказал ряд теорем о пред ста вимости пространства состояний достаточно широкого класса динамических систем с помощью метода многомерной развертки наблюдаемого одномерного ряда, обобщив тем самым ранний результат Whitney [32]. В последствии были изучены и экспериментально оценены размерности траекторий динамических систем [9], энтропии и характеристических показателей этих систем, а также соотношений между этими величинами [19].
В общем виде операция разложения объекта на элементарные составляющие по сути своей представляется как пространственный переход из одного состояния в другое по условию значимости меры, определяющей в конечном итоге движение отдельной составляющей, при условии, что остальные меры движения равны нулю. Здесь под мерой понимается значение, отражающее качественное и количественное состояние объекта, указывающее предел, при котором изменение количества влечет за собой изменение качества объекта и наоборот. Таким образом, для выявления элементарных составляющих движения необходим аппарат преобразования вектора состояний объекта из одного пространства в другое. Сравнительный анализ, проведенный в п. 1.4. показал, что одним из перспективных математических аппаратов решения указанной задачи является алгоритм сингулярного разложения [10,14, 85].
Аппарат сингулярного анализа позволяет определить структуру информационной матрицы состояний исследуемого объекта. Использование информационной матрицы представления при анализе нелинейных сигналов впервые упоминается в работе [24]. Если за значимые признаки меры принять набор сингулярных чисел матрицы, которые соответствуют собственным числам матрицы, то можно говорить о том, что каждое сингулярное число характеризует влияние отдельной составляющей. Исходя из этого условия, для того чтобы определить информационную матрицу состояний, характеризующую влияние отдельной меры (сингулярного числа), необходимо провести процедуру обратного восстановления исходной матрицы при условии, что все остальные сингулярные числа равны нулю.
Таким образом, используя аппарат сингулярного разложения можно создать эффективный метод выявления элементарных составляющих движения динамического нестационарного объекта.
Рассмотрим распространение предложенного подхода на частный случай для анализа нестационарного динамического состояния макроэкономического процесса.
Если ввести понятие «структура ряда», определяющее количественный и качественный набор простейших составляющих движения, то рассмотренный выше подход позволяет исследовать структуры временных рядов с помощью предложенного автором метода сингулярного разложения матрицы развертки (метод СРМР) [59].
Суть метода заключается в преобразовании одномерного нестационарного ряда экономического показателя в матрицу развертки с помощью однопара-метрической сдвиговой процедуры и сингулярного разложения этой матрицы [69]. Из полученного набора главных сингулярных чисел матрицы развертки по условию значимости (по убыванию модуля) выбираются те, по каждой из которых может быть восстановлена одна из простейших составляющих исходного ряда [58].
Использование аппарата искусственных нейронных сетей при решении задач прогнозирования нестационарных процессов
Исследование свойств изучаемых макроэкономических систем [42,44,47] показывают, что можно выявить повторяющиеся модели поведения участников рынка и на их основе сделать прогнозирование на сохранение или на разворот тенденции [110].
Задача прогнозирования динамического состояния финансовых систем близка к проблеме исследования законов и распределений, которые действуют в областях, связанных с теорией информации [90], экономикой [108], социологией [119], лингвистикой [115], биологией [83], вычислительной техники. Наиболее известны законы Ципфа, Парето, Мандельброта, Лотки, Бредфорда, Фишера. Инвариантность, устойчивость этих законов на множестве объектов различных научных областей позволила говорить о закономерностях распределения и развития совокупностей сообществ слабосвязанных элементов больших систем и сделать вывод о наличии одного структурного механизма формирования таких систем как целостности. Законы формирования систем из отдельных составляющих схожи с законами формирования биосистем из отдельных особей [88,107].
Таким образом, для исследуемых макроэкономических систем, имеет смысл разработать модели прогнозирования, способные «запоминать» прошлые рыночные ситуации и соответствующие им последствия (т.е. их продолжения) с целью последующего сопоставления со складывающимися на рынке ситуациями.
Простейшим решением такой задачи будет база данных, в которую можно записывать закодированные определенным образом рыночные ситуации. Для составления прогноза необходимо было бы просматривать все записи, которых для достижения прогноза необходимой точности должно быть огромное количество [120]. Данная идея по причинам сложности доступа к данным, сложности критериев сопоставления информации и прочего представляется не конструктивной.
Способность к "запоминанию" свойственна технологиями, объединяемых в англоязычной литературе под названием Computational Intelligence [21, 34, 65, 102], позволяющим получать непрерывные или дискретные решения в результате обучения по доступным имеющимся данным.
Один из подклассов обсуждаемой группы методов составляют нейронные сети (НС) [56], использующие стохастические алгоритмы для обучения модели с учителем или путем самоорганизации [48, 22, 36]. Данные методы не предполагает никаких ограничений на характер входной информации [97]. Это могут быть как индикаторы данного временного ряда, так и сведения о поведении других рыночных инструментов.
Обрабатываемая информация о данных макроэкономических процессов имеет численный характер, что позволяет использовать НС, например, в качестве модели систем с совершенно неизвестными характеристиками [46, 114]. НС представляет собой совокупность нейронов, связанных между собой определенным образом [98]. Нейрон — это элементарный преобразовательный элемент, имеющий непустое множество входов, на которые поступают сигналы Хь х2,...,хп (рис. 4.1), суммирующий блок, блок преобразования сигнала с помощью активационной функции и один выход Y.
Искусственный нейрон Каждому входу приписан свой «вес» wh соответствующий «силе» синаптическои связи. Функционирует нейрон в два такта. На первом такте в суммирующем блоке вычисляется величина возбуждения, полученного нейроном: которую удобно представлять в виде скалярного произведения вектора входных сигналов на вектор весов. На втором такте суммарное возбуждение пропускается через активационную (преобразующую) функцию F(-) в результате чего определяется выходной сигнал Y=f(S) [23].
Многослойная сеть может формировать на выходе произвольную многомерную функцию при соответствующем выборе количества слоев, диапазона изменения сигналов и параметров нейронов. При этом нейронная сеть реализует следующее преобразование исходной функции [111]:
Функциональное назначение и структура программного комплекса NeuroCAD
Программный комплекс NeuroCAD, разработанный автором, решает задачи анализа и прогнозирования нестационарных макроэкономических процессов [73].
ПК может решать следующие задачи: обработка информации о финансовых выборках (считывание, сохранение, редактирование); функциональный анализ выборок с помощью разработанных методов сингулярного анализа и предложенных критериев контроля качества выделяемых компонент; структурный синтез нейронных сетей для построения интеллектуальных моделей обладающих различными характеристиками; оценка входной размерности факторов для построения оптимальных моделей прогноза для конкретной выборки данных; прогнозирование дискретных выборок как по отдельным аддитивным составляющим так и в их совокупности; принятие экспертных решений по управлению капиталом.
ПК NeuroCAD включает в себя 3 функциональных блока представленных на рис 4.1.1, направленных на решение основных этапов предлагаемой методики анализа и прогнозирования нестационарных макроэкономических процессов
Блок рабочей области выполняет функции связующего для двух других функциональных блоков, решающих этапы анализа и синтеза предлагаемой комбинированной методики, и координирует работу комплекса.
Блок сингулярного анализа предназначен для осуществления первого этапа предлагаемой методики, он позволяет выделять аддитивные составляющие исходной выборки с помощью предложенных графических критериев качества.
Блок ИНС предназначен для осуществления второго этапа предлагаемой методики, он позволяет проводить предварительное преобразования данных, структурный и параметрический синтез моделей ИНС и создавать нейросетевые модели прогноза [18].
ПК спроектирован в среде Borland C++ Builder [37] и основан на принципе объектно-ориентированного подхода к программированию. Выбор среды разработки обуславливается гибкостью и большими возможностями языка C++, в том числе возможностью динамического выделения оперативной памяти, поддержки работы с указателями, что, в свою очередь, позволяет добиться высокой эффективности работы с массивами данных. ПК NeuroCAD представляет собой многооконное приложение и имеет модульную структуру (рис. 4.1.2), где каждый модуль отвечает за определенные задачи. Рис. 4.1.2. Структура ПК NeuroCAD Каждый модуль имеет свой класс отдельных узкоспециализированных функций, направленных на решение отдельных задач.
Редактор схем (рис. 4.2.1) позволят создавать схемы путем выбора и установки элементов по технологии "drag-and-drop" и последующим соединением между собой элементов. Связь между элементами формируется автоматически. Возможности языка C++ позволяют представлять сингулярную структуру процесса и модели нейросетей в памяти ЭВМ в виде объекта с предопределенными свойствами и описанными реакций на события (перемещение, создание, удаление, связывание с другими элементами и др.).
Каждый объект (элемент) имеет следующие отличительные характеристики: геометрические размеры и координаты; графическое изображение на схеме; идентификатор типа элемента; основные параметры элемента;
На рис. 4.2.2. представлено окно ввода основных параметров элемента. Существует возможность задавать как относительные параметры для каждой модели ИНС, так и общие. Для хранения общих параметров основных видов ИНС разработана система управления базой данных.
Набор начальных настроек отдельных элементов хранится в файлах (mcc, ncf формата), что позволяет изменять параметры нейронных сетей и сингулярного разложения не модифицируя исходного кода.
Следует отметить наличие средств прокрутки и масштабирования изображения, а также отсутствие ограничений на размерность представляемой схемы нейронной сети.
Таким образом, разработанные графический редактор схем и база данных параметров позволяют с высокой эффективностью создавать и модифицировать схемы ИНС. Возможность визуального редактирования схемы повышает удобство использования программы NeuroCAD при многовариантных расчетах.
