Содержание к диссертации
Введение
Глава 1. Роль искусственных нейронных сетей в прогнозировании финансовых рынков .13
1.1.Самоорганизация в искусственных нейронных сетях и на финансовых рынках 13
1.2. Принятие решений репрезентативным агентом на основе ограниченной рациональности и самоорганизации: имитация с помощью искусственных нейронных сетей .19
1.3. Основные характеристики, типология и принципы построения искусственных нейронных сетей при прогнозировании финансовых рынков 24
Глава 2. Инвестиционные решения на фондовом и валютном рынках на основе упрощенной картины мира и контекстной памяти – представление в форме искусственных нейронных сетей с предварительной обработкой входных данных 34
2.1.Предварительная обработка входных данных искусственными нейронными сетями при прогнозировании финансовых рынков с помощью метода главных компонент и метода независимых компонент 34
2.2. Прогнозирование финансовых рынков с помощью искусственной нейронной сети, обученной по методу Левенберга-Марквардта и использующей снижение размерности входных данных (упрощение картины мира) 43
2.3. Прогнозирование фондового и валютного рынков с помощью искусственной нейронной сети Хакена, использующей предварительную обработку входных данных в виде формирования контекстной памяти 68
Глава 3. Иллюзия субъективной полноты картины мира, свойственная репрезентативному инвестору, и ее воспроизведение посредством искусственных нейронных сетей, использующих конкурентные механизмы предварительной обработки входных данных 100
3.1.Прогнозирование финансовых рынков с помощью искусственной нейронной сети Кохонена-Хакена, использующей конкурентную обработку входных данных 101
3.2. Прогнозирование фондового и валютного рынков с помощью роевой архитектуры искусственных нейронных сетей, использующей кластеризацию данных в качестве инструмента предварительной обработки 128
Заключение 160
Библиография 166
Приложение. 186
- Принятие решений репрезентативным агентом на основе ограниченной рациональности и самоорганизации: имитация с помощью искусственных нейронных сетей
- Основные характеристики, типология и принципы построения искусственных нейронных сетей при прогнозировании финансовых рынков
- Прогнозирование финансовых рынков с помощью искусственной нейронной сети, обученной по методу Левенберга-Марквардта и использующей снижение размерности входных данных (упрощение картины мира)
- Прогнозирование фондового и валютного рынков с помощью роевой архитектуры искусственных нейронных сетей, использующей кластеризацию данных в качестве инструмента предварительной обработки
Введение к работе
Актуальность диссертационного исследования имеет как теоретические, так и практические основания. В условиях глобализации зависимость реального сектора экономики и благосостояния физических лиц от процессов, происходящих на финансовых рынках, очень велика. Особенно сильно это можно было ощутить в ходе мирового финансового кризиса 2008 года, когда обвал финансового сектора повлек за собой рецессию во многих мировых экономиках. Теоретическое описание массовых ожиданий участников финансового рынка и прогнозирование на этой основе котировок позволяют обогатить инструментарий финансового анализа высоко эффективными формальными методами.
В финансовом анализе искусственные нейронные сети рассматриваются как механизм реконструкции репрезентативного агента, принимающего решения, и благодаря своим отличительным характеристикам могут быть использованы для прогнозирования доходности на фондовом и валютном рынке.
В диссертации рассматриваются наиболее ликвидные фондовые и валютные рынки развитых стран, поскольку именно рынки с наибольшей ликвидностью бывают наиболее близки к состоянию информационной эффективности. Это состояние заявлено в качестве цели для суверенных регуляторов финансовых рынков и отражено, в частности, в документах Международной организации комиссий по ценным бумагам (IOSCO), что делает именно развитые рынки наиболее интересным, «чистым» объектом исследования.
Отдельная важная проблема в рамках исследований искусственных нейронных сетей и повышения эффективности их прогнозных способностей – это различные способы обработки входных данных. Это объясняется тем, что в последние годы массивы данных, доступные финансовым аналитикам, существенно возросли, а взаимосвязи между ними, в том числе причинно-
следственные, усложнились. Поэтому в рамках данной работы основное внимание будет уделено исследованию и применению различных инструментов обработки эмпирических данных перед их предъявлением искусственным нейронным сетям и сравнительному анализу их возможностей для прогнозирования доходности на фондовом и валютном рынках развитых стран. В частности, будут подробно рассмотрены метод главных и метод независимых компонент, которые используются во многих научно-исследовательских работах, в частности, по количественным финансам.
Следует добавить, что полезность исследований с помощью искусственных нейронных сетей нельзя связывать только с финансово-экономической сферой. Полученные исследовательские результаты могут дать важный синергетический эффект для других отраслей науки. В числе наиболее перспективных можно выделить когнитивную психологию, теории принятия решений индивидуумами и группами лиц, а также поведения больших социальных систем.
Степень разработанности темы в научной литературе. На протяжении последних лет можно выделить большое количество исследований по теоретическим и по практическим аспектам применения искусственных нейронных сетей, на изучении которых сделан акцент в данной работе. Разброс публикаций по данной тематике достаточно широк.
Первыми стали труды У. Мак-Каллокка и В. Питтса, Ф.Розенблатта, Д.Хебба. К попыткам систематизировать информацию (прежде всего, типологию) в данной области можно отнести работы, К.Бишопа, В.Круглова, П. Макнелиса, К.Файфа, С.Хайкина. Используемые в работе методы предварительной обработки данных перед предъявлением искусственным нейронным сетям широко рассматриваются в работах А. Бека и А. Вайгенда, Й. Горрица и др., Л. Делатавера и др., Й. Джолиффа, П. Комона, А. Хюваринена.
Существует обширная литература, где описывается построение
полноценных моделей искусственного интеллекта с помощью искусственных нейронных сетей и экспериментального взаимодействия агентов в больших имитационных системах. Отметим публикации С.Альфарано и др., А. Баравиера и др., Р. Конта и Ж.-Ф. Боше, Б. Лебейрона, Б. Макмуллина, М.Митчелл, Р. Да Силва и др.
Кроме этого можно выделить широкий спектр публикаций, связанных именно финансовыми рынками, а именно с прогнозированием доходности на фондовом и валютном рынках с помощью искусственных нейронных сетей (вплоть до сегментации по географической принадлежности). В числе интересных работ можно отметить исследования М. Амин и др., Й. Боллен и др., Й.-К. Квон и др., П. Тенти, Х.-Г. Циммерманна и др.
Однако во многих опубликованных работах наблюдается следующая
дихотомия: с одной стороны, в крупных фундаментальных трудах проводится
детальный разбор типов искусственных нейронных сетей, принципов их
построения и особенностей обучения, зачастую без практического применения
предлагаемых моделей (особенно на финансовых рынках); с другой стороны, в
практических статьях в большинстве случаев главной целью ставится финансовая
результативность исследуемой модели (доходность виртуального
инвестиционного портфеля), но при этом не проводится достаточно глубокий разбор теоретических выводов. Важной особенностью данной работы является синтез практического применения построенных моделей и теоретического анализа полученных результатов.
Основная научная гипотеза состоит в том, что модели искусственных нейронных сетей могут имитировать формирование ожиданий репрезентативного агента (инвестора) на финансовых рынках. Основными характеристиками процесса формирования этих ожиданий считаются ограниченная рациональность,
самообучение, а также возникновение субъективно полных картин будущего (self-
attribution) на основе сценарной интерпретации прошлой информации. Эти
особенности способа принятия инвестиционных решений эффективно
имитируются с помощью конкурентных механизмов предварительной обработки
входных данных (по сравнению с другими методами обработки, а также
методами, не использующими предварительную обработку входных данных) в
самоорганизующихся искусственных нейронных сетях Кохонена – Хакена и
роевой архитектуры. В результате может быть существенно повышено качество
прогнозирования доходности на финансовых рынках развитых стран по критерию
роста виртуального инвестиционного портфеля.
В рамках исследования предполагается, что распределения
логарифмических доходностей на финансовых рынках порождаются механизмом,
систематически отклоняющимся от центральной предельной теоремы, что
соответствует состоянию неполной информационной эффективности. Под
состоянием неполной информационной эффективности подразумевается
определённая временная задержка в обработке данных агентами на финансовых рынках и соответствующая отложенная реакция цен на поступающую информацию. В свою очередь, это служит естественной предпосылкой для прогнозирования динамики финансовых рынков с помощью аналитических моделей, обращающихся к прошлым значениям временных рядов (в том числе моделей искусственных нейронных сетей).
Принятый в диссертации подход позволяет придать строгую
количественную форму результатам, полученным в области поведенческих
финансов, для которых критически важен механизм принятия решений
репрезентативным агентом. Эти результаты затем используются для
прогнозирования финансовых рынков.
Объект исследования - рыночные портфели (фондовые индексы) развитых стран и валютные пары. Предмет исследования - прогнозирование доходности на фондовых рынках развитых стран и валютном рынке с помощью моделей искусственных нейронных сетей с предварительной обработкой входных данных.
Цель диссертационного исследования - предложить способы прогнозирования доходности на фондовом и валютном рынках развитых стран с помощью моделей искусственных нейронных сетей с предварительной обработкой входных данных, которые соответствуют типичным реакциям лиц, принимающих решения, по критерию роста виртуального инвестиционного портфеля, построенного на основе прогнозов сети.
В соответствии с этой целью в работе ставятся и решаются следующие задачи:
показать возможность прогнозирования доходности на финансовых рынках с помощью моделей искусственных нейронных сетей как механизма, имитирующего принятие решений репрезентативным агентом;
сравнить использование метода главных компонент (principal component analysis) и метода независимых компонент (independent component analysis) в качестве различных форм предварительной обработки входных данных для искусственных нейронных сетей при прогнозировании доходности на финансовых рынках;
показать, что предварительная обработка входных данных с помощью методов главных и независимых компонент, которая сводится только к сокращению размерности входного пространства или заданию контекстной памяти, недостаточна для получения эффективного результата при прогнозировании доходности на финансовых рынках;
предложить новую спецификацию искусственной нейронной сети для прогнозирования доходности на финансовых рынках, в которой
предварительная обработка входных данных осуществляется на основе конкурентных механизмов взаимодействия - как внутри одной сети, так и между несколькими независимыми сетями;
решить типичные технические проблемы в построении искусственных нейронных сетей, такие как интерпретация результатов обработки входных данных с помощью метода независимых компонент и подбор начальных значений сети при прогнозировании доходности на финансовых рынках;
на основе полученных результатов получить строгие формальные выводы о применимости определенных видов искусственных нейронных сетей на финансовых рынках различного типа.
Теоретической и методологической основой исследования служат труды известных учёных в области экономики и финансовой математики, среди которых К.Бишоп, Т. Кохонен, Б. Крозе и П. Смагт, К.Файф, С.Хайкин, Г.Хакен, а также другие значимые исследования, посвящённые искусственным нейронным сетям.
Большое значение для выбора автором методов исследования и формирования подходов к анализу искусственных нейронных сетей имели работы В.Р. Евстигнеева, А.А. Ежова и С.А.Шумского, Г.Г. Малинецкого, А.Б. Потапова, И.Р. Пригожина, Й.Фойта, Я. Хейгемана, А. Хюваринена, а также многие работы в области поведенческих финансов.
Информационная база. Для практического тестирования построенных в работе моделей искусственных нейронных сетей были использованы реальные котировки фондового и валютного рынков: официальные данные по фондовым индексам S&P 500 (США), FTSE 100 (Великобритания), DAX 30 (Германия), CAC 40 (Франция), BEL 20 (Бельгия), ATX 20 (Австрия), Nikkei 225 (Япония), а также по валютным парам евро/американский доллар, евро/британский фунт,
евро/японская йена, британский фунт/американский доллар, американский доллар/японская йена.
Научная новизна диссертации заключается в установлении важных особенностей распределения доходностей и ценообразования на финансовых рынках с помощью искусственных нейронных сетей, а также в разработке двух новых моделей искусственных нейронных сетей и уточнении применимости одной существующей для прогнозирования фондового и валютного рынков, а именно:
установлена связь между качеством прогнозирования фондового рынка с помощью предложенных в работе искусственных нейронных сетей по критерию роста виртуального инвестиционного портфеля и наличием «выбросов» в распределении доходностей, доказана способность таких моделей фиксировать редкие движения цен на финансовом рынке;
выявлены особенности ценообразования на фондовом и валютном рынке (доля «шумовой» компоненты), которые обуславливают качество их прогнозирования с помощью искусственных нейронных сетей по критерию роста виртуального инвестиционного портфеля;
для прогнозирования доходности на фондовом и валютном рынках адаптирована модель распознавания образов Хакена на основе метода главных и метода независимых компонент и использована в качестве искусственной нейронной сети с контекстной памятью;
для прогнозирования доходности на фондовом и валютном рынках разработана модель искусственной нейронной сети на основе адаптированной для финансовых рынков модели Хакена и самоорганизующихся карт (сети Кохонена);
для прогнозирования доходности на фондовом и валютном рынках
построена модель из комитета искусственных нейронных сетей,
соединяющая кластеризацию входных данных и обучение нескольких
независимых, конкурирующих, искусственных нейронных сетей.
Следует отметить, что в диссертационном исследовании равное внимание
было уделено как методическим особенностям построения, так и практическому
тестированию моделей искусственных нейронных сетей. Полученные результаты
могут стать важным вкладом в российскую научную литературу по тематике
искусственных нейронных сетей, где наблюдается относительная нехватка
исследований, соединяющих концептуальный анализ и обзор прикладных
результатов применительно к финансовым рынкам, и в целом в развитие
методологии прогнозирования доходности финансовых инструментов.
Теоретическая и практическая значимость исследования. Теоретическая значимость работы заключается в развитии методологии прогнозирования доходности финансовых инструментов, а именно в разработке новых типов предварительной обработки входных данных для моделей искусственных нейронных сетей как механизма принятия решений репрезентативным агентом на финансовых рынках. Сделаны существенные выводы о факторах, которые обуславливают качество прогнозирования доходности на финансовых рынках с помощью моделей искусственных нейронных сетей (по критерию роста виртуального инвестиционного портфеля): среди них наиболее важны «толстые хвосты» распределений, а также доля шумовой компоненты в ценовом процессе.
Практическая значимость работы заключается в том, что были построены работающие прогнозные модели искусственных нейронных сетей с предварительной обработкой входных данных для фондового и валютного рынков развитых стран. Количественно это выражалось в успехе виртуального инвестиционного портфеля, который значительно превосходил рыночную
динамику, модель авторегрессии, а также модель искусственной нейронной сети
без предварительной обработки входных данных. Данный результат
свидетельствует о том, что модели искусственных нейронных сетей с предварительной обработкой входных данных могут быть использованы для прогнозирования доходности на финансовых рынках. Кроме этого, роевая модель искусственных нейронных сетей оказалась способна предсказывать аномальные явления на американском фондовом рынке, что делает её полезным инструментом в арсенале риск-менеджмента.
Результаты, полученные в работе, могут быть востребованы
академическими исследователями в области финансовой математики, рыночными аналитиками и трейдерами, портфельными инвесторами, а также корпоративными риск-менеджерами.
Апробация результатов исследования. Основные выводы и результаты диссертационного исследования нашли отражение в 5 научных публикациях в периодических изданиях, в том числе на английском языке, а также обсуждались на конференциях «Прогнозирование финансовых рынков» на факультете мировой экономики и мировой политики НИУ ВШЭ в 2010 году и 4th International Conference on Pattern Recognition and Machine Intelligence, проходившей в НИУ ВШЭ в 2011 году. Практические построения предлагаемых в работе моделей искусственных нейронных сетей неоднократно разбирались на открытом научно-исследовательском семинаре кафедры международных валютно-финансовых отношений факультета мировой экономики и мировой политики НИУ ВШЭ. По материалам диссертационного исследования подготовлен учебный курс «Нейронные сети и генетические алгоритмы в прогнозировании финансовых рынков», читаемый для студентов 3 и 4 курсов бакалавриата, а также 1 курса магистратуры в Национальном исследовательском университете «Высшая школа экономики» на факультете Мировой экономики и мировой политики.
Диссертация подготовлена по специальности 08.00.10 – Финансы, денежное обращение и кредит, п. 6.8. «Методология оценки доходности финансовых инструментов» Паспорта специальности ВАК.
Структура работы отражает решение ключевых задач, поставленных в научном исследовании. Диссертация состоит из введения, трёх глав, заключения, библиографического списка, содержащего 219 наименований, и приложение. Основная часть работы изложена на 165 страницах, включает 7 таблиц и 46 рисунков.
Принятие решений репрезентативным агентом на основе ограниченной рациональности и самоорганизации: имитация с помощью искусственных нейронных сетей
Модели искусственных нейронных сетей являются вычислительной попыткой имитировать работу биологических нейронных сетей головного мозга человека. Подобные модели широко используются в различных областях науки, однако в фокусе данного исследования является прогнозирование финансовых рынков, поэтому нам важно получить надёжное теоретическое обоснование того, что искусственные нейронные сети могут быть эффективным инструментом для решения этой задачи.
Наша основная задача состоит в том, чтобы с помощью искусственных нейронных сетей, использующих предварительную обработку входных данных, сконструировать такой инструмент, имитирующий механизм принятия решений репрезентативным агентом, который позволит осуществлять успешное прогнозирование финансовых рынков. Критерий, по которому мы будем отслеживать степень решения этой задачи – динамика виртуального инвестиционного портфеля, сформированного в соответствии с прогнозами сети, и её сопоставление с реальными рыночными данными, а также другими моделями. Однако в этой точке мы сталкивается с очевидной теоретической сложностью. Дело в том, что в соответствии с классическим подходом к механизму ценообразования и распределению доходностей на финансовом рынке мы имеем дело с информационно эффективной системой. Выдвинутая в знаменитой статье Фамы [78] теория информационно эффективного рынка постулирует, что цена финансового инструмента (например, акции) учитывает всю доступную информацию на данный момент времени, в то время как прошлая информация совершенно нерелевантна для процесса ценообразования. Иными словами, ценообразование на информационно эффективном рынке – это марковский процесс первого порядка.
Таким образом, колебания приростов цены на информационно эффективном рынке – это классический белый шум, некоррелированный случайный процесс, подчинённый нормальному распределению. По сути, мы имеем дело с броуновским движением, потому что броуновское движение – это случайный процесс с нормальным гауссовским распределением, который получается – согласно центральной предельной теореме – как предельный переход при достаточно большом количестве взаимно независимых случайных процессов (ожиданий).
Заметим при этом, что в соответствии с законом Больших чисел, имея большую эмпирическую выборку, исследователь теоретически в состоянии предсказать, например, математическое ожидание случайного процесса. Однако одна из главных трудностей работы с финансовыми рынками состоит как раз в том, что эмпирическая выборка (в сравнении, например, с естественными науками) достаточно ограничена. Более того, изменения на финансовом рынке происходят чрезвычайно быстро и порой носят весьма резкий характер, что в корне меняет ключевые характеристики всей системы.
Из этого можно сделать вывод, в условиях информационно эффективного рынка, ограниченность временной выборки делает принципиально невозможным сделать прогноз хотя бы на один период наблюдения вперёд и любые попытки заработать на колебании курсовой стоимости финансового инструмента на сколь-нибудь длительном промежутке времени – это игра с нулевой средней.2 В тоже время есть ряд аргументов за то, что информационно эффективный рынок (даже для развитых стран) – это определённое идеальное состояние, редко достижимое на практике. Согласно Гроссману и Стиглицу [94], рынок постоянно колеблется вокруг точки информационной эффективности, потому что стимулы участников рынка к получению и обработке информации непостоянны во времени. Более того, целый научный пласт – поведенческие финансы (behavioral finance) – выдвигает на передний план именно фигуру, принимающую решения на рынке. Так в, работе Канемана и Тверски [115] проводится важное разделение между объективной и субъективной вероятностью отдельного индивидуума, что ведёт к существенному отклонению рыночного распределения от предсказываемого теорией информационной эффективности. В работе [39] рассматриваются эффекты недостаточной и избыточной реакции (underreaction/overreaction) рынка на происходящие события, что также противоречит теории информационной эффективности. Если мы будем анализировать сам финансовый рынок и его структуру, то тоже получим свидетельства того, что распределения доходностей на нём далеки от нормального. Так, исследования американского рынка акций методами фрактального анализа позволяют говорить о том, что на практике колебания приростов цены на длительном временном интервале – это комбинация случайного процесса, диссипативного хаоса и даже более строгих детерминистических концепций – например, состояния имманентных катастроф во время резких обвалов рынка или периодов эйфорического роста [71]. Более того, состояния, когда собственные предыдущие флуктуации определённым образом влияют на прирост цены финансового инструмента в будущем, являются доминирующими в общем временном распределении различных состояний рынка, а состояния информационно эффективного рынка относительно редки. Отсюда следует важный вывод относительно того, что информация, касающаяся прошлых состояний рынка релевантна для прогнозирования будущего.
В исследованиях Сорнетте [185,187] фиксируется наличие сильных выбросов (dragon-kings) на фондовом рынке, которые не могут быть предсказаны на основе нормального закона. Отсюда делается вывод о том, что рынок в действительности подчиняется не нормальному, а степенным законам, что обуславливает его поведение как сложной самоорганизующейся системы и приводит к катастрофическим ситуациям (кризисам).3 Это крайне важное наблюдение, которое говорит о том, что попытки моделировать финансовые рынки с помощью многоагентных систем, которые также обнаруживают явление самоорганизации, а отдельным агентам вменять механизм принятия решений по принципу искусственной нейронной сети, является правильным исследовательским шагом.
В качестве собственной проверки характера распределений на финансовых рынках автор данного исследования провёл тестирование американского фондового рынка на предмет соответствия распределения доходностей на нём нормальному закону.
Для этого был использован статистический критерий согласия Ястремского, который позволяет определить, подчиняется ли выбранное эмпирическое распределение определённому теоретическому закону. В нашем случае проверялось соответствие распределения доходностей на фондовом рынке нормальному закону - как предсказывает теория информационной эффективности.
Основные характеристики, типология и принципы построения искусственных нейронных сетей при прогнозировании финансовых рынков
Искусственные нейронные сети обладают рядом важных характеристик, которые могут быть задействованы при построении моделей, имитирующих механизм принятия решений, на финансовых рынках. Выделим некоторые из них, которые могут быть особенно полезны с точки зрения прогнозирования финансовых рядов (подробнее см. [19]): 1) Распределённость. Распределённые системы имеют определённое преимущество по сравнению с иерархическими в качестве, скорости обработки информации, безопасности её хранения, а также общей устойчивости. В качестве примеров можно привести распределённые электрические сети, сеть Интернет, а также уже упоминавшиеся выше природные сообщества животных. 2) Нелинейность. В отличие от обычных эконометрических моделей искусственные нейронные сети обрабатывают поступающие сигналы нелинейно, причём такой нелинейный ответ присущ каждому из элементов этой распределённой системы. 3) Итеративность. Информация, представленная искусственной нейронной сети, как правило, несколько раз и различными способами (в зависимости от выбранного метода обучения) проходит обработку внутри её конструкции. Благодаря этому значительно повышается вероятность сходимости сетей и достижения желаемого оптимума (например, минимизации ошибки), а также появляется возможность их точной настройки под конкретный массив данных. 4) Адаптивность. Искусственные нейронные сети способны реагировать на получаемую обратную связь из внешней среды и адаптироваться к ней. Под адаптацией обычно понимается изменение весов внутри сети (подробнее об этом речь пойдёт ниже), однако существуют и такие сети, которые могут существенно изменять свою архитектуру в ответ на сигналы извне. Например, если внешнее пространство усложняется и требуется больше усилий для обработки поступающей информации, но в сеть может быть добавлено несколько дополнительных нейронов или даже их слоёв. 5) Стандартная архитектура и гибкость в применении. Искусственные нейронные сети достаточно легко поддаются базовой классификации, что определяет основные принципы и относительную простоту их построения. Это, в свою очередь, придаёт сетям универсальность в решении разнообразных задач и масштабируемость: из двухслойной нейронной сети несложно сделать трёхслойную сеть, обладающую теми же основными параметрами. Кроме этого, в отличие от эконометрических моделей, искусственная нейронная сеть не вменяет исследуемому процессу жёсткие параметры, что обеспечивает гибкость аппроксимации. 6) Работа с контекстной информацией (память). Это качество присуще далеко не всем искусственным нейронным сетям, а только продвинутым моделям (например, сетям Хакена, рекуррентным сетям). Использование контекстной информации является важным преимуществом искусственных нейронных сетей в обработке информации и ещё больше сближает её с биологическими нейронами. Реакция такой сети обусловлена не только конкретными входными значениями, но и их последовательностью, поэтому сеть может эффективно обрабатывать информацию даже из повторяющихся временных рядов. Кроме этого, выходное значение сети будет зависеть от её собственных предсказаний на предыдущих шагах. Далее мы перейдём к основным принципам построения искусственных нейронных сетей. Для того чтобы построить любую сеть, необходимо задать ряд важных параметров, которые будут непосредственным образом влиять на её функционирование.
Во-первых, следует определить архитектуру искусственной нейронной сети. Под архитектурой в данном случае понимается конструкция узлов, через которые проходит поступающий в сеть сигнал, а также схема связей между этими узлами. В узлах сети расположены нейроны, которые отвечают за обработку и дальнейшую передачу информации, а взаимосвязь между ними обеспечивается весами. Веса искусственной нейронной сети также выполняют функцию связующих звеньев между различными ансамблями нейронов – слоями. Такая конструкция также является отсылкой к биологии. Нейрон головного мозга состоит из тела клетки и дендритов – ответвлений, которые получают информацию от других нейронов. В свою очередь, отросток, называемый аксоном, передаёт информацию от данного нейрона к другим. Участки контактов между нейронами называются синапсами (этот термин перекочевал и в искусственные нейронные сети): здесь волна деполяризации проходит по мембране аксона, и происходит передача химического сигнала.
Архитектура искусственной нейронной сети имеет целью воспроизвести эти биологические процессы, причём в простейшем случае слои нейронов расположены линейно. Предполагается, что информационные потоки (x1, x2,…xn) проходят по ним последовательно, один за другим, и преобразуются в значения выходного слоя (y1, y2, …,ym). Такая сеть называется сетью прямого прохода (feed-forward network), и мы будем активно использовать её при практических построениях в работе. На рис. 1 изображена двухслойная (входные данные, скрытый, выходной слои) сеть прямого прохода. Заметим, что наличие входных данных и выходного слоя – это обязательное условие построения любой искусственной нейронной сети, а количество скрытых слоёв можно регулировать в зависимости от сложности обрабатываемого массива данных. Таким образом, чтобы определить архитектуру искусственной нейронной сети нужно минимально задать количество слоёв, количество нейронов в каждом слое и связи между ними.4
Прогнозирование финансовых рынков с помощью искусственной нейронной сети, обученной по методу Левенберга-Марквардта и использующей снижение размерности входных данных (упрощение картины мира)
Первая проблема, к решению которой мы обратимся в данной главе при построении моделей искусственных нейронных сетей, связана с необходимостью уменьшения размерности входных данных. Вкратце поясним суть этой проблемы. Допустим, мы предполагаем, что информация о процессе прироста цены на финансовый инструмент полностью содержится в соответствующих данных за последние две недели торгов. Если мы оперируем дневными котировками, то это ведёт к необходимости создания входного массива из десяти значений и как минимум десяти нейронов в скрытом слое искусственной нейронной сети, потому что существует эвристическое правило о том, что число нейронов в скрытом слое должно быть не меньше числа входных значений в сети [129]. В действительности ситуация на практике может быть ещё хуже, если, например, требуется восстановить вероятностное распределение некоторого множества по конечному числу точек. В этом случае необходимый объём выборки будет равен 10d, где d – это размерность множества [12]. Проблема, связанная с экспоненциальным ростом числа необходимых данных ввиду увеличения размерности входного пространства, также получила название «проклятие размерности» (curse of dimensionality) и является существенной трудностью в процессе построения различных аналитических моделей. [43]. В финансовом анализе объём выборки редко превышает несколько тысяч значений (порядок 103-104), и, следовательно, исследователю вряд ли удастся достоверно восстановить ряд, размерностью выше 3-4. Более того, учитывая, что в нашем случае веса в сети будут ежедневно переоцениваться с целью максимального соответствия меняющейся ситуации на рынке (метод «скользящего окна»), мы неминуемо столкнёмся с длительным периодом вычислений, а это может быть недопустимо в условиях, когда принимать решения требуется достаточно быстро и оперативно. Кроме этого, могут возникнуть такие дополнительные проблемы, как плохая сходимость весов, мультиколлинеарность входных данных, увеличение доли шумов и возможное переобучение искусственной нейронной сети. В конечном счёте, всё это ведёт к тому, что сеть будет делать прогноз с заведомо высоким значением ошибки.
В данном разделе мы предположим, что снижение размерности входного пространства поможет существенно улучшить работу искусственной нейронной сети в вопросах прогнозирования фондового и валютного рынков развитых стран. В качестве инструментов снижения размерности данных мы будем использовать рассмотренные в разделе 2.1. методы главных и независимых компонент. Заметим, что исследователи нередко комбинируют PCA и ICA с искусственными нейронными сетями, в т.ч., для получения прогнозов в финансах [92, 142, 173].
Метод главных компонент часто применяется для снижения размерности, в т.ч. для построения прогнозов финансово-экономических временных рядов [45, 160, 203]. Данный вопрос решается в рамках PCA достаточно просто. Новые оси (собственные векторы матрицы Q) из (8) ранжируются в соответствии со своими собственными значениями и дают представление о степени разброса признака (дисперсии) X вдоль них. Это и есть главные компоненты, содержащие наиболее важную информацию о процессе. В зависимости от поставленной задачи, мы затем можем спроецировать вектор X только на некоторые из них (вплоть до одной) и даже привести полученный результат к скалярному значению, например, взяв среднее значение реконструированного вектора. Тем самым мы существенно сократим размерность входного пространства и одновременно выделим значимую информацию. Метод независимых компонент также используется для уменьшения размерности входного пространства данных, более того, ряд исследований проводит его сравнение с методом главных компонент в этом вопросе [130, 201]. Однако в случае с ICA задача снижения размерности обстоит несколько сложнее, потому что, как было сказано выше, знак, абсолютное значение и дисперсия элементов демикширующей матрицы W и реконструированного вектора s из (12) неопределенны. Для решения этой трудности нами предлагается использовать следующий алгоритм. Мы будем анализировать вклад каждой из независимых компонент в развитие процесса в базисном периоде (т.е. во временном периоде, которому соответствует эмпирический вектор x). При этом мы будем использовать не демикширующую матрицу W, а микширующую матрицу A из (11), на том основании, что именно она определяет влияние независимых компонент на наблюдаемый процесс. Вначале мы берём среднее значение каждого столбца матрицы A, что соответствует влиянию независимой компоненты на процесс в течение базисного периода – фиксируется номер столбца с максимальным средним значением. После этого мы перемножаем элемент наиболее «влиятельного» вектора-столбца матрицы А, соответствующего последнему по времени значению базисного периода, и элемента реконструированного вектора s, который соотносится с «влиятельным» вектором. Это делается в силу того, что мы получили реконструированный вектор s для всего базисного периода, но хотим получить прогнозную доходность финансового инструмента, которая формируется как логарифмическая разность цены текущего периода с предыдущим – то есть с последним по времени в базисном периоде.
Прогнозирование фондового и валютного рынков с помощью роевой архитектуры искусственных нейронных сетей, использующей кластеризацию данных в качестве инструмента предварительной обработки
При построении нейросетевой модели, основанной на роевом обучении, мы будем пытаться воспроизвести эволюционные процессы оптимизации и проверить, будут ли они настолько же успешны в прогнозировании финансовых рынков, как и в развитии биологических организмов. Начнём с того, что условие независимости отдельных искусственных нейронных сетей заставляет нас особым образом обрабатывать выборку, которая им предъявляется. Дело в том, что в самом начале построения модели нам нужно сконструировать несколько одинаковых нейронных сетей, каждая из которых будет анализировать свой наблюдаемый процесс, причём эти сети следует сделать идентичными по архитектуре. Такие различия как число нейронов, слоёв или тип функции активации представляются нам некорректными, потому что в таком случае мы в неявном виде предопределим преимущество одной из сетей, чьи базовые «настройки» окажутся наиболее адекватными ситуации на рынке. Однако в этом случае мы неизбежно столкнёмся с тем, что, обучаясь, на одинаковых данных, созданные искусственные нейронные сети будут выдавать один и тот же результат, и никакой конкуренции между ними не будет.
Мы предлагаем оригинальный выход из данной ситуации, который состоит в том, чтобы обучать каждую нейронную сеть на отдельной подвыборке, вычлененной из общего исходного массива – в этом будет заключаться предварительная обработка входных данных в модели. Концептуально мы основываемся на непараметрическом подходе к расчету функции плотности вероятности, в соответствии с которым наблюдаемое распределение состоит из локальных гауссовских распределений (kernel density estimation) [156, 171]. При этом полученная смесь распределений может уже отличаться от нормальных, например, иметь несколько мод.
В качестве исходного массива мы будем рассматривать 200-точечный вектор доходностей финансового инструмента и затем разбивать его на определённое число независимых сегментов. Сегментирование данных будет производиться в соответствии с расстоянием Дженсона-Шеннона, которое является средним расстоянием (энтропией) Кульбака-Ляйблера и часто использует для оценки различий между несколькими распределениям [53].
Сама процедура сегментирования может быть представлена следующим образом [211]: 1. Исходный массив данных может быть разбит на n-число отрезков (сегментов). Для этой цели мы должны задать два параметра: а) минимальное количество точек, которое будет задавать распределение – в нашем случае оно будет равно 10; б) пороговое значение расстояния Дженсона-Шеннона, с помощью которого можно будет проводить различия между сегментами (распределениями), в нашем случае оно будет равно 2. 2. Проводится итеративная процедура деления скользящего 200-точечного массива на сегменты. На первой итерации массив разбивается надвое. Точку разделения мы определяем на основе расстояния Дженсона-Шеннона, измеряемого между исходным распределением и если бы оно было представлено смесью из двух нормальных распределений слева и справа от этой точки (42).
На следующих итерациях каждая из двух получившихся в п.2 частей разбивается надвое, затем уже каждая из четвертей, восьмых и так далее до тех пор, пока не будет выполнено одно из условий из п.1: либо длина сегмента становится равна минимально установленному размеру распределения (10 точек), либо расстояние Дженсона-Шеннона становится ниже порогового значения (2), т.е. распределение и смесь из двух его частей уже невозможно отличить одно от другого в информационном плане.
При этом важно сказать, что мы не ставили задачу качественной экономической интерпретации рассчитанных кластеров, например, соответствует один из кластеров бычьему тренду, другой - медвежьему и т.п. Признавая значимость этого вопроса, мы полагаем, что ему должно быть посвящено отдельное исследование, выходящее за рамки научного поиска данной работы.
Сведение нескольких групп данных в кластеры и определение оптимального числа этих кластеров - это нетривиальная задача, в решении которой могут быть использованы различные подходы. В нашей модели мы будем использовать метод к-средних [188]. Каждый из получившихся сегментов может быть нанесён на плоскость как точка с двумя координатами - параметрами распределения (среднее значение и стандартное отклонение). После этого мы начинаем группировать эти точки вокруг центров кластеров, определяя центры так, чтобы суммарное квадратичное отклонение точек от центров было минимальным. Выбор количества кластеров производится эвристическим способом. Мы последовательно увеличиваем число кластеров, до тех пор, пока качество кластеризации не перестаёт существенно увеличиваться [193].
На основе этого результата на следующем шаге мы задаём точно такое же количество отдельно функционирующих искусственных нейронных сетей, которые будут конкурировать между собой. При этом следует отметить, что средние длины кластеров отличаются друг от друга не более чем на 20%, из чего мы можем сделать допущение, что каждая из сетей будет работать с информационной выборкой примерно равной мощности. Кроме этого, проведённый анализ кластеров показал, что они распределены внутри общего массива достаточно равномерно, т.е. явные концентрации данных одного типа на отдельных сегментах (например, в начале или в конце массива) отсутствуют.
В данной модели мы будем работать с простыми искусственными нейронными сетями прямого прохода, потому что хотим оценить эффект от предварительной обработки данных в форме кластеризации и внедрения роевого механизма обучения, а не от сложных взаимосвязей внутри конструкций самих сетей.
