Содержание к диссертации
Введение
1. Построение детерминированных моделей по временным рядам 16
1.1. Реконструкция фазовых переменных. 17
1.2 Построение отображения на секущей Пуанкаре. 18
1.3. Байесов подход к реконструкции динамических систем . 19
1.4. Модификация Байесова подхода. 23
1.5. Параметризованная модель оператора эволюции. 25
1.6. Классификация режимов поведения известной ДС по коротким зашумленным ВР. 27
1.7. Прогноз качественного поведения по слабонестационарному ряду. 32
2. Фундаментальные проблемы детерминированного моделирования . 40
2.1. Оверимбеддинг 40
2.2. Диагностика оверимбеддинга 42
2.3. Следствия оверимбеддинга. 44
2.4. Выводы. От детерминированных к стохастическим моделям. 47
3. Построение стохастических моделей: описание подхода . 50
3.1. Байесов подход к реконструкции случайной динамической системы 51
3.2. Детерминированная и стохастическая компоненты случайного оператора эволюции 52
3.3. Модели детерминированной и стохастической компонент в виде искусственных нейронных сетей 53
3.4. Обобщение на случай слабонеавтономных динамических систем. 54
4. Построение стохастических моделей: приложения и примеры . 57
4.1. Реконструкция СДС с неоднородным, негауссовым и небелым динамическим шумом. 58
4.2. Мерограммы. 59
4.3. Прогноз в случае неоднородного и негауссова шума . 60
4.4. Прогноз "из простого в сложное". 61
4.5. Стохастические модели детерминированных систем. 62
4.5.1. Одномерная стохастическая модель отображения Эно. 63
4.5.2. Стохастическая модель двух связанных систем Ресслера. 66
5. Принцип минимальной длины описания при глобальной реконструкции динамических систем. 72
5.0. Недостатки существующих методов определения размерности вложения. 72
5.1. Инвариантное определение минимальной дескриптивной длины. 73
5.2. Использовние метода МДД для определения минимальной размерности вложения 77
Заключение. Основные результаты, выносимые на защиту. 84
Список работ автора по теме диссертации 86
Литература 92
- Байесов подход к реконструкции динамических систем
- Диагностика оверимбеддинга
- Детерминированная и стохастическая компоненты случайного оператора эволюции
- Прогноз в случае неоднородного и негауссова шума
Введение к работе
В диссертационной работе излагается последовательный подход к реконструкции динамических систем и долгосрочному прогнозу возможного изменения их качественного поведения, как одной из возможных целей такой реконструкции. Динамической системой (ДС) мы будем называть объект, состояние которого описывается точкой фазового пространства, или фазовыми переменными, и изменяется во времени по закону, задаваемому оператором эволюции. Под реконструкцией здесь понимается построение математической модели оператора эволюции (ОЭ) системы по временному ряду, представляющему собой результаты последовательных измерений некоторой физической величины, связанной с фазовыми переменными моделируемой системы. Измерения при этом производятся с конечной точностью. В работе рассматривается два вида ДС - детермини- -рованные и случайные или стохастические. Детерминированной называется такая ДС, будущие состояния которой однозначно определяются текущим, или по-другому начальными условиями. Под стохастической ДС понимается система, оператор эволюции которой в каждый момент времени является случайным. Физическим объектом, описываемым случайной*' ДС, является система, испытывающая случайные воздействия в процессе эволюции, которые часто называют динамическим или интерактивным шумом.
Разработке методов реконструкции ДС по порожденным ими временным рядам посвящено в последние тридцать лет большое количество работ (см., например, [1-3] и цитируемую там литературу). Такой подход не требует наличия полной и детальной априорной информации о процессах, протекающих в системе, в том смысле, что не включает в себя процедуру построения моделей из первых принципов (уравнений движения среды или отдельных частиц, уравнений для силовых полей, переноса излучения, химической кинетики, тепло и массопереноса и пр.). Математическая модель ОЭ исследуемой ДС при этом строится путем прямого анализа на-
блюдаемых данных, вообще говоря, без каких-либо допущений о природе изучаемого явления.
ОЭ ДС представляет собой отображение фазового пространства в себя, поэтому для построения его модели необходима реконструкция фазовых переменных системы. Фундаментальной основой методов реализации этого шага являются доказанные Такенсом теоремы [4], а также их обобщения на случай неавтономных и стохастических систем [6], в которых строится вложение фазового пространства произвольной ДС по последовательным измерениям произвольной скалярной функции фазовых переменных. Это вложение представляет собой взятые в достаточном количестве с фиксированным шагом по времени измерения, и носит название «метода координат с задержками». Количество таких координат является, тем самым, размерностью вложения, достаточная величина которой составляет 2D+J, если D - размерность исходной ДС. После того, как последовательность состояний ДС восстановлена, может быть сформирован набор пар образов и прообразов, связанных искомым оператором эволюции. Специфика моделирования ДС состоит, в том, что прообразы определяются собственной эволюцией ДС, а не выбираются в процессе эксперимента. Следствием этого является необходимость хаотичности детерминированной ДС, для того, чтобы ее реконструкция была возможна. В то же время стохастическая ДС в ряде случаев может быть восстановлена и по более простым режимам [102].
По подходам к их построению модели ОЭ можно разбить на две группы [1,2] - локальные и глобальные. К первым относятся модели, определяемые в отдельно взятых элементарных ячейках фазового пространства. При их построении используется идея разложения ОЭ в ряд. В качестве функций, аппроксимирующих данный ОЭ, используются полиномы различной степени [7] (в частности, полином нулевой степени — в этом случае предсказание заключается в простом усреднении по образам всех точек из выбранной окрестности), так и более сложные функции, например, систе-
мы радиальных базисных функций [8]. В случае хаотической динамики такие модели обеспечивают характерное время предсказания, обратно пропорциональное значению старшего ляпуновского показателя ВР, являющегося мерой разбегания изначально близких фазовых траекторий на хаотическом аттракторе [9]. Для успешной реконструкции поведения системы с помощью описанных локальных моделей необходимо, прежде всего, чтобы окрестность каждой точки исследуемого аттрактора была хорошо посещаема восстановленной фазовой траекторией, т. е. протяженность наблюдаемого ВР (объем данных) должна быть достаточной для хорошего покрытия всего аттрактора. Другим требованием к наблюдаемым данным является стационарность исследуемого ВР (предполагающая постоянство управляющих параметров реконструируемой системы), поскольку описанные методы базируются на эргодической гипотезе. Главным недостатком-локальных моделей является очень большое количество коэффициентов, требуемых для их описания, что очевидным образом снижает точность реконструируемых характеристик системы. Кроме того, высокая чувствительность к измерительному шуму сильно затрудняет их использование при работе с реальными данными. Вследствие перечисленных ограничений локальные модели используются для краткосрочного количественного прогноза эволюции ДС [7].
В противоположность локальным моделям глобальные модели оператора эволюции определяются во всей области фазового пространства, соответствующей наблюдаемому ВР. Привлекательность такого подхода связана с тем, что весь набор имеющихся данных описывается моделью с небольшим (по сравнению с локальными моделями) числом параметров. Более того, с помощью глобальных моделей можно отслеживать изменения управляющих параметров исходной системы, что находит применение в задачах реконструкции неавтономности системы [10-14,101,102], восстановления бифуркационных диаграмм [15-18], передачи информации [19-21] и т.д. Чаще всего глобальная модель строится в виде дискретного ОЭ,
описывающего связь между состояниями системы, соответствующими соседним по времени пересечениям фазовой траектории с выбранной секущей аттрактора в восстановленном фазовом пространстве. При этом для аппроксимации ОЭ могут использоваться различные функции, такие как, например, системы ортогональных полиномов [22], системы радиальных базисных функций [8,23,24], искусственные нейронные сети (ИНС) [12,13,25,26] и др. Кроме того, предложены методы построения потоковых глобальных моделей, представляющих собой системы дифференциальных уравнений заранее выбранного вида [27-32].
Глобальная модель ОЭ строится в виде функции, зависящей от набора свободных параметров. При этом задача реконструкции ДС сводится к определению этих параметров. Теоретической основой такого определения, при условии, что функциональный вид модели постулируется, является теорема Байеса [44], которая связывает апостериорную плотность вероятности параметров модели (АПВ) с результатами измерений, а также с априорными распределениями параметров, отражающими априорные представления о моделируемой системе. Часто в качестве оценки параметров модели принимаются их наиболее вероятные значения, т.е. значения, соответствующие максимуму АПВ. Частными случаями такого подхода являются метод наименьших квадратов (МНК) (см., например, [9,33,35]), соответствующий системе с однородным динамическим шумом; метод обобщенных наименьших квадратов (МОНК), эффективный в задачах аппроксимации данных, когда погрешность присутствует как в образах, так и в прообразах реконструируемого отображения [34,36,37]; метод множественной стрельбы [39,49], учитывающий «долгие» корреляции наблюдаемой динамической переменной. Одной из целей диссертационной работы является разработка и эффективная реализация «полной версии» Байесова подхода к глобальной реконструкции ДС, позволяющего извлекать из наблюдаемого ВР максимально полную информацию об исследуемой системе.
Попытки построения методик глобальной реконструкции детерминированных ДС, в которых в основе производимых оценок лежат статистические соображения, начали предприниматься сравнительно недавно. Первой работой, направленной на получение несмещенной оценки параметров известной ДС по зашумленному хаотическому ВР, является статья [40], в которой, во-первых, продемонстрировано растущее с увеличением уровня шума систематическое смещение оценок, полученных с помощью МНК и МОНК, и, во-вторых, предложена ценовая функция на основе инвариантной меры модели. На примере ВР, сгенерированного логистическим отображением, показано отсутствие систематической погрешности реконструкции параметра данной системы во всем представленном диапазоне уровня шума. Однако, как было отмечено в последующих работах [38, 41], предложенный метод построения ЦФ содержит ряд неточностей, связанных с неправильной статистической интерпретацией переменных, при этом использование предложенной ЦФ сопряжено с большой вычисли-тельной сложностью. Кроме того, в этих работах, а также в [42-44] отмечается трудность практического использования апостериорной плотности вероятности ненаблюдаемых, построенной статистически корректным' образом (в рамках «классического» Байесова подхода), в случае реконструкции динамической системы по зашумленному хаотическому ВР существенной протяженности. Основная проблема заключается здесь в практической невозможности учета «динамичности» системы в полной мере, что отражается в чрезвычайно сложной («изрезанной») структуре соответствующей функции АПВ. Поскольку именно хаотические ВР, неся в себе информацию о значительной части фазового пространства системы, представляют особый интерес с точки зрения глобальной реконструкции ДС, преодоление данной трудности является очень существенным шагом, на что и были направлены дальнейшие усилия в разработке Байесовых методов. Так, работе [41] предлагается подход, основанный на смягчении требований к динамичности исследуемой системы: при построении искомой АПВ предпо-
лагается наличие (кроме детерминированной) слабой стохастической связи между латентными переменными системы, т.е. по сути, в модель вводится динамический шум. Несмотря на то, что, как отмечено в работе [42], авторы фактически «неправомерно» подменили динамическую задачу стохастической, продемонстрировано, что такой подход позволяет получить несмещенные оценки на искомые характеристики системы. В работе [44] нами было показано, что при этом существенно снижается точность реконструкции из-за ослабления априорных требований к системе. В другой работе [38] предложена идея сегментации исходного ВР, при этом налагается требование, чтобы модель «максимально хорошо» воспроизводила наблюдаемую траекторию на этих сегментах. Вопросы выбора оптимальной длины сегмента, а также способа корректной оценки точности реконструкции остаются при этом открытыми.
В первой главе диссертационной работы развивается способ модификации Байесова подхода, направленный на построение функции АПВ, который корректно учитывает статистику шумов, и в то же самое время максимально возможным образом принимает во внимание динамичность исследуемой системы. Указанная выше трудность практического использования Байесова подхода для анализа хаотических рядов преодолевается при этом включением в процедуру реконструкции априорной информации о свойстве динамического хаоса, состоящем в потере информационной связи между отсчетами ряда с увеличением временного интервала между ними. Последнее позволяет получить апостериорное распределение ненаблюдаемых, пригодное для численного анализа. Предлагается также основанный на методе Монте-Карло метод статистического анализа (МСМС) [51,52] построенной функции АПВ, необходимый для расчета доверительных интервалов искомых величин. Отметим, что предложенный метод позволяет, кроме всего прочего, производить оценку параметров распределения шума (например, дисперсию), вообще говоря, неизвестных априори и являющихся ненаблюдаемыми наряду с параметрами модели и латентны-
ми переменными. В качестве возможного приложения формулируется и решается задача классификации режимов поведения ДС по коротким за-шумленным рядам [44].
В качестве одного из приложений предложенного подхода рассматривается задача реконструкции слабонеавтономной ДС (с медленно изменяющимися во времени управляющими параметрами). Наблюдаемый временной ряд при этом является слабонестационарным с масштабом нестационарности многократно превышающим характерные времена изменения динамических переменных. Неавтономность системы означает возможность смены типа поведения (бифуркаций) в процессе эволюции, что влечет за собой существенные (иногда катастрофические) изменения количественных характеристик наблюдаемого процесса, прогноз которых определяет практическую значимость задачи. На модельных примерах продемонстрирован успешный вероятностный прогноз типа поведения системы на времена, превышающие продолжительность наблюдений [10-14].
Вторая глава посвящена анализу фундаментальных ограничений на построение детерминированных моделей. Даже в случае, когда есть основания считать наблюдаемую систему детерминированной, построение по сгенерированному такой системой ВР детерминированной модели и использование этой модели для прогноза качественного поведения системы связано с рядом принципиальных ограничений. Первое — это ограничение на сложность системы. Дело в том, что в соответствии с теоремой Такенса [4], реконструкция фазовой траектории возможна в фазовом пространстве не слишком малой размерности dE: dn > 2ds +1, где ds — размерность фазового пространства системы, породившей исходный временной ряд (ВР). Это означает, вообще говоря, что модель в форме детерминированной ДС (ДДС) корректно описывает поведение реконструируемой системы в подпространстве существенно меньшей размерности ds, чем размерность фазового пространства самой модели dE. Этот эффект называют оверимед-дингом [96]. В силу этого модель оказывается негрубой: она становится
неадекватной системе при сравнительно небольших изменениях управляющих параметров. Второе — это ограничение на направление прогноза. Поскольку ВР содержит информацию только о части фазового пространства, определяемой "текущим" аттрактором, принципиально невозможен прогноз бифуркаций наблюдаемой системы "из простого в сложное". Например, нестационарный скалярный временной ряд позволяет правильно предсказать различные сценарии разрушения демонстрируемого системой хаотического поведения [11], однако прогноз возникновения хаотических осцилляции вследствие разрушения более простых типов поведения ДДС невозможен. И, наконец, третье - это ограничение на априорную информацию. Чтобы подтвердить детерминизм наблюдаемой системы, необходимо установить факт конечной размерности аттрактора, восстановленного по ВР, а также определить наименьшую для этого аттрактора размерности вложения. Существующие методы [1,82] определения упомянутых размерностей не применимы для анализа ВР, порожденных природными (например, атмосферными) системами. Дело в том, что, методы определения размерностей системы плохо работают в случае, когда исследуемый ВР содержит случайную компоненту («шум измерений»). Кроме того, требуемая для корректного определения размерности протяженность ВР степенным образом зависит от размерности системы, так что для не слишком простых систем необходимая продолжительность измерений становится практически недостижимой. Перечисленные ограничения являются, на наш взгляд, причиной того, что эффективность «детерминированной» глобальной реконструкции по временным рядам, порожденным природными системами, продемонстрировано в очень небольшом числе работ [27,28,29]. Реконструкция в форме модели случайной ДС (СДС) позволяет смягчить или преодолеть перечисленные выше ограничения, что делает такой подход существенно более универсальным. С точки зрения математики, СДС - это объект, состоящий из модели шума и модели системы, возмущаемой шумом [106]. Как уже было сказано, с точки зрения физики
СДС - это динамическая система, подверженная случайным внешним воздействиям в процессе эволюции. Известно, что большинство природных систем являются открытыми, то есть подверженными многочисленным внешним воздействиям, поэтому представление природных систем в виде СДС выглядит физически обоснованным. Можно сказать, что задача реконструкции СДС по ВР - это необходимый и важный шаг к реконструкции реальных (природных) систем в ситуации, когда неизвестны их адекватные математические модели, построенные из первых принципов (уравнений газо- и гидродинамики, химической кинетики, балансных соотношений для количества вещества, импульса, энергии и т.д.).
Во второй главе рассматриваются фундаментальные ограничения, обусловленные оверимбеддингом, на применимость изложенных в первой главе подходов к построению детерминированных моделей. Предлагается метод диагностики оверимбеддинга. Формулируется путь преодоления этих ограничений с помощью построения стохастических моделей в пространстве меньшей размерности.
В третьей главе описывается последовательный Байесов подход к моделированию стохастических (случайных) динамических систем по временным рядам. Делаются базовые предположения о шуме, позволяющие эффективную алгоритмическую реализацию подхода. Предлагается универсальная модель случайного оператора эволюции в виде искусственных нейронных сетей.
В четвертой главе на модельных примерах демонстрируются возможности подхода как для создания моделей, адекватно воспроизводящих наблюдаемые стационарные режимы эволюции системы, так и для прогноза смены качественного поведения слабонеавтономных стохастических систем. Показывается, что некоторые фундаментальные ограничения, возникающие в случае детерминированных систем, могут быть преодолены для стохастических систем. В частности, мы демонстрируем успешный прогноз усложнения поведения системы по сравнению с наблюдаемым,
что принципиально невозможно для детерминированных систем. Также в данной главе приводятся примеры успешного прогноза поведения некоторых детерминированных высокоразмерных систем с помощью построения низкоразмерных стохастических моделей.
В пятой главе описывается подход к выбору размерности глобальных моделей динамических систем по зашумленнъьм временным рядам (ВР). Как известно [1], уже при сравнительно небольшом уровне шума используемые для определения размерности вложения методы (метод фальшивых соседей, вычисление корреляционного интеграла и др.) становятся не эффективными. Предлагаемый подход основан на построении глобальной модели в виде искусственной нейронной сети. При этом необходимое количество нейронов и размерность вложения выбираются так, чтобы длина описания была минимальна. В пятой главе показано, что такой подход является существенно более грубым по отношению к уровню и природе шума.
Апробация работы
Изложенные в диссертации результаты докладывались на семинарах и конкурсах работ молодых ученых Института прикладной физики РАН, семинарах НИИ ПМК, ИФА РАН, кафедры математической статистики ВМК МГУ им. М.В. Ломоносова, на семинаре "Российская наука ~ XXI век" Минпромнауки РФ, в Лондонском Империал колледже (Великобритания), на конкурсах научных работ, на международных и общероссийских конференциях и совещаниях: 12-ой Генеральной ассамблее Международного союза геодезии и геофизики (1999 г., Бирмингем, Великобритания), Международной конференции, посвященной 100-летию со дня рождения А.А. Андронова "Прогресс в нелинейной науке" (2001 г., Нижний Новгород), Международной конференции Хаос'01 (2001 г., Саратов), 120-ой Фа-радеевской дискуссии Королевского химического общества "Nonlinear Chemical Kinetics: Complex dynamics and Spatiotemporal Patterns" (Манче-
стер, Великобритания, 2001), XXXII Международном научно-
методическом семинаре "Шумовые и деградационные процессы в полу
проводниковых приборах" (Москва, 2001), 4-ом и 5-ом Рабочих совещани
ях программы "REACTOR" Европейского научного фонда (2003 г., Буда
пешт, Венгрия; 2004г., Прага, Чехия), Генеральной ассамблее Европейско
го союза наук о Земле (2005, 2006, 2007, 2008г., Вена, Австрия), Междуна
родном симпозиуме "Topical Problems of Nonlinear Wave Physics" (2005,
2007, 2008г.), Международной конференции "Динамические дни" (2006 г.,
Крит, Греция), 3-ой, 4-ой, 5-ой, 6-ой Нижегородской научной сессии моло
дых ученых (Н. Новгород, 1998, 1999, 2000, 2001 гг.), 9-ой Всероссийской
школе-семинаре "Волны — 2004" (Москва), 6-ой, 7-ой, 8-ой, 9-ой и 10-ой
Всероссийской школе-конференции молодых ученых "МАПАТЭ" (2000 г.
и 2003г., Нижний Новгород; 2004г., Москва; 2005г., Борок; 2006г.,, Моск
ва), 11-ой, 12-ой, 13-ой и 14-ой Научной школе "Нелинейные Волны"
(2002, 2004, 2006 и 2008 гг., Нижний Новгород), 20-ой Всероссийской
конференции по распространению радиоволн (2002 г., Н. Новгород)' 15-ой,
16-ой и 17-ой научной сессии Совета по нелинейной динамике (2006, 2007,
2008гг., Москва). {.
Основные результаты диссертации опубликованы в 4 статьях в реферируемых российских (Известия ВУЗов - Радиофизика) и международных (Faradey Discussions, Physical Review E) научных журналах, 5 препринтах ИПФ РАН, 2 отчетах по программе фундаментальных исследований ОФН РАН, 6 сборниках трудов и 22 сборниках тезисов всероссийских и международных конференций.
Байесов подход к реконструкции динамических систем
Везде далее мы будем полагать, что с помощью вышеизложенных подходов по исходному скалярному временному ряду были восстановлены координаты пересечения фазовой траекторией некоторой секущей Пуанкаре. Тем самым, задача реконструкции сводится к построению модели отображения на этой секущей. Кроме того, для того, чтобы сделать постановку задачи более общей, мы будем считать моделируемую систему неавто-номной.
Удобная для дальнейшего формулировка теоремы Байеса выглядит следующим образом [14]. Допустим, что система, над которой производится эксперимент, обладает набором свойств (параметров) № , прямое измерение которых невозможно, и пусть в процессе эксперимента регистрируются значения величины х. Тогда апостериорная условная плотность вероятности ненаблюдаемых параметров (часто называемое правдоподобием) р(ц х) пропорциональна произведению их априорной плотности вероятности p{fj) и априорной условной плотности вероятности полученных экспериментальных результатов р(х \ ц): p(M\x) = Cxp(ju)xp(x\ju) Как будет видно из дальнейшего, условная плотность вероятности Р(Х\/Л) целиком определяется «способом» зашумления ВР и плотностями вероятности всех присутствующих в ВР шумов. Фактор p(/i) позволяет учесть имеющуюся a priori информацию о системе. Если таковая отсутствует, плотность вероятности р(м) должна быть выбрана постоянной с шириной, заведомо допускающей все мыслимые значения параметров ц. Постоянная С определяется условием нормировки:
Второе уравнение в этой паре выражает наше априорное знание о том, что система является динамической. Далее, в соответствии с теоремой Байеса, имеем функцию апостериорной совместной плотности вероятности ненаблюдаемых и,ц, при условии наблюдения данных х: Рр1(ц,и x,t) ос Р(х n,u,t)i (ii)P (u). (1.8) Второй сомножитель в правой части (1.8) является априорной плотностью вероятности параметров, которая отражает имеющуюся дополнительную априорную информацию о реконструируемой системе. Если такая информация доступна, данная функция ограничивает область искомых значений параметров, обеспечивая, таким образом, дополнительную регуляризацию решения, в противном случае она считается постоянной. Интегрируя функцию (1.8) по латентным переменным, получим функцию апостериорной вероятности параметров ц, содержащую всю информацию об искомом модельном ОЭ: Pps (Р1 х 0 = \PPS 0 u I х ) Л». (1.9)
Говоря о всей информации, мы имеем в виду следующее. Хорошо известны методы оценки параметров ц по заданному апостериорному распределению, основанные на минимизации среднего риска [81], характеризующего качество алгоритма оценки в конкретной ситуации. Выбор оптимального алгоритма оценки зависит от вида так называемой функции потерь (более подробно см. [81]), лежащей в основе расчета среднего риска, которая выбирается интуитивно. Оптимальными оценками при этом могут быть, например, математическое ожидание распределения (1.9) или значение \i, соответствующее максимуму функции (1.9). В данной работе предлагается другой подход к анализу апостериорного распределения, основанный на использовании статистики параметров ц, дающей возможность производить оценки нужных характеристик системы. При этом не производится никаких «точечных» оценок вектора щ поскольку физический смысл параметров модели, вообще говоря, неизвестен.
К сожалению, применение описанного «классического» Байесова подхода к реконструкции ДС по зашумленным хаотическим данным встречает, как указано в [41,42,44], фундаментальные трудности. Увеличение протяженности ВР, желательное для уменьшения эффективного уровня шума измерений, делает невозможным использование АПВ в виде (1.10) для вычислений вероятностей требуемых характеристик. Очевидно, что выражение (1.10) в случае хаотического достаточно длинного ВР будет слишком сложным как для Монте-Карло анализа, так и для поиска наибо-лее вероятных значений параметров и начальных условий. Это обусловлено тем, что из-за фрактальной природы странного аттрактора увеличение длины ряда Т приводит к чрезвычайному усложнению формы областей значений латентных переменных и параметров модели, обеспечивающих существование в фазовом пространстве модели траектории, лежащей в шумовой окрестности фазовой траектории, реконструированной по исходному ВР. Это означает, что зависимость функция (1.10) от своих аргументов становится мультимодальной (сильно изрезанной).
Диагностика оверимбеддинга
Вторым этапом реконструкции является аппроксимация оператора эволюции на основе наблюдаемых данных некоторой однозначной функцией фазовых переменных. Будем называть этот процесс обучением. Такая задача близка к задаче многомерной интерполяции. При этом набор точек {хк}"=1,хк є ЧЯ , в которых значения оператора эволюции можно считать заданными (множество обучения), определяется восстановленной фазовой траекторией. Точность такой интерполяции в каждой точке фазового пространства х может быть оценена, например, по минимальному размеру R(x) симплексов S(x)c вершинами из набора {xfr}f=1, в которых содержится X. (x) = infS(x) (2.1) Симплекс представляет собой многомерный аналог тетраэдра, и задается набором из dL. +1 вершин S = {u,}f_f,+1. Размером симплекса будем называть длину его максимального ребра S = max u,-u . I.J Если ни одного такого симплекса не существует, будем считать R(x) бесконечным. Множество Ае = {х: R(x) є}, назовем областью адекватности по уровню є . В этой области точность восстановления оператора эволюции можно считать наперед заданной.
Поскольку размерность множества обучения (аттрактора) меньше размерности фазового пространства, то точность интерполяции внутри области адекватности будет конечной (поскольку она определяется величиной а ) даже при неограниченной длине ряда. Если априорные ограничения на возможные модели не обеспечивают глобальную устойчивость области адекватности, то модель с высокой вероятностью может оказаться не грубой.
Таким образом, при построении оператора эволюции можно ожидать, что он будет описывать динамику исходной системы с точностью є в области фазового пространства, совпадающей с АЕ. Из приведенных выше рассуждений очевидно, что конечная точность аппроксимации может быть достигнута только внутри минимального выпуклого множества А , включающего все восстановленные точки в фазовом пространстве { },. Поэтому выглядит разумным введения следующего критерия «качества», определяемого отношением мер (гиперобъемов) достижимой и полной областей. V(A) (2.2) На рисунке 2 приведена зависимость характеристики качества реконструкции (2.2) от размерности вложения для ряда, сгенерированного системой Макея-Гласса для параметра т = 19.5 для нескольких различных є. "wol.dat" u i:(C3/S2) -"wol.dat" u i: 4/$2) -"wol.dat" u l;(SS/32) Рис.2.2. Зависимость характеристики (2.2) от размерности вложения для ряда, сгенерированного системой Макея-Гласса для є = 0.5,0.25,0.1 (сверху вниз соответственно). Как видно из рисунка 2.2, характеристика (2.2) становится близкой к нулю при размерности вложения, определяемой методом фальшивых сосе дей, как наименьшая d=6 (см. рис. 2.1) при є = 0.5. При є = 0.25 это происходит в уже в размерности, на единицу меньшей минимальной размерности вложения, а именно при d-5. Для точности = 0.1 это происходит в размерности, еще на единицу меньшей при d=4. Другими словами, это означает, что детерминированная модель, построенная при данной размерности вложения, будет адекватно описывать динамику исходной системы на множестве меры нуль, что вряд ли может иметь какой-либо прикладной смысл.
Размерность аттрактора, восстановленного по ряду, использованному при построении зависимостей, приведенных на рисунке 2.2, составляет 2 (см. рис. 2.1). На рисунке это находит отражение в том, что предложенная характеристика слабо зависит от разрешения є до этой размерности, и начинает резко падать после ее превышения. Тем самым, приведенная характеристика может использоваться для диагностики оверимбеддинга.
Очевидно, что оверимбеддинг является случаем общего положения и отражает тот факт, что минимальная размерность вложения существенно превышает размерность наблюдаемого аттрактора. Более «экономичное» вложение если и может быть построено, то только при существенной априорной информации о системе.
Неутешительным выводом из всего вышесказанного является то, что построение детерминированных моделей по скалярным временным рядам возможно только для низко размерных систем. При этом результат зависит не только от динамических характеристик исходной системы и размерности вложения, но и от удачности выбора фазовых координат. Проиллюстрируем это на наглядном примере.
В первой главе мы приводили пример успешного прогноза качественного поведения системы Ресслера с помощью построения двумерного отображения. Размерность d=2 для отображения выбиралась в соответст вий с оценкой минимальной размерности вложения, произведенной методом фальшивых соседей. Скалярный ряд, по которому строилась модель, представлял собой отсчеты переменной х системы (1.21). Сечение восстановленного с задержкой г - 3 аттрактора на секущей Пуанкаре (множество обучения) показано на рис.2.3 (левая панель). Характеристика качества (2.2) при этом составляет 0.63. Теперь для сравнения восстановим фазовые переменные с вдвое меньшей задержкой. Сечения аттракторов, полученные по ряду переменной х, сгенерированному системой Ресслера (1.21) при с=5. Слева с задержкой г = 3. Справа с задержкой г - 1.5. Под рисунками указаны соответствующие значения характеристики (2.2).
В соответствии с изложенными выше соображениями, следует ожидать, что прогноз, построенный во втором случае, окажется менее точным. На рис.2.4 приведены его результаты в сравнении с исходным, который подтверждают выдвинутое предположение.
Несмотря на то, что в случае большей задержки среднеквадратичная невязка при обучении была больше (1.5% против 0.8% во втором случае), был предсказаны моменты времени всего обратного каскада удвоений с точностью 20%. Тогда как в случае меньшей задержки при восстановлении фазовых переменных даже ближайшие бифуркации оказываются сильно смешенными во времени.
Неудовлетворительный прогноз в условиях оверимбеддинга может также происходить по соображениям, приведенным авторами работы [96]. Слабая неавтономность учитывается в модели (см. выше раздел 1.7) в виде явной зависимости оператора эволюции от времени. С другой стороны, неавтономная система всегда может быть представлена в виде автономной добавлением тривиального уравнения для времени — = 1. Фазовое пространство такой системы называется расширенным и имеет размерность на 1 больше исходной. Если восстановленное нами вложение будет также являться вложением и для расширенного фазового пространства, то обратная задача по построению оператора эволюции будет допускать решение, не зависящее явно от времени. Как было показано в [96], именно такая ситуация имеет место в случае, когда неавтономность исходной системы является слабой, а размерность, в которой мы пытаемся ее восстановить, избы точной. Очевидно, что такая ситуация является случаем общего положения при построении моделей по скалярным временным рядам.
Детерминированная и стохастическая компоненты случайного оператора эволюции
Реконструкция СДС с помощью модели (3.3) означает, по существу, разделение присутствующих в ВР процессов по временным масштабам: детерминированная компонента будет определяться, главным образом, наиболее "долго коррелированными" процессами, а случайная - процессами со сравнительно малым, временем корреляции.
Важным следствием (3.7) является то, что с точки зрения правдоподобия (3.7) все модели (3.3), (3.4), имеющие одинаковые детерминированные компоненты и одинаковые ковариационные матрицы стохастической компоненты & = gT, являются равновероятными. Тем самым, мы можем без ограничения общности ограничить размерность случайного процесса С, размерностью фазового пространства d. Кроме того, поскольку С - симметричная матрица, она может быть описана d(d+l)/2 независимыми функциями фазовых переменных.
Таким образом, правдоподобие (3.7) задает плотность вероятности на классе функций f(U)H 0(H), задаваемом априори, что полностью решает поставленную задачу. В данном разделе мы обобщим предлагаемый подход на случай слабонеавтономных случайных динамических систем. Прикладное значение такого обобщения состоит в возможности прогноза качественного поведения СДС в случае, когда ее оператор эволюции медленно зависит от вре-. мени. При этом пусть известно, что характерный временной масштаб этой зависимости существенно превышает длину наблюдаемого ряда. Это означает, что функции f(U)n (J(U), описывающие стохастическую модель, должны явно зависеть от «медленного» времени.
В данной главе на модельных примерах демонстрируются возможности описанного в предыдущей главе подхода как для создания моделей, адекватно воспроизводящих наблюдаемые стационарные режимы эволюции автономной системы, так и для прогноза смены качественного поведения слабонеавтономных стохастических систем. Показывается, что некоторые фундаментальные ограничения, возникающие в случае детерминированных систем, могут быть преодолены для стохастических систем. А именно, демонстрируется успешный прогноз усложнения поведения системы по сравнению с наблюдаемым, что принципиально невозможно для детерминированных систем. Кроме того, строится прогноз поведения высокоразмерной детерминированной системы с помощью низкоразмерной стохастической модели.
В 1-ом разделе показывается эффективность подхода реконструкции системы с неоднородным, негауссовым и не белым динамическим шумом. В 2-ом разделе предлагается способ репрезентации (классификации) режимов поведения стохастических систем на основе их инвариантных мер. В 3-ем разделе строится прогноз изменения качественного поведения на примере системы с неоднородным и негауссовым динамическим шумом. В 4-ом разделе демонстрируется возможность прогноза смены "простого" поведения стохастической системы более «сложным», что принципиально невозможно в "детерминированном" случае. В 5-ом разделе приводятся примеры прогноза поведения детерминированных высокоразмерных систем с помощью построения низкоразмерных стохастических моделей.
В приводимых примерах мы ограничимся анализом наиболее вероятных моделей, то есть тех, которые соответствуют максимуму апостери орного Байесова распределения. В такой постановке задача построения модели будет состоять в поиске максимума апостериорной плотности вероятности по параметрам сетей, аппроксимирующим детерминированную и стохастическую компоненты.
Прогноз в случае неоднородного и негауссова шума
В приведенных в этом разделе примерах в качестве исходных данных использовался нестационарный ВР длиной 1000 отсчетов, сгенерированный неавтономной СДС в виде стохастического отображения (4.2), в котором управляющий параметр Я линейно менялся в интервале [1.8, 1.4]. Как уже ранее отмечалось, эта СДС является примером стохастической системы с негауссовым и не белым шумом, неравномерно распределенным по аттрактору (см. раздел 4.1). По исходному ВР строилась неавтономная модель (3.5), (3.1), (3.10), (3.11) и параметры модели экстраполировались в "будущее" на времена эквивалентные изменению параметра Я в интервале [1.4, 0.6]. На Рис.4.3. изображены мерограммы исходной системы (слева) и модели (справа) при разных уровнях шума. Из рисунка хорошо видно, что модель адекватно описывает поведение неавтономной СДС во всем диапазоне изменения управляющего параметра для шума о- = 0.01 и а = 0.02. При большем уровне шума а = 0.04 горизонт прогноза приближается к границе ВР, однако и в этом случае модель верно предсказывает качественное поведение исходной СДС (в том числе - его изменение) на времена порядка протяженности исходного ВР.
Как уже отмечалось выше, для ДДС существует принципиальное ограничение на направление прогноза (см. введение): невозможен прогноз "из простого в сложное". В этом разделе демонстрируется, что для СДС прогноз "из простого в сложное" возможен и описанный выше алгоритм позволяет успешно осуществлять качественный прогноз поведения СДС при смене простого типа поведения на более сложный. Возможность такого прогноза качественно объясняется тем, что в присутствии шума состояние системы в каждый момент времени случайным образом возмущается. Тем самым, в отличие от детерминированного случая, мы имеем информацию не только о предельном множестве, но и о его окрестности, определяемой величиной шума
В качестве исходных данных использовался нестационарный ВР длиной 1000 отсчетов, сгенерированный неавтономной СДС в виде стохастического логистического отображения (4.1), в котором управляющий параметр Л линейно менялся в интервале [0.5, 0.74]. По исходному ВР строилась неавтономная модель (3.11) и параметры модели экстраполировались в "будущее" на времена, эквивалентные изменению параметра Я в интервале [0.74, 1.4]. На Рис.4.4. изображены мерограммы исходной системы (слева) и модели (справа) демонстрирующие результат прогноза поведения неавтономной СДС. Хорошо видно, что модель позволяет правильно предсказать ближайшую по времени смену типа поведения системы, в том числе - с хорошей точностью предсказать момент бифуркации. В дальнейшем модель перестает адекватно описывать поведение системы и не воспроизводит переход системы к еще более сложным режимам.
Слева: мерограмма системы (4.1), соответствует настоящему поведению системы при медленном изменении параметра Я от 0.5 до 1.4. Время течет слева направо. Справа: мерограмма модели, построенной по временному ряду, сгенерированному системой (4.1) (см. подробнее в тексте). Уровень шума а = 0.04.
Еще одним важным приложением разработанного подхода является, как обсуждалась в разделе 2.4, возможность моделирования «слишком» (с точки зрения реконструкции «по Такенсу» - см. выше Введение) высокоразмерных детерминированных систем, с помощью низкоразмерных стохастических моделей. Такая реконструкция дает возможность в некоторых случаях справиться с проблемой оверэмбеддинга [96], делающим невозможным восстановления слабой неавтономности в пространстве слишком высокой размерности.
В качестве первой иллюстрации возможности низкоразмерной стохастической реконструкции высокоразмерных детерминированных систем приведем наглядный пример восстановления отображения Эно [54] одномерной стохастической моделью. Отображение Эно представляет собой двумерное точечное отображение вида: Уп+l = Хп На Рис.4.5 красными точками приведен типичный вид аттрактора в этой системе. Его корреляционная размерность составляет примерно 1. Однако, как видно из рисунка, он не вкладывается в одномерное пространство, поскольку в большей части области положительных абсцисс присутствует неоднозначность. В соответствии с идеей, выдвинутой в конце 2-ой главы, аппроксимация данного отображения с помощью одномерной стохастической системы эквивалентно интерпретации этой неоднозначности как случайной компоненты. Зелеными точками на рисунке 4.5 показаны отсчеты, сгенерированные наиболее вероятной моделью в виде СДС. Как видно из рисунка, основной эффект состоит в том, что такая модель описывает точно исходные данные там, зависимость является однозначной, а неоднозначность проявляется в том, что в соответствующей области стохастическая компонента является существенной. -0.2,Л = 1.4. Зеленые
Пусть теперь параметр Л в системе (4.3) медленно меняется от отсчета к отсчету. При этом система может демонстрировать изменение качественного поведения. На верхней панели рис.4.6. приведен ряд, сгенерированной этой системой при указанных параметрах. При достаточно медленном изменении управляющего параметра такое представление близко к соответствующей бифуркационной диаграмме.
Как видно из рисунка, бифуркационный сценарий, реализующийся при изменении управляющего параметра исходного отображения, состоит из обратного каскада удвоений периода. Качественно близкое поведение демонстрирует и построенная одномерная стохастическая модель (см. нижнюю панель рис. 4.6), причем момент рождения двукратного предельного цикла (-10000) предсказан количественно точно. Для построения модели использовался ряд, лежащий в интервале =[2000,4000] (синие точки на рис.4.6.). О GO0O 1ОО0О 1ВООО 2ООО0
Верхняя панель. Временной ряд слабонеавтономного отображения Эно при Р = -0.2. По вертикальной оси отложена переменная х системы (4.3), в которой параметр Л линейно меняется в интервале [1.5:0.4] с течением медленного времени. По горизонтальной оси отложен номер отсчета отображения. Синими точками выделена часть ряда, использованная для построения прогноза. Нижняя панель. Мерограмма наиболее вероятной слабонеавтономной одномерной стохастической модели.
Таким образом, с помощью одномерной стохастической модели предсказана бифуркация, удаленная на время, превышающая время наблюдения (длину ряда, использованного для построения модели). В то же время более близкие бифуркации (окно 4-х кратного цикла при 1000, начало обратного каскада удвоений при к от 7000 до 9000) диагностируются моделью только в виде медленной зависимости инвариантной меры от медленного времени. Причина слабой чувствительности модели к таким бифуркациям состоит в том, что детали данных изменений сопоставимы по масштабу с величиной стохастической части модели, которая, тем самым, и определяет «разрешение» модели в идентификации «детерминированных» режимов поведения.
