Содержание к диссертации
Введение
Глава 1. Асимптотическое оценивание параметров нелинейных стохастических систем с дискретным временем 18
1.1 Введение 18
1.2 Оценивание параметров модели AR/ARCH 19
1.2.1 Оценивание авторегрессионных параметров процесса AR(p)/ARCH(p) 19
1.2.2 Оценивание параметров процесса ARCH(l) в модели AR(1)/ARCH(1) 27
1.2.3 Равномерная асимптотическая нормальность оценок авторегрессионных параметров процесса AR(p)/ARCH(р) 34
1.3 Асимптотическое оценивание параметров процесса авторегрессии с дрейфом по наблюдениям с линейными помехами 44
1.3.1 Корреляционные оценки средних значений дрейфа параметров многомерной авторегрессии при наличии мультипликативных и аддитивных помех в наблюдении 47
1.3.2 Корреляционные оценки дисперсий аддитивных шумов модели 50
1.4 Выводы 53
Глава 2. Последовательное оценивание параметров нелинейных стохастических систем с дискретным временем 54
2.1 Введение 54
2.2 Одноэтапное последовательное оценивание параметров нелинейных стохастических систем с дискретным временем 57
2.2.1 Одноэтапное последовательное оценивание параметров двумерного процесса авторегрессии с дрейфующими параметрами 60
2.2.2 Одноэтапное последовательное оценивание параметров двумерного процесса типа AR/ARCH 64
2.2.3 Одноэтапное последовательное оценивание авторегрессионного параметра модели AR(1)/ARCH(1) 66
2.3 Двухэтапное последовательное оценивание параметров нелинейных стохастических систем с дискретным временем 69
2.3.1 Двухэтапное последовательное оценивание параметров процесса авторегрессии с дрейфом по наблюдениям с линейными помехами 71
2.3.2 Двухэтапное последовательное оценивание авторегрессионных параметров модели AR(p)/ARCH(p) 82
2.4 Выводы 85
Глава 3. Численное моделирование 86
3.1 Имитационное моделирование оценок параметров модели AR/ARCH 86
3.2 Имитационное моделирование оценок авторегрессионного параметра модели авторегрессии с дрейфом по наблюдениям с мультипликативными и аддитивными помехами 92
3.3 Имитационное моделирование последовательной оценки авторегрессионного параметра модели AR(1)/ARCH(1) 95
Заключение 99
Список литературы 102
Приложение 105
- Оценивание авторегрессионных параметров процесса AR(p)/ARCH(p)
- Корреляционные оценки дисперсий аддитивных шумов модели
- Одноэтапное последовательное оценивание параметров двумерного процесса авторегрессии с дрейфующими параметрами
- Имитационное моделирование оценок параметров модели AR/ARCH
Введение к работе
Актуальность проблемы. Статистические выводы о случайных процессах - активно развивающееся направление исследований в математической статистике. Это вызвано, в частности, недавними приложениями к задачам финансовой математики и анализу рисков, где активно используются нелинейные модели дискретных временных процессов. Такие модели позволяют более адекватно описывать многие явления. Традиционные модели временных рядов, такие как модели авторегрессии и авторегрессии-скользящего среднего, не могут адекватно учесть все характеристики, которыми обладают финансовые временные ряды, и требуют расширения. Одна из характерных черт финансовых рынков - это то, что присущая рынку неопределенность изменяется во времени. Как следствие, наблюдается эффект "кластеризации волатильности". Под этим имеется в виду то, что могут чередоваться периоды, когда финансовый показатель ведет себя непостоянно, и относительно спокойные периоды. Формальной мерой волатильности служат дисперсия или среднеквадратическое отклонение. Эффект кластеризации волатильности отмечен для таких рядов как изменение цен акций, валютных курсов, доходов спекулятивных активов.
Большой интерес представляют модели временных рядов со смешанной структурой, т.е. модели, одновременно обладающие линейной и нелинейной составными частями. Оценка параметров для подобных моделей сопряжена с определенными трудностями. Затруднения различного характера возникают при применении большинства классических методов нахождения оценок, ориентированных на линейные модели. Эти сложности можно обходить, применяя различные техники и алгоритмы.
Цель работы. Разработка методов асимптотического и последовательного оценивания параметров нелинейных стохастических динамических систем с дискретным временем типа AR/ARCH, а также многомерных билинейных процессов авторегрессии, наблюдаемых с линейными помехами. При асимптотическом подходе изучаются свойства оценок
параметров при неограниченном увеличении объема наблюдений, в то время, как последовательные методы оценивания дают возможность нахождения оценок с заданными статистическими качествами по конечным выборкам.
Методика исследования. В работе использованы методы теории вероятностей, теории случайных процессов, теории статистического последовательного анализа, линейной алгебры и имитационного моделирования.
Научная новизна. Результаты выносимые на защиту. Научная новизна работы состоит в построении и исследовании свойств асимптотических и последовательных оценок параметров нелинейных стохастических динамических систем с дискретным временем.
Результаты выносимые на защиту:
1. Доказана сильная состоятельность и равномерная асимптотиче
ская нормальность корреляционных оценок авторегрессионных парамет
ров процесса
AR(p)/ARCH(p).
Найдено общее условие устойчивости для произвольных степеней процесса AR(p)/ARCH(p).
Построены сильно состоятельные оценки корреляционного типа параметров многомерного процесса авторегрессии с дрейфом по наблюдениям с мультипликативными и аддитивными помехами, а также дисперсий аддитивных шумов модели.
Построена последовательная одноэтапная процедура гарантированного оценивания параметров нелинейной модели авторегрессии. Построенная процедура применена к двумерным моделям типа AR/ARCH и билинейного авторегрессионного процесса.
Предложена двухэтапная последовательная процедура оценивания, позволяющая получать оценки параметров многомерной авторегрессии с дрейфом с любой заданной среднеквадратической точностью по наблюдениям с линейными помехами, а также оценки с гарантированным качеством авторегрессионных параметров модели AR(p)/ARCH(p).
Практическая ценность работы. Результаты работы могут быть использованы в различных отраслях науки и техники: финансовой математике, климатологии, радиофизике, медицине и в других прикладных задачах, связанных с идентификацией систем, прогнозированием, управлением, статистической обработкой временных рядов. Кроме того, полученные теоретические результаты могут быть использованы в соответствующих курсах лекций на математических факультетах университетов.
Достоверность и обоснованность всех полученных результатов. Все полученные в диссертации результаты имеют строгое математическое доказательство. Качество построенных оценок подтверждено проведенным имитационным моделированием.
Реализация и внедрение результатов работы. Разработанные процедуры оценивания используются для уточнения ошибок прогноза изменений климатических характеристик Западной Сибири при моделировании регионального климата, проводимого в Институте мониторинга климатических и экологических систем СО РАН.
Рассмотренные в диссертации модели и методы оценивания их параметров являются частью раздела "Построение нелинейных моделей динамических систем" курса "Идентификация", читаемого на 4 курсе факультета прикладной математики и кибернетики Томского государственного университета.
Апробация работы. Работа выполнялась в рамках научно-исследовательской работы при финансовой поддержке Российского фонда фундаментальных исследований, грант РФФИ № 09-01-00172. Основные результаты диссертации обсуждались на семинарах кафедры высшей математики и математического моделирования ФПМК ТГУ, а также на следующих конференциях:
2nd International Conference on Innovative Computing Information and Control, Kumamoto, Japan, 2007.
3rd International Conference on Innovative Computing Information and Control, Dalian, China, 2008.
XVI Всероссийская школа-коллоквиум по стохастическим методам и X Всероссийский симпозиум по прикладной и промышленной математике (весенняя сессия), Всероссийский Макросимпозиум "Инновационная экономика: проектные решения и управление рисками", Санкт-Петербург, 19-24 мая 2009.
VIII Всероссийская научно-практическая конференция с международным участием "Информационные технологии и математическое моделирование" (ИТММ-2009), Анжеро-Судженск, 13-14 ноября 2009.
Публикации. Основные результаты, полученные в диссертации, опубликованы в 6 работах, в том числе 2 работы в журналах из перечня ВАК.
Структура диссертации. Работа состоит из введения, 3 глав, заключения, списка использованной литературы и приложения. Работа содержит 115 страниц машинописного текста и 15 таблиц.
Оценивание авторегрессионных параметров процесса AR(p)/ARCH(p)
В случае, если Ап = А и Нп = Н, задача идентификации модели (1), (2) состоит в оценивании по наблюдениям процесса уп параметров системы - неизвестных элементов матриц А и Я и дисперсий шумов В — En , D = Er]nrj n: а также оценивании состояний объекта хп. Если матрицы Ап являются случайными, то процесс хп называют также билинейным (см., например, [58], [64], [65]), и задача идентификации состоит в оценивании средних значений Ап. При случайных матрицах Нп возможно отсутствие компонент полезного сигнала в измерении.
Оцениванию параметров системы (1), (2) посвящено большое число работ, в том числе по управлению и фильтрации [4], [5], [43], [50], [59], [64], [76] и др.
При этом существуют различные подходы к решению задачи: линейный МНК [3], [4], [44], [55], [61] метод максимального правдоподобия [3], [43], [45], корреляционные методы [3] - [7], [32], [37], [38], [43] и др. Кроме того, для оценивания используются алгоритмы линейной и нелинейной фильтрации [43], [46], [61], а также методы, разработанные для оценивания параметров процессов типа авторегрессии - скользящего среднего [1], [3], поскольку в ряде случаев таковым является процесс уп.
Метод максимального правдоподобия, основанный на точном знании распределений шумов, позволяется получать оптимальные, или близкие к ним, оценки неизвестных параметров [77]. Но, применительно к модели (1), (2) (случай Ап = А, Нп — Н), эти оценки не являются рекуррентными и трудно реализуемы. Кроме того, в реальных системах приходится иметь дело с более низким уровнем априорной информации относительно распределений, которая может ограничиваться, например, знанием о существовании некоторых моментов шумов, либо оценок для них.
В такой ситуации оказываются работоспособными корреляционные методы и методы стохастической аппроксимации, которые позволяют получить сильно состоятельные, асимптотически нормальные и рекуррентные оценки.
В случае полного наблюдения объекта (1) (Нп = /, т]п = 0) эффективные оценки можно получить любым из рассматриваемых методов. Однако в модели (1), (2) МНК приводит уже к смещенным оценкам даже при асимптотических предположениях [4], [5]. В работе [43] при условии существования вторых моментов шумов предложены сильно состоятельные оценки матриц А, В и D модели (1), (2), полученные с помощью корреляционного метода Юла-Уокера. При дополнительных предположениях относительно шумов, таких, например, как существование их четвертых моментов, более эффективные оценки рассматривались в [83]. В предположении гауссовости шумов п и г\п в [80] решалась задача оценивания параметров модели (1), (2), рассматривая уп как процесс авторегрессии - скользящего среднего.
Большое внимание уделяется ситуации, когда коэффициенты передачи Нп в модели (1), (2) зависят от времени и являются мультипликативным шумом [32], [49], [50], [65], [76], [77], [78], [79], [91]. К таким системам относятся, например, системы, на выходе которых с некоторой вероятностью может наблюдаться либо сигнал в совокупности с аддитивной помехой, либо только помеха. При этом в качестве Нп можно брать, например, диагональные матрицы с диагональными элементами в виде последовательности независимых бернуллиевских случайных ве личин с положительными вероятностями успеха, либо марковских цепей с нулевым состоянием. Наличие мультипликативной помехи такого типа можно интерпретировать либо пропусками в наблюдениях уп полезной части сигнала хп, либо как свидетельство того, что в случайные моменты времени мощность помехи во много раз превосходит мощность сигнала. Проблемы фильтрации, управления, сглаживания и предсказания в таких системах обсуждались в работах [53], [73], [85], [86].
Задача оценивания параметров системы (1), (2) с мультипликативным и аддитивным шумом в наблюдениях существенно усложняется. Простое игнорирование наличия мультипликативной помехи может приводить к несостоятельным оценкам [86]. Для решения этой задачи используют, в основном, следующие методы: корреляционный метод Юла-Уокера [32], [74], метод максимального правдоподобия [49], [56] и др. Метод корреляций является наименее эффективным, но он не требует знания распределения помех. Указанные методы позволяют находить сильно состоятельные оценки неизвестных параметров системы (1), (2).
Другие особенности, связанные с проблемой идентификации модели (1), (2), возникают в случае, когда параметры динамики объекта (1) случайным образом дрейфуют во времени. Пусть, например, матрицы Ап образуют последовательность независимых случайных матриц с постоянным средним ЕАп = А В работах [32], [41], [58], [64], [65], [78], [79] задача оценивания средних значений дрейфа А и ковариаций шумов модели решалась при Нп = Н преимущественно методами, использующими корреляционную технику. При этом найдены условия стационарности и эргодичности процесса хп (например, [78], [79]). Позже [52] были найдены условия геометрической эргодичности и устойчивости многомерных моделей с дрейфом. Рассмотренные методы оценивания параметров линейных динамических систем являются асимптотическими в том смысле, что свойства оценок могут быть изучены только при неограниченном увеличении объема выборки. Однако на практике время наблюдения системы всегда конечно, что не позволяет вносить суждения о качестве таких оценок. Одну из возможностей нахождения оценок с гарантированным качеством дает подход с позиции последовательного анализа, который предполагает специальный выбор момента прекращения наблюдений с помощью некоторого функционала от наблюдаемого процесса. Принцип последовательного анализа был впервые предложен Вальдом для схемы независимых наблюдений [9], [10] и нашел применение в во многих областях математической статистики [18], [19], [20] и др.
Корреляционные оценки дисперсий аддитивных шумов модели
Доказана равномерная асимптотическая нормальность сильно состоятельных оценок авторегрессионных параметров модели AR(p)/ARCH(p) с неизвестными параметрами ARCH.
Получено общее условие устойчивости для этого процесса, которое обеспечивает равномерную ограниченность его любых моментов. Предложенный метод может быть использован для анализа свойства устойчивости нелинейных моделей финансовой математики, таких как AR/ GARCH и др.
Построены сильно состоятельные оценки корреляционного типа средних значений дрейфа параметров многомерной авторегрессии, наблюдаемой с мультипликативными и аддитивными помехами, и дисперсий аддитивных шумов модели. Во всех задачах знание распределений помех в рассмотренных моделях не требуется.
Известно, что последовательный метод оценивания параметров динамических систем позволяет получить оценки с гарантированным качеством в среднеквадратическом смысле за конечное время. Время оценивания определяется моментом остановки, построенным по наблюдаемому процессу. Для простых моделей, например, скалярных моделей авторегрессии первого порядка с дискретным и непрерывным временем, удается построить так называемую одноэтапную последовательную процедуру оценивания [8], [68]. В этих случаях одноэтапная последовательная оценка представляет собой оценку по методу наименьших квадратов, вычисленную в специальный марковский момент. Такие оценки являются несмещенными и достаточно просты для исследования. В более сложных моделях, например, моделях авторегрессии высоких порядков и многомерных регрессионных процессах, приходится применять более сложную двух-этапную процедуру последовательного оценивания [25], [11] и др. При этом теряется, в частности, свойство несмещенности оценок. Отметим также результаты по двухэтапному оцениванию параметров с дрейфом в моделях авторегрессионного типа [87], [70]. В то же время существует класс многомерных моделей, позволяющий строить одноэтапную процедуру оценивания неизвестных параметров [15], [14].
Качество последовательного оценивания скалярного параметра в, представляющего собой произвольную линейную комбинацию неизвестного многомерного параметра -#, принадлежащего некоторой области д о пустимых значений Е, отражают, как правило, следующие свойства последовательных планов (Тє, 9 ) : Свойства 1 и 2 последовательного плана (Тє,в ) обеспечивают возможность оценивания неизвестного параметра 9 за конечное время со среднеквадратическим уклонением, равномерно ограниченным заранее фиксированной величиной є. Из свойства 3 видно, что момент прекращения наблюдений обратно пропорционален точности оценивания є.
В разделе 2.2 рассматриваются модели, допускающие построение од-ноэтапной процедуры последовательного оценивания. Основное отличие от моделей, рассмотренных в [15], состоит в наличии дополнительного аддитивного шума, что позволяет расширить область применения од-ноэтапного метода оценивания. Построена последовательная процедура оценивания неизвестных параметров модели общей регрессии. В качестве примеров рассмотрены модели двумерного процесса авторегрессии с дрейфующими параметрами и модели типа AR/ARCH. Доказаны свойства несмещенности и гарантированности полученных оценок. В примерах исследовано среднее время оценивания. В разделе 2.3.1 предлагается вариант решения задачи оценивания параметров многомерной авторегрессии с дрейфом при наличии муль типликативных и аддитивных помех, основанный на подходе с позиции двухэтапного последовательного анализа.
В разделе 2.3.2 решается задача двухэтапного последовательного оценивания авторегрессионных параметров модели AR(p)/ARCH(p).
Построены и исследованы последовательные планы оценивания неизвестных параметров, позволяющие за конечное время производить оценивание с заданной точностью в среднеквадратическом смысле. Полученные результаты могут быть использованы в задачах идентификации динамических систем, моделирования, управления и фильтрации.
Одноэтапное последовательное оценивание параметров двумерного процесса авторегрессии с дрейфующими параметрами
В данной работе представлены некоторые результаты теории асимптотического и последовательного оценивания для моделей нелинейных стохастических систем с дискретным временем. Рассмотрены задачи асимптотического оценивания параметров процесса AR/ARCH и процесса многомерной авторегрессии с дрейфом, наблюдаемой с мультипликативными и аддитивными помехами, а также гарантированного оценивания с заданной среднеквадратической точностью в таких моделях.
В Главе 1 рассмотрены корреляционные оценки авторегрессионных параметров модели AR(p)/ARCH(p) и всех параметров модели AR(1)/ ARCH(l). Получено общее условие устойчивости, обеспечивающее равномерную ограниченность моментов произвольного порядка процесса AR(p)/ ARCH(p). Для всех рассмотренных оценок доказано свойство сильной состоятельности, а для оценок авторегрессионных параметров модели AR(p)/ARCH(p) свойство равномерной асимптотической нормальности.
Построены асимптотические оценки корреляционного типа средних значений дрейфа параметров многомерной авторегрессии, наблюдаемой с мультипликативными и аддитивными помехами и дисперсий аддитивных шумов этой модели. Доказана сильная состоятельность построенных оценок. В Главе 2 рассмотрена задача гарантированного оценивания параметров нелинейных стохастических систем с дискретным временем. Для нелинейной модели общей регрессии специального вида построена одноэтапная процедура последовательного оценивания параметров модели. Рассмотрены примеры применения одноэтапной процедуры к двумерным моделям процесса авторегрессии с дрейфующими параметрами и AR/ARCH. Исследовано среднее время оценивания. Полученные оценки обладают свойствами несмещенности и гарантированности. Показано, что в рассмотренных примерах свойства процедуры оценивания не требуют априорной информации об оцениваемых параметрах. Для моделей нелинейных стохастических систем, рассмотренных в Главе 1, построены двухэтапные последовательные процедуры оценивания их авторегрессионных параметров. Структура двухэтапной процедуры гарантированного оценивания существенно сложнее одноэтапной. В то же время она применима для более широкого класса нелинейных моделей с дискретным временем. Все рассмотренные в главе процедуры последовательного оценивания позволяют получать оценки с любой заданной среднеквадратической точностью за конечное время. В Главе 3 приведены результаты численного моделирования некоторых асимптотических оценок, рассмотренных в пунктах 1.2, 1.3 Главы 1. Во всех рассмотренных примерах наблюдается улучшение качества оценок с ростом числа наблюдений, а также работоспособность процедуры оценивания при относительно небольших объемах выборок (iV=100 -200). Кроме того, приведены результаты численного моделирования одно-этапных последовательных оценок из раздела 2.2. Видно, что полученная эмпирическая среднеквадратическая точность оценивания согласуется с теоретической. Проведенное сравнение с асимптотическими корреляционными оценками показывает, что качество последовательных оценок лучше асимптотических для всех рассмотренных значений параметров модели. При этом среднее время наблюдения при последовательном оценивании относительно невелико (от 30 до 170 наблюдений, в зависимости от значения параметров модели). Полученные результаты могут быть применены при моделировании стохастических систем с дискретным временем и решении других статистических задач, таких как прогнозирование, управление и фильтрация.
Имитационное моделирование оценок параметров модели AR/ARCH
В такой ситуации оказываются работоспособными корреляционные методы и методы стохастической аппроксимации, которые позволяют получить сильно состоятельные, асимптотически нормальные и рекуррентные оценки.
В случае полного наблюдения объекта (1) (Нп = /, т]п = 0) эффективные оценки можно получить любым из рассматриваемых методов. Однако в модели (1), (2) МНК приводит уже к смещенным оценкам даже при асимптотических предположениях [4], [5]. В работе [43] при условии существования вторых моментов шумов предложены сильно состоятельные оценки матриц А, В и D модели (1), (2), полученные с помощью корреляционного метода Юла-Уокера. При дополнительных предположениях относительно шумов, таких, например, как существование их четвертых моментов, более эффективные оценки рассматривались в [83]. В предположении гауссовости шумов п и г\п в [80] решалась задача оценивания параметров модели (1), (2), рассматривая уп как процесс авторегрессии - скользящего среднего.
Большое внимание уделяется ситуации, когда коэффициенты передачи Нп в модели (1), (2) зависят от времени и являются мультипликативным шумом [32], [49], [50], [65], [76], [77], [78], [79], [91]. К таким системам относятся, например, системы, на выходе которых с некоторой вероятностью может наблюдаться либо сигнал в совокупности с аддитивной помехой, либо только помеха. При этом в качестве Нп можно брать, например, диагональные матрицы с диагональными элементами в виде последовательности независимых бернуллиевских случайных величин с положительными вероятностями успеха, либо марковских цепей с нулевым состоянием. Наличие мультипликативной помехи такого типа можно интерпретировать либо пропусками в наблюдениях уп полезной части сигнала хп, либо как свидетельство того, что в случайные моменты времени мощность помехи во много раз превосходит мощность сигнала. Проблемы фильтрации, управления, сглаживания и предсказания в таких системах обсуждались в работах [53], [73], [85], [86].
Задача оценивания параметров системы (1), (2) с мультипликативным и аддитивным шумом в наблюдениях существенно усложняется. Простое игнорирование наличия мультипликативной помехи может приводить к несостоятельным оценкам [86]. Для решения этой задачи используют, в основном, следующие методы: корреляционный метод Юла-Уокера [32], [74], метод максимального правдоподобия [49], [56] и др. Метод корреляций является наименее эффективным, но он не требует знания распределения помех. Указанные методы позволяют находить сильно состоятельные оценки неизвестных параметров системы (1), (2).
Другие особенности, связанные с проблемой идентификации модели (1), (2), возникают в случае, когда параметры динамики объекта (1) случайным образом дрейфуют во времени. Пусть, например, матрицы Ап образуют последовательность независимых случайных матриц с постоянным средним ЕАп = А В работах [32], [41], [58], [64], [65], [78], [79] задача оценивания средних значений дрейфа А и ковариаций шумов модели решалась при Нп = Н преимущественно методами, использующими корреляционную технику. При этом найдены условия стационарности и эргодичности процесса хп (например, [78], [79]). Позже [52] были найдены условия геометрической эргодичности и устойчивости многомерных моделей с дрейфом. Рассмотренные методы оценивания параметров линейных динамических систем являются асимптотическими в том смысле, что свойства оценок могут быть изучены только при неограниченном увеличении объема выборки. Однако на практике время наблюдения системы всегда конечно, что не позволяет вносить суждения о качестве таких оценок. Одну из возможностей нахождения оценок с гарантированным качеством дает подход с позиции последовательного анализа, который предполагает специальный выбор момента прекращения наблюдений с помощью некоторого функционала от наблюдаемого процесса. Принцип последовательного анализа был впервые предложен Вальдом для схемы независимых наблюдений [9], [10] и нашел применение в во многих областях математической статистики [18], [19], [20] и др.
С позиции последовательного анализа достаточно хорошо изучена проблема оценивания параметров стохастических динамических систем как с дискретным [8], [16], [23], так и с непрерывным [24], [33], [68] временем в случае полностью наблюдаемых процессов. Так, например, для стационарных процессов авторегрессии диффузионного типа построены и исследованы последовательные планы оценивания неизвестных параметров, обладающие рядом свойств, присущих оценкам, полученным с помощью рассмотренных выше асимптотических методов, такими как сильная состоятельность, асимптотическая нормальность [8], [16], [23], [24]. Кроме того в ряде случаев оценки обладают дополнительным свойством несмещенности [8], [16], [33], принципиально недостижимым для других оценок.
