Содержание к диссертации
Введение
Глава 1. Состояние проблемы анализа и прогноза многокомпонентных систем, описываемых случайными временными рядами при наличии в них изменений свойств 18
1.1. Проблемы анализа процессов в социальных и экономических системах 18
1.2. Методы определения однородных интервалов в процессе и оценивание границ интервала 24
1.3. Методы определения типа процесса: стационарный, тренд- стационарный, интегрированный порядка d 34
1.4. Коинтеграциоиные связи в процессах при наличии в них структурных изменений 43
1.5. Методы текущего обнаружения изменения свойств процессов 50
1.6. Выводы 56
Глава 2. Разработка алгоритмов последовательного обнаружения изменения свойств 58
2.1. Алгоритмы последовательного обнаружения в случае полностью известных параметров распределения до и после их изменения для процессов, распределенных в соответствии с гиперболическим распределением.
2.2. Алгоритмы последовательного обнаружения в случае неизвестных параметров распределения после их изменения для процессов, распределенных по нормальному закону 64
2.3. Алгоритмы последовательного обнаружения в случае неизвестных параметров распределения после их изменения для процессов, распределенных по гиперболическому закону 73
2.4. Алгоритм обнаружения изменения свойств и оценивания момента этого изменения для многомерных процессов в случае неизвестных параметров процесса после изменения свойств 76
2.5. Алгоритм последовательного обнаружения изменения корреляционных связей двух процессов 89
2.6. Выводы 95
Глава 3. Методы анализа нестационарных процессов 97
3.1 Модели структурных изменений свойств нестационарных процессов и последовательные алгоритмы обнаружения этих изменений 98
3.2 Алгоритм оперативного обнаружения изменений типа процесса 106
3. 3 Исследование влияния структурных изменений в нестационарных процессах на коинтегрлционные связи и алгоритмы оперативного обнаружения коинтегр анионных связей 115
3.4 результаты экспериментального исследования полученных алгоритмов 122
3.5 выводы 128
Приложение к главе 3 130
Глава 4. Методология анализа временных рядов наблюдений, предназначенная для мониторинга и прогноза и экспериментальные исследования индексов фондового рынка и макроэкономических показателей, описываемых временными рядами 138
4.1. Методология мониторинга систем, описываемых временными рядами с изменяющимися свойствами 138
4.2. Свойства гиперболического распределения и применение его для описания финансовых индексов 149
4.3. Применение разработанной методологии для анализа индексов латиноамериканского, российского и американского фондового рынков 157
4.4 выводы 172
Глава 5. Применение разработанных алгоритмов для решения практических задач 174
5.1. Применение разработанных методов исследоваііия нестационарных процессов для прогноза кризисных событий российской экономики 176
5.2. Экологический мониторинг выбросов сточных вод обогатительных заводов 187
5.3. Прогноз «скачков» курса рубля к доллару сша 195
5.4. Анализ заболеваемости в москве по данным о вызовах скорой помощи 200
5.5. Выводы 209
Заключение 211
Список литературы
- Методы определения однородных интервалов в процессе и оценивание границ интервала
- Алгоритмы последовательного обнаружения в случае неизвестных параметров распределения после их изменения для процессов, распределенных по нормальному закону
- Алгоритм оперативного обнаружения изменений типа процесса
- Свойства гиперболического распределения и применение его для описания финансовых индексов
Введение к работе
Актуальность работы. В работе рассматриваются методы анализа систем, описываемых последовательностями полученных во времени наблюдений, называемых временными рядами. За последние два десятка лет область приложения этих методов претерпела значительные изменения. Наряду с традиционными областями приложения, такими как техника, геофизика, геология, сейсмология, медицина в последнее время объектами исследования все чаще становятся процессы и явления, протекающие в экономике и обществе. Эти процессы в большинстве своем - нестационарные, имеют малое количество наблюдений, характеризуются наличием ряда циклов или этапов развития, на каждом из которых достаточно сильно изменяются закономерности их поведения.
Необходимым предварительным этапом решения задачи прогноз" поведения систем, описываемых случайными многокомпонентными процессами, является анализ структуры процесса. Проведение анализа и прогноза предполагает наличие адекватной модели процесса. В системах, описываемых временными рядами, модель можно получить путем обработки результатов наблюдений за поведением системы. Большое число известных процессов хорошо описывается параметрическими моделями. Методология построения параметрических моделей в случае отсутствия изменений в интервале наблюдения достаточно хорошо проработана, как для стационарных, так и для нестационарных временных рядов.
Проблемы возникают при построении моделей процесса в интервале, содержащем изменения его свойств. Наличие изменений процесса в интервале построения модели приводит к ошибкам модели и, как следствие, к неверным результатам анализа и прогноза. Поэтому в процессе построения модели очень важно выделять участки временного ряда, на которых эта модель неизменна.
В силу большого числа причин, влияющих на процесс, многие существенные изменения динамики его измеряемых количественных показателей замаскированы, скрыты большим количеством случайных факторов и проявятся только через некоторое время. Своевременное обнаружение изменений свойств процессов позволяет выявить скрытые нарушения, которые происходят в наблюдаемом объекте или явлении и предпринять необходимые действия.
Изменения могут возникать в произвольные неизвестные заранее моменты времени под влиянием факторов внешней среды и нс приводить к необратимым изменениям в процессе, после окончания воздействия внешних факторов процесс возвращается в исходное состояние. Другой вид изменений, которые могут привести к непредсказуемым и даже катастрофическим последствиям, приводит к новой стадии развития процесса, и после окончания воздействия причин, послуживших источником этих изменений, процесс переходит в новое качественное состояние. Примерами изменений первого типа могут служить кратковременные "скачки" и "падения" цен акций, облигаций, фьючерсов на финансовых рынках. Среди изменений второго типа особо важную роль играют изменения, приводящие к катастрофическим последствиям. Например, экологические катастрофы, кризисы финансового рынка, инфаркты у больного ишемической болезнью. Анализ динамики отдельного ряда далеко не всегда дает возможность определить в оперативном режиме, какой вид изменений происходит: кратковременные отклонения или необратимые существенные изменения.
Одним из важных факторов, определяющих поведение процесса, является наличие статистических взаимосвязей между этим процессом и другими описывающими поведение связанных с ним объектов. Неизменность связей поддерживает устойчивость системы, нарушение связей может существенно изменить поведение процесса. Можно предположить, что чаще всего при сохранении долговременных связей, изменения, происходящие в процессе, принадлежат к первому типу, при нарушении - ко второму. Хотя точный ответ на этот вопрос может быть получен только при анализе содержательной постановки задачи, очевидно, что анализ динамики связей является важным элементом анализа поведения системы, описываемой временными рядами.
Если изменения произошли, после того как модель построена и не обнаружены, то при прогнозировании будущих значений процесса возникают ошибки. Поэтому после получения адекватной модели необходимо проверять, сохраняет ли она адекватность.
Проверка адекватности модели в режиме получения текущих наблюдений и своевременное выявление отклонений позволяет прогнозировать развитие системы и предотвращать возможные кризисные и неблагоприятные ситуации. Поэтому развитие методов апостериорного и оперативного анализа временных рядов при наличии в них различного типа изменений является актуальной задачей.
В работе представлены методы обнаружения и разработана методология анализа систем, описываемых случайными процессами при наличии в них различного вида изменений свойств, позволяющая для. широкого спектра процессов: технологических, природных, процессов, происходящих в экономике и обществе, анализировать текущее состояние и предисторию, обнаруживать их изменения и прогнозировать будущие состояния.
Цель работы состоит в разработке методологии и алгоритмов текущего мониторинга систем, описываемых временными рядами с изменяющимися свойствами. Предлагаемая методология включает следующие элементы:
выделение однородных интервалов в процессе, то есть интервалов, в которых модель процесса (с постоянными параметрами) можно считать адекватной процессу;
анализ типа процесса (тренд - стационарный, разностно-стационарный) внутри однородных интервалов;
построение моделей процесса внутри однородных интервалов, исследование связей между отдельными компонентами процесса и построение моделей этих связей,
обнаружение отклонений от модели в режиме текущего наблюдения в процессах и связях между ними.
Объект исследования: Объектами исследования являются системы, описываемые стационарными и нестационарными временными рядами с изменениями свойств. К ним относятся, например:
- показатели социо -экономического развития региона, включающие данные о динамике изменения демографического состояния населения региона, заболеваемости, доходах, опросах общественного мнения, уровне преступности и пр.
макроэкономические показатели, характеризующие развитие экономики: ВВП, золотовалютные резервы, индекс инфляции, уровень безработицы, индекс заработной платы, прожиточный минимум, объемы экспорта и импорта, обменный курс рубля к доллару;
- показатели фондового, валютного и банковского секторов экономики: индекс акций, обменные курсы валют по отношению к национальной валюте, цена кредитов на межбанковском рынке и пр.
Используемые методы: применяется аппарат теории вероятности, математической статистики и случайных процессов. В основу алгоритмов текущего обнаружения положены методы последовательного анализа Вальда, для анализа нестационарных процессов используются методы коинтеграционного анализа в сочетании с алгоритмами текущего и апостериорного наблюдения.
Научная новизна.
1. В диссертации предложена методология текущего анализа систем. описываемых случайными процессами, в которых возникают изменения свойств. Методология включает:
процедуры определения типа процесса; рассматриваются процессы: стационарный относительно детерминированного тренда (включая стационарный в случае отсутствия тренда) и разностно-стационарный или интегрированный;
процедуры обнаружения наличия в процессах структурных, изменений и выделения участков процесса, в которые его свойства можно считать неизменными;
процедуры обнаружения изменений в процессах и связях между ними в режиме поступления наблюдений.
2. Для решения задач обнаружения изменения свойств предложен комплекс алгоритмов:
текущего обнаружения изменений для процессов, распределенных по гиперболическому закону в условиях полной информации до и после изменения свойств;
текущего обнаружения изменений для процессов, распределенных по гиперболическому закону при неизвестных параметрах до и после изменения свойств;
текущего обнаружения изменений среднего для процессов, распределенных по нормальному закону при неизвестном среднем после изменения свойств;
текущего обнаружения изменений дисперсии для наблюдений, распределенных по нормальному закону при неизвестной дисперсии после изменения свойств;
текущего обнаружения изменений регрессионных связей для процессов, распределенных по нормальному закону;
текущего обнаружения изменений многомерного сигнала на фоне помех;
текущего обнаружения изменений типа процесса: от стационарного относительно детерминированного тренда TS — процесса к разностно — стационарному DS - процессу, и наоборот.
3. Разработанная методология и алгоритмы применены для решения задач: m мониторинга за экологической обстановкой; анализа экономических индексов и прогноза кризисных ситуаций; мониторинга за состоянием здоровья населения; прогноза скачков ценных бумаг на фондовом рынке. Практическая ценность работы заключается в предлагаемой методологии анализа и разработанных алгоритмах обработки результатов наблюдений за поведением сложных систем, позволяющих проанализировать текущее состояние системы, обнаружить предвестники кризисных ситуаций и обеспечить возможность своевременного принятия соответствующих решений. Реализация и внедрение результатов работы.
Разработанные алгоритмы и программы применены при разработке Щ системы мониторинга социо - экономической неустойчивости больших городов, экспертно - статистической прогнозной системы планирования объемов выпуска продукции, системы мониторинга макроэкономических показателей и индексов фондового рынка.
Достоверность полученных результатов подтверждается данными имитационного моделирования и использования разработанных алгоритмов для решения ряда практических задач. м Основные положения, выносимые на защиту диссертации.
1. Методология анализа временных рядов наблюдений в реальном времени, включающая,
анализ предистории процесса (определение типа процесса: тренд -стационарный, разностно - стационарный; проверка и обнаружение изменений
свойств, проверка наличия коинтеграционных или корреляционных связей между рядами),
настройку алгоритмов текущего обнаружения,
обнаружение изменений свойств процесса в режиме получения текущих наблюдений в реальном времени.
2. Методы текущего обнаружения изменений свойств стационарных временных рядов, в том числе:
методы обнаружения изменений свойств временных рядов наблюдений для гиперболических законов распределения в условиях полной и неполной информации о параметрах распределения до и после изменения свойств;.
методы обнаружения изменений свойств временных рядов наблюдений для нормального закона распределения в условиях неполной информации о параметрах распределения после изменения свойств;.
методы обнаружения изменений свойств многомерных процессов;
методы обнаружения изменений корреляционных связей между двумя процессами.
3. Методы обнаружения изменений свойств нестационарных временных рядов в условиях полной и неполной информации о параметрах распределения.
4. Методы обнаружения изменения типа процесса: от стационарного і: разностно стационарному и наоборот;
5. Методы обнаружения изменений свойств взаимосвязей между нестационарными процессами.
Апробация работы. Результаты работы были представлены на: Международной конференции Математическое моделирование социальной и экономической динамики (MMSED-2004, Москва, июнь 2004 г.), 2-ой Международной конференции по проблемам управления (Москва, июнь 2003), 3-ей Международной конференции "Когнитивный анализ и управление развитием ситуаций" (CASC2003, Москва, октябрь 2003), Международной конференции по проблемам управления (Москва, 1999), Международном симпозиуме "Рефлексивное управление" (Москва, 2000 г.), Международной конференции "Идентификация систем и задачи управления " (SICPRO 2000, Москва , 26-28 сентября 2000 г., ИПУ РАН), Международной конференции "Параллельные вычисления и задачи управления", (Москва, 2-4 октября 2001 г. ИПУ РАН), Всесоюзной конференции по Экологическому мониторингу (Москва, август, 1998 г.), Всесоюзной конференции по автоматизации проектирования систем планирования и управления, (Москва, 1987, 26-28 октября), Всесоюзной научно-технической конференции "Микропроцессорные комплексы для управления технологическими процессами", (Грозный, сентябрь, 1987).
Публикации. Основные результаты исследований по теме диссертации опубликованы в 29 печатных работах.
Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложения, которое включает акты о внедрении и о практическом использовании результатов и выводов диссертации.
Содержание работы.
В первой главе диссертационной работы проведен анализ состояния проблемы исследования многокомпонентных систем, описываемых случайными временными рядами при наличии в них изменений свойств.
В разделе 1.1 выделены основные проблемы анализа процессов, описывающих развитие таких систем, определены необходимые основные этапы и приведен перечень типовых задач исследования.
В разделе 1.2 рассматриваются методы определения в процессе однородных интервалов, внутри которых процесс может быть описан моделью с постоянными коэффициентами, и оценивания их границ.
В разделе 1.3 приводится обзор методов определения типа процесса: тренд - стационарный, интегрированный порядка d, и описываются известные подходы к определению класса процесса при наличии в них структурных сдвигов.
В разделе 1.4 проведен анализ методов проверки существования и построения связей между нестационарными временными рядами, интегрированными первого порядка.
В разделе 1.5 приводится обзор существующих методов текущего обнаружения и описывается класс алгоритмов, положенных в основу разработанных в диссертации алгоритмов текущего обнаружения.
Во второй главе описываются алгоритмы последовательного обнаружения, разработанные для рядов с гиперболическим распределением и для рядов, распределения которых принадлежат семейству экспоненциальных распределений.
В разделе 2.1 рассматривается алгоритм последовательного обнаружения разладки в случае полностью известных параметров распределения процесса до и после их изменения для гиперболических распределений.
В разделе 2.2 рассматриваются алгоритмы последовательного обнаружения, разработанные для случая, когда параметры распределения процесса после изменения неизвестны, для процессов, распределенных по нормальному закону.
В разделе 2.3 для процессов, распределенных по гиперболическому закону, разработан алгоритм последовательного обнаружения в случае неизвестных параметров после изменения свойств.
В разделе 2.4 описывается разработанный алгоритм обнаружения изменения свойств и оценивания момента этого изменения для многомерных процессов в случае неизвестных параметров процесса после изменения свойств. Задача обнаружения решается совместно с задачей оценивания.
В разделе 2.5 разработан алгоритм последовательного обнаружение изменения корреляционных связей двух процессов.
В третьей главе рассматриваются алгоритмы текущего обнаружения изменений свойств разностно - стационарных процессов и связей между ними, проводится анализ типов изменений и влияния изменений свойств отдельных процессов на коинтеграционные связи.
В разделе 3.1 предложены модели структурных изменений свойств нестационарных процессов и разработаны алгоритмы последовательного обнаружения этих изменений.
В разделе 3.2 рассмотрен алгоритм обнаружения изменений типа процесса: от тренд- стационарного к разностно - стационарному и от разностно - стационарного к тренд- стационарному.
В разделе 3.3 исследовано влияние структурных изменений в нестационарных процессах на коинтеграционные связи и разработаны алгоритмы оперативного обнаружения коинтеграционных связей.
В разделе 3.4. приводятся результаты экспериментального исследования полученных алгоритмов.
В четвертой главе диссертации предлагается методология анализа временных рядов наблюдений, описывающих поведение объекта в реальном времени, предназначенная для целей мониторинга и прогноза;
рассматриваются результаты экспериментальных исследований индексов фондового рынка и макроэкономических показателей, описываемых временными рядами при наличии в них структурных изменений, с применением разработанной методологии и алгоритмов.
В разделе 4.1 предложена и обоснована методология анализа систем, описываемых временными рядами, при наличии в них структурных изменений в режиме получения текущих наблюдений.
В разделе 4.2 исследуются свойства гиперболического распределения и возможности применения его для описания и анализа финансовых потоков.
В разделе 4.3 описано применение разработанной методологии для анализа индексов латиноамериканского, российского и американского фондового рынков.
В пятой главе рассматриваются результаты практического использования разработанных алгоритмов.
В разделе 5.1 рассмотрено применение разработанных методов анализа нестационарных процессов для анализа экономических индексов России в период с 1995 по 2002 с год. Период с 1995г. по август 1998 года характеризуется неустойчивостью процессов в российской экономике. За это время на российских финансовых рынках неоднократно возникали кризисные ситуации, кульминацией которых послужил кризис 1998 г.
В разделе 5.2 рассматривается задача экологического мониторингу выбросов сточных вод обогатительных заводов, мониторинг включает контроль выхода допустимого содержания загрязнений за норму и обнаружение состояний процесса, в которых концентрация загрязняющих веществ может превысить допустимую при отсутствии корректирующих мер.
В разделе 5.3 рассматривается задача прогноза «скачков» курса рубля к доллару США. Для ее решения используется ряд USD (t) - курс рубля к доллару США с 1.07.1992 по 13.06.2002, и применяется алгоритм, основанный на процедуре обнаружения изменения свойств временных рядов.
В разделе 5.4 рассматривается задача анализа заболеваемости в Москве по данным о вызовах скорой помощи. Эта задача является частью задачи разработки системы мониторинга социо - экономической неустойчивости больших городов.
Заключение. Основные результаты работы.
Предложен новый подход и разработана методология анализа процессов с изменяющимися свойствами в интервале анализа в режиме получения текущих наблюдений для систем, описываемых стационарными и нестационарными временными рядами.
Разработана методология обнаружения изменений свойств систем в режиме получения текущих наблюдений, включающая совместный анализ изменений в компонентах процесса и в связях между компонентами и основанная на проверке согласованности изменений в компонентах и связях. Разработанная методология применена для решения ряда практических задач, ее эффективность подтверждается результатами моделирования и анализа реальных рядов наблюдений.
Разработаны методы текущего обнаружения изменений свойств процессов, описываемых гиперболическим распределением, проведен анализ свойств гиперболического распределения и показано, что оно гораздо больше пригодно для описания финансовых индексов, чем нормальное.
Разработаны методы текущего обнаружения изменений свойств процессов для семейства экспоненциальных распределений в условиях неполной информации о параметрах процесса после их изменения.
Разработан метод текущего обнаружения изменений коэффициента корреляции для стационарных процессов.
Решена задача совместного обнаружения и оценивания параметров многомерного сигнала, возникающего на фоне помех.
Разработаны методы текущего обнаружения изменений типа процесса от разностно - стационарного к стационарному относительно детерминированного тренда, и наоборот.
Разработаны методы текущего обнаружения изменений свойств нестационарных процессов: параметров моделей компонент процессов и ко интеграционных связей между ними.
Методы определения однородных интервалов в процессе и оценивание границ интервала
Алгоритмы определения изменения свойств временных рядов или выделения интервалов, в которых процесс может быть описан адекватной моделью, могут быть классифицированы различным образом. Для целей исследования реальных систем естественной является классификация по уровням априорной информации о реальном процессе. Априорная информация включает следующие элементы: - информация о моментах изменения состояния: заданные, заданные распределением, неизвестные; - информация о структуре модели: регрессионная, авторегрессионная, - информация о наборе объясняющих переменных и их порядке.
Задача выделения в процессе интервалов, не содержащих изменений свойств, может быть сформулирована как задача проверки гипотезы об отсутствии изменений против гипотезы об их наличии.
Рассматривается задача проверки гипотез: при выполнении гипотезы Я0 наблюдаемый процесс - стационарный, а при выполнении гипотезы Я, -кусочно - стационарный. В случае стационарных процессов используются следующие подходы.
Если возможный момент изменения состояния процесса известен, для рассматриваемого временного ряда фиксированной длины N производите проверка гипотезы о том, что изменения свойств отсутствуют против гипотезы о наличии изменений в известный момент времени.
Если отсутствуют какие - либо предположения о модели процесса, то проверка наличия изменений проводится с использованием тестов сравнения двух выборок. Например, может быть использован двухвыборочный тест Колмогорова-Смирнова или другие непараметрические тесты [5].
Тест Колмогорова-Смирнова использует статистику: где Af„Af2 - число точек временного ряда до и после предполагаемого изменения свойств, J(x),F2(x) - эмпирические функции распределения отрезков временного ряда до момента изменения и после. Если распределение / до момента изменения известно, то применяются критерии согласия, проверяющие, что распределение наблюдений до и после предполагаемого момента изменения равно F0: критерии Хи- квадрат, Колмогорова - Смирнова [5,6].
Если ряд описывается регрессионной или авторегрессионой моделью, то существуют различные стратегии для проверки существования разрывов: 1)проверка на изменение коэффициентов регрессии с использованием F,-статистик [7-14]; 2) определение границ интервала однородности, на котором модель процесса можно считать постоянной [15-19]; 3)проверка на наличие обобщенных изменений, основанная на анализе остатков (так называемые CUSUM и MOSUM - тесты) [20-25]. Проверка на изменение коэффициентов регрессии с использованием F-статистики. Проверка на разрыв в известный момент времени т. Исходная модель; і; = / д+А, (1-І) Нулевая гипотеза: /?,=/? для всех t. Альтернативная гипотеза: Д = /? tk и fJ,=0 + y t k, где k - дата разрыва. После получения оценок коэффициентов применяют тест Чоу [10, 11] на равенство коэффициентов регрессии в двух выборках. В форме Вальда этот тест имеет вид: ( кЛ_{ии -«,«, u2it2)/к r\j) {щщ+и2и2)І(Т-2кУ где к - момент предполагаемого разрыва, и, uitu2 - суммы квадратов остатков от модели (1.1), оцененной по полной выборке, первым к, последним п-к наблюдениям, соответственно.
Проверка на разрыв в неизвестный момент времени, например в интервале между xOuxl. Для учета разрывов в неизвестные моменты времени при построении моделей используются фиктивные или "пустые" переменные. Фиктивная переменная принимает значение 0 до момента отсутствия изменений и 1 - после изменения.
После получения оценок коэффициентов применяют тест Чоу на равенство коэффициентов регрессии в двух выборках: нулевая гипотеза об отсутствии изменений проверяется с помощью F-статистики для гипотезы о том, что коэффициенты при всех добавленных переменных равны нулю. Для обнаружения изменений в среднем фиктивные переменные добавляются непосредственно в уравнения, для обнаружения изменений в тренде фиктивны? переменные добавляются к коэффициентам регрессии.
Если в процессе имеется один возможный момент изменения состояния и он неизвестен, то проверка выполняется для каждой точки временного ряда. В качестве момента изменения свойств выбирается момент, для которого значение решающей функции максимально. [12, 13].
Строится тест Чоу в каждый момент предполагаемого разрыва и выбирается максимальная F статистика. Распределение этого теста называется Quandt Likelihood Ratio:
В [8] представлены критические значения функционала QLR, вычисленные с помощью статистического моделирования.
Оценка момента разрыва максимизацией критерия Чоу, дает приемлемую точность только в случае линейной регрессии с гомоскедастичной формой ковариационной матрицы. В нелинейных регрессионных моделях подходящим методом оценки параметров, в том числе и даты разрыва, является МНК. Для каждой возможной точки разрыва, оцениваются параметры модели методом наименьших квадратов по каждой из подвыборок, вычисляется и накапливается сумма квадратов ошибок. В качестве оценки момента разрыва выбирается точка, в которой сумма квадратов ошибок по всей выборке минимальна. Теория оценивания момента разрыва по методу наименьших квадратов была развита в работах [7-9, 14-16].
Алгоритмы последовательного обнаружения в случае неизвестных параметров распределения после их изменения для процессов, распределенных по нормальному закону
Условие о точно известных параметрах после момента обнаружения является слишком жестким. Ясно, что, например, для экономических индексов можно в лучшем случае высказать только предположение об увеличении, либо уменьшении параметров. В случае неизвестных параметров после обнаружения Вальдом [73] было предложено два подхода к решению этой проблемы. Первый «взвешенное» правдоподобие где F(e2) - плотность распределения параметра 02. Второй подход заключается в замене параметра в2 его значением, доставляющим максимум функции правдоподобия ( sup ДО»,)
Модифицированные алгоритмы были исследованы Никифоровым и Сигмундом ([79, 96]). Качество обоих алгоритмов, практически одинаковое, оно снижается относительно алгоритма (1.17), (1.23) за счет недостоверности информации: оценка запаздывания в обнаружении увеличивается. Для реализации первого из них требуется вычисление интеграла вида (2.8), что не всегда является простой задачей, для реализации второго необходимо выполнение большого объема вычислений.
Тем не менее, в большинстве практических задач наблюдателю достаточно установить сам факт изменения, то есть получить ответ на вопрос. Изменились ли среднее или дисперсия процесса больше чем на 5%, 10% от номинального значения? Для ответа на подобные вопросы для процессов, распределенных по нормальному закону, были разработаны алгоритмы [97, 98]:
- обнаружения изменения среднего процесса с параметрами #,=(«!,,) до изменения и 92-{т2,3) - после изменения, т, т т2, где т - граничное значение параметра, выход за которое нужно обнаруживать, параметр т2 -неизвестен;
- обнаружения изменения дисперсии процесса с параметрами {={т,8{) до изменения, с параметрами 2=(m,S2) - после изменения, У, 8 S2, где S -заданное граничное значение параметра, выход за которое нужно обнаруживать, параметр S2 - неизвестен. Основная идея этих алгоритмов близка к идее алгоритма (2.9), но реализация значительно проще. Используемые обозначения: в = (m,s) - граничное значение параметра 0; 9 (т,3) - граничное значение параметра 0 . Алгоритм обнаружения изменения среднего имеет вид: / = inf-J / 1: max ]Г S[ h I, (2.10) Ш 1 г где г№)л (2.11) st=Ln{L{y,)) = Ln V А&\ Алгоритм обнаружения изменения дисперсии имеет вид: / = mf\t 1 :тах - AI (2.10а) \ k l Г , г-к где % = Ln{L{yt)) = Ln чД0О (2.11а) / (у ) I(7i) и 0-1.) " функции правдоподобия отношения плотностей ———и /о,(У,) fsiy.) -—, соответственно.
Сравним алгоритмы (2.10),(2.11) и (2.10а),(2.11а) с оптимальным алгоритмом (1.17), (1.23). Для алгоритма (1.17), (1.23) параметры вх и 9гфг) известны точно, и для любых наперед заданных постоянных аир, таких, что 0 а,р 1, можно выбрать порог h, такой, что a = FBi (Д h), р F0i (Д{ 0).
Выбор порога однозначно определяет уровень ложных тревог и среднюю задержку в обнаружении для алгоритма (1.17), (1.23). Для заданного уровня ложных тревог Fe (т ao) a = 7,", средняя задержка в обнаружении является оптимальной и стремится при 7"- оо к выражению в правой части формулі/ (1.24).
Оценка качества работы алгоритмов (2.10),(2.11) и (2.10а),(2.11а) определяется следующей Теоремой.
Теорема. Пусть yity2,..„yir... - последовательность независимых величин, распределен]іьіх по нормальному закону с параметрами 0] =(т,, 5",) до момента ta включительно и 62-{т2 \)Фі={т\ іУ) после момента ta, гдет2 и82 - неизвестные значения параметров, in иб - их граничные значения, причем т2 m(S2 ё). Тогда
1) для алгоритмов (2.10),(2.11) и (2.10а), (2. Па) средняя задержка в обнаружении стремится к нулю при разнице меоісду фактическими и граничными значениями параметров Л,„ = т2-т— оо и А5 = 52 -5 - о, соответственно;
2) для алгоритмов (2.10),(2.11) и (2.10а), (2.11а) средняя задержка в обнаружении стремится к средней задерэ/ске для алгоритма (1.17), (1.23) с точно известными параметрами после обнаружения при разнице между фактическими и граничными значениями параметров АііІ=т2-іп— в и Дй=Sl-S- 0, соответственно.
Доказательство: Предположим, что выбран порог //, обеспечивающий необходимые уровень ложных тревог и среднюю задержку в обнаружении для-алгоритма (1.17), (1-23) с параметрами распределения 9І до изменения свойств и 02 {02) — после изменения.
Для сравнения алгоритмов (2.10),(2.11) и (2.10а),(2.11а) с оптимальным мы оценим изменение величины задержки в обнаружении в случаях использования одинаковых порогов.
Алгоритм оперативного обнаружения изменений типа процесса
Если изменения таковы, что связь между ними сохраняется, то существует /Ї такое, что //,2 + рм] Измепение характера стационарности процесса уи вида (3.12): Рассмотрим две возможные ситуации:
1) Процесс у21 после изменения свойств процесса уи изменяется в соответствии с моделью (3.17Ь): Уи =РД(+ » тогда процессы оба процесса уи и y2j становятся стационарными: У U = (1 - 0У!м + К. ССЛИ = 1 + ! У v - Р(1 - а)у,/Ч + Рц, + р2,, если Г = t0 +1, У і,, =(1-а)У і+Ц если t ta+\, У2-( = P(l - сОУ,,, + Рц, + и ,,если t ta+\. 118
2) Процесс y2j после изменения уи продолжает по-прежнему изменяться по закону: В этом случае процесс у21 остается нестационарным: а коинтеграционные связи нарушаются. Соотношение Уг,,-$Уи после момента изменения свойств t = ta принимает вид: так как у[, - у1и представляет собой разность стационарного и нестационарного процессов, то разность У 2, - ру,, - нестационарная, следовательно, ковариационные связи нарушаются.
Таким образом, структурные изменения в одном или нескольких рядах приводят к следующим последствиям:
1. В случае изменения стохастического тренда одного из рядов выполняются следующие условия: 1.1 изменяется дисперсия ряда разностей этого ряда; 1.2 математические ожидания статистик 7 ,...,7 ,, сохраняют постоянные значения; 1.3 математические ожидания статистик 7J,f2,...,f;,...равны нулю; 1.4 изменяется тип процесса, являющегося линейной комбинаций обоих рядов: увеличивается ее дисперсия, уменьшается дисперсия ряда разностей, увеличивается до нуля математическое ожидание статистики flt вычисленной для ряда из линейных комбинаций;
2. В случае изменения стохастического тренда обоих рядов и изменении порядка интеграции линейной комбинации выполняются условия 1.1 - 1.3 для каждого из рядов и условие 1.4 для их линей ной комбинации
3. В случае изменения стохастического тренда обоих рядов с сохранением порядка интеграции линейной комбинации выполняются условия 1.1 — 1.3 для каждого из рядов, а свойства линейной комбинации не меняются: ее дисперсия и дисперсия ряда разностей остаются постоянными, математическое ожидание статистики Т, остается равным нулю.
4.В случае изменения дрейфа одного из рядов выполняются следующие условия: 4.1 изменяется среднее ряда разностей; 4.2 изменяются математические ожидания статистик Tt,T2,...,7 ,..,; 4.3 изменяются математические ожидания статистик ft,f2 ...,ft,,.. 4.4 изменяется тип процесса, являющегося линейной комбинаций обоих рядов: увеличивается ее дисперсия, уменьшается дисперсия ряда разностей, увеличивается до нуля математическое ожидание статистики Т,, вычисленной для ряда из линейных комбинаций;
5. В случае изменения дрейфа обоих рядов и изменения порядка интеграции линейной комбинации выполняются условия 4.1 - 4.3 для каждого из рядов и условие 4.4 для их линей ной комбинации
6. В случае изменения дрейфа обоих рядов и сохранения порядка интеграции линейной комбинации этих рядов выполняются условия 4.1 - 4.3 для каждого из рядов, а свойства линейной комбинации не меняются: се дисперсия и дисперсия ряда разностей остаются постоянными, математическое ожидание статистики 7] остается равным нулю. 7. В случае изменения типа одного из рядов и превращения его в стационарный 7.1 уменьшается дисперсия ряда; 7.2 увеличивается дисперсия ряда разностей; 120 7.3 уменьшается математическое ожидание статистики 7j. 7.4 линейная комбинация рядов становится нестационарной. 8. В случае изменения типа обоих рядов и превращения их в стационарные для каждого из рядов выполняются условия 7.1- 7.3 а свойства линейной комбинации не меняются. 9. В случае изменения типа одного из рядов и превращения его в разностно - стационарный 9.1 неограниченно возрастает дисперсия ряда; 9.2 уменьшается дисперсия ряда разностей; 9.3 математическое ожидание статистики становится равным нулю. 10. В случае изменения типа обоих рядов и превращения их в разностно стационарные для каждого из рядов выполняются условия 9.1- 9.3, между рядами может возникнуть коинтеграционная связь которая определяется методами, описанными в [47, 62-68, 112-114].
Изменения в системе из двух рядов могут быть диагностированы по некоторому набору признаков. Перечень изменений и набор признаков, по которым их можно диагностировать представлены в Таблице 5.
Свойства гиперболического распределения и применение его для описания финансовых индексов
Для каждого возможного значения момента изменения свойств гє[ґ0,/,] вычисляются: - сумма остатков от модели со значением фиктивной переменной равным нулю, построенной в интервале [0, г] :5i, - сумма остатков от модели со значением фиктивной переменной равным единице, построенной в интервале [т,Т]: Si, - сумма квадратов остатков от обеих моделей 5 = S{ + 5j, - сумма квадратов остатков по всему интервалу от модели (4.2): S.
Для проверки изменения стохастического тренда в качестве суммы остатков от модели вычисляются средние квадраты статистики Тк, Среди всех возможных моментов изменения свойств ищется момент, для которого величина 5min = min S = S + SB - минимальная;
Вычисляется разность остатков Smin-S. Решение о наличии разрыва принимается, если эта разность значительно превышает стандартное отклонение остатков от модели (4.2).
Этап 3. Проверка типа процесса в каждом из выделенных интервалоь (возвращение к шагу 1.1) и построение моделей в рассматриваемых интервалах. На этом этапе повторяются шаги Этапа 1 для каждого из выделенных однородных интервалов. При построении модели на этапе 3 необходимо выполнить проверку ее адекватности.
Проверка адекватности заключается в проверке предположения о том, что обновляющая последовательность Е, действительно представляет собой процесс белого шума.
Критерий Дарбина-Уотсона [122] проверяет гипотезу о некоррелированности остатков модели. Статистика Дарбина-Уотсона определяется соотношением 1=1 144 где 1,...,єк — остатки, получаемые при оценивании линейной модели наблюдений. Статистика DW принимает значения в интервале [0,4]- Если верна нулевая гипотеза некоррелированности остатков, то статистика DW имеет функцию плотности р(х), симметричную относительно точки х = 2 (середины интервала). Гипотеза некоррелированности остатков отвергается в пользу гипотезы положительной коррелированности остатков, если DW dmin; и не отвергается, если DW dmm. Если же статистика лежит в интервале между этими значениями, то никаких выводов относительно справедливости или несправедливости гипотезы не делается.
Если в правой части регрессионной модели присутствуют запаздывающие значения объясняемой переменной то критерий Дарбина -Уотсона не годится, поскольку в данном случае значения статистики Дарбина -Уотсона смещены в направлении значения Ф=2, что приводит к неоправданному неотвержению гипотезы независимости остатков. Поэтому проверку гипотезы об отсутствии автокоррелированности у ряда є, следует производить, используя критерий Бройша - Годфри.
Критерий Бройша-Годфри [123] используется для проверки гипотезы некоррелированности ошибок. В отличие от критерия Дарбина - Уотсона он допускает зависимость к случайных составляющих :,. Модель наблюдений имеет вид: У І = , ,! + ... + apxtp+piyt_l+...f}ry r+e ,,і = 1,...,Т. где є-,- возмущения процесса, модель возмущений имеет вид
Статистика этого критерия равна nR2, где R1- коэффициент детерминации, получаемый при оценивании модели е, =а{хп +..- + арх1р+р]У +... + гу г+р ,ем+...+ р,е(_4+, ,i = 1,...,2 145 где е,,...,еи - остатки, полученные при оценивании основной модели наблюдений. (Недостающие значения е0,...,е,_А. заменяются нулями.) В рамках последней модели проверяется гипотеза Н0:а ,= ..-= =0.
Если эта гипотеза верна, то при большом количестве наблюдений Г статистика критерия имеет распределение, близкое к распределению хи-квадрат с к степенями свободы. Гипотеза Я0 отвергается при заданном уровне значимости а, если вычисленное значение nR2 превышает критическое значение, равное квантили уровня 1-а указанного распределения, т. е. если
Этап .4. Проверка наличия связей между компонентами (корреляционных для стационарных компонент и коинтеграционных для нестационарных, интегрированных одного порядка) и построение их моделей.
Наличие статистических взаимосвязей между компонентами процесса является одним из важных факторов, определяющих его поведение: неизменность связей поддерживает устойчивость системы, нарушение связей может существенно изменить поведение процесса. Проверка существования коинтеграции и построение моделей коинтеграционных связей выполняется методами, описанными в работах [60 - 68, 111-114] в каждом из интервалов однородности.
Настройка алгоритмов текущего обнаружения на границах рассматриваемых интервалов. Для работы алгоритмов текущего обнаружения необходима их предварительная настройка. Цель настройки - выбор параметров алгоритмов текущего обнаружения с тем, чтобы минимизировать время задержки в обнаружении и увеличить интервал между ложными тревогами.
