Содержание к диссертации
Введение
Глава 1 Основные задачи вероятностной диагностики 11
1.1 Постановка и классификация задач вероятностной диагностики 11
1.2 Задачи апостериорного диагноза 14
1.3 Задачи последовательного диагноза 17
1.4 Вероятностная диагностика экономических моделей и систем 22
Глава 2 Апостериорный диагноз стохастических процессов и моделей 25
2.1 Обзор методов апостериорного диагноза 25
2.2 Общая апостериорная задача о разладке 39
2.3 Априорные нижние границы для вероятности ошибки оценивания момента разладки 50
2.4. Асимптотически оптимальные методы в задачах апостериорного диагноза 61
2.5. Задачи о разладке в регрессионных моделях 70
Выводы 77
Глава 3 Последовательный анализ в задачах различения сложных гипотез 79
3.1 Обзор методов последовательного анализа статистических гипотез 79
3.2 Априорные неравенства в задачах последовательного анализа 83
3.3 Асимптотически оптимальные параметрические последовательные тесты 92
3.4 Асимптотически оптимальные непараметрические последовательные тесты 103
3.5 Последовательное различение гипотез для нестационарных наблюдений .112
Выводы 116
Глава 4 Задачи скорейшего и раннего обнаружения разладок 117
4.1 Обзор методов последовательного обнаружения разладок 117
4.2 Априорные неравенства в задачах скорейшего и раннего обнаружения разладки 125
4.3 Асимптотически оптимальные параметрические методы в задачах скорейшего и раннего обнаружения разладки 132
4.4 Асимптотически оптимальные непараметрические методы в задачах скорейшего и раннего обнаружения разладки 137
4.5 Задачи последовательного обнаружения и оценивания момента разладки 176
Выводы 181
Глава 5 Методы вероятностной диагностики структурных сдвигов в экономических моделях и системах 183
5.1 Обзор методов диагностики структурных сдвигов в экономических моделях и системах 183
5.2 Вероятностная диагностика структурных сдвигов в эконометрических моделях 187
5.3 Раннее обнаружение предкризисных ситуаций в экономических и финансовых системах 195
5.4 Мониторинг структурных сдвигов в эконометрических зависимостях 200
Выводы 202
Заключение 203
Литература 205
- Вероятностная диагностика экономических моделей и систем
- Асимптотически оптимальные методы в задачах апостериорного диагноза
- Последовательное различение гипотез для нестационарных наблюдений
- Вероятностная диагностика структурных сдвигов в эконометрических моделях
Введение к работе
Актуальность темы
Вероятностная диагностика стохастических процессов и систем - это новая область математической статистики и теоретической кибернетики, которая занимается исследованием вероятностной структуры наблюдений, то есть вопросами статистической однородности или неоднородности полученных случайных выборок, обнаружением моментов и областей структурных изменений характеристик стохастических процессов, моделей и систем.
Классические методы статистического анализа, как правило, имеют дело со структурно простыми объектами, характеризующимися тем, что вероятностный механизм порождения наблюдений для этих объектов единствен. Лишь при этом предположении о единственном вероятностном механизме порождения наблюдений справедливы классические законы больших чисел, на которых основаны все известные методы параметрического анализа в статистике. Вместе с тем, большинство реальных стохастических процессов и систем обладают свойством структурной сложности, которое подразумевает наличие нескольких механизмов порождения данных. Подобные структурно сложные объекты порождают стохастические процессы, характеризующиеся множеством вероятностных законов распределения наблюдений. В задачу структурного анализа стохастических процессов входит, с одной стороны, исследование структурной сложности наблюдаемой системы, а с другой стороны, разбиение всего множества наблюдений на подмножества данных, порожденных различными вероятностными механизмами. Только после решения задачи структурного анализа возможно корректное применение законов больших чисел и классических методов параметрического оценивания к каждому из выделенных структурно однородных подмножеств наблюдений.
Следует отметить также, что априорная информация о структурно сложных объектах, как правило, неполна и неточна, вследствие чего большинство известных параметрических подходов к решению задач обнаружения структурных изменений в вероятностных характеристиках данных (метод максимального правдоподобия, метод моментов и др.) неэффективны на практике. Типичная ситуация, с которой сталкиваются исследователи при разработке диагностических алгоритмов и подсистем, характеризуется тем, что полученные наблюдения являются статистически зависимыми, а вероятностные механизмы их порождения неизвестны, либо плохо идентифицируемы по статистически неоднородным выборкам. Поэтому разработка методов вероятностной диагностики, ориентированных на ситуации неполной информации о характеристиках стохастических процессов и систем, задачи
Введение различения сложных гипотез и статистический диагноз при наличии "мешающих параметров", представляет существенный теоретический и практический интерес.
Как правило, различают два больших класса задач вероятностной диагностики: апостериорные и последовательные задачи, имеющие интересные и важные практические приложения в задачах диагноза стохастических моделей и систем. В задачах апостериорного диагноза исследователь работает со всей предварительно собранной статистической информацией и задается вопросами о статистической однородности (неоднородности) полученной выборки, наличии моментов изменения структурных характеристик (моментов разладки) и пр. Моменты разладки могут характеризовать переходы наблюдаемой стохастической системы в новое структурное состояние, для вероятностного описания которого требуется другая модель. В эконометрических моделях активно используется понятие "структурных сдвигов", характеризующее моменты разладки вероятностной модели экономической системы.
В задачах последовательного диагноза наблюдения поступают последовательно, шаг за шагом, и в задачу диагноза входит скорейшее обнаружение возможных моментов изменения структурных характеристик наблюдений при условии, что "ложные тревоги", то есть ошибочные решения алгоритма обнаружения о наличии разладки для статистически однородной выборки, возникают сравнительно редко. Моменты разладки в последовательной постановке могут соответствовать переходу системы в новое (критическое, предкризисное и др.) состояние, своевременное обнаружение которого позволит принять адекватные меры для предупреждения негативных тенденций в эволюции системы.
Разработке и исследованию методов вероятностной диагностики стохастических поцессов и систем в апостериорной и последовательной постановках в 1950-2000е годы посвящено значительное количество работ. Задачи апостериорного диагноза методологически восходят к фундаментальным работам Неймана и Пирсона, к результатам ЛеКама, Закса, Боровкова о свойствах обобщенного теста отношения правдоподобия в задачах различения сложных гипотез. Апостериорные задачи о разладке активно изучались в работах Пейджа, Хинкли, Сигмунда, Чорго и других известных ученых. У истоков задач последовательного диагноза - классические труды виднейших математиков - Вальда, Кифера, Колмогорова, Чернова. Задачи последовательного анализа сложных гипотез в 1950-1990е годы активно изучались в работах Кифера и Вейса, Лордена, Хефдинга, Лая. Задача о разладке в последовательной постановке впервые была формально поставлена в докладе Колмогорова и Ширяева в I960 году. В 1960-1970е годы Ширяевым были получены классические результаты об оптимальных свойствах квазибайесовского теста и метода кумулятивных сумм в задаче скорейшего обнаружения разладки. В 1970-2000е годы последовательные задачи о разладке стали активно использоваться для скорейшего обнаружения непредвиденных изменений структурных характеристик технологических, биомедицинских, экономических и финансовых систем. В работах Вильски, Бассевиль, Никифорова, Лая были предложены методы скорейшего
Введение обнаружения, идентификации и анализа структурных "сбоев" (FDIA systems) в стохастических системах.
В 1980-2000е годы методы апостериорного и последовательного обнаружения разладок начали применяться для обнаружения структурных сдвигов в эконометрических моделях. В работах Перрона, Крамера, Плобергера, Алта и других исследователей рассматривались методы обнаружения изменений в коэффициентах эконометрических моделей. В рамках Международного института системных исследований в 1989-1990 е годы был реализован научный проект "Статистический анализ и прогноз экономических структурных сдвигов", с которого начались регулярные публикации в ведущих западных эконометрических журналах, посвященные анализу структурных сдвигов в эконометрических моделях. В 1990-е годы появились также работы, посвященные статистическому диагнозу и мониторингу предкризисных ситуаций в экономических и финансовых системах.
Поэтому тема диссертации, посвященной разработке и исследованию методов вероятностной диагностики изменений структурных характеристик стохастических процессов и моделей, представляется актуальной как в теоретическом смысле, так и с точки зрения практической значимости экономических и финансовых приложений этих методов.
Цель диссертации Цель диссертации состоит в разработке новых методов вероятностной диагностики, предназначенных для решения задач апостериорного и последовательного анализа сложных гипотез о статистических свойствах наблюдений, для обнаружения изменений структурных характеристик стохастических процессов, моделей и систем.
Научная новизна
Научная новизна результатов, полученных в диссертационной работе, определяется разработкой новых методов статистического анализа качества алгоритмов апостериорного и последовательного диагноза стохастических процессов и систем, а также постановкой и решением новых задач статистического диагноза.
К новым методам статистического диагноза стохастических процессов и систем можно отнести:
Метод априорных неравенств, позволяющий анализировать свойства асимптотической оптимальности тестов по принципу достижимости априорных теоретических границ для различных функционалов качества тестов, а также проводить их сравнительный анализ;
Следует отметить, что априорные неравенства в задачах апостериорного диагноза случайных процессов и полей были впервые предложены автором, совместно с Б.С.Дарховским в работах [93, 96]. Эти неравенства представляют собой априорные нижние границы для вероятности ошибки оценивания нормированного момента разладки и позволяют исследовать асимптотическую оптимальность методов обнаружения разладок.
Введение В задачах последовательного диагноза априорные неравенства были впервые получены Вальдом [289], Хеффдингом [164], Саймонсом [277] для задач последовательного анализа статистических гипотез. В задачах о разладке первые априорные неравенства были получены Лорденом [212], Поллаком [247]. В 1995-2000 годы в работах Лая были предложены новые априорные нижние границы для математического ожидания объема выборки последовательного теста в задачах различения нескольких сложных гипотез. В сравнении с этими результатами, априорные оценки качества методов последовательного диагноза, предложенные автором, обладают следующей новизной: во-первых, рассматриваются более общие функционалы качества методов последовательного диагноза, включающие, помимо математического ожидания объема выборки или времени запаздывания в обнаружении разладки, такие значимые характеристики тестов, как дисперсия нормированного запаздывания в обнаружении разладки, вероятность ошибки оценивания нормированного запаздывания. Кроме того, предложенный метод позволяет исследовать асимптотическую оптимальность тестов для зависимых последовательностей случайных величин.
- Метод большого параметра
Суть метода большого параметра состоит в том, что для каждого метода вероятностной диагностики (апостериорного или последовательного) удается указать такой "большой параметр" N, при стремлении которого к бесконечности асимптотические характеристики нормированных на N оценок моментов разладки в апостериорных задачах или нормированного на N времени запаздывания и вероятности "ложной тревоги" в задачах последовательного диагноза ведут себя некоторым регулярным образом. Эти же нормированные характеристики качества обнаружения и оценивания моментов разладки входят в априорные неравенства, описанные выше. Поэтому в совокупности метод большого параметра и метод априорных неравенств позволяют исследовать асимптотическую оптимальность процедур обнаружения и оценивания моментов разладки, а также проводить их сравнительный анализ.
К новым задачам статистического диагноза, впервые поставленным и решенным автором, следует отнести:
- Задача последовательного различения многих сложных гипотез впараметрической и непараметрической постановке
Следует отметить, что несмотря на обширную литературу по этой проблеме, включая работы Кифера и Вейсса [187], Лордена [215, 213], Лая [204, 206] и др., задача последовательного различения многих сложных гипотез не получила окончательного решения как в параметрической, так и в непараметрической постановке. Поэтому результаты в этой области, приведенные в диссертационной работе, обладают научной новизной.
- Задача последовательного различения сложных гипотез для нестационарных наблюдений
Задача последовательного различения сложных гипотез для нестационарных
Введение наблюдений не исследовалась в литературе по последовательному анализу. Помимо работы Коуда [119], в которой описаны полуэвристические процедуры, не было предложено ни критериев качества методов тестирования, ни асимптотически оптимальных методов. В этом смысле результаты, полученные в диссертации, обладают существенной новизной.
- Задача "раннего обнаружения" разладок
В большинстве работ, посвященных последовательному обнаружению разладок, речь идет о резких структурных сдвигах в характеристиках наблюдаемых случайных процессов. Гораздо меньшее внимание уделяется анализу задач, в которых статистические характеристики наблюдений начинают плавно изменяться в некоторый неизвестный момент. Между тем, эти задачи представляют значительный практический интерес и интерпретируются как задачи "раннего обнаружения" предаварийных, предкризисных и др. ситуаций. Результаты в этой области, полученные в диссертационной работе, являются новыми и не имеют прямых аналогов в литературе по анализу разладок случайных процессов.
- Задача последовательного обнаружения и оценивания момента разладки Помимо задачи скорейшего обнаружения момента разладки, в приложениях час то возникает задача оценивания обнаруженного момента разладки, то есть разбиения всей выборки наблюдений на подвыборки наблюдений "до" и "после" разладки. Все известные методы последовательного оценивания момента разладки обладают негативным свойством смещенности получаемых оценок (Зигмунд [275], Сривастава, By [282]). В диссертации впервые предложен метод получения асимптотически несмещенных и оптимальных последовательных оценок момента разладки.
Основные положения, представляемые к защите
В области апостериорного диагноза:
1) Априорные нижние границы для вероятности ошибки оценивания в задачах ретроспективного обнаружения разладок случайных процессов и регрессионных моделей
2) Асимптотически оптимальные методы в задачах ретроспективного обнаружения разладок случайных процессов и регрессионных моделей
В области последовательного анализа в задачах различения сложных гипотез:
3) Априорные нижние границы для математического ожидания объема случайной выборки последовательных тестов в задачах последовательного различения сложных гипотез (односторонние и двусторонние альтернативы, задачи различения нескольких сложных гипотез, ситуации нестационарных и зависимых наблюдений)
4) Априорные нижние границы Рао-Крамера для дисперсии ошибки оценивания нормированного объема выборки последовательных тестов
5) Априорные нижние экспоненциальные границы для вероятностей ошибки оценивания параметров в последовательных тестах
6) Асимптотически оптимальные методы последовательного анализа в задачах различения сложных гипотез (односторонние и двусторонние альтернативы, задачи
Введение различения нескольких сложных гипотез, ситуации нестационарных и зависимых наблюдений) в параметрической постановке
7) Асимптотически оптимальные методы последовательного анализа в задачах различения сложных гипотез (односторонние и двусторонние альтернативы, задачи различения нескольких сложных гипотез, ситуации нестационарных и зависимых наблюдений) в непараметрической постановке
В области последовательного обнаружения разладок стохастических процессов и систем:
8) Априорные нижние границы для математического ожидания времени запаздывания в задачах скорейшего и раннего обнаружения разгадки
9) Априорные границы Рао-Крамера для дисперсии ошибки оценивания и априорные нижние границы для вероятности ошибки оценивания нормированного времени запаздывания в задачах скорейшего и раннего обнаружения разладки
10) Асимптотически оптимальные методы в задачах скорейшего и раннего обнаружения разладок случайных процессов в параметрической постановке
11) Асимптотически оптимальные методы в задачах последовательного обнаружения разладок случайных процессов в непараметрической постановке
В области обнаружения структурных сдвигов в эконометрических моделях и предкризисных ситуаций в экономических и финансовых системах:
12) Метод обнаружения структурных сдвигов в эконометрических зависимостях для ситуаций неполной информации о статистических свойствах наблюдений
13) Статистический метод обнаружения предкризисных ситуаций в системах макроэкономического и финансового мониторинга
Публикации и апробация работы
Основные результаты работы опубликованы в монографиях:
- "Nonparametric Methods in Change-Point Problems", Kluwer Academic Publishers, The Netherlands, 1993;
- "Nonparametric Statistical Diagnosis: Problems and Methods", Kluwer Academic Publishers, The Netherlands, 2000;
а также в ведущих российских академических журналах и печатных изданиях в 1980-2002 годы (см. список литературы).
Результаты работы докладывались в 1980-2002 годах на конгрессах и симпозиумах ИФАК (1979 г., Дюссельдорф, 1986 г., Вильнюс), на международных семинарах по теории вероятностей и математической статистике (1993 г., Вильнюс), на семинарах по проблемам обнаружения изменений характеристик случайных процессов (1984 г., Паланга, 1990 г., Звенигород), на конференциях ICAMS (International Conference on Asymptotic Methods in Statistics) (2002, Канада), на семинарах в институтах АН РФ в 1980-2002 годы (МИАН, ИПУ, ИСА, ЦЭМИ).
Практические применения результатов
В 1980-1990е годы автором были разработаны пакеты прикладных программ вероятностной диагностики, реализованные в версиях программного обеспечения
Введение VERDIA (пакет прикладных программ вероятностной диагностики) и MESOSAUR. Эти пакеты использовались для решения различных задач апостериорного и последовательного статистического анализа данных в биомедицинских и экономических системах. Результаты решения некоторых практических задач обнаружения структурных сдвигов в эконометрических моделях изложены в Главе 5.
Вероятностная диагностика экономических моделей и систем
Другой проблемой, связанной с применением параметрических методов диагностики структурных сбоев, является выбор диагностического порога. В [140] отмечается, что заниженный порог приводит к большому количеству "ложных тревог", то есть ошибочных решений о наличии структурных сбоев, тогда как завышенный порог может повлечь за собой пропуск цели. Обоснованный выбор диагностического порога должен осуществляться на основе теории статистических выводов. С применением методов нелинейной теории восстановления и последовательного анализа Вальда к задачам статистической диагностики сбоев в динамических системах связан третий этап развития систем с переменной структурой (1985-1990е гг.).
Существенные результаты в области параметрических методов статистического анализа резких сбоев в динамических системах были получены в 1990е годы М.Бассевилль, А.Бенвенистом и И.В.Никифоровым [79, 229]. Приведем постановку задачи FDI анализа, предложенную в [229]. Рассмотрим динамическую систему с дискретным временем. Пусть Т = { (0) : 0 6 П, О = uf 1 {#;}} — конечное семейство моделей. Предполагается, что до неизвестного момента времени to — 1 вектор 0 = во, а начиная с момента to он принимает одно из значений в\, / = 1,..., к — 1, т. е. рассматривается модель .7 (0) внезапного изменения
Рассматриваются различные постановки экстремальных задач в этой ситуации: требуется минимизировать максимальное (по всем возможным моментам разладки) среднее время запаздывания в обнаружении момента разладки при ограничениях на среднее время до ложной тревоги и/или ложной изоляции (т. е. неверного окончательного решения о типе разладки). В работах [229, 230] устанавливается асимптотическая оптимальность обобщенного метода CUSUM для такой задачи.
Необходимо отметить, что оптимальные и субоптимальные методы обнаружения и диагностики указанных типов структурных изменений в настоящее время разработаны далеко не полностью и охватывают, в основном, случаи полной априорной информации о стохастической системе. Поэтому разработка эффективных методов вероятностной диагностики структурных изменений различного типа, обладающих свойствами асимптотической оптимальности в условиях неполной и неточной информации о наблюдаемых переменных системы, является актуальной задачей для исследования стохастических систем.
Период 1970-2000 годов охарактеризовался существенными изменениями в методологии моделирования и прогноза экономических процессов. Вплоть до конца 1960х годов в большинстве работ по макроэкономическому моделированию делался упор на построение всеобъемлющих макроописаний - моделей общего равновесия и межотраслевых балансов, включающих 200-300 уравнений, преимущественно балансовых и регрессионных, коэффициенты которых оценивались на стационарных периодах функционирования экономической системы. Нефтяной кризис 1972-1973 годов повлек за собой резкое изменение структуры и параметров этих моделей ввиду экзогенного "шока предложения". Настройка параметров этих макромоделей на новый экономический режим оказалась чрезвычайно сложной и трудоемкой процедурой ввиду большого числа уравнений, коэффициенты которых одновременно оценивались. В этот период Лукас (1976) выступил со знаменитой критикой, направленной против попыток построения всеобъемлющих макроописаний экономических процессов и мотивированной наличием структурных "шоков" в экономических системах, резко изменяющих параметры этих систем в непредвиденные моменты. После критики Лукаса важнейшие макроэкономические зависимости (кривая Филипса, модель агрегированного предложения и др.) Дополняются слагаемыми, описывающими структурные сдвиги. Проблемы, которые возникли при этом, заключались в том, что сами моменты структурных сдвигов были априори неизвестны, и поэтому применяемые методы оценивания были полуэвристическими. С другой стороны, возникшее понимание важности проблемы структурных сдвигов в эконометрическом моделировании стимулировало развитие методов вероятностной диагностики в исследованиях экономических систем.
В 1980е годы появились две альтернативные исследовательские программы, целью которых был анализ различных форм нестационарности наблюдений в эконометрических моделях. Первая программа, выдвинутая Нельсоном и Плоссером [226] в 1982 году, подчеркивала значимость анализа стохастических трендов в динамических рядах наблюдений для построения адекватных эконометрических моделей. Методы описания макроэкономических временных рядов процессами с единичным корнем базировались на гипотезе о постоянстве структурных шоков. Эта программа, однако, была подвергнута критике Перроном [239, 240], который показал, что для многих макроэкономческих рядов гипотеза о наличии единичного корня может быть отвергнута, если допустить возможность скачка в функции тренда. Таким образом, эти ряды могут быть описаны моделью с однократным изломом функции тренда.
Ключевым предположением Перрона была гипотеза об экзогенности момента структурного сдвига в выборке. Эта гипотеза была подвергнута критике Кристиано [111], указавшим на то, что моменты структурных сдвигов не должны задаваться экзогенно, но определяться по самой выборке данных. В последующих работах (Перрон и Фогелзанг [241], Зивот и Эндрюс [315]) рассматривались модели эндогенных структурных сдвигов.
Помимо задач апостериорного (ретроспективного) обнаружения нестационарностей в ретроспективных эконометрических моделях, в 1980-1990-е годы одной из существенных областей применения методов вероятностной диагностики стали задачи скорейшего обнаружения нарушений стационарного режима, кризисов и предкризисных ситуаций в экономических системах. Здесь особенно актуальны задачи раннего обнаружения кризисов на финансовых рынках, ситуация на которых стала крайне неустойчивой к концу 1990-х годов. Одной из первых работ, в которых рассматривалась задача скорейшего обнаружения нарушений стационарного режима в контексте эконометрического моделирования, была статья Чу, Стинчсомб и Уайт [118]. Вслед за ней в 2000-2003 годы появились работы, посвященные задачам последовательного обнаружения структурных сдвигов в эконометрических моделях (Бродский и Дарховский [96]), Хорват, Хушкова, Кокошка, Штейнебах [167]).
Проблема построения регрессионных моделей по статистически неоднородным данным активно обсуждается в современной эконометрической литературе (см. Айвазян [66]). Одной из существенных проблем при этом является следующая: разбиение выборки на регрессионно однородные подвыборки приводит к слишком малым подвыборкам, объемов которых оказывается недостаточно для статистически надежной оценки искомых функций регрессии. В этой ситуации оказываются ненадежными и сами оценки моментов структурных сдвигов, получаемые с использованием выборочных оценок коэффициентов регрессии (см., например, метод Перрона [76], в котором используется критерий минимума регрессионных "невязок"). Поэтому представляется актуальной задача разработки методов обнаружения моментов структурных сдвигов в регрессионных зависимостях, не использующих выборочные оценки коэффициентов регрессии. Решению этой задачи в апостериорной и последовательной постановках посвящена
Асимптотически оптимальные методы в задачах апостериорного диагноза
В этом кратком обзоре методов последовательного анализа мы рассмотрим следующие темы: исторические этапы становления идей и направлений последовательного анализа, тест Вальда и его обобщения в задачах различения сложных гипотез, априорные неравенства в задачах последовательного различения гипотез, проблемы различения многих гипотез, задачи непараметрического тестирования статистических гипотез.
Истоки идей последовательного анализа можно проследить в трудах Гюйгенса (1657), Бернулли (1713), де Муавра (1711, 1756), Лагранжа (1770-1773) и Лапласа (1774, 1812), которые рассматривали различные постановки задачи о разорении игрока. В начале XX столетия возникли новые постановки задач последовательного анализа, связанные с потребностями статистического контроля качества продукции. Додж и Ромиг [130], а также Шьюхарт [271] предложили статистические планы приемки и контрольные карты, предназначенные для контроля качества в оперативном режиме (on-line).
Рождение последовательного анализа можно датировать 1942 годом, с момента создания Статистической исследовательской группы при Колумбийском университете (США). В рамках исследований, проводимых этой группой для военного ведомства США, в 1943 году Вальд выдвинул идею последовательного теста отношения правдоподобия (SPRT), суть которой сводилась к следующему. Пусть 1, 2,... - последовательность независимых одинаково распределенных случайных величин с функцией распределения Р. Для проверки нулевой гипотезы последовательный критерий отношения правдоподобия Вальда минимизирует Ео(Т) и i(T). Заметим, что вероятности ошибок зависят от момента остановки Т. Поэтому в общем случае проверка выполнимости условий (3.1.2) представляет существенные трудности (см. Кифер и Вейс [187], т.н. "проблема допустимости" теста). Следует отметить, что параллельно с идеями Вальда в 1944 году появилась работа Барнарда, которой был предложен последовательный тест, основанный на идеях Лапласа для задачи о разорении игрока. Развитие последовательного анализа шло по нескольким направлениям, в которых изучались следующие задачи: (1) Получение точных оценок для вероятностей ошибок и среднего объема выборки последовательного теста (Бурман [100], Гиршик [148], Вальд [289], Полна [250]). (2) Обобщение последовательного теста отношения правдоподобия на случай неполной информации о функциях распределения наблюдений F0 и F\ при гипотезах Но и Н\ соответственно (Вальд [290], Гиршик [148], Армитидж [69]). (3) Обобщение идей последовательного анализа на задачи различения трех и более статистических гипотез (Собел и Вальд [280], Армитидж [69]). Успехи последовательного анализа в задачах тестирования статистических гипотез стимулировали интерес к новым задачам оценивания параметров в последовательной постановке. Стейн [283] и Халдейн [156] показали, что многие нерешенные проблемы точечного и интервального оценивания могут быть решены в последовательной постановке. Гиршик, Мостеллер и Сэвидж [149], Блэкуэл [91], Баранкин [74] изучали несмещенность оценок при различных правилах остановки, Вольфовиц [302] доказал последовательный аналог неравенства Рао-Крамера.
Период с 1951 по 1990 годы характеризуется появлением нескольких влиятельных монографий по последовательному анализу: Бечхофер, Кифер и Собел [82], Фу [141], Вазан [293], Ширяев [64, 272], Гош [145], Чоу, Роббинс и Зигмунд [109], Чернов [108], Невельсон и Хасьминский [227], Армитидж [70], Ветерил [294], Сен [267, 268], Вудруф [303], Уитл [297], Уайтхед [296], Зигмунд [275], Ветерил и Глазенбрук [295].
Этот период характеризуется также оформлением основных направлений исследований, среди которых отметим задачи последовательного различения сложных гипотез, задачи инвариантного и непараметрического тестирования гипотез, задачи стохастической аппроксимации и последовательного оценивания.
В 1950-1960 годах было предпринято много попыток применить тест Вальда к задачам различения сложных гипотез. Одна из наиболее известных постановок этой задачи была предложена Кифером и Вейсом [187]. Рассматривалась задача проверки сложной гипотезы Но : в в0 против #і : 9 9і(00), где в - параметр семейства распределений. Обнаружилось, что в зоне безразличия (в0 в $і) средний объем выборки последовательного теста Вальда может быть значительно больше, чем для задачи различения двух простых гипотез в точках в0 и 6\. В связи с этим была поставлена задача Кифера-Вейса о последовательном тесте, доставляющем минимальный средний объем выборки для некоторого значения параметра в и обеспечивающем заданные вероятности ошибок при во и в\. Асимптотические решения задачи Кифера-Вейса были предложены в работах Лая [201, 202], Драгалина и Новикова [131].
Альтернативные постановки задач различения сложных гипотез были предложены Черновым [108], Айвазяном [66], Андерсоном [68], Шварцем [269], Кифером и Заксом [186], Роббинсом и Зигмундом [258]. Эти тесты характеризуются рассмотрением криволинейных границ для областей принятия решений и продолжения наблюдений. Расчет вероятностей ошибок и средних объемов выборки для последовательных тестов с криволинейными границами стал возможным благодаря результатам Андерсона [68], Вудруфа [303], Лая и Зигмунда [198] по нелинейной теории восстановления. Впоследствии Берк [83], Лай [200] изучали вопросы эффективности этих тестов.
Период 1951-1990 годов характеризуется также оформлением основных идей непараметрического последовательного анализа. В ситуации, когда функции распределения наблюдений при гипотезах #0 и Н\ неизвестны, возникают две основные группы задач и, соответственно, два класса непараметрических методов. В первой группе задач требуется проверить различие в некоторых интегральных показателях последовательности наблюдений при гипотезах Но и Ні у например, различия по математическому ожиданию наблюдений. Во второй группе задач требуется протестировать различия в функции распределения наблюдений при гипотезах HQ із. Н\. Бахадур [73] распространил классическое определение достаточной статистики Халмоша-Сэвиджа на задачи последовательного анализа и показал, что можно использовать только достаточные и транзитивные статистики для построения непараметрических последовательных тестов. Холл, Вейсман и Гош [157] дополнили этот результат определением инвариантности по Ханту-Стейну и показали, что многие проблемы непераметрического последовательного анализа решаются с применением инвариантных достаточных и транзитивных статистик. В частности, основе этих идей были разработаны инвариантные последовательные тесты для проверки гипотез при наличии мешающих параметров. Вейсман [298] показал, что объем выборки инвариантного теста отношения правдоподобия является конечным с вероятностью 1, а Лай [200] доказал, что в асимптотическом смысле (при стремлении к нулю вероятностей ошибок) инвариантный последовательный тест отношения правдоподобия является оптимальным в смысле Вальда-Вольфовица. Во второй группе задач непараметрического последовательного анализа можно отметить работу Сэвиджа и Сетурамана [262], в которой рассматривалась задача последовательного тестирования гипотезы Но : F = G против Н\ : F — Gs, S 1. Процедура представляет собо последовательный тест отношения правдоподобия, построенный на последовательных рангах наблюдений.
Последовательное различение гипотез для нестационарных наблюдений
В этой главе были рассмотрены непараметрические методы скорейшего обнаружения структурных изменений статистических характеристик случайных процессов. На основе анализа принципов построения известных параметрических тестов кумулятивных сумм (CUSUM), квази-байесовского теста Гиршика-Рубина-Ширяева, экспоненциального сглаживания и "скользящего окна" наблюдений были построены их непараметрические аналоги, характеристики которых - предельное время нормированного запаздывания и вероятность "ложной тревоги" - исследованы в рамках асимптотического подхода. Предложенный подход к исследованию характеристик качества непараметрических методов основан на идее "большого параметра", при стремлении которого к бесконечности предельная величина нормированного запаздывания и предельная величина логарифма нормированной вероятности "ложной тревоги" стремятся к детерминированным пределам. Подчеркнем, что, в сравнении с традиционными методами, основанными на идеях последовательного анализа Вальда и нелинейной теории восстановления, этот подход позволяет значительно расширить диапазон рассматриваемых случайных процессов, включив в него зависимые последовательности, удовлетворяющие условиям перемешивания.
Установлены априорные информационные оценки снизу для величины нормированного запаздывания в обнаружении разладки и величины скорости сходимости нормированного запаздывания к своему пределу (неравенство Рао-Крамера). Эти оценки позволяют исследовать асимптотическую оптимальность методов скорейшего обнаружения разладки по различным критериям достижения априорных информационных границ (т -оптимальность, а -оптимальность).
Помимо задачи скорейшего обнаружения резких структурных сдвигов, рассмотрена задача "раннего обнаружения" нестационарностей трендового типа. Характеристики качества непараметрических методов "раннего обнаружения" исследованы на основе подхода "большого параметра". Установлены априорные информационные границы для предельной величины нормированного запаздывания и скорости сходимости нормированного запаздывания к своему пределу (неравенство Рао-Крамера) в задаче "раннего обнаружения". Исследована асимптотическая оптимальность методов "раннего обнаружения" по критериям достижимости этих априорных границ. Одной из новых задач вероятностной диагностики, исследованных в Главе 4, является задача последовательного обнаружения и оценивания момента разладки. Предложенный метод является асимптотически оптимальным и позволяет строить асимптотически несмещенные оценки моментов разладки. По сравнению с методами последовательного обнаружения и оценивания момента разладки, предложенными другими авторами, данный метод является менее чувствительным к неточностям априорной информации о наблюдениях и может быть использован во многих прикладных задачах последовательного диагноза.
Рассмотренные в этой главе методы и подходы к последовательному обнаружению структурных изменений в характеристиках случайных процессов допускают различные обобщения. В частности, в работах автора [16, 96] предложен подход к сравнительному анализу непараметрических методов последовательного обнаружения, а также к изучению робастных свойств непараметрических методов обнаружения разладок.
Методы вероятностной диагностики структурных сдвигов в экономических моделях и системах
Период 1970-2000 годов охарактеризовался существенными изменениями в методологии моделирования и прогноза экономических процессов. Вплоть до конца 1960х годов в большинстве работ по макроэкономическому моделированию делался упор на построение всеобъемлющих макроописаний - моделей общего равновесия и межотраслевых балансов, включающих 200-300 уравнений, преимущественно балансовых и регрессионных, коэффициенты которых оценивались на стационарных периодах функционирования экономической системы. Нефтяной кризис 1972-1973 годов повлек за собой резкое изменение структуры и параметров этих моделей ввиду экзогенного "шока предложения". Настройка параметров этих макромоделей на новый экономический режим оказалась чрезвычайно сложной и трудоемкой процедурой ввиду большого числа уравнений, коэффициенты которых одновременно оценивались. В этот период Лукас выступил со знаменитой критикой, направленной против попыток построения всеобъемлющих макроописаний экономических процессов и мотивированной наличием структурных "шоков" в экономических системах, резко изменяющих параметры этих систем в непредвиденные моменты. После критики Лукаса важнейшие макроэкономические зависимости (кривая Филипса, модель агрегированного предложения и др.) дополняются слагаемыми, описывающими структурные сдвиги. Проблемы, которые возникли при этом, заключались в том, что сами моменты структурных сдвигов были априори неизвестны, и поэтому применяемые методы оценивания были полу эвристическими. С другой стороны, возникшее понимание важности проблемы структурных сдвигов в эконометрическом моделировании стимулировало развитие методов вероятностной диагностики в исследованиях экономических систем.
В 1980е годы появились две альтернативные исследовательские программы, целью которых был анализ различных форм нестационарности наблюдений в эконометрических моделях. Первая программа, выдвинутая Нельсоном и Плоссером в 1982 году, подчеркивала значимость анализа стохастических трендов в динамических рядах наблюдений для построения адекватных эконометрических моделей. Методы описания макроэкономических временных рядов процессами с единичным корнем базировались на гипотезе о постоянстве структурных шоков. Эта программа, однако, была подвергнута критике Перроном [239, 240], который показал, что для многих макроэкономчеких рядов гипотеза о наличии единичного корня может быть отвергнута, если допустить возможность скачка в функции тренда. Таким образом, эти ряды могут быть описаны моделью с однократным изломом функции тренда.
Реальной экономической задачей, которую Перрон [239] попытался решить с использованием метода обнаружения структурных сдвигов ("разладок"), была интерпретация макроэкономических данных о кризисе 1929 года - крах фондовой биржи в Нью-Йорке и Великая Депрессия, и нефтяном шоке 1973 года. Одна из возможных интерпретаций этих кризисов состоит в том, что они привели к одномоментным сдвигам по среднему наблюдаемых макроэкономических переменных - объема ВВП, промышленного производства и т.д. Другая интерпретация состоит в том, что ввиду нестационарности наблюдаемых трендов макропеременных эти кризисы порождают долгосрочный спад производства и инвестиций.
Ключевым предположением Перрона была гипотеза об экзогенности момента структурного сдвига в выборке. Эта гипотеза была подвергнута критике Кристиано [111], указавшим на то, что моменты структурных сдвигов не должны задаваться экзогенно, но определяться по самой выборке данных. В последующих работах (Перрон и Фогелзанг [241], Зивот и Эндрюс [315]) рассматривались модели эндогенных структурных сдвигов.
Вероятностная диагностика структурных сдвигов в эконометрических моделях
Многие банки, особенно в Японии, были вовлечены в операции с этим видом ценных бумаг. В этот период наблюдался резкий рост количества участников рынка и сформировался вторичный рынок облигаций с плавающей ставкой. Кризис на рынке облигаций с плавающим процентом разразился в 1986 году. Ему предшествовал краткий период возросшей неопределенности в динамике спроса и предложения, связанный с планами изменения способов регулирования рынка. Последовавшее за этим резкое падение цен было обусловлено несколькими факторами: во-первых, переоценкой равновесных характеристик этого вида ценных бумаг, во-вторых, избыточным предложением облигаций при заданном размере рынка и, в-третьих, неверными ожиданиями инвесторов относительно ликвидности ценных бумаг. К концу 1986 г. цены на облигации упали почти в 3 раза, и рынок практически перестал существовать, что привело к замедлению темпов экономического роста.
Другим крупнейшим кризисом в 1980-е годы был кризис на рынке junk bonds в США в 1989 г. История возникновения этого рынка такова. В начале 1980-х годов банк Drexel Burnham Lambert предложил организовать рынок ценных бумаг предприятий с низким инвестиционным рейтингом. Высокие доходы быстро привлекли инвесторов, и рынок начал бурно развиваться. К 1989 г. рынок junk bonds достиг объема 200 млрд. долларов при все возрастающей эмиссии. Однако в этот период стали складываться признаки перелома позитивных тенденций развития рынка. Неопределенность в динамике спроса и предложения возросла в значительной степени вследствие финансовых затруднений канадского конгломерата Campeau, который финансировал многие американские компании путем продаж junk bonds, а также вследствие резко возросшего предложения этих облигаций и падения их ликвидности. Напряженность на рынке существенно возросла, когда государственные сберегательные и кредитные организации отказались от junk bonds. В результате цены и ликвидность этих бумаг катастрофически упали, а новые эмиссии не были размещены. Сразу за этими событиями последовало банкротство Drexel Burnham Lambert в феврале 1990 г.
Среди европейских кризисов на финансовых рынках выделяются кризис на рынке коммерческих ценных бумаг в Швеции в 1990 году и коллапс рынка облигаций ECU в 1992 году. Эволюция этих кризисов также включала в себя период неопределенности, сопровождавшийся медленным ухудшением параметров рынка, и резкий переход в кризисное состояние. Как правило, market makers не реагируют на медленные и плавные тренды ухудшающихся характеристик рынков, воспринимая их как временные явления, но зато поддаются общей панике в кризисный период, лишь усугубляя тяжесть финансовых последствий кризисов.
В 1990-е годы сложился новый тип кризиса экономических систем - долговой кризис развивающихся и переходных экономик, сопровождающийся глубокими изменениями важнейших макроэкономических параметров этих систем. Эти кризисы поражают, в первую очередь, финансовые рынки и лишь затем распространяются на всю экономическую систему. Эволюция этих кризисов включает в себя период плавного негативного тренда базовых характеристик финансовых рынков и параметров исполнения бюджета, заканчивающийся резким переходом в кризисный режим вследствие практически мгновенного изменения характера ожиданий инвесторов.
Одним из первых примеров подобного кризиса стал известный tecilla crisis в Мексике 1994-1995 гг. Этот кризис явился полной неожиданностью для мексиканских властей, последовательно проводивших программу экономических преобразований в стране по рецептам МВФ и Мирового банка, а также для самих этих финансовых огранизаций, по традиции относивших Мексику к разряду "примерных учеников" в проведении либеральных реформ. Суть этих реформ 1980-х годов заключалась в стремительном открытии экономики - масштабных программах приватизации и дерегулирования цен, направленных на создание современного финансового сектора, а также преобладающем акценте на развитии экспортных и сборочных производств в стране. Для обуздания высокой инфляции правительство с 1988 г. проводило политику ограничения роста обменного курса, приведшую в начале 1990-х годов к постепенному ухудшению состояния счета текущих операций. Попытки властей удержать обменный курс и базовые процентные ставки в заданном диапазоне за счет расширения внутреннего кредита привели к известному кризису 1994 года, вызванному стремительным оттоком иностраннного капитала из страны.
Весьма схожей была эволюция макроэкономического кризиса в России 1998 года. Этому кризису предшествовал ряд важнейших событий в области макроэкономической политики в России 1995-1997 гг. Отказ от прямого эмиссионного финансирования дефицита государственного бюджета в 1995 г. позволил достичь финансовой стабилизации в 1996 г. - темпы инфляции снизились с 125 процентов годовых в 1995 г. до 24 процентов в 1996 г. Однако вопреки монетаристским воззрениям на природу взаимосвязи инфляции и темпов экономического роста, это существенное снижение темпов инфляции не сопровождалось ростом объемов производства. Годовой спад промышленного производства составил 5 процентов в 1996 году. В основном, этот спад проявился в отраслях, ориентированных на внутренний российский рынок: пищевая и легкая промышленность, индустрия строительных материалов, черная металлургия и химия. Сужение налоговой базы в этих отраслях, наряду с ростом объемов задолженности в рельном секторе, привело к сокращению налоговых поступлений в бюджет и необходимости расширения долговых заимствований государства в 1995-1997 гг.
Проблема сокращения бюджетного дефицита была решена в 1995-1996 гг. путем ускоренного наращивания объемов внутреннего (ГКО-ОФЗ) и внешнего долга: в 1995 г. бюджетный дефицит в России был сокращен до 3 процентов ВВП (с 12 процентов ВВП в 1994 г.). В 1996 г. рынок ГКО (государственных казначейских обязательств) стал оказывать влияние на общую макроэкономическую ситуацию в стране, прежде всего через канал процентных ставок. Средняя учетная ставка по ГКО в 1995-1997 гг. задавала ориентир для всех процентных ставок в российской экономике, включая ставку кредита реальному сектору. Для снижения базового уровня процентных ставок в России в 1996 г. и тем самым расширения объемов кредитования реального сектора было принято решение о допуске нерезидентов на рынок внутреннего госдолга. Это позволило снизить уровень доходности по ГКО до 35-40 процентов годовых за счет значительного расширения спроса и выпуска новых траншей облигаций.
Вместе с тем, макроэкономическая ситуация в России 1995-1996 гг. свидетельствовала о том, что расширение объемов эмиссии ГКО является скорее "одноразовым лекарством" для решения проблемы бюджетного дефицита, нежели инструментом долгосрочной финансовой и макроэкономической стабилизации. В силу роста стоимости обслуживания госдолга, бюджетная эффективность новых эмиссий ГКО снижается при приблизительно постоянном объеме спроса на госбумаги. Именно по этой причине дефицит консолидированного бюджета России, снизившийся до 2-3 процентов ВВП в 1995 г., вновь возрос до 7-8 процентов ВВП в 1996 г. При отсутствии реальных перспектив экономического роста в России в 1997-1998 гг. решение о допуске нерезидентов на рынок госдолга неминуемо вело к серьезным потрясениям всей финансовой системы в России и макроэкономическому кризису: в момент насыщения спроса на госбумаги бюджетная эффективность новых траншей ГКО начинала снижаться и правительству приходилось наращивать объемы заимствований, тем самым толкая учетную ставку вверх и увеличивая объем бюджетного дефицита в долгосрочной перспективе.
