Содержание к диссертации
ВВЕДЕНИЕ 4
Глава 1. Последовательное оценивание параметров динамических
систем со случайными коэффициентами 23
Постановка задачи 23
Построение процедуры идентификации 24
Свойства последовательного плана идентификации 26
Выводы 34
Глава 2. Последовательное оценивание параметров динамических
систем со случайными коэффициентами при наличии
управления 35
Постановка задачи 35
Построение процедуры идентификации 35
Свойства последовательного плана идентификации 36
Выводы 49
Глава 3. Последовательная классификация динамических систем
со случайными коэффициентами 51
Постановка задачи 51
Процедура классификации 52
Свойства процедуры классификации 52
Выводы 60
Глава 4. Экспериментальное исследование алгоритмов
идентификации и классификации 61
4.1. Моделирование алгоритма идентификации 61
Моделирование процедуры идентификации при наличии управляющих воздействий 67
Моделирование алгоритма классификации 70
Выводы 77
ЗАКЛЮЧЕНИЕ 79
Приложение А. Вывод формулы для спектральной плотности ... 81
Приложение Б. Вспомогательные результаты для глав 1, 2 92
\
Приложение В. Вспомогательные результаты для главы 3 115
Приложение Г. Предельная матрица 127
ЛИТЕРАТУРА 129
Введение к работе
В настоящее время идентификация - необходимый и наиболее сложный этап при решении многих прикладных задач. Идентификация требуется для построения адекватных моделей, которые используются при проектировании сложных систем. Этим вызвана актуальность задачи идентификации. Построение моделей не исключает и возможности качественного анализа системы, отнесения ее к некоторому классу. Для этого необходимо решение задачи классификации.
До решения задач идентификации и классификации возникает проблема выбора структуры модели, адекватно описывающей заданную систему. Модель может точно воспроизводить исследуемую систему и вполне соответствовать ей. Но на практике это возможно лишь в редких случаях. Модели в основном используются для предсказания и управления. Поэтому модель должна быть настолько подробной, насколько необходимо для этих целей. Слишком подробная модель обычно усложняет анализ исходной системы, поскольку требует обработки большого объема данных. Поэтому в случае, когда модель имеет много параметров, необходимо провести ее качественное преобразование в сторону уменьшения сложности. Примером такого преобразования может быть переход от процесса авторегрессии высокого порядка к модели авторегрессии со случайными коэффициентами более низкого порядка:
хк = ax(k)xk-i + ... + ар(к)хк-р + а0єк,
аг(к) = аі + аіТ]і(к), к = 1,2,...,
где {єк}, {Vi(k)}, і = 1,р - независимые последовательности независимых одинаково распределенных (н.о.р.) случайных величин с нулевым средним и единичной дисперсией. В данной работе рассматривается проблема идентификации такой модели с позиций последовательного анализа, который предполагает, что длительность оценивания зависит от текущей реализации процесса.
Другой причиной использования предлагаемой модели может быть реальное наличие возмущений параметров системы. Известно, что в задачах адаптивного управления, фильтрации и прогнозирования важное место занимают динамические системы, описываемые линейными стохастическими разностными уравнениями с неизвестными параметрами. Для идентификации линейных динамических систем разработаны различные эффективные методы: наименьших
квадратов, максимального правдоподобия, стохастической аппроксимации и др. (см. например, [51]) При этом неизвестные параметры линейных систем, как правило, считаются постоянными во времени. В действительности они могут быть подвержены действию случайных возмущений и оставаться постоянными только в среднем. Естественно ожидать, что алгоритмы идентификации и классификации, не учитывающие действие указанных помех, могут приводить к неверным результатам. Поэтому возникает необходимость разработки алгоритмов идентификации и классификации в моделях со случайными параметрами.
Еще один аргумент в пользу модели со случайными коэффициентами - это возможности ее применения в прикладных задачах. При отсутствии мультипликативных помех r}i(k) рассматриваемая модель со случайными коэффициентами совпадает с авторегрессионной моделью. Процесс авторегрессии широко используется в анализе временных рядов, поскольку позволяет аппроксимировать любой стационарный процесс с непрерывной спектральной плотностью ([3]). Модель авторегрессии с аддитивными помехами Єк и мультипликативными помехами находит применение в задачах обработки временных рядов ([53]), в задачах управления ([47]), в задачах компьютерной надежности ([55]), в физической медицине для расчета накопления в организме тяжелых элементов (ртути, свинца) и их вывода естественным путем и путем радиоактивного распада ([54]).
В связи с актуальностью предлагаемой модели желательно иметь возможность оценить для нее спектральную плотность. Наличие точного выражения для этой функции позволило бы провести такую оценку. Точное выражение для спектра имеется, так как можно показать, что спектральная плотность имеет следующий вид (см. приложение А):
*А> = і
J2 < D^ - Dayl >п
.3=1
х (< eiXA{Iv - eiXA)~l >у + < e~iXA{Ip - е~ІХА)-1 >!,-) + + < eiXA(Ip - eiXA)~l >іі + < е~ІХА(Ір - е~ІХА)-1 >п +
+ < Da(Ip2 - Da)-1 >u +1] ,
А = І '01 "р ] , Da = A
Ір-\
(аіщ(к) ... crpr}p(k)\
Г,=
V о ... о /
Ip-i - единичная матрица порядка р — 1, А В = [а^В] обозначает кронекерово произведение квадратных матриц А и В, < А >у - элемент i, j матрицы А.
с мультипликативными помехами без мультипликативных помех
Рис. Спектральная плотность
На рисунке приведены графики спектральной плотности процесса авторегрессии со случайными коэффициентами третьего порядка для случаев наличия и отсутствия мульипликативных помех при а\ = 0,3, a= —0,3, аз = 0,3. При наличии мультипликативных помех их уровень был следующий: ст\ = o<т3 = 0,2.
В случае отсутствия мультипликативных помех процесс сводится к авторегрессии с постоянными коэффициентами, а его спектральная плотность приобретает известный вид (см. приложение А):
2'
/(A) = ^ Х
27T|Q(e-«)|
где Q{z)
a\z
— ... — a„zp
Для оценки спектральной плотности случайного процесса, а также для других целей часто бывает необходимо провести его идентификацию или классификацию. Рассмотрим, какие существуют подходы к идентификации и классификации стохастических динамических систем. Все методы оценивания и классификации можно разделить на два класса: непоследовательные и последовательные. В непоследовательных процедурах оценивания число наблюдений фиксировано. О точности таких оценок можно судить по их асимптотическим свойствам, при этом число наблюдений должно быть достаточно большим. Последовательные же методы характеризуются тем, что объем наблюдений в них не фиксируется заранее, а определяется в зависимости от требуемого качества решений в ходе наблюдений процесса. Последовательный подход допускает изучение свойств оценок, таких как среднее время идентификации и среднеквадратическое уклонение оценок. Эти определения позволяют непосредственно перейти к формулированию целей данной работы.
Цели диссертации:
1. построить одноэтапный последовательный алгоритм оценивания процесса
авторегрессии со случайными коэффициентами, обеспечивающий заданную
среднеквадратическую точность;
разработать последовательную процедуру идентификации модели авторегрессии со случайными коэффициентами и управляющими воздействиями;
построить последовательный алгоритм классификации процессов авторегрессии со случайными коэффициентами с заданной вероятностью правильного решения;
исследовать асимптотические свойства среднего времени оценивания и классификации;
исследовать асимптотические свойства статистик, по которым велносится решение о принятии гипотезы;
6. провести экспериментальное исследование алгоритмов и сравнение с
известными процедурами.
Рассмотрим, какие результаты были получены в областях идентификации и классификации систем. Предлагаемый ниже обзор непоследовательных и последовательных методов не претендует на исчерпывающее исследование и ограничивается, в основном, моделями, которые близки к изучаемой.
Непоследовательные методы идентификации стохастических динамических систем
Проблеме непоследовательного оценивания параметров динамических систем, описываемых стохастическими разностными и стохастическими дифференциальными уравнениями, посвящена обширная литература. Наиболее распространенными методами оценивания являются метод наименьших квадратов (МНК) и метод максимального правдоподобия. Остановимся на этих моделях и свойствах оценок параметров подробнее.
В [3] для линейной авторегрессионной модели с постоянными параметрами, детерминированными входами и гауссовскими шумами предложена оценка по методу максимального правдоподобия. Оценка параметров определяется из условия максимума условной плотности распределения шумов при заданных начальных значениях процесса, которая совпадает с безусловной в случае шумов, независимых от начальной выборки. Решение такой задачи на максимум сводится к решению задачи на минимум суммы квадратов невязок, то есть к обычной задаче наименьших квадратов. В указанной работе исследуются асимптотические свойства полученной оценки. Доказывается состоятельность оценки линейных параметров и оценки дисперсии шумов. Также доказана асимптотическая нормальность оценки линейных параметров и оценки среднего для случая когда оно неизвестно.
В [26] построены оценки условного максимального правдоподобия для авторегрессии с входными воздействиями, нелинейным выходом, детерминированными трендами и гауссовскими шумами. Учитывая, что для таких моделей расчет оценок по методу максимального правдоподобия на основе полной информации является сложной задачей даже для стационарных процессов, предлагается использовать оценки условного максимального правдоподобия. Оцениваются как линейные параметры, так и дисперсия шума. Доказывается состоятельность таких оценок, не привлекая предположения о нормальности шумов. Для математического ожидания и дисперсии оценки линейных параметров получены асимптотические выражения при тех же ослабленных условиях. Доказано, что дисперсия оценки линейных параметров асимптотически равна нижней границе в неравенстве Крамера - Рао, и оценка линейных параметров имеет асимптотически минимальную дисперсию. Доказано, что условная плотность оденки сходится к плотности нормального распределения, дисперсия которого также найдена. Построены доверительные интервалы для оценки
условного максимального правдоподобия.
В [35] исследуется состоятельность и асимптотическая нормальность оценок по методу наименьших квадратов для класса линейных моделей с дискретным временем вида
y(t) = G(q,e)u(t) + H(q,e)e(t),
где e(t) - помехи, q - оператор сдвига: qu(t) = u(t + 1), в - параметр, подлежащий оценке.
Рассмотрим некоторые примеры идентификации, различных систем методами, которые основаны на минимизации функционала качества оценивания, на построении информационных множеств или на иных подходах.
В [2] приводится обзор основных методов оценивания параметров процессов типа авторегрессии-скользящего среднего. Рассматриваются метод автокорреляций, МНК, метод максимального правдоподобия, методы ошибки предсказания, робастные методы, а также оценки параметров при наличии шумов наблюдения. Метод автокорреляций основан на оценке'параметров, с помощью выборочных значений автокорреляционной функции. Сюда относятся оценки Юла - Уокера, которые получаются заменой теоретических значений автокорреляций их выборочными значениями. Чтобы построить оценки Юла - Уокера для авторегрессии р + 1 порядка (АР(р + 1)) по оценкам параметров процесса АР(р), подогнанного к тому же временному ряду, используется рекуррентный алгоритм Левинсона - Дарбина. Для процессов авторегрессии-скользящего среднего также имеется способ оценки параметров методом автокорреляций. Отмечено, что метод наименьших квадратов позволяет получить и асимптотически нормальные оценки для устойчивого процесса авторегрессии в случае, когда существуют конечные моменты распределений шумов вплоть до четвертого порядка. МНК-оценки также можно получить из рекуррентных соотношений. Приводятся подходы к оценке по методу МНК процессов авторегрессии-скользящего среднего. Некоторые из них дают состоятельные и асимптотически эффективные оценки. Отмечено, что метод максимального правдоподобия во многих случаях дает состоятельные, асимптотически нормальные и асимптотически эффективные оценки. Рассмотрены подходы вычисления точной функции правдоподобия. В случае, когда нет априорной информации об условных плотностях ошибок предсказания значений ряда, через которые можно выразить функцию правдоподобия, используются методы ошибки предсказания. В этих методах минимизируется некоторый функционал от ошибок предсказания на один шаг. Рассматриваются алгоритмы минимизации указанного функционала. Получаемые
оценки являются состоятельными и асимптотически нормальными. Отмечено, что робастные методы используются для получения хороших оценок, когда не имеется полной информации для построения оптимальных оценок. Кроме того, законы распределения могут отличаться от предполагаемых, что приводит к ухудшению качества оценивания не робастными методами. Подробный обзор робастных оценок приводится также в [17]. В [2] рассматриваются подходы к оцениванию параметров процессов авторегрессии-скользящего среднего в случае наличия шумов в наблюдениях. При этом используются модифицированные оценки МНК, в том числе рекуррентные. В случае процесса авторегрессии-скользящего среднего, искаженного белым шумом, вычисляется функция правдоподобия с применением рекуррентных уравнений Калмана.
В [33] изучается вопрос гарантированной идентификации билинейных систем
q(k) = (P(k)+E(k))c + r1(k),
где с- идентифицируемый вектор, Е(к), т)(к) - помехи, {Р(к)}, {q(k)} - измеряемые матричная входная и векторная выходная последовательности. Построены информационные функции, приводящие решение рассматриваемых задач к виду информационных псевдоэллипсоидальных множеств. Определяется, когда возможен переход псевдоэллипсоидальных оценок в эллипсоидальные. Получено неравенство, определяющее границу, по одну сторону которой информационные свойства билинейных систем не отличаются от свойств линейных систем, а по другую - начинают обладать свойствами характерными для нелинейных систем. Отдельно рассмотрен вопрос идентификации системы второго порядка.
В [16] предложен метод идентификации детерминированных динамических систем с непрерывным временем по наблюдениям в дискретные моменты времени при наличии случайных ошибок измерений. Задача определения параметров предложенной модели является некорректно поставленной. Так как характеристики точности коэффициентов уравнений для функционала качества идентификации заранее не известны, то построение регуляризирующего оператора затруднено. Поэтому использовалось вложение итерационной процедуры оценивания параметров в процедуру метода аналитического продолжения по параметру.
В [39] рассмотрена задача минимаксного оценивания многомерной линейной неопределенно-стохастической модели наблюдения с двумя векторами параметров, в которой часть компонент первого вектора параметров является неслучайными величинами, а другая часть - случайными с неизвестными
законами распределения. Среднее и ковариация второго вектора лежат в известных областях. Приведен общий вид минимаксного оператора оценивания, а также условия, при которых решение двойственной задачи однозначно определяет минимаксный оцениватель.
В [6] изучается вопрос оптимального оценивания в минимаксном смысле случайных элементов со значениями в сепарабельных гильбертовых пространствах. Так же, как и в [39], вероятностные характеристики параметров, входящих в уравнения для наблюдаемых и подлежащих оцениванию элементов, лишь частично известны. В класс допустимых оценивателей входят все пределы в среднеквадратическом смысле последовательностей ограниченных линейных преобразований от наблюдений. Получены условия существования минимаксной, оценки и сама минимаксная оценка компоненты случайного элемента, подлежащей оцениванию. Найдены необходимые и достаточные условия того, чтобы оценка была минимаксной.
В [34] рассматривается задача идентификации непрерывных стохастических систем, заданных системами линейных стохастических дифференциальных уравнений, по наблюдениям с помехами. Предполагается, что эти системы в отсутствии ошибок измерения и возмущений наблюдаемы. Априорная информация о корреляционных характеристиках возмущений и ошибок измерений неполна. Оценка полезного сигнала ищется в классе линейных функционалов. Найдена точная верхняя грань дисперсии ошибки оценивания. Полученная оценка минимизирует значение среднеквадратической ошибки при наихудшем поведении ошибок измерений и возмущений.
В [11] исследуется проблема идентификации вектора параметров в* линейной регрессии:
Уп = <р'пвп + Vn, вп = в*+п, 71=1,2,...,
где vn - аддитивные помехи и wn - мультипликативные помехи, <рп - вектор входов. Мультипликативные помехи должны быть независимы между собой и от вектора входов. Аддитивные помехи могут быть зависимыми между собой. Входы представляют собой последовательность случайных величин с ограниченными математическими ожиданиями, независимых как между собой, так и от шумов. Также накладываются некоторые условия на распределение помех. Доказана состоятельность оценок по методу стохастической аппроксимации. Для оценок по этому методу получена верхняя граница среднеквадратического уклонения. Доказана состоятельность оценок по методу наименьших квадратов.
В [5] рассматривается задача оценивания стохастических динамических
объектов класса Гаммерштейна. В таких объектах отражаются нелинейные динамические взаимосвязи между входом и выходом, а также внутренняя структура связей каждого входа. Вход объекта исследования - Х(к) = (Xi(k),..., Хр(к)У, выход - Y(k). Модель приводится к виду линейной регрессии, где на входе стоит вектор непараметрических оценок взаимно регрессионных функций выходного процесса Y(k) от координат входного процесса Xj(k + 1 — г) и авторегрессионных функций Xj(k) относительно Xj(k + 1 — г). При некоторых условиях на оценки регрессионных и авторегрессионных функций, параметры модели, распределения помех, а также функцию потерь имеет место сильная состоятельность оценки, полученной с помощью рекуррентного варианта алгоритма Ньютона - Рафсона. Для оценки на основе усредненного метода наименьших квадратов доказана также сильная состоятельность при выполнении некоторых условий на распределения помех и входную последовательность линейной регрессионной модели объекта исследования.
В [32] исследуется проблема идентификации нелинейной непрерывной нестационарной системы по зашумленным наблюдениям в дискретные моменты времени. Оценка параметров модели получается с помощью рекуррентного алгоритма из условий, минимизирующих функционал в частотной области. Этот функционал содержит дискретное преобразование Фурье невязки между наблюдением и прогнозом.
В [8] рассматривается задача пассивной и активной идентификации статического объекта с ограниченной помехой и наличием управления. Оценки параметра определяются рекуррентной процедурой "зона нечувствительности". Доказана сильная состоятельность оценки при условиях замкнутости объекта стабилизирующей обратной связью с фиксированными настройками регулятора и рандомизирующим управление тестовым воздействием, независимым относительно возмущений в объекте.
В [38] исследуется проблема асимптотически минимаксного оценивания непрерывной системы по наблюдениям в дискретные моменты времени в случае, когда ковариационная функция помехи неизвестна. При некоторых условиях на уравнения модели доказана асимптотическая минимаксность предложенной оценки. Получен итерационный алгоритм вычисления минимаксной оценки и доказана его сходимость.
В [41] решается задача оценивания параметров и ковариаций шумов модели линейной регрессии. Оценка параметров производится после принятия решения о классе моделей, адекватном наблюдениям, путем проверки статистической
гипотезы. Совместная оценка линейных параметров и ковариаций шумов представляет собой достаточную статистику для семейства плотностей, характеризующих статистическую модель. Найдена полная достаточная статистика для того же семейства. Оценка ковариационной матрицы является функцией от этой статистики. Оценки линейных параметров и ковариаций шумов модели равномерно оптимальные и несмещенные.
В [18| исследуется проблема определения структуры модели динамической
системы по частоте ограниченных невязок. Ограниченная невязка представляет
собой расстояние между экспериментальным значением выходной переменной
системы и ее оценкой в заданный момент времени, полученной по построенной
модели системы. Рассматриваются частоты событий, заключающихся в том, что
это расстояние ограниченно сверху. Частота ограниченных невязок применяется
в качестве критерия для определения порядка линейной модели со входами и
выходами. Для предлагаемого алгоритма используется оценка по методу МНК.
Найден способ определения верхней границы невязок и нижней границы частоты
невязок для использования их в критерии. Предложен алгоритм преобразования
ковариационных матриц оценок коэффициентов моделей динамических систем
при переходе от математической модели одной структуры к модели другой
структуры. '
В [27| решается задача оценивания неизвестной функции по наблюдениям с помехами. Распределение ошибок наблюдений принадлежит классу загрязненных и считается известным. Такая модель предполагает, что наряду с типичными наблюдениями присутствуют выбросы. За основу берется непараметрическая оценка регрессии Надарая-Ватсона. Используется метод цензурирования выборки, то есть удаления выбросов. В качестве показателя годности используются относительные невязки. Предлагаются подходы к определению допустимого отклонения относительных невязок.
В [37] рассматривается задача нахождения корня уравнения регрессии и максимума неизвестной функции при наличии ошибок измерений для случаев непрерывного и дискретного времени. Процедуры решения указанных задач - процедура Роббинса-Монро и процедура Кифера-Вольфовица относятся к методам стохастической аппроксимации. Рассмотренные процедуры применяются для рекуррентного оценивания параметра распределения при отсутствии априорной информации об оцениваемом параметре. В случае независимых наблюдений и дискретного времени доказана состоятельность в сильном смысле рекуррентной оценки параметра, а также ее асимптотическая нормальность. Для
одномерного параметра доказана также и асимптотическая эффективность. Для случая непрерывного времени, многомерного параметра и наблюдений, зависимых от времени, доказана асимптотическая несмещенность рекуррентной оценки и ее асимптотическая эффективность в сильном смысле. Рассмотрен случай наличия управляющего параметра.
В [36] исследуется проблема оценивания параметров линейных динамических систем с мультипликативной бернуллиевской помехой, а также рассматривается задача идентификации параметров линейных динамических систем по наблюдениям с помехами. В последнем случае при наблюдениях процесса присутствует также мультипликативная бернуллиевская помеха. В обоих случаях доказаны сходимость оценки МНК к истинному значению параметров с вероятностью 1, а также сходимость почти наверное оценки параметра в бернуллиевском распределении.
Как можно отметить, предлагаются разные подходы к идентификации, такие как метод максимального правдоподобия, метод наименьших квадратов, метод построения информационных множеств, метод минимаксного оценивания, метод стохастической аппроксимации, метод определения структуры модели и другие. При этом налагаются различные требования на распределения помех, например независимость шумов между собой, независимость шумов от входов, требование гауссовости шумов в методе максимального правдоподобия. Перечисленные методы предлагают состоятельные и даже асимптотически нормальные оценки, однако для малых и умеренных объемов выборок точность оценивания не исследована.
Последовательные методы идентификации и классификации стохастических динамических систем
Возможности последовательного оценивания проявляются уже на процессах авторегрессии первого порядка
Хі = вХі-і +Єі, і > 1.
Авторы [50] ввели последовательную оценку МНК
/г(Л) \ _1 т(Л)
заменяющую обычную оценку МНК. В предложенной оценке фиксированный объем выборки N заменяется моментом .остановки г (К). Авторы доказали,
что такая последовательная оценка асимптотически нормально распределена равномерно при в Є [—1,1], в отличие от обычной оценки МНК, сходимость которой к нормальному закону ухудшается при приближении в к границам интервала (—1,1). На границах же этого интервала предельное распределение обычной оценки МНК не является нормальным.
Ранее в работе [7] была предложена другая точечная последовательная оценка МНК
/r{h)-\ _ \
9*(h) = h~1 I ^2 Xk-ixk + P{h)xT[h)-iXr{h) ,
являющаяся модификацией оценки МНК с использованием специального правила остановки наблюдений и имеющая корректирующий множитель /3(h). Показано, что такая оценка является несмещенной. Получена равномерная по параметру верхняя граница для среднеквадратического уклонения оценки, то есть оценка является гарантированной в том смысле, что заранее можно указать длительность, наблюдений процесса, при которой достигается требуемая точность.
Последовательные схемы выборок, описанные выше, не применялись при построении гарантированных оценок на основе МНК для процессов порядка выше первого. Дело в том, что в скалярном случае при использовании правила остановки, основанном на наблюдаемой информации по Фишеру и корректирующем множителе, знаменатель в последовательной оценке МНК обращается в константу, - и это позволяет контролировать ее-среднеквадратическую точность. В случае многих параметров не было известно правило остановки, которое позволяет контролировать в оценке матрицу, обратную к выборочной информационной матрице. Поэтому задачи гарантированной идентификации параметров в AR(p) и более сложных линейных моделях требовали дополнительных ограничений на структуру модели или решались в два этапа, что требовало несколько оценок наименьших квадратов.
Рассмотрим подробнее случай многих параметров. В [7] исследуется п-мерный случайный процесс {xt}, определяемый рекуррентным уравнением. Предполагается некоторое ограничение на структуру и свойства матричных функций, входящих в уравнение процесса. Оценка вектора параметров процесса Л строится покоординатно, и для каждой координаты вводится свой момент остановки. Результат работы состоит в том, что оценка Л несмещенная и ее среднеквадратическое уклонение ограничено сверху заданной величиной при некоторых условиях на матричные функции, входящие в уравнение процесса.
В работе Воробейчикова С. Э., Конева В. В. ([10J), в отличие от [7], параметр Л, подлежащий оценке, является случайной, независимой от шумов величиной. Ограничения на структуру и свойства матричных функций, входящих в уравнение процесса, значительно ослаблены. Оценка параметров строится не покоординатно, а для всего вектора. Построенная оценка является несмещенной, и ее условная ковариация обратно пропорциональна порогу. Кроме того, в работе отдельно рассмотрен случай, когда параметр Л удовлетворяет некоторой системе линейных уравнений.
Ограничения, наложенные в работах, отмеченных выше, снимаются при двухэтапном оценивании параметров процесса. В работе Конева В. В., Пергаменщикова С. М. ([30]) предложена процедура двухэтапного последовательного оценивания линейного s-мерного случайного процесса с постоянными коэффициентами. Предполагается, что шумы в разные моменты времени не коррелированны. Матрица ковариаций шумов за один и тот же момент времени постоянна во времени. Задача оценивания параметров этого процесса свелась к рассмотрению скалярного случая
' xk+i = Xiai(k) + ... + Хтат{к) + єк+і,
где Л - вектор неизвестных параметров, {ek+i,/c+2, } - последовательность независимых случайных величин с Eek — 0, Ее\ = 1, {(аі(к),... ,ат(к))'} -последовательность случайных векторов, независимая от {ek+i,k+2, } Вначале с помощью случайной замены времени г„, изменяется система уравнений для нахождения оценок по методу наименьших квадратов по первым N наблюдениям. В результате шумы становятся контролируемыми в том смысле, что их дисперсии легко оцениваются сверху. Дальше при анализе оценки Лг- возникают трудности, связанные с наличием случайных коэффициентов при шумах. Поэтому на втором этапе выражения для Лг- представляют в виде уравнений для некоторых линейных процессов с шумами. Откуда по методу наименьших квадратов, вводя новые моменты остановки, получают окончательную оценку Х^(Н), где параметр Н позволяет контролировать точность среднеквадратического уклонения. При некоторых условиях также справедлива оценка сверху для среднеквадратического уклонения, обратно пропорциональная Н. Полученные результаты применяются к оцениванию параметров процесса авторегрессии.
В работах Васильева В. А., Конева В. В. ([9], [49]) решается задача последовательного оценивания линейной динамической системы с зависимыми помехами, и строится двухэтапная последовательная процедура идентификации
на основе оценок Юла-Уокера для линейного процесса с аддитивными и мультипликативными шумами при неполном наблюдении. Найдены верхние границы для среднеквадратических уклонений оценок.
В [29] идентификация производится также в два этапа. Доказывается асимптотическая нормальность последовательной оценки второго этапа. Кроме того, для числа наблюдений устанавливается асимптотическая оценка по порогу Н.
В работе [14] строится двухэтапная последовательная оценка линейных параметров для процесса авторегрессии при неизвестной дисперсии помех. Процесс преобразуется к векторному виду. Параметр дисперсии не известен, и используется его оценка, определяемая как сумма но времени квадратов значений процесса. При некоторых ограничениях на плотность имеет место ограниченность математического ожидания квадрата отношения значения дисперсии к ее оценке. Это соотношение используется для построения последовательных планов. Если модули корней полинома, коэффициенты которого являются значениями параметров процесса, все меньше единицы или все больше единицы, то для любой допустимой оценки дисперсии, которая удовлетворяет указанному выше соотношению, последовательный план обладает свойствами конечности почти, всюду числа наблюдений и ограниченности среднеквадратического уклонения оценки.
Рассмотрим, какие результаты были получены по последовательной классификации. Задача классификации процессов состоит в следующем. Пусть относительно наблюдаемого s-мерного случайного процесса имеется s различных статистических гипотез Hi,...,Hs, одна из которых истинна. Согласно гипотезе Щ, процесс {х(t)} описывается заданным стохастическим разностным уравнением. Необходимо по наблюдениям за процессом {x(t)} отдать предпочтение одной из гипотез. В отличие от асимптотических методов, последовательный подход предполагает остановку наблюдений при достижении заданной вероятности правильной классификации.
Случай неизвестного распределения шумов рассматривается в [28J, где предложена последовательная процедура классификации. Если дисперсионные матрицы, отвечающие различным гипотезам, не совпадают, то используется модификация статистик. В [28] показано, что время классификации конечно почти наверное, и если порог больше некоторого числа, то вероятность правильной классификации не меньше заданной величины.
В работе [31] решается задача классификации сходных с [28] стохастических
процессов. В отличие от [28], предполагается, что помехи &(к) зависимы и для некоторого натурального числа т и известной последовательности положительно определенных симметричных матриц Di(k), согласованной с системой сигма алгебр Ть, определяемой по исходному процессу, имеют место соотношения Е(&(к + m)!.?7*) = 0, Е(і(к + m)|(A; -+- т)\^к) < Di(k) (в смысле квадратичных форм). Отдельно рассматривается случай одинаковых матриц Dt(k). В случае ттг = 1 при выполнении ряда условий процедура классификации имеет п. н. конечную длительность, и вероятность ошибочной классификации не превосходит е. При т > 1 для преодоления эффекта m-зависимости проводится дополнительное сглаживание выходов фильтров, построенных на первом шаге. Принятие гипотезы Щ осуществляется с помощью модифицированных статистик. При различных матрицах Ог(к) в процедуру классификации также вносят изменения. Процедура классификации с модифицированными критериями имеет п. и. конечную длительность, и вероятность ошибочной классификации не превосходит є. Кроме этого, в [31] рассматривается задачи классификации процессов с дробно-рациональпыми спектральными плотностями и процессов авторегрессии при неполном наблюдении.
В [15] рассмотрена, процедура последовательной классификации процессов авторегрессии с неизвестной дисперсией помех по прямым и косвенным наблюдениям. Предполагается, что шум является последовательностью» н. о. р. случайных величин с нулевым средним и единичной дисперсией. При косвенных наблюдениях наблюдается зашумленный исходный процесс. Здесь шум является последовательностью н.о.р. случайных величин с нулевым средним и единичной дисперсией, не зависящих от исходного процесса. Для оценивания неизвестных дисперсий шумов вводится дополнительный этап. Процедура классификации гипотез Ні по прямым наблюдениям основывается на системе статистик, у которых в знаменателе, в отличие от предыдущих методов, стоит оценка дисперсии. В случае косвенных наблюдений в процедуру дополнительно вносят небольшие изменения. При некоторых условиях на шумы вероятность правильной классификации не меньше заданной величины. Получены асимптотические соотношения для средней длительности процедуры классификации. Доказана асимптотическая нормальность статистик, с помощью которых проводится классификация.
В [42] строится процедура последовательной классификации процессов авторегрессии скользящего среднего, и исследуются ее свойства. Используется последовательный критерий, предложенный в [31]. Получены нижняя граница для
*
вероятности правильной классификации и предельное соотношение для средней длительности процедуры. Доказана асимптогическая нормальность статистик, по которым выносится решение о принятии гипотезы.
Перечисленные последовательные методы, в отличие от других подходов, используют длительность наблюдений для достижения заданной точности оценивания или вероятности правильной классификации. В различных работах получены верхняя граница для среднеквадратического уклонения оценки, асимптотическое соотношение для средней длительности наблюдений при классификации, доказана асимптотическая нормальность статистик, по которым выносится решение о принятии гипотезы. Достоинства перечисленных выше последовательных процедур в том, что они не требуют дополнительных знаний о параметрах, о распределении помех, в некоторых случаях - о дисперсии помех и, при этом обеспечивают заданную точность оценивания или вероятность правильной классификации. Однако эти методы не могут быть применены для решения поставленных выше задач последовательного оценивания и классификации процессов авторегрессии со случайными параметрами.
Трудности поставленной задачи и ее решение
Рассмотрим, какие трудности возникают при идентификации и классификации предлагаемой модели и что сделано в данной работе. При больших объемах выборки можно судить о точности обычных оценок по их асимптотическим свойствам. Однако, остается открытым вопрос, при каких объемах выборки можно воспользоваться асимптотическим результатом. Также в прикладных задачах идентификации стохастических систем наряду с исследованием асимптотических свойств оценок желательно знать точностные свойства оценок при малых и умеренных объемах наблюдений. Однако, для многих динамических моделей изучение свойств оценок при не асимптотических предположениях наталкивается на большие трудности. Для наиболее широко используемого метода наименьших квадратов оценка параметров является существенно нелинейной, что не позволяет найти или оценить ее среднеквадратическую точность. Один из подходов, позволяющих преодолеть указанную трудность, связан с применением последовательного анализа. Как уже было отмечено выше, в работах [50, 7, 10, 30, 9, 29, 14, 40, 48,49] предложены последовательные оценки МНК для процесса авторегрессии, случайной регрессии и более общей модели, которые имеют гарантированную среднеквадратическую точность. При этом в случае нескольких
неизвестных параметров процедура оценивания включает два этапа и требует использования некоторого случайного числа оценок МНК, для чего необходимо дополнительное увеличение объема наблюдений. Поэтому предпочтительно было бы иметь одноэтапную гарантированную оценку для авторегрессии, при наличии мультипликативных возмущений.
Задача построения последовательной одноэтапной гарантированной оценки для модели авторегрессии с аддитивными и мультипликативными помехами решается в данной работе (глава 1). Получено асимптотическое соотношение для средней длительности процедуры последовательного оценивания. Найдена верхняя граница среднеквадратической точности предложенной оценки. Она обратно пропорциональна порогу, который определяет длительность процедуры и точность оценивания. Эти результаты не налагают жестких ограничений на распределения шумов, таких как требование гауссовости. Отдельно рассмотрен случай наличия управления (глава 2). В этом случае также найдено асимптотическое соотношение для средней длительности процедуры, и получена верхняя граница среднеквадратического уклонения оценки.
В задаче классификации решение о принятии гипотез обычно основывается на асимптотических свойствах некоторых статистик. Однако свойства этих статистик, вычисленных по конечным объемам выборок, могут сильно отличаться от асимптотических. Решение же задачи в неасимптотической постановке, даже при известном распределении шумов, вызывает трудности. Пусть, например, шумы гауссовские. Тогда легко найти функцию правдоподобия и построить решающую процедуру классификации. Однако свойства этой процедуры исследовать, вообще говоря, не удается, если только длительность наблюдений фиксирована. А поэтому остается открытым вопрос, как долго следует наблюдать процесс, чтобы обеспечить требуемое качество распознавания. Решением этой проблемы может стать использование последовательной процедуры классификации со специальным правилом остановки наблюдений, обеспечивающим заданную вероятность правильной классификации. Последовательный метод классификации позволяет также судить об асимптотических свойствах процедуры, таких как среднее время классификации и асимптотическая нормальность статистик, по которым принимается решение о выборе той или иной гипотезы. В работах [28,31,15,42] построены последовательные процедуры классификации для авторегрессии, авторегрессии-скользящего среднего и более общих динамических моделей.
Для процесса авторегрессии со случайными коэффициентами
последовательные процедуры классификации до сих пор не были разработаны. Решение этой задачи приводится в данной работе (глава 3). Получена нижняя граница для вероятности правильной классификации. Найдено асимптотическое соотношение для средней длительности процедуры. Доказана асимптотическая нормальность распределения вектора статистик, по которым выносится решение о принятии той или иной гипотезы.
Было проведено экспериментальное исследование предложенных процедур идентификации и классификации (глава 4), которое подтвердило их эффективность. Моделирование также показало преимущество построенных процедур идентификации перед обычным методом наименьших квадратов.
Публикации по работе
1. Кашковский Д. В. Одноэтапная процедура гарантированного оценивания
параметров авторегрессии со случайными коэффициентами//Наука. Технологии.
Инновации: Материалы Всеросс. науч. конф. молодых ученых. 08-11 декабря 2005.
Новосибирск. - Новосибирск: НГТУ. - 2006. - 4.1. - С. 25-27.
Кашковский Д. В. Последовательная идентификация параметров авторегрессии со случайными коэффициентами// Обозрение прикладной и промышленной математики. Четырнадцатая всероссийская школа-коллоквиум по стохастическим методам. - 2007. - Т.14, вып. 3. - С. 498-499.
Кашковский Д. В. Последовательная идентификация параметров авторегрессии со случайными коэффициентами//Вестник Томского гос. унта.- 2006. - j> 293. - С. 105-109.
Кашковский Д. В. Последовательное оценивание параметров авторегрессии со случайными коэффициентами// Перспективы развития фундаментальных наук: Труды IV Междунар. конф. студентов и молодых ученых. 15-18 мая 2007. Томск. - Томск: ТПУ. - 2007. - С. 242-243.
Кашковский Д. В. Последовательная процедура классификации процессов авторегрессии со случайными коэффициентами// Автометрия. - 2006. - Т. 42, № 1. - С. 77-87.
Кашковский Д. В., Конев В. В. О последовательных оценках параметров авторегрессии со случайными коэффициентами// Автометрия. - 2008. - Т. 44, № 1. - С. 70-81.
Апробация работы
Основные результаты диссертации обсуждались на кафедре Высшей математики и математического моделирования ТГУ, а также на следующих конференциях:
- на Всероссийской научной конференции молодых ученых "Наука.
Технологии. Инновации" в г. Новосибирске, НГТУ, декабрь 2005г.;
- на Международной конференции студентов и молодых ученых "Перспективы
развития фундаментальных наук" в г. Томске, ТПУ, май 2007г;
- на четырнадцатой Всероссийской школе-коллоквиуме но стохастическим
методам, восьмом Всероссийском симпозиуме по прикладной и промышленной
математике в г. Сочи - Адлер, сентябрь - октябрь 2007г.
Сформулируем основные положения диссертации, которые выносятся на защиту.
1. Последовательная одноэтапная процедура оценивания линейных параметров
процесса авторегрессии со случайными коэффициентами, которая обеспечивает
гарантированное в среднеквадратическом смысле оценивание неизвестных
параметров.
2. Асимптотика среднего времени оценивания, верхняя граница
среднеквадратического уклонения оценки.
Последовательный одноэтапный алгоритм идентификации параметров процесса авторегрессии со случайными коэффициентами при наличии управляющих воздействий, который дает возможность оценить неизвестные параметры динамики и коэффициенты при управляющих воздействиях с заданной среднеквадратической точностью.
Последовательная процедура классификации процесса авторегрессии со случайными коэффициентами с гарантированной вероятностью правильного решения.
5. Асимптотика среднего времени классификации и асимптотические свойства
основных статистик в решающей процедуре классификации.
6. Формула для спектральной плотности стационарного процесса
авторегрессии со случайными коэффициентами.
