Содержание к диссертации
Введение
1 Условия слабой зависимости в моделях наблюдений 23
1.1. Понятие слабой зависимости 23
1.2. Условия сильного перемешивания функции от стационарных процессов 26
1.3. Перемешивание для динамических моделей 30
1.4. Свойства выборки с перекрытием 41
1.5. Выводы 43
2 Непараметрическое оценивание некоторых функционалов от распределения по слабозависимой выборке 45
2.1. История вопроса 45
2.2. Среднеквадратическая сходимость непараметрических оценок плотностей 48
2.2.1. Смещение 51
2.2.2. Дисперсия 53
2.3. Среднеквадратическая сходимость непараметрической оценки градиента плотности 57
2.3.1. Критерий 57
2.3.2. Смещение 59
2.3.3. Дисперсия 61
2.4. Непараметрическое оценивание логарифмической производной плотности 63
2.4.1. Предварительные замечания 63
2.4.2. Ядерные оценки плотности распределения и ее производной для независимой случайной выборки 65
2.4.3. Свойства ядерной оценки плотности для с.п. последовательностей 71
2.4.4. Свойства ядерной оценки производной плотности для с.п. последовательностей 73
2.4.5. Сходимость четвертых моментов ядерной оценки плотности и ее производной для с.п. последовательностей 74
2.4.6. Свойства ядерной оценки логарифмической производной плотности распределения для с.п. последовательностей 75
2.5. Непараметрическое оценивание логарифмического градиента плотности 79
2.6. Выводы 87
Непараметрические методы нелинейной фильтрации 89
3.1. Общие проблемы обработки сигналов 89
3.2. Постановка задачи фильтрации 91
3.2.1. Критерий 91
3.2.2. Приближенные методы решения 94
3.2.3. Эмпирический байесовский подход 95
3.2.4. Асимптотически оптимальные процедуры . 96
3.3. Условия асимптотической оптимальности оценок . 97
3.3.1. Необходимое и достаточное условие асимптотической оптимальности 98
3.3.2. Достаточное условие асимптотической оптимальности 100
3.4. Статические модели наблюдений 103
3.4.1. Функция потерь 104
3.5. Формула преобразования апостериорных вероятностей 112
3.6. Уравнение оптимальной фильтрации для статических моделей 114
3.7. Непараметрический вариант уравнения оптимальной фильтрации для статических моделей 119
3.8. Динамические модели наблюдений 122
3.8.1. Условно-экспонентное семейство 122
3.8.2. Функция потерь 125
3.9. Уравнение оптимальной фильтрации для динамических моделей 128
3.10. Фильтрация некоторых функций от полезного сигнала 139
3.11. Асимптотически є -оптимальная процедура фильтрации 148
3.11.1. Оценка плотности по одной реализации процесса. 148
3.11.2. Критерий выбора длины зоны зависимости 149
3.11.3. Фильтр Калмана и асимптотически -оптимальная оценка 153
3.11.4. Выбор длины зоны зависимости при конечном п 156
3.11.5. Длина зоны зависимости при неизвестной оптимальной процедуре 163
3.12. Выводы 166
4 Непараметрические методы интерполяции 168
4.1. Уравнение оптимальной нелинейной интерполяции 168
4.2. Непараметрический аналог интерполяционного уравнения 175
4.3. Выводы 179
5 Непараметрические методы прогноза 181
5.1. Прогноз наблюдаемой стационарной последовательности 181
5.2. Прогноз ненаблюдаемой компоненты частично наблюдаемой марковской последовательности 184
5.3. Примеры задач прогноза 190
5.4. Выводы 196
6 Риск в задачах обработки сигналов и его непараметрическое оценивание 197
6.1. Постановка задачи 197
6.2. Формула эмпирического риска для задачи фильтрации 198
6.3. Эмпирический риск в задачах интерполяции 203
6.4. Оценка риска в задачах прогноза 205
6.5. Сходимость эмпирических оценок рисков 208
6.6. Примеры непараметрических оценок рисков 211
6.7. Одновременный выбор длины реализации и степени зависимости наблюдаемого процесса 214
6.8. Выводы 219
7 Непараметрические методы выделения скачкообразных марковских процессов 221
7.1. Модель наблюдений и условие слабой зависимости 221
7.2. Непараметрическая фильтрация конечнозначных марковских цепей 222
7.3. Непараметрическая интерполяция конечнозначных марковских цепей 228
7.4. Оценивание моментов изменения свойств случайных процессов 233
7.5. Выводы 238
Заключение 239
- Условия сильного перемешивания функции от стационарных процессов
- Среднеквадратическая сходимость непараметрических оценок плотностей
- Необходимое и достаточное условие асимптотической оптимальности
- Уравнение оптимальной нелинейной интерполяции
Введение к работе
Для современного состояния статистической теории управления характерно стремление к разработке эффективных процедур при минимальной априорной информации об исходных наблюдениях. Такой подход соответствует реальной ситуации, когда точные математические модели изучаемых объектов (процессов, явлений) и свойства действующих на них возмущений на самом деле не известны. Например, при решении таких сложных задач, как автоматизация металлургического производства, обнаружение и распознование радио- и гидролокационных сигналов на фоне помех, поиск новых методов диагностики и лечения заболеваний и др. все чаще приходится иметь дело с объектами, структура которых и характеристки возмущений практически не доступны. Имеющаяся априорная информация о распределении помех в этих случаях носит настолько неопределенный характер (например, ограниченность некоторых моментов, множество всех дифференцируемых функций распределения), что при построении вероятностной математической модели нет оснований воспользоваться каким-либо ко-нечнопараметрическим семейством распределений. В таких случаях говорят о непараметрической априорной неопределенности.
В ряде случаев параметрические информационные модели нельзя построить в принципе. Это происходит тогда, когда реализации случайной величины нельзя наблюдать в чистом виде. Такая ситуация имеет место, например, в гидролокации, где полезный сигнал, содержащий информацию об объекте и реверберации, без помех никогда не наблюдается, и, следовательно, чистые данные для построения оценочной модели объектов и реверберации отсутствуют.
В описанных случаях возникают трудности с применением не только параметрических процедур, но и некоторых непараметрических процедур. В частности, довольно широко применямые на практике ранговые статистики [112, 13] имеют следующие недоастатки: во-первых они требуют большого числа вычислительных операций, связанных с упорядочиванием выборки; во-вторых, появление зависимости между элементами выборки приводит к потере непараметрических свойств ранговых процедур.
Кроме того, принятые в большинстве классических методов математической статистики схемы с независимыми испытаниями также часто не соответствуют реальной действительности, особенно когда мы имеем дело с динамическими моделями наблюлений. Поэтому при построении оценок желательно найти способы учета зависимость между наблюдениями.
Проблемы решения классических задач обработки сигналов, получивших широкое распространение в системах радио- и гидролокации, в астрономических наблюдения и т.д., приобретают особую актуальность в рамках широких условий априорной неопределенности, которую обеспечивают непараметрические ограничения. Непараметрическое описание моделей физических явлений оказывается более адекватным реально протекающим процессам и охватывает существенно более широкий круг явлений. Поэтому особый интерес представляют задачи теории решений, которые необходимо решать в условиях непараметрической априорной неопределенности.
В классической постановке этих задач в дискретном времени обычно предполагается заданным частично наблюдаемый случайный процесс Zn = (Sn,Xn) с наблюдаемой компонентой Хп и ненаблюдаемой Sn . Требуется дать оценку ненаблюдаемой компоненты Sn по реализации процесса Хп . Для решения этих задач в рамках параметрических моделей необходимо знание совместного распределения процесса (5„,Х„) . Однако в силу ненаблюдаемости процесса Sn его распределение восстановить невозможно и, следовательно, в общем случае построить оптимальную байесовскую оценку Sn нельзя. Тем не менее при некоторых дополнительных предположениях о модели наблюдения и непараметрических ограничениях на Sn удается сконструировать непараметрическую оценку Sn , близкую по своим свойствам к опти-мальной оценке Sn , полученной при известном распределении пары (5„, Хп) . Особенность подхода к построению оценок в таких случаях можно проиллюстрировать на следующем примере.
Пусть метеоролог М на центральной станции прогноза погоды получает данные о различных метеорологических параметрах. По результатам этих измерений он дает прогноз погоды в двух районах А и В , находящихся в различных климатических поясах. Относительно природы метеорологических параметров естественно предположить, что в каждом климатическом поясе они принимают значения в соответствии со своим случайным механизмом. Если метеоролог М получил данные для двух районов, А и В , с идентичными результатами измерений всех метеорологических параметров, то легко представить себе ситуации, возникающие в зависимости от того, работает ли метеоролог М недавно или уже имеет богатый опыт работы с этими районами. В первом случае результаты обработки данных одинаково влияют на прогноз в районах А и В . Во втором случае, если пред шествующий опыт метеоролога говорит ему, что в районе А данная совокупность значений метеорологических параметров гораздо чаще приводит к дождю, чем в районе В , то вряд ли можно сомневаться, что предшествующий опыт метеоролога при установлении прогноза будет каким-то образом сочетаться со способом обработки поступающих данных. Таким образом, здесь мы имеем ситуацию, когда скорее всего подсознательно оценка истинных значений метеорологических параметров (проводимая при помощи теории статистических решений) дополняется субъективной байесовской поправкой. Эта поправка вводится на основе грубой оценки априорного распределения, складывающегося у метеоролога благодаря его предшествующему опыту. Возникает вопрос: нельзя ли совершать такую операцию сознательно и систематически? Это как раз тот вопрос, который поставил и на который дал ответ Г. Роббинс для ряда конкретных примеров [87, 88]. Он сумел выделить те ситуации, в которых данные включают "предшествующий опыт", достаточный для построения хорошей аппроксимации, в то время как точное решение возможно только при полностью известном семействе распределений вероятностей полезного сигнала.
Специфика этих ситуаций состоит в том, что при некоторых предположениях оценки полезного сигнала Sn , сделанные на основе наблюдений сигнала Хп , выражаются в виде функционалов от распределения только наблюдаемых случайных величин Хп . Поскольку, однако, распределение G(sn) процесса 5„ по условию не известно, то маргинальная плотность распределения f(xn) = f f(xn\sn)dG(sn) наблюдаемого процесса Хп также не известна, но она может быть восстановлена по наблюдениям х" = (xi,... ,хп)т . Для оценивания функционалов, зависящих от неизвестного распределения, в работе приме няется непараметрический подход, основанный на ядерных оценках Розенблатта-Парзена [126, 134], обобщенных в двух направлениях: на наблюдения с зависимыми значениями и на функционалы с особенностями. Обобщение в первом направлении позволяет пользоваться динамическими моделями наблюдений [34] и строить сходящиеся непараметрические оценки условных функционалов по слабозависимым наблюдениям [23, 64]. Обобщение во втором направлении обеспечивает возможность построения устойчивых непараметрических оценок с "хорошими" свойствами, т.е. оценок, не принимающих бесконечных значений [63, 37].
Разработанные в настоящее время методы непараметрического ядерного оценивания в основом посвящены оцениванию так называемых "базовых" (по теминологии Г.М.Кошкина) функционалов от распределения / g(x)dF(x), , a F(x)— неизвестная функция распределения. Сюда, в частности, относятся задачи оценивания плотности вероятности и ее производных. Достаточно полная и красивая теория напараметрического ядерного оценивания таких функционалов в метрике L\ изложена в монографии Л. Девроя, Л. Дьёрфи [18, 1988]. Полученные здесь верхние и нижние границы для скорости сходимости рисков непараметрических оценок, методы адаптивного ядерного оценивания и другие результаты по анализу свойств оценок из различных непараметрических классов представляют несомненный интерес. Однако непосредственно воспользоваться этими результатами в нашем случае не удается, поскольку 1) все они получены в предположении независимой выборки, 2) метрика L\ не является естественной для задач оценивания сигналов, где оптимальные байесовские оценки,
представляющие собой условное среднее, минимизируют среднеква-дратический критерий, 3) в задачах обработки сигналов приходится оценивать более сложные конструкции в виде заданных функций от базовых функционалов. Отметим также, что построенные в [129, 54] ядерный оценки по реализациям марковских процессов также не могут быть использованы в нашем подходе, так как наблюдаемый процесс Хп не является марковским. Поэтому и возникла необходимость построения непараметрических ядерных процедур для процессов с более общей стохастической зависимостью, о которой говорилось выше. Везде в дальнейшем под непараметрическим оцениванием всегда понимаются непараметрические ядерные процедуры оценивания.
Следует подчеркнуть, что полученные в диссертации непараметрические оценки ненаблюдаемого полезного сигнала Sn сходятся к оптимальным байесовским оценкам в различных метриках (в зависимости от условий). По терминологии 70-х годов такие системы относятся к самообучающимся системам автоматического управления, поскольку их функционирование с ростом наблюдений все меньше и меньше отличается от оптимального.
Совокупность задач и методы их решения, представленные в диссертации, можно классифицировать именно как теорию обработки сигналов с неизвестным априорным распределением, потому что удалось выделить стандартный набор задач обработки сигналов (фильтрация, интерполяция, прогноз и оценивание моментов изменения свойств процессов), которые как с точки зрения используемых математических моделей сигналов, так и с точки зрения методов решения, являются родственными. Набор задач является классическим, которые ранее рассматривались в работах Н. Винера, Р. Калмана, Р. Липцера и А. Ширяева, В. Пугачева и др. Различными являются исходные условия, которые и определяют своеобразие способов решения этих задач. При этом какие бы решения ни отыскивались, всегда желательно, чтобы их свойства, по крайней мере асимптотически, не сильно отличались от классических результатов, полученных при полной статистической информации.
Развиваемая в диссертации теория непараметрического оценивания сигналов базируется на 4-х основных положениях: теории условно-марковских процессов Р. Стратоновича [90], идеях эмпирического байесовского подхода Г. Роббинса [87], условно-экспонентном семействе распределений для описания моделей наблюдений [24] и методах непараметрического оценивания функционалов по зависимым наблюдениям [34]. Если говорить предельно кратко, то в диссертации делается следующее. Для описания помех и моделей наблюдения используется достаточно представительное условно-экспонентное семейство распределений, позволяющее работать как со статическими, так и с динамическими моделями. Подстановка условно-экспонентного распределения в уравнение преобразования апостериорных вероятностей Р. Стратоновича после некоторых манипуляций приводит в общем случае к нелинейному уравнению относительно оптимальной оценки, все члены которого удается выразить через известные функции и функционалы от распределений наблюдаемых величин. Поскольку в условиях непараметрической априорной неопределенности эти функционалы неизвестны, то остается воспользоваться техникой непараметрического оценивания функционалов и обобщить ее на случай зависимых наблюдений, так как в исходных моделях наблюдения получаются зависимыми.
В случае общей зависимости между случайными величинами получить какие-либо плодотворные результаты весьма сложно (нет соот ветствующих теорем сходимости). Поэтому мы ограничиваемся случаем слабой зависимости, в частности, свойством "сильного перемешивания", которым обладают устойчивые уравнения авторегрессии с постоянными коэффициентами. В рассматриваемых нами моделях коэффициенты уравнения авторегрессии зависят от ненаблюдаемого стационарного процесса Sn . Поэтому возникает задача определения условий, при которых наблюдаемый процесс, удовлетворяющий уравнению авторегресии с переменными коэффициентами, обладал свойством сильного перемешивания. Эта задача решена в первой главе. В работе принята тройная нумерация формул, теорем, лемм, рисунков и таблиц: первое число — номер главы, второе — номер раздела, третье —формулы, теоремы, леммы, и т.д. в пределах раздела. Часть результатов получена совместно с А.Ю. Веретенниковым и Г.М. Кошкиным. Автор признателен О.Е. Юскаевой за помощь в наборе текста диссертации на ПК.
Диссертационная работа выполнялась в соответствии с планами научно-исследовательской работы Института проблем управления им. В.А.Трапезникова РАН, а также по программам, поддержанным
— грантом РФФИ 98-01-00296 "Непараметрическое оценивание функционалов от распределений по зависимым выборкам" (1998-2000г.г., руководитель Кошкин Г.М.)
— грантом РФФИ 96-01-14080. Проект по изданию монографии. (1996г., руководитель Добровидов А.В.).
Целью настоящей работы является
— разработка методов оценивания полезных сигналов с неизвестным априорным распределением по последовательности наблюдений, генерируемых динамическими системами авторегрессионного типа;
— исследование условий слабой зависимости случайных величин,
генерируемых динамическими системами авторегрессионного типа;
— исследование и разработка методов непараметрического ядерного оценивания некоторых условных функционалов от распределения вероятностей по слабозависимым наблюдениям;
— анализ асимптотических свойств получаемых оценок. Методы исследования.
На основе теории условно-марковских процессов Р. Стратонови-ча [90] и эмпирического байесовского подхода Г. Роббинса [87] решена задача построения уравнений для оптимальных оценок обработки сигналов в условиях неизвестного априорного распределения полезного сигнала. Специфика полученных уравнений состоит в том, что они зависят только от известных функций и функционалов от неизвестных распределений наблюдаемого случайного процесса. Для оценки этих функционалов используются непараметрические ядерные оценки Розенблатта-Парзена [126, 134], обобщенные на слабозависимые наблюдения. Анализ свойств полученных оценок проводится с помощью аппарата теории вероятностей, математической статистики, теории случайных процессов и теории матриц. При решении иллюстративных примеров используется имитационное моделирование на ПК.
Научная новизна.
1. Найдены условия слабой зависимости процессов, удовлетворяющих уравнению авторегрессии с коэффициентами, управляемыми стационарным марковским процессом.
2. Доказаны теоремы о среднеквадратической сходимости непараметрических ядерных оценок многомерной плотности вероятности и ее частных производных в равномерной метрике по выборке из стационарного процесса с сильным перемешиванием.
Получены условия среднеквадратической сходимости устойчи вых аппроксимаций непараметрических оценок подстановки функционала в виде логарифма градиента многомерной плотности вероятности, через который выражаются оптимальные оценки фильтрации, интерполяции и прогноза полезного сигнала.
4. Введено условно-экспонентное семейство распределений, позволяющее описывать динамические системы наблюдения.
5. Построены и исследованы уравнения оптимальной нелинейной фильтрации, интерполяции и прогноза частично наблюдаемых марковских случайных последовательностей, порождаемых динамическими системами авторегрессионного типа. Особенность этих уравнений состоит в том, что в них входят функционалы от распределения только наблюдаемых случайных величин.
6. Решены задачи непараметрического оценивания рисков в задачах фильтрации, интерполяции и прогноза марковских случайных последовательностей.
7. Введено понятие асимптотически € — оптимальных процедур фильтрации, позволяющих находить непараметрические оценки по одной достаточно длинной реализации наблюдаемого процесса.
8. Получены уравнения оптимальной фильтрации и интерполяции конечно-значных марковских цепей в динамических системах общего вида и их непараметрические эквиваленты. Эти уравнения позволяют решать задачу оценивания моментов изменения свойств случайных процессов, когда распределение вероятностей и переходные вероятности значений марковской цепи, управляющие коэффициентами уравнения наблюдения, не известны.
Практическая ценность.
Предложенные в диссертации методы и алгоритмы оценивания частично наблюдаемых процессов разработаны с учетом существую щих потребностей практики и позволяют в условиях непараметрической неопределенности решать задачи стохастической теории управления (фильтрации, интерполяции, прогноза, обнаружения, оценивания моментов изменения свойств процессов), радиосвязи, имитационного моделирования, когда классические методы оказываются неприменимыми.
Внедрение результатов работы.
Программное обеспечение ряда непараметрических процедур обработки сигналов использовано в работах по спецтематике.
На защиту автором выносятся следующие основныеположени.
1. Условия сильного перемешивания процессов, удовлетворяющих уравнению авторегрессии с коэффициентами, управляемыми стационарным марковским процессом.
2. Теоремы о среднеквадратической сходимости непараметрических ядерных оценок многомерной плотности вероятности и ее частных производных в равномерной метрике по выборке из стационарного процесса с сильным перемешиванием.
3. Способ описания динамических систем наблюдения с помощью распределений из условно-экспонентного семейства, позволивший получить уравнения оптимальной обработки сигналов.
4. Уравнения оптимальной нелинейной фильтрации, интерполяции и прогноза частично наблюдаемых марковских случайных последовательностей, порождаемых динамическими системами авторегрессионного типа. Непараметрические аналоги уравнений оптимальной обработки сигналов.
5. Непараметрическое оценивание рисков в задачах фильтрации, интерполяции и прогноза марковских случайных последовательностей.
Процедура асимптотически е- оптимальной фильтрации, по 4i
зволяющая аппроксимировать по определенному критерию немарковский процесс наблюдения марковским соответствующей связности и затем находить непараметрические оценки полезного сигнала по одной достаточно длинной реализации наблюдемого процесса.
7. Уравнения оптимальной фильтрации и интерполяции конечно-значных марковских цепей в динамических системах общего вида и их непараметрические эквиваленты. Непараметрический вариант задачи об оценивании моментов изменения свойств случайных процессов.
Апробация работы и публикации.
Основные результаты диссертационной работы докладывались и обсуждались на следующих научно-технических конференциях и совещаниях:
II, III, IV Всесоюзных Совещаниях по статистическим методам в управлении (Ташкент, 1971, Вильнюс, 1973, Фрунзе, 1978)
V Всесоюзное Совещание по статистическим методам в процессах управления (Алма-Ата, 1981)
IX Всесоюзное Совещание по проблемам управления (Ереван, 1983) I, III, V-VII Всесоюзных школах-семинарах по непараметрическим и робастным методам статистики в кибернетике (Томск, 1974, Дивно-горек, 1981, Шушенское, 1985, Томск, 1987, Иркутск, 1991) I Всесоюзной конференции РОАИ.1.91 (Минск, 1991)
V Международной конференции по байесовским статистикам (Alicante (Испания), 1994) Международной конференции по проблемам управления (Москва, 1999)
III Russian-Korean Intarnational Symposium in Science and Technology (Новосибирск, 1999)
Международной конференции "Идентификация систем и задачи управления", SICPRO 2000, (Москва, 2000)
Международной конференции "Параллельные вычисления и задачи управления", РАСО 2001, (Москва, 2001)
Международной конференции "Математические модели и методы их исследования", (Красноярск, 2001).
Международной конференции "Идентификация систем и задачи управления", SICPRO 2003, (Москва, 2003)
По результатам выполненных исследований опубликованы 1 монография [34] и 26 печатных работ [4], [12], [14], [16], [20]-[29],[30],[31], [32],[33], [34]-[36], [37], [38]-[41],[42].
Структура диссертации.
Работа состоит из введения, семи глав, заключения, списка литературы и приложения, включающего доказательства результатов.
Во введении обосновывается актуальность темы исследования, обсуждается история возникновения задачи, ее источники и составные части, дается краткий обзор основных результатов по рассматриваемой тематике, определяются цели и пути исследования.
В первой главе исследуются свойства процессов, порождаемых статическими и динамическими моделями наблюдений. Поскольку в первую очередь нас интересует свойство слабой зависимости наблюдений, то формально дело сводится к изучению некоторых преобразований над случайным процессом, обладающим свойством слабой зависимости. В качестве такого свойства рассматривается свойство "сильного перемешивания". В главе сформулирован и доказан результат о том, что процесс наблюдения, удовлетворяющий уравнению авторегрессионного типа с переменными коэффициентами, управляемыми стационарным марковским процессом с сильным перемешиванием, сам является процессом с сильным перемешиванием
[34]. Этот результат позволяет доказать сходимость непараметрических процедур оценивания, использующих наблюдения динамических моделей. В этой же главе содержится важный для практики результат, позволяющий корректно использовать повторную выборку при построении непараметрических ядерных оценок. Результаты главы можно найти в работах автора [34, 12].
Вторая глава посвящена построению и доказательству сходимости непараметрических ядерных оценок некоторых вероятностных характеристик стационарных процессов с сильным перемешиванием. В частности, доказана среднеквадратическая сходимость непараметрических ядерных оценок многомерных плотностей вероятностей и их частных производных в равномерной метрике. Найдены условия среднеквадратической сходимости и скорости сходимости "регуляризованных" непараметрических аппроксимаций функции в виде отношения градиента плотности к самой плотности, через которую выражаются оптимальные оценки полезного сигнала в уравнениях оптимальной обработки [27, 37, 32, 34].
В третьей главе рассмотрены задачи фильтрации ненаблюдаемого полезного случайного сигнала для статических и динамических моделей наблюдения. При этом предполагается, что условная плотность наблюдений принадлежит условно-экспонтному семейству распределений. Получены уравнения оптимальной фильтрации в форме, не зависящей от априорных распределений ненаблюдаемого сигнала, и их непараметрические эквиваленты. Опираясь на результаты первых двух глав, доказана среднеквадратичесая сходимость непараметрических оценок к оптимальным оценкам с полной статистической информацией. Введено понятие асимптотически б— оптимальной фильтрации, позволяющей строить сходящиеся не параметрические оценки сигнала по одной реализации наблюдаемого процесса. Результаты этой главы опубликованы в работах автора [20, 21, 22, 23, 24, 25, 29, 34, 35, 36, 30, 32, 42].
В четвертой главе представлены результаты решения задачи интерполяции полезного случайного сигнала, быть может нелинейно связанного с помехой. В предположении, что условная плотность наблюдений принадлежит условно-экспонентному семейству, получено уравнение оптимальной нелинейной интерполяции и его непараметрический аналог. Приведены примеры, иллюстрирующие работу алгоритмов непараметрической интерполяции. Рассмотренные в этой главе вопросы нашли отражение в следующих работах автора [29, 34].
Пятая глава посвящена задачам прогноза наблюдаемого случайного процесса и ненаблюдаемой компоненты марковского случайного процесса. Выведены уравнения оптимального прогноза и его непараметрические варианты. Показано, как построить непараметрические оценки прогноза по одной реализации наблюдаемого случайного процесса. Полученные в данной главе результаты опубликованы в работах автора [28, 29, 34].
В шестой главе исследуются вопросы построения непараметрических оценок рисков, которые характеризуют качество оценок сигналов, полученных в главах 3-5. Для каждого из трех видов обработки сигналов определены функционалы от неизвестного распределения наблюдений, явно не зависящие от характеристик ненаблюдаемого полезного сигнала. Для этих функционалов строятся "регуляризованные" непараметрические приближения, называемые эмпирическими оценками рисков. Исследуется сходимость эмпирических оценок рисков. Приведены примеры вычисления рисков для каж A дого случая обработки сигнала. Результаты по рискам опубликованы в работах автора [20, 22].
В седьмой главе изучаются методы выделения стационарных скачкообразных марковских цепей с неизвестными переходными вероятностями состояний. Дискретность множества состояний марковской цепи позволяет изучать более общие, чем авторегрессионные, модели наблюдения. Рассматриваются две задачи: фильтрации и интерполяции конечнозначных марковских цепей. Получены уравнения оптимальной обработки для обоих случаев в форме, не зависящей от априорных характеристик марковской цепи. Последнее свойство позволяет выписать непараметрические аналоги этих уравнений. В обоих случаях вычислены непараметрические оценки рисков, смысл которых сводится к вероятности принять ошибочное решение. Исследуется сходимость предложенных процедур. Рассмотренные в этой главе вопросы нашли отражение в работах автора [34, 31, 41].
Условия сильного перемешивания функции от стационарных процессов
Полученные здесь верхние и нижние границы для скорости сходимости рисков непараметрических оценок, методы адаптивного ядерного оценивания и другие результаты по анализу свойств оценок из различных непараметрических классов представляют несомненный интерес. Однако непосредственно воспользоваться этими результатами в нашем случае не удается, поскольку 1) все они получены в предположении независимой выборки, 2) метрика L\ не является естественной для задач оценивания сигналов, где оптимальные байесовские оценки, представляющие собой условное среднее, минимизируют среднеква-дратический критерий, 3) в задачах обработки сигналов приходится оценивать более сложные конструкции в виде заданных функций от базовых функционалов. Отметим также, что построенные в [129, 54] ядерный оценки по реализациям марковских процессов также не могут быть использованы в нашем подходе, так как наблюдаемый процесс Хп не является марковским. Поэтому и возникла необходимость построения непараметрических ядерных процедур для процессов с более общей стохастической зависимостью, о которой говорилось выше. Везде в дальнейшем под непараметрическим оцениванием всегда понимаются непараметрические ядерные процедуры оценивания.
Следует подчеркнуть, что полученные в диссертации непараметрические оценки ненаблюдаемого полезного сигнала Sn сходятся к оптимальным байесовским оценкам в различных метриках (в зависимости от условий). По терминологии 70-х годов такие системы относятся к самообучающимся системам автоматического управления, поскольку их функционирование с ростом наблюдений все меньше и меньше отличается от оптимального.
Совокупность задач и методы их решения, представленные в диссертации, можно классифицировать именно как теорию обработки сигналов с неизвестным априорным распределением, потому что удалось выделить стандартный набор задач обработки сигналов (фильтрация, интерполяция, прогноз и оценивание моментов изменения свойств процессов), которые как с точки зрения используемых математических моделей сигналов, так и с точки зрения методов решения, являются родственными. Набор задач является классическим, которые ранее рассматривались в работах Н. Винера, Р. Калмана, Р. Липцера и А. Ширяева, В. Пугачева и др. Различными являются исходные условия, которые и определяют своеобразие способов решения этих задач. При этом какие бы решения ни отыскивались, всегда желательно, чтобы их свойства, по крайней мере асимптотически, не сильно отличались от классических результатов, полученных при полной статистической информации.
Развиваемая в диссертации теория непараметрического оценивания сигналов базируется на 4-х основных положениях: теории условно-марковских процессов Р. Стратоновича [90], идеях эмпирического байесовского подхода Г. Роббинса [87], условно-экспонентном семействе распределений для описания моделей наблюдений [24] и методах непараметрического оценивания функционалов по зависимым наблюдениям [34]. Если говорить предельно кратко, то в диссертации делается следующее. Для описания помех и моделей наблюдения используется достаточно представительное условно-экспонентное семейство распределений, позволяющее работать как со статическими, так и с динамическими моделями. Подстановка условно-экспонентного распределения в уравнение преобразования апостериорных вероятностей Р. Стратоновича после некоторых манипуляций приводит в общем случае к нелинейному уравнению относительно оптимальной оценки, все члены которого удается выразить через известные функции и функционалы от распределений наблюдаемых величин. Поскольку в условиях непараметрической априорной неопределенности эти функционалы неизвестны, то остается воспользоваться техникой непараметрического оценивания функционалов и обобщить ее на случай зависимых наблюдений, так как в исходных моделях наблюдения получаются зависимыми.
В случае общей зависимости между случайными величинами получить какие-либо плодотворные результаты весьма сложно (нет соответствующих теорем сходимости). Поэтому мы ограничиваемся случаем слабой зависимости, в частности, свойством "сильного перемешивания", которым обладают устойчивые уравнения авторегрессии с постоянными коэффициентами. В рассматриваемых нами моделях коэффициенты уравнения авторегрессии зависят от ненаблюдаемого стационарного процесса Sn . Поэтому возникает задача определения условий, при которых наблюдаемый процесс, удовлетворяющий уравнению авторегресии с переменными коэффициентами, обладал свойством сильного перемешивания. Эта задача решена в первой главе. В работе принята тройная нумерация формул, теорем, лемм, рисунков и таблиц: первое число — номер главы, второе — номер раздела, третье —формулы, теоремы, леммы, и т.д. в пределах раздела. Часть результатов получена совместно с А.Ю. Веретенниковым и Г.М. Кошкиным. Автор признателен О.Е. Юскаевой за помощь в наборе текста диссертации на ПК.
Среднеквадратическая сходимость непараметрических оценок плотностей
Общая теория непараметрического ядерного оценивания условных функционалов от распределения по независимой и слабозависимой выборке изложена в первой части книги [34]. Цельность теории, ее систематизация и разработка основных вопросов с единых позиций несомненно принадлежат проф. Г.М. Кошкину. Автору настоящей диссертации также принадлежат отдельные результаты этой теории, полученные в основном в исторически более ранние сроки. Эти результаты по непараметрическому ядерному оцениванию были инициированы стремлением к корректному решению классических задач обработки сигналов в условиях (как теперь это называется) "непараметрической неопределенности" относительно полезного ненаблюдаемого сигнала. Именно в этих задачах впервые возникла необходимость непараметрического оценивания функционала в точке х в виде логарифмической производной плотности вероятности ln/(x) . Согласно систематизации Г.М.Кошкина, такой функционал относится к характеризаци-онным функционалам, представляющим собой заданную функцию (в данном случае - отношение) базовых функционалов ( в нашем случае -производная плотности в числителе и сама плотность в знаменателе). Как оказалось в дальнейшем, этот функционал по терминологии Пра-каса Рао [135] вообще является "неоцениваемым функционалом" (как, кстати, и сама плотность вероятности), т.е. для него не существует непараметрической ядерной оценки, математическое ожидание которой совпадает с этим функционалом. Этот факт, впервые доказанный М. Розенблаттом в [126], привлек в свое время большое внимание исследователей в этой области. Поэтому для простейшей непараметрической оценки подстановки 1п/дг(х) , полученной путем замены в логарифмической производной истинной плотности вероятности и ее производной на соответствующие непараметрические приближения, удалось доказать лишь минимальное свойство сходимости по вероятности в точке, хотя для самой плотности и ее производных были доказаны всевозможные типы сходимости [21, 24].
Функционал в виде логарифмической производной условной плотности вероятности относится к классу функционалов с особенностями, корректные методы оценивания которых были разработаны лишь в последние несколько лет. Особенность этого функционала в том, что его оценка подстановки (из-за стоящей в знаменателе оценки плотности вероятности) при некоторых значениях аргумента может прини мать бесконечные или очень большие значения, если оценка плотности в этой точке равна нулю или близка к нулю. Поэтому для борьбы с этим явлением Г.М. Кошкиным были предложены два метода: метод усечения [34], когда вместо оценки плотности в знаменателе ставится усеченная, т.е. отделенная от нуля непараметрическая оценка плотности, и метод кусочно-гладкой аппроксимации [63], когда вместо оценки подстановки характеризационного функционала рассматриватся ее регуляризованный вариант. Оба эти метода позволяют вычислять среднеквадратическую ошибку непараметрического приближения истинного функционала и исследовать ее асимптотическое поведение.
В настоящей работе используется метод кусочно-гладкой аппроксимации или, как он чаще называется здесь, метод построения регуля-ризованных непараметрических оценок. Слово "регуляризованный" здесь используется не случайно, поскольку форму оценки в методе кусочно-гладкой аппроксимации при некоторых значениях входящих в нее параметров можно найти в результате процедуры регуляризации по А.Н. Тихонову [92]. К сожалению, этот метод указывает лишь путь решения задачи построения регуляризованных оценок с хорошими свойствами, однако он не избавляет от необходимости довольно сложных рассчетов для каждого конкретного характеризационного функционала.
Как уже упоминалось выше, набор функционалов от распределений, которые подлежат непараметрическому оцениванию, возникает при решении задач по обработке сигналов. В этот набор входят оценки многомерных плотностей вероятности, оценки частных производных плотностей, оценки производных плотностей более высоких порядков, оценки характеризационных функционалов в виде логарифмического градиента многомерной плотности, а также в виде интегралов от функционалов подобного типа. Результаты, приводимые с доказательством, принадлежат автору или авторам совместных работ. В результатах, приведенных без доказательств, указывается источник. Перейдем теперь к оценкам конкретных функционалов и их свойствам.
Необходимое и достаточное условие асимптотической оптимальности
Развитые во второй главе непараметрические процедуры оценивания по зависимой выборке позволяют по-новому подойти к решению классических задач обработки стационарных процессов с зависимыми значениями в условиях непараметрической неопределенности. Сюда относятся задачи фильтрации, интерполяции и прогноза. Настоящая и последующие главы посвящены решению этих задач. Все исследования проводятся в дискретном времени.
Наблюдаемые сигналы неизбежно содержат ошибки, порожденные как выбранным методом измерения, так и точностью используемых приборов. В качестве математической модели для ошибок измерения (или помех) чаще всего используют случайные процессы с соответствующим семейством распределений вероятностей. Что же касается полезной составляющей измеряемого сигнала, то здесь, по-видимому, следует различать два случая: когда полезный сигнал в процессе измерений является неизвестным и постоянным и когда полезный сигнал является случайным процессом.
Для решения задач в первом случае, как правило, используются такие методы, как метод максимального правдоподобия, метод моментов, метод инвариантного оценивания и др.
Во втором случае (рассмотрению которого и посвящены оставшиеся главы) наиболее часто применяется классический байесовский подход, требующий задания семейства априорных распределений значений полезного сигнала и помехи. При этом основная трудность решения связана с тем, что реально априорная информация о виде уравнения состояния и семействе распределений полезного сигнала отсутствует, так что непосредственно байесовским методом оценивания воспользоваться не удается. В соответствии с классификацией, принятой в [34], такой тип априорной неопределенности относится к непараметрической неопределенности. Отсутствие точной информации отнюдь не означает, что полезный сигнал может быть совершенно произвольным. Оказывается, он также должен принадлежать некоторому классу сигналов, на который, однако, накладываются непараметрические ограничения типа "класс всех непрерывных и ограниченных функций" или "класс стационарных эргодических марковских последовательностей" и т.п. Ограничения такого общего характера приводят к непараметрическому подходу к решению задач обработки сигналов. Особенность этого подхода состоит в том, что при некоторых условиях оценки полезного сигнала Sn , сделанные на основе наблюдений х" = (xi,... ,хп)т случайной последовательности, выражаются через характеристики наблюдаемых случайных величин , например, через плотности вероятности или функционалы от нее. Оценивая последние по реализациям наблюдаемых случайных величин Л" и подставляя их в формулы для оценок Sn полезного сигнала, получаем требуемую структуру оценок. Естественно поставить вопрос: насколько хороши такие оценки и каковы их свойства? В связи с этим возникают несколько основных задач. 1. В каких случаях оценки полезного сигнала можно выразить через характеристики наблюдаемых случайных величин? 2. Каковы условия сходимости непараметрических оценок плотностей вероятностей, функционалов от них и других характеристик по зависимой выборке? 3. Каковы условия сходимости средних рисков оценок, определяющих их качество? Задача 2 была исследована в главе 2 для конкретных функций и функционалов, встречающихся в задачах обработки сигналов. Общая теория непараметрического оценивания функционалов от распределений представлена в [34]. Что же касается задач 1 и 3, то прежде чем перейти к их исследованию, полезно привести постановку задач обработки сигналов в рамках теории решений Вальда. Начнем с задачи фильтрации.
Уравнение оптимальной нелинейной интерполяции
Сравнение результатов табл. 3.11.4 с результатами табл. 3.11.3 для асимптотического критерия показывает практическое совпадение длин зон зависимости по обоим критериям, чем подтверждается работоспособность асимптотического варианта критерия 6Т , используемого в условиях непараметрической неопределенности. Этот критерий является, по-существу, критерием приближения немарковского процесса марковским процессом, связность которого совпадает с минимальной длиной зоны зависимости 7 . С другой стороны, этот критерий можно рассматривать как критерий выбора размерности непараметрической модели аналогично тому, как выбираются размерность параметрических моделей или порядок авторегрессионных уравнений.
Близкие идеи выбора порядка связности аппроксимирующего марковского процесса применительно к задачам управления выдвигались в работах [93, 94]. В третьей главе решена главная проблема диссертации — задача фильтрации стационарного случайного процесса (сигнала) с неизвестным распределением. Специфика решения состоит в том, что при определенном предположении оптимальная байесовская оценка полезного сигнала может быть точно выражена через характеристики только наблюдаемого процесса (уравнение (3.9.3)). Предположение состоит в том, что условная плотность наблюдения при фиксированном полезном сигнале должна принадлежать условно-экспонентному семейству распределений (3.8.2). Условно-экспонентное семейство является достаточно представительным в классе параметрических распределений; в то же время форма распределения полезного случайного сигнала полностью неизвестна и на процесс наложены лишь непараметрические ограничения типа существования вторых моментов, стационарности, марковости и т.п., т.е. класс ненаблюдаемых процессов является существенно более широким.
Неизвестной характеристикой, входящей в уравнение оптимальной фильтрации (3.9.3), является градиент логарифма условной плотности наблюдений sjXn\nf(xn\x1l 1) . Поскольку градиент неявно зависит от неизвестного распределения ненаблюдаемого полезного сигнала, эту характеристику нельзя поместить в какое-либо параметрическое семейство функций. Поэтому для градиента логарифма условной плотности необходимо использовать непараметрические оценки, причем не простые оценки типа подстановки, а устойчивые регуляри-зованные оценки, поскольку оцениваемая характеристика относится к классу функционалов с особенностями. Во второй главе свойства таких оценок представлены в теореме 2.5.2. Сходимость непараметрических оценок в этой теореме обеспечивается свойством сильного перемешивания. Для динамических моделей, раесматривамых в этой главе, это свойство доказано в теореме 1.3.1. Тем самым результаты первых двух глав начинают непосредственно работать в этой главе при построении устойчивых непараметрических приближений в задаче фильтрации случайных процессов.
При явном построении непараметрических оценок условной плотности f{xn\x1l l) (см. уравнение (3.9.3)) приходится оценивать маргинальные плотности очень высокой размерности, что практически нереально. Поэтому для процессов со слабой зависимостью было предложено заменять условную плотность f(xn\xi l) на урезанную условную плотность f(xn\x zl) , при оценивании которой можно использовать маргинальные плотности относительно невысокой размерности. Процедуры такого типа были названы є -оптимальными оценками. Показано, что переход к урезанным оценкам соответствует построению для немарковского процесса наблюдения марковского приближения соответствующей связности т .