Введение к работе
Актуальность работы. Разработка новых эффективных методов восстановления неизвестных параметров и состояний стохастических систем является актуальной проблемой теории и практики обработки измерительной информации и системного анализа.
Теоретический подход к изучению разнообразных задач оценивания основан на описании трех объектов: модели наблюдения, класса допустимых операторов оценивания и критерия оценивания. Модель наблюдения определяет зависимость между оцениваемыми параметрами или состояниями исследуемой системы с одной стороны и наблюдаемыми величинами или процессами с другой стороны. В рамках теоретико-вероятностного подхода задание модели наблюдения предполагает также описание доступной априорной информации о значениях детерминированных параметров и вероятностных характеристиках случайных факторов. Класс допустимых операторов оценивания представляет собой набор решающих правил, позволяющих по имеющейся реализации наблюдений построить оценку неизвестного состояния системы. Критерий оценивания формулирует правило, согласно которому один оператор оценивания признается лучшим по сравнению с другим в условиях имеющейся модели наблюдения.
С практической точки зрения указание всех трех перечисленных выше объектов также является чрезвычайно важным. Во-первых, описание модели наблюдения устанавливает границы применимости имеющихся технических решений. Во-вторых, класс операторов оценивания определяет рамки возможных программных или инструментальных средств извлечения необходимой информации из доступных опытных данных. В-третьих, критерий оценивания представляет собой формализацию требований, предъявляемых практиком к качеству оценок. И наконец, все это вместе позволяет принять обоснованное решение о том, стоит ли ради повышения точности оценивания производить новые измерения, вносить изменения в условия эксперимента или совершенствовать измерительные средства и их программно-алгоритмическое обеспечение.
Понятие модели наблюдения охватывает как статистические модели (параметрические и непараметрические), так и частично наблюдаемые стохастические системы. Изучению статистических моделей посвящены монографии Т. Андерсона, А. А. Боровкова, В. Н. Вапника, Е. 3. Демиденко, Г. Крамера, Ш. Закса, И. А. Ибрагимова, Ю. В. Линника, С. Р. Рао, Дж. Себера, Р. Фишера, Р. 3. Хасьминского. Основы теории оптимального оценивания случайных процессов были заложены в работах Н. Винера, М. Закаи, Р. Калмана,
A. Н. Колмогорова, Р. Л. Стратоновича. Задачи оптимального оценивания и
фильтрации в стохастических системах управления исследовались в работах
B. Н. Афанасьева, У. Вонэма, Н. С. Дёмина, А. В. Добровидова, М. Дэвиса,
И. Е. Казакова, В. Б. Колмановского, Н. В. Крылова, Н. А. Кузнецова,
Р. Ш. Липцера, Б. М. Миллера, П. В. Пакшина, А. В. Пантелеева, В. С. Пу
гачёва, Е. Я. Рубиновича, И. Н. Синицына, А. Н. Ширяева.
На языке теории вероятностей любую модель наблюдения можно описать в терминах оцениваемого элемента, наблюдаемого элемента и множества их совместных распределений {множества неопределенности). Это множество вводится либо непосредственно с помощью ограничений на взаимные характеристики оцениваемого и наблюдаемого элементов, либо опосредованно через определение зависимости этих элементов от третьего элемента, распределение которого известно с точностью до принадлежности некоторому фиксированному классу. Если часть параметров и процессов являются детерминированными, то ограничения на их значения также можно описать в вероятностных терминах с использованием вырожденных распределений.
Таким образом, понятие модели наблюдения позволяет охватить различные системы: детерминированные и стохастические, конечномерные и бесконечномерные, статические и динамические. С целью подчеркнуть указанную общность будем использовать термин неопределенно-стохастические модели наблюдения для систем, которые содержат неслучайные неопределенные параметры и случайные величины с неточно заданным законом распределения. Систематическое исследование таких систем было начато В. С. Пугачёвым.
В конечномерном случае линейные неопределенно-стохастические системы описываются уравнениями обобщенной линейной регрессии, в которых не делается изначального предположения о невырожденности каких-либо матриц, описывающих структуру корреляционной или регрессионной зависимости. Данные модели наблюдения и соответствующий аппарат псевдообращения изучались в работах А. Алберта, А. Бен-Израэля, Т. Гревилля, Д. Катлина, В. И. Мелешко, М. Нэшеда, В. Рута. Класс линейных моделей наблюдения включает в себя как регулярные модели, в которых постулируется, что ковариационная матрица вектора наблюдений — невырожденная, так и сингулярные модели, где это предположение нарушается. Класс неопределенно-стохастических систем, описываемых моделью обобщенной линейной регрессии с экстремальными ограничениями на моментные характеристики второго порядка, был изучен в работах А. Р. Панкова и его учеников.
В задачах точечного оценивания оператор оценивания представляет собой измеримое отображение пространства наблюдаемого элемента в пространство, в котором принимает значения оцениваемый элемент. В статистических моделях на оператор оценивания традиционно накладывают условия линейности, аффинности, несмещенности, состоятельности и т. д. В динамических системах ограничения на оператор оценивания (рекуррентность, стационарность, устойчивость и т.д.) обусловлены организацией процесса наблюдения или требованиями к свойствам замкнутой системы. Таким образом, в зависимости от потребности практики могут использоваться различные классы операторов оценивания.
Обычно под критерием оценивания понимают функционал, отражающий некоторую усредненную характеристику ошибки оценивания, которую необходимо минимизировать на фиксированном классе решающих правил. Однако при наличии неопределенности в описании характеристик модели наблюдения данная задача оказывается не доопределенной. Для ее корректной постановки используют два основных подхода: асимптотический и минимаксный.
Асимптотический подход основан на операции предельного перехода, смысл которого состоит в том, чтобы предел критерия оценивания не зависел от неопределенных характеристик модели наблюдения. Если используется предельный переход по количеству наблюдений, то теоретическую базу соответствующих методов образуют предельные теоремы теории вероятностей, которые обеспечивают инвариантность асимптотики критерия оценивания относительно неизвестного распределения случайных ошибок наблюдения. Другая часть асимптотических методов основана на гипотезе о том, что истинные значения неопределенных характеристик находятся в достаточно малой окрестности некоторых расчетных или номинальных значений.
В основе минимаксного подхода лежит теоретико-игровая формулировка, при которой исследователь и внешняя среда рассматриваются как пара игроков с взаимно противоречивыми интересами. Цель исследователя, как и прежде, состоит в минимизации критерия посредством выбора оператора оценивания из определенного класса, но при минимаксном подходе оценка ищется из расчета на наихудшее состояние исследуемой системы. Тем самым задача оценивания сводится к минимизации точной верхней грани критерия, вычисленной по заданному множеству неопределенности. Поэтому в отличие от асимптотических методов оценивания минимаксные методы призваны обеспечить наилучшее качество восстановления неизвестных параметров и процессов по фиксированному объему наблюдений.
Решение игровой постановки задачи оценивания предполагает определение не только минимаксной оценки, но и наименее благоприятных значений неопределенных факторов, которые образуют решение максиминной задачи. Эта задача называется также двойственной, поскольку ее решение доставляет максимум на множестве неопределенности оптимальному значению критерия оценивания. Если при этом имеет место соотношение двойственности, т. е. оптимальные значения функционалов в минимаксной и двойственной задачах совпадают, то пара, состоящая из минимаксной оценки и наименее благоприятного элемента множества неопределенности, образует седловую точку. При этих условиях для определения минимаксной оценки имеет смысл использовать метод двойственной оптимизации, суть которого состоит в нахождении оптимальной оценки, соответствующей наименее благоприятным характеристикам модели наблюдения.
При использовании гарантирующего подхода обычно целью исследования является оценка неоптимальности стандартных алгоритмов оценивания, таких как метод наименьших квадратов или фильтр Калмана, в ситуации более общей, чем та, при которой эти алгоритмы являются оптимальными.
Отметим, что рассмотренные подходы допускают различные вариации и сочетания. Например, совместное использование оптимальных и асимптотических методов приводит к адаптивным приемам в обработке статистической информации. В рамках адаптивного подхода предполагают, что недостающая априорная информация о неизвестных значениях неопределенных характеристик системы может быть извлечена из нарастающего объема данных, за счет чего на каждом шаге адаптации происходит уточнение текущего значения оценки. Адаптивным методам обработки информации посвящены работы
О. Н. Граничина, А. С. Кощеева, Л. Льюнга, А. В. Назина, М. Б. Невельсона, Б. Т. Поляка, В. Н. Фомина, Я. 3. Цыпкина. Идеи асимптотически минимаксного статистического оценивания отражены в работах И. А. Ибрагимова,
A. П. Коростелёва, Б. Я. Левита, А. С. Немировского, В. Г. Покотило,
Р. 3. Хасьминского, А. Б. Цыбакова.
Гарантирующие и минимаксные методы лежат в общем русле робастно-го подхода, основоположником которого является А. Вальд. Развитию его идей с привлечением асимптотических результатов посвящена монография П. Хьюбера. В нашей стране первые публикации, посвященные гарантирующим и минимаксным методам обработки статистической информации, связаны с именами В. М. Александрова, Н. Н. Красовского, А. Б. Куржанского, М. Л. Лидова и С. А. Смоляка. Прикладные аспекты использования робаст-ных методов обработки экспериментальных данных в задачах авиационно-космической техники отражены в работах И. К. Бажинова, Б. Ц. Бахшияна, Л. Ю. Белоусова, И. А. Богуславского, В. И. Карлова, М. Н. Красилыцикова,
B. В. Малышева, Р. Р. Назирова, В. Н. Почукаева, П. Е. Эльясберга.
Важные результаты о структуре минимаксных оценок при наличии эллип
соидальных ограничений на неизвестные параметры и состояния получены
А. Куксом, В. Ольманом, Ф. Л. Черноусько. Детерминированные постановки
проблем гарантирующего оценивания изучались в работах Б. И. Ананьева,
Б. Ц. Бахшияна, Д. Бертсекаса, В. Вичино, X. Витценхаузена, М. И. Гусева,
A. И. Матасова, М. Миланезе, И. Роудса, Ф. Швеппе, В. И. Ширяева.
Синтез алгоритмов минимаксного оценивания в различных моделях наблю
дения с неопределенными моментными характеристиками второго порядка
на основе методов двойственной оптимизации описан в работах С. Верду,
B. Б. Меласа, И. Ф. Пинелиса, В. Пура, В. Н. Соловьёва. Использование
оптимизационной техники линейных матричных неравенств для решения
различных задач робастного оценивания и фильтрации продемонстрировано
в работах С. Бойда и Л. Эль Гауи.
Распространению методов минимаксного оценивания на бесконечномерные статистические и стохастические модели наблюдения посвящены работы Б. И. Ананьева, А. В. Борисова, А. Г. Наконечного, А. Р. Панкова, Ю. П. Пы-тьева, А. М. Федотова. Структура минимаксного фильтра в стационарном случае установлена в работах Ю. Б. Коробочкина, О. М. Куркина, Д. Луза, В. Пура, С. А. Шаталова. Проблема оптимальности линейных алгоритмов в задачах гарантирующего оценивания была изучена в работах М. И. Гусева, Д. Донохо, Г. Г. Магарил-Ильяева, А. И. Матасова, К. Ю. Осипенко.
Теперь рассмотрим различные варианты критериев, которые возникают в задачах оценивания и фильтрации. В стохастических постановках можно выделить два основных типа критериев: априорные и апостериорные.
Апостериорные критерии используются для определения качества оценок на текущей реализации наблюдений. Разработка методов апостериорного оценивания в статистически неопределенных системах была инициирована в работах И. Я. Каца и А. Б. Куржанского. Этот подход основан на технике построения информационных множеств для состояний детерминированных систем. Дальнейшие исследования в этой области с привлечением методов
доверительного оценивания были продолжены Г. А. Тимофеевой. В работах А. В. Борисова апостериорный критерий использовался для минимаксной фильтрации в системах со случайной структурой.
Использование априорного критерия качества для оптимизации алгоритмов оценивания возникло в статистических моделях с целью исследования статистических свойств МНК-оценок и оценок метода максимального правдоподобия. Большинство этих исследований основано на изучении среднеквадратичного критерия, который стал традиционным показателем качества оценивания. Несмотря на это, первые результаты по минимаксному статистическому оцениванию, опубликованные Дж. Ходжесом и Е. Леманом, уже были ориентированы на использование функционалов, более общих чем среднеквадратичный. Понятие асимптотической эффективности относительно вероятностного критерия было введено Р. Бахадуром. Один из первых примеров использования вероятностного и квантильного критериев для построения минимаксных оценок содержится в книге Б. Ц. Бахшияна, Р. Р. Назирова, П. Е. Эльясберга. В связи с минимаксной постановкой задачи интервального оценивания свойства вероятностного критерия были изучены в работах М. Минтца и М. Зейтиноглу. Методика построения доверительных оценок на основе обобщенного минимаксного подхода предложена в работе
A. И. Кибзуна.
Отметим, что в большинстве из перечисленных выше работ в качестве показателя риска использовалась евклидова норма ошибки. Однако в последнее время широкое распространение получили критерии неевклидовой структуры: обобщенный квадратичный критерий, критерий в виде отношения «сигнаг/шум», Ноо-критерий, а также информационные критерии. В связи с задачами управления и фильтрации в неопределенных и стохастических системах соответствующие постановки изучались в работах Т. Башара, П. Бернхарда, А. П. Курдюкова, К. Мартина, М. Минтца, И. Питерсена,
B. Пура, А. В. Савкина, В. А. Угриновского.
Приведенный обзор методов обработки статистической информации в условиях априорной неопределенности позволяет выделить несколько актуальных направлений исследований в области робастного оценивания:
-
анализ обобщенных линейных моделей регрессии в присутствии априорной информации, выраженной в терминах геометрических ограничений на моментные характеристики первого и второго порядков;
-
разработка методов двойственной оптимизации для построения минимаксных оценок векторных параметров в регулярных и сингулярных неопределенно-стохастических моделях линейной регрессии;
-
создание алгоритмической базы методов минимаксного оценивания и анализ соответствующих численных процедур;
-
расширение набора типовых неопределенно-стохастических моделей наблюдения, допускающих аналитический синтез минимаксных оценок;
-
минимаксная оптимизация операторов оценивания с привлечением нестандартных критериев качества, таких как вероятностный и квантильный;
-
обоснование оптимальности линейных оценок в различных постановках задачи минимаксного оценивания;
-
минимаксное оценивание в бесконечномерных стохастических системах при наличии геометрических ограничений на ковариационные операторы оцениваемого и наблюдаемого элементов;
-
разработка численных методов, предназначенных для вычисления минимаксных оценок в бесконечномерных моделях наблюдения.
Все перечисленные направления соответствуют проблематике минимаксного оценивания в многомерных линейных неопределенно-стохастических моделях наблюдения. Указанные модели составляют объект исследования диссертационной работы.
Целью диссертации является разработка и анализ методов оптимального оценивания параметров и состояний линейных стохастических систем с неопределенными моментными характеристиками, стесненными геометрическими ограничениями.
Для достижения поставленной цели необходимо:
-
описать класс конечномерных линейных неопределенно-стохастических моделей наблюдения, в которых априорная информация о распределениях сформулирована в виде ограничений на математические ожидания и ковариационные матрицы;
-
определить условия существования седловой точки в задаче оценивания по среднеквадратичному критерию;
-
установить границы применимости метода двойственной оптимизации для построения минимаксных оценок;
-
разработать алгоритмы оценивания в сингулярных моделях наблюдения с использованием теории двойственности и процедур регуляризации;
-
разработать численные процедуры оптимизации, обеспечивающие решение минимаксной и двойственной задач;
-
описать класс критериев оценивания, отвечающих естественным требованиям и допускающих явное построение минимаксных оценок в линейных неопределенно-стохастических моделях наблюдения;
-
определить структуру распределения, реализующего наименее благоприятную ситуацию при использовании указанных выше критериев оценивания;
-
распространить результаты об оптимальности линейных алгоритмов оценивания на более широкий класс неопределенно-стохастических моделей наблюдения;
-
разработать основы теории минимаксного оценивания в бесконечномерных стохастических системах с фиксированными математическими ожиданиями и неопределенными ковариационными операторами;
10) продемонстрировать эффективность разработанных методов оцени
вания на нескольких прикладных задачах обработки измерительной ин
формации.
В диссертации были использованы следующие методы исследования: методы выпуклого анализа (понятие рецессивного направления, теоремы о минимаксе, теория субдифференциала); методы теории оптимизации (процедура регуляризации по Тихонову, метод условного градиента, теоремы о сходимости численных методов); методы линейной алгебры (операция
псевдообращения, свойства неотрицательно определенных матриц); методы теории вероятностей, элементы математической статистики и регрессионного анализа, основы теории фильтрации; методы функционального анализа (понятие оснащенного гильбертова пространства, свойства неотрицательно определенных, ядерных и гильберто-шмидтовых операторов).
Научная новизна диссертационной работы состоит в том, что в ней впервые были получены следующие теоретически значимые результаты:
-
доказательство эквивалентности различных способов описания обобщенных линейных регрессионных моделей с неопределенными моментными характеристиками второго порядка;
-
обоснование метода двойственной оптимизации для решения задачи минимаксного оценивания в многомерных линейных неопределенно-стохастических моделях наблюдения;
-
разработка процедур регуляризации для построения минимаксных оценок в конечномерных сингулярных моделях наблюдения;
-
аналитический синтез минимаксных оценок параметров и состояний неопределенно-стохастических систем частного вида;
-
разработка основ теории оценивания относительно обобщенных вероятностных критериев;
-
описание наименее благоприятного распределения, соответствующего обобщенному вероятностному критерию оценивания;
-
доказательство оптимальности линейных оценок относительно среднеквадратичного и обобщенного вероятностного критериев для широкого класса неопределенно-стохастических моделей наблюдения;
-
разработка и анализ численных процедур минимаксной оптимизации в задаче оценивания параметров и состояний многомерных линейных неопределенно-стохастических моделей наблюдения.
О практической ценности работы свидетельствует то, что ее теоретические результаты были успешно применены для решения ряда прикладных задач обработки информации, среди которых:
робастная идентификация кинематической модели движения летательного аппарата (ЛА);
минимаксное оценивание дальности и радиальной скорости ЛА при наличии ограничений;
оптимизация надежности оценивания координат ЛА;
выделение тренда в мультиколлинеарной эконометрической модели.
Достоверность утверждений, представленных в диссертации, обоснована строгими математическими доказательствами и подтверждена результатами численного моделирования.
Диссертационная работа прошла апробацию в ходе обсуждений на научных семинарах под руководством профессоров А. И. Кибзуна (МАИ), Б. М. Миллера (ИППИ РАН), Б. Т. Поляка (ИПУ РАН), В. Н. Афанасьева (МИЭМ), Ю. П. Пытьева (Физфак МГУ), М. И. Гусева (ИММ УрО РАН), а также на семинаре по стохастическим системам в Технологическом институте Стивенса (Хобокен, США).
Результаты работы докладывались диссертантом на следующих научных конференциях: European Control Conf. (Budapest, 2009); Conf. on Stochastic Programming (Vienna, 2007); IEEE Conf. on Physics & Control (Potsdam, 2007);
Всеросс. конф. «Математическое программирование и приложения» (Екатеринбург, 2007); «Устойчивость, управление и моделирование динамических систем» (Екатеринбург, 2006); Joint Conf. «Prague Stochastics'2006»; Joint IEEE Conf. on Decision & Control CDC-ECC'2005 (Seville); IFIP TC 7 Conf. on System Modelling & Optimization (Turin, 2005); Всеросс. конф. «Математические методы распознавания образов» (Звенигород, 2005); Междунар. конф. «Идентификация систем и задачи управления» (ИПУ РАН, 2003 и 2000); «Системный анализ и управление космическими комплексами» (Евпатория, 2002); Междунар. симпозиум IFAC по теории нелинейных систем управления (С.-Петербург, 2001); Междунар. симпозиум по теории адаптивных систем управления (С.-Петербург, 1999); Междунар. конф. по проблемам управления (ИПУ РАН, 1999); Всеросс. конф. «Научные чтения школы академика В. С. Пугачёва» (ВВИА им. Н. Е. Жуковского, 1999); Междунар. конф. «Бортовые интегрированные комплексы и современные проблемы управления» (Ярополец, 1998).
Основные результаты диссертации получены лично автором и опубликованы в 54 печатных работах: в том числе 16 статей в рецензируемых периодических изданиях (из них 14 — из перечня ВАК) и 21 статья в сборниках трудов.
Структура диссертации: диссертационная работа содержит введение, шесть глав, приложение и заключение; объем диссертации — 326 страниц, включая список литературы (198 наименований), список обозначений и сокращений, а также 17 рисунков и две таблицы.
