Содержание к диссертации
Введение
1. Фильтрация в системах с неопределенностью 12
1.1. Фильтрация процесса заданного ЛСРУ по дискретным наблюдениям , 12
1.1.1. Описание модели 12
1.1.2. Задача оптимальной фильтрации 13
1.1.3. Задача оптимальной фильтрации в условиях неопределенности . 15
1.2. Фильтрация процесса заданного ЛСДУ по непрерывным наблюдениям 19
1.2.1. Описание модели 19
1.2.2. Задача оптимальной фильтрации 21
1.2.3. Задача оптимальной фильтрации в условиях неопределенности . 22
1.3. Фильтрация процесса заданного ЛСДУ по дискретным наблюдениям . 26
1.3.1. Описание модели 26
1.3.2. Задача оптимальной фильтрации 27
1.3.3. Задача оптимальной фильтрации в условиях неопределенности . 28
1.4. Фильтрация процесса заданного ЛСДУ по дискретно-непрерывным на
блюдениям 31
1.4.1. Описание модели 31
1.4.2. Задача оптимальной фильтрации 32
1.4.3. Задача оптимальной фильтрации в условиях неопределенности . 32
1.5. Фильтрация процесса в системе со скрытой марковской моделью . 35
1.5.1. Описание модели 35
1.5.2. Задача оптимальной фильтрации 37
2. Оптимизация систем с неопределенностью 42
2.1. Управление в линейных непрерывных неопределенно-стохастических системах 42
2.1.1. Описание модели управления 42
2.1.2. Задача оптимального управления 43
2.1.3. Задача оптимального управления в условиях неопределенности 44
2.2. Управление в неопределенных системах со скрытой марковской моделью 47
2.2.1. Описание модели 47
2.2.2. Задача оптимального управления 50
2.2.3. Необходимые условия оптимальности 55
3. Численные методы 62
3.1. ЧМ решения двойственной задачи фильтрации и управления 62
4. Примеры 67
4.1. Модельные примеры 67
4.2. Спуск ЛА в турбулентной атмосфере 73
4.3. Задача слежения за состоянием капала передачи данных 84
4.4. Задача управления потоком данных 88
Приложения 101
Лемма о минимаксс 101
Список литературы 119
- Фильтрация процесса заданного ЛСРУ по дискретным наблюдениям
- Фильтрация процесса заданного ЛСДУ по дискретным наблюдениям
- Управление в линейных непрерывных неопределенно-стохастических системах
- ЧМ решения двойственной задачи фильтрации и управления
Введение к работе
Объект исследования. В диссертационной работе изучаются задачи оптимальной фильтрации и управления в дискретно-непрерывных динамических системах с априорной неопределенностью.
Актуальность темы. Интерес к различным проблемам оценивания и управления в стохастических динамических системах на протяжении последнего полувека стабильно растет. Прежде всего, это связано с общим повышением наукоемкости всех сфер человеческой деятельности, а также критической значимостью тех ее областей, в которых полученные результаты по оцениванию и управлепию находят свое применение: мониторинг и управление техническими, экологическими и социальными объектами, проектирование новых образцов техники, обработка информации в информационно-телекоммуникационных системах, оптимизация деятельности в области страхования и финансов и многое другое. Помимо этого, в последние годы наличие необходимого математического аппарата, а также развитие и доступность средств вычислительной техники позволили описывать и моделировать такие сложные реальные явления, которые еще в недавнем прошлом казались недоступными ни в плане построения адекватной математической модели, ни в плане решения для нее задач оценивания и оптимизации.
Тем не менее, практические проблемы в областях навигации и управления, телекоммуникаций, физики плазмы, сейсмологии, распознавания образов, финансовой математики и пр. указывают на наличие широкого класса стохастических динамических систем наблюдения, для которых задачи оценивания и управления еще не решены. Отличительная черта этих систем заключена в наличии неопределенности, которую можно подразделить на два типа:
а) полное или частичное отсутствие априорной информации о распре
делении или о статистических характеристиках случайных процессов —
возмущений/шумов в системе;
б) способность динамической системы случайным образом менять свою
структуру.
Помимо указанных неопределенностей, непосредственному применению известных результатов из области оптимального оценивания и управления препятствует и наличие наблюдений, производимых в случайные, не зависящие от наблюдаемого процесса моменты времени и в присутствии шумов с неизвестными или неточно заданными параметрами.
Указанные обстоятельства делают разработку методов оптимального оценивания (в частности, фильтрации) и управления в дискретно-непрерывных системах в условиях неопределенности, весьма актуальной.
Одним из наиболее продуктивных подходов к исследованию систем,
в которых отсутствует полная информация о распределениях возмущающих процессов, является минимаксный (гарантирующий) подход, заключающийся в определении такой стратегии оценивания или управления, качество которой при наихудшем на множестве неопределенности сочетании неизвестных параметров будет наилучшим по сравнению с другими стратегиями. Таким образом, имеет место игровая постановка, в которой критерий качества оценивания или управления минимизируется по одному параметру (алгоритму фильтрации или управления) и максимизируется по другому (неопределенным параметрам модели).
Первые исследования стохастических систем с применением минимаксного подхода связаны с именами Б.Ц. Бахшияна, И.Я. Каца, Н.Н. Красовского, А.Б. Куржанского, М.Л. Лидова, Я.З. Цышшна, Ф.Л. Черноусько, П.Е. Элья-сберга, A. Wald, P. Huber. В дальнейшем для динамических стохастических систем этот подход применялся в работах Б.И. Ананьева, Г.А. Голубева, М.И. Гусева, А.И. Кибзуна, М.Н. Красилыцикова, В.В. Малышева, А.И. Ма-тасова, А.Г. Наконечного, А.Р. Панкова, Б.Т. Поляка. Е.Я. Рубиновича, Г.А. Тимофеевой, В.И. Ширяева, L. El Ghaoui, C.J. Martin, М. Mintz, J.M. Morris, H.V. Poor, S. Verdu.
В большинстве работ, связанных с применением минимаксного подхода, осуществляется прямой синтез минимаксного фильтра или стратегии управления, что в общем случае является трудноразрешимой задачей. Особенно сложной эта задача является для стохастических дифференциальных и дифференциально-разностных систем, поэтому для них необходима разработка иных методов решения задач минимаксной фильтрации и управления. Реальную возможность получить явные уравнения фильтров и управляющих стратегий дает подход, основанный на переходе к двойственной задаче. Применение такого подхода к задачам минимаксного оценивания было начато относительно недавно в работах А.Р. Панкова, К.В. Семенихина, В.Н. Соловьева, C.J. Martin, H.V. Poor, S. Verdu.
Системам со случайной структурой также посвящено значительное число исследований. Обычно в качестве разрывных процессов, задающих программу смены структуры, рассматривались процессы, обладающие марковским свойством. Изучению задач анализа, оценивания и управления марковскими скачкообразными процессами посвящены ставшие уже классическими работы Е.Б. Дынкина, R. Boel, М.Н.А. Davis, H.J. Kushner, P. Varaiya, W.M. Wonham и др. Первая попытка придать диффузионным процессам свойство случайной смены структуры принадлежит Р.Л. Стратоновичу. В дальнейшем к исследованиям диффузионных процессов со скачками обращались И.И. Гихман, Р.Ш. Липцер, А.В. Скороход, А.Н. Ширяев, J.L. Menaldi и др. При детальном рассмотрении систем со случайной струк-
турой выделился некоторый подкласс, характеризующийся тем, что систему наблюдения можно декомпозировать таким образом, чтобы выделить автономный марковский процесс переключений. Обычно этот процесс недоступен прямому наблюдению, однако от него может зависеть структура остальных уравнений состояния и наблюдений, а также входящие в них возмущающие процессы. Из-за такой особенности указанный подкласс динамических систем получил название скрытых марковских моделей (СММ). Теория СММ имеет многочисленные приложения, включая управление запасами и финансами, общими динамическими системами, управление в системах передачи данных, обработку сигналов, алгоритмы распознавания речи. В настоящий момент теория развивается благодаря работам А.В. Борисова, В.В. Домбровского, И.Я. Каца, Б.М. Миллера, В.В. Моттля, И.Б. Мучника, П.В. Пакшина, Y. Bar-Shalom, К. Barboza. F. Dufour, R.J. Elliott, M.D. Fragoso, L.R. Rabiner, W.J. Runggaldier, C. de Souza, G. Yin.
В монографии Липцера и Ширяева1 приведена формула условного математического ожидания одного квадратично интегрируемого семимар-тингала относительно другого. Данная формула является теоретическим базисом для решения любой задачи оптимального в среднеквадратическом смысле оценивания. Однако, из-за своей общности данный результат не может быть непосредственно применен при решении конкретных задач оценивания, поэтому актуальной является проблема «локализации», т.е. получения соответствующих формул, применимых в случае конкретной системы наблюдения.
Цели и задачи работы.
-
Решить задачу оптимальной в среднеквадратическом смысле фильтрации случайного процесса, заданного линейными разностными или дифференциальными уравнениями по дискретным и непрерывным наблюдениям в условиях априорной неопределенности в описании вторых моментов возмущающих процессов в уравнениях состояния и наблюдения.
-
Решить задачу оптимальной в среднеквадратическом смысле фильтрации марковского процесса с дискретным временем по комплексным косвенным наблюдениям, содержащим зашумленные и точные компоненты.
-
Решить задачу оптимального среднеквадратического управления в линейной дифференциальной системе с неопределенными интенсивностями шумов в уравнениях состояния и наблюдения.
-
Исследовать частную задачу оптимального управления скрытой марковской моделью с конечным числом состояний по наблюдениям считающего процесса.
Липцер Р.Щ., Ширяев А.Н. Теория мартингалов.—М.: Наука, 1986.
5. Разработать численные методы решения указанных задач фильтрации и управления и применить их для решения прикладных задач.
Методы исследования. Для исследования теоретических проблем использовались методы теории вероятностей, теории случайных процессов, теории мартингалов, функционального анализа, теории двойственности, методы условной оптимизации. Для исследования прикладных задач использовались методы компьютерного моделирования.
Научная новизна.
-
Решены задачи фильтрации и управления в линейных разностных и дифференциальных неопределенно-стохастических системах с интегральным средиеквадратическим критерием качества. Найдены достаточные условия, при которых минимаксное решение однозначно определяется решением двойственной задачи.
-
Для решения двойственной задачи фильтрации и управления в линейных системах с параметрической неопределенностью разработан итерационный численный метод и доказана его сходимость.
-
Найдено решение задачи оптимальной в среднеквадратическом смысле фильтрации состояний специального марковского процесса, порожденного марковской цепью с конечным числом состояний.
-
Поставлена задача стохастического оптимального управления скрытой марковской моделью по наблюдениям считающего процесса. Получены необходимые условия оптимальности управления в форме стохастического принципа максимума. В одном частном случае оптимальное управление получено в явном виде.
-
Полученные теоретические результаты применены к задаче прогнозирования параметров движения летательного аппарата и задачам передачи данных по каналам связи.
Практическая значимость. Полученные результаты позволяют решать прикладные задачи фильтрации и оптимизации из области экономики и телекоммуникаций, задачи обработки сигналов и изображений, задачи оценивания параметров и управления движением летательных аппаратов.
Апробация работы. Результаты диссертационной работы обсуждались на следующих научных конференциях и симпозиумах: 43-я Международная конференция IEEE по управлению и принятию решений CDC-2004, (Багамские о-ва, Нассау, 2004); 9-ая и 10-я Международные конференции «Системный анализ и управлепие» (Украина, Евпатория, 2004 и 2005), 4-ая Международная конференция «Идентификация систем и задачи управления» SICPRO-2005, (Москва, 2005); 16-й Международный конгресс IFAC (Чехия, Прага, 2005); 2-я Научная сессия Института проблем информатики РАН (Москва, 2005); 24-я Международная конференция IEEE по системам передачи данных
INFOCOM-2004, (США, Майами, 2004); 3-я Международная конференция по проблемам управления (Москва, 2006), а также на научных семинарах под руководством проф. А.И. Кибзуна (МАИ) и проф. Э. Альтмана (INRIA, Франция).
Диссертация была поддержана грантами РФФИ №02-01-00361, №05-01-00508, INTAS №YSF 04-83-3623, грантом Москвы 2005, проектом 1.5 программы ОИТВС РАН «Фундаментальные основы информационных технологий и систем» и выполнялась в рамках программы «Котутель» (Cotutelle) на основании соглашения о совместном прохождении аспирантуры между Московским авиационным институтом (руководитель проф. А.Р. Панков) и университетом Ниццы (UNCA, Франция, руководители проф. Э. Альтман, проф. К. Авраченков).
Публикации. Основные результаты диссертации опубликованы в пяти статьях [1-5], в отчете по НИР [6], в сборниках трудов [7-Ю] и тезисах [11-14] научных конференций.
Структура и объем диссертации. Диссертация состоит из введения, четырех глав, приложения, заключения и списка литературы (146 источников). Объем диссертации —130 м.п.с.
Фильтрация процесса заданного ЛСРУ по дискретным наблюдениям
Необходимо отметить, что минимаксный фильтр F не является фильтром Калмапа-Быоси, так как Rti y) перестает быть ковариационной матрицей ошибки 6 = Ш Vt оценки, а параметры фильтра зависят от выбора весовой функции Е( критерия (1.39): F = Fj -(7), 7 определяется через решение задачи оптимизации двойственного функционала J(7) = tr[// (7)7]j гДе в свою очередь Н(-) = Н(-, Е() определяется формулой (1.43). При этом свойство несмещенности оценки yt остается в силе.
Определение F через решение двойственной задачи (1.41) мотивируется тем, что последняя имеет аналитическое описание (1.46), (1.41). Прямой функционал J(F) = = sup 7(F,7) при произвольном Г является негладким и не имеет явного апалитиче 7ЄГ ского представления, что затрудняет решение задачи (1.40).
Теперь откажемся от предположения (1.30) о линейности оператора оценивания F и покажем, что построенный оператор F является минимаксным не только на классе линейных операторов J7, но также и на классе TQ всех псупреждающнх операторов оценивания.
Пусть F Є J i), если yt = F{Zl) измерима относительно т-алгебры, порожденной процессом наблюдения Р = {zr, 0 т f }, t Є [О, Г], и Е [[у(2] оо. Пусть также V — класс всех возможных распределений процесса {wt, t Є [О, Т]}, удовлетворяющих (1.27) при 7 Є Г, a J(F, Р) — интегральный квадратический критерий, определенный на Т$ хТ формулой (1.32). Тогда справедливо следующее утверждение.
Теорема 1.5. Пара (F, Pw), где F = FK ), 7 решение (1. 6),(141), a Pw — распределение вииеравского процесса wt с cov(wt,wT) = 7гліп(,т), является седло-вой точкой критерия J(F, Р) на Р х V.
Доказательство теоремы 1.5. Для любого F Є FQ справедливо J(F,PW) J(F, Pw) в силу известного свойства абсолютной оптимальности фильтра Калмапа-Быоси при гауссовских возмущениях в модели (1.25), (1.2G) [20,31,42]. Так как F — = FK(% то J(/\PW) = J(F,7) 5= ./(Р,7) = ЦР,Р), V7 Г по теореме 1.4.
Теорема 1.5 доказана.
Пусть, как и в предыдущем разделе состояние системы на временном интервале t [О, Т] описывается стохастическим дифференциальным уравнением Ито (1,25). Оставим также в силе предположения о кусочной непрерывности известных детерминированных коэффициентов щ и bt. Кроме того, относительно возмущений в уравнении состояния будем полагать, что wt Є Жг — центрированный случайный процесс с ортогональными однородными приращениями, т.е. аналогично (1.27) имеет место сот(ші,шг) = 7штш(і,г), E[twf] = 0. (1.47)
Относительно матрицы интенсивностей 7ш известно, что 7ю Гш С Rrxr, где Гш — некоторое заданное множество неотрицательно определенных матриц размера (г х г).
Предполагается, что в заранее известные фиксированные моменты времени 0 t\ ЬІ ... f jv T доступны наблюдению следующие случайные величины: C,k = fkytk + Vk, (1.48) где (к Є Мч — вектор наблюдения в момент tj.; fk — известные матрицы; ь% — центрированный стационарный в широком смысле векторный белый шум с covfib, 1) = 7w
Ковариационная матрица т также предполагается известной лишь с точностью до принадлежности некоторому множеству положительно определенных матриц: 7 Є Г„ С Rqxq.
Далее всюду предполагается, что существует константа С 0 такая, что для любого tk и любого [і Є М.4: \\/і\\ = 1 inf /i 7„M C. (1.49) Необходимо отметить, что для выполнения условия (1.49) достаточно, чтобы Г„ было замкнутым.
Обозначим через 7 = diag(7«j,7e) блочно-диагональную матрицу, вклгачагонгую в себя все неизвестные параметры уравнения динамики фазового вектора (1.25) и уравнения наблюдения (1.48). Множество Г = {7 = йіщ{п/т „) : 7« Є Гм,7 Г„} (1.50) будем называть множеством неопределенности модели наблюдения (1.25), (1.48).
Пусть уі — линейная пеупреждающая оценка для yt по наблюдениям Zbd = { , к : tk і]. Тогда yt можно представить в виде К = F{2J) = J] Ж& Х , Є [О, Г]. (1.51) В соотношении (1.51) через F обозначен линейный оператор фильтрации, а через Qd{t} tk) его весовая функция. Пусть J- — множество фильтров вида (1.51), удовлетворяющих условию (1.31).
Пусть Pw — закон распределения процесса wt в (1.25), a Р„ — закон распределения случайных величин 1 , к = 1,... ,JV в (1.48). Обозначим совместное распределение Р — (Pw,Pv)- Обозначим через V класс всех возможных пар распределений Рш,Ри, удовлетворяющих 7 & Г из (1.50). В силу сделанных выше предположений Р Є V.
Для каждого Р Є V качество оператора оценивания F(-) будем определять величиной интегрального средпекоадратического критерия (1.32) или, что то же самое в силу выполнения (1.28) и (1.31), критерия (1.33),
Фильтрация процесса заданного ЛСДУ по дискретным наблюдениям
Рассмотрим модель наблюдения (1.25), (1.48), (1.50), описанную в разделе 1.3,1. Будем предполагать, что помимо дискретных наблюдений (1.48) в каждый момент времени і Є [0,Т] доступен вектор наблюдений zt Є Rm, который задается стохастическим дифференциальным уравнением Ито (L2G).
Оставим в силе предположение о кусочной непрерывности известных детерминированных матричных функций с( и dt. Кроме того, введем аналогичное (1,29) условие согласованности, препятствующее вырождению процесса наблюдений zt: пусть существует константа С 0 такая, что для любого t Є [0,Т] и любого ц lRm: Ц Ц = 1
Будем теперь предполагать, что оператор F принадлежит множеству JF, которое образуют фильтры вида (1.69), удовлетворяющие условию (1.31). При этом все предположения относительно класса допустимых распределений V и критерия J(F, 7), сделанные в разделе 1.3.1, остаются в силе. 1.4.2. Задача оптимальной фильтрации
Предположим, что изиестны истинные значения 0W — матрицы интенсивности шумов в (1.25) и (1.26) и $„ — матрицы ковариаций в (1.48). Пусть также выполнены все предположения о модели (1-25), (1.26), (1.48), и критерии (1.32) из разделов 1.2.1, 1.3,1 и 1.4.1. Тогда оператор фильтрации F Є Т, минимизирующий при каждом і Є [О,!1] локальный критерии (1.34), не зависит от Е( и описывается следующей системой стохастических дифференциальных уравнении:
Начальные условия для дифференциальных уравнений (1.70) и (1-72) в начальный момент времени tQ = 0, а также в моменты измерений tk задаются но формулам (1.54)-(1.56).
Уравнения (1-71), (1.72), (1.55), (1.56) определяют ковариацию ошибки оценки Rt{9) = cov(6,&) по формуле (1.57).
В дальнейшем оператор фильтрации вида (1.70)-(1.72), (1.54)-(1.56) будем обозначать как Рц{9). Так же, как и в разделе 1.3.2, можно показать, что оценка у(, задаваемая оператором Fn{B), оптимальна по интегральному критерию на классе Т.
Пусть Г содержит более чем одну точку, тогда для случая совместных дискретно-непрерывных наблюдений, можно сформулировать утверждение о седловой точке (/\ 7) к задаче минимаксной линейной фильтрации (1-25), (1.26), (1.48), (1.33) аналогичное теоремам 1.4 и 1.7.
Пусть матрицы Щ Є Rrxr и Іц Є R4 4 определяются так же как и в 1.4.3, тогда справедлива следующая лемма.
Теорема 1.8. Пусть Гш и Гу — выпуклые компакты неотрицательно определенных матриц, причем для Tw выполнено (1.68), а для Г» выполнено (1-49), тогда 1) двойственный функционал Ja(-f) имеет вид Л7) = tr[H (7bl, (1-77) где Н(у) определена формулами (1.58)-(1.61), (1.73)-(1.75) при 8 = -у; 2) решение 7 двойственной задачи (1-41) существует. Доказательство теоремы 1.8. В силу леммы 1.7 A7) = J(Fi»(7),7HMH (7h], откуда в силу непрерывности #(7), установленной в лемме 1.8 следует то, что 3 непрерывен по 7 па Г в силу непрерывности функций и, следовательно достигает своего максимума на компактном множестве Г.
Теорема 1.8 доказана. В следующей теореме определена седловая точка (F, -у) в задаче фильтрации (1.25), (1.20), (1.48), (1.33) Теорема 1.9. В условиях теоремы 1.8, пара (Ft f), где F = Fc(7) — оператор фильтрации (1.70)-(1.72), (1.54)-(1-56) при 0 = 7? образует седловую точку критерия J(F, 7) на Т х Г, При этом гарантированное значение J критерия равно
Доказательство теоремы 1.9. Пусть Fs{0) — оператор фильтрации (1.52)-(1.5G) для 0 Є Г. Если 7 Є argmax inf J(F, 7), то F Є argmin,7(F, 7). В разделе 1.4.2 показано, что в этом случае F = FB{J) Є Тв, где Тв — множество всех фильтров FB(0), 0 Є Г. Таким образом, если (F,-y) — седловая точка J(F,j) па FB х Г, то она также является седловой точкой и на Т х Г. Таким образом, вместо 7 можно ограничиться множеством операторов J-Q. Проверим условия леммы П.1.
Управление в линейных непрерывных неопределенно-стохастических системах
Если задача (2.27)-(2.30) допускает существование оптимального предсказуемого управления, то это управление при достаточно слабых предположениях является оптимальным и в исходной задаче. Потребуем, чтобы на траекториях кусочио-детермнппровапной системы дифференциальных уравнений (2.36) выполнялось условие Г(этг) т 0- Это условие, очевидно, выполняется, например, если на траекториях (2.3G) 7rJ 1 и все СІ различны. Тогда Т± Э р% в силу (2.28), и так как скачки 7Г( задают все скачки процесса Nt, то верно и обратное включение. Таким образом, имеет место равенство J7 = J7 , и следовательно, множества допустимых управлений в задаче (2.27)-(2.30) и в исходной задаче совпадают. Однако общие теоремы существования оптимальных решений в задачах управления скачкообразными процессами отсутствуют. Известные теоремы существования е—оптимальных марковских стратегии [17] (Теоремы 2.7, 2.8), [52] трудно применимы к данной задаче. Тем не менее, если оптимальное управление существует, то его можно охарактеризовать с помощью уравнения динамического программирования [75]. Определим функцию
Практическое использование полученного выше результата требует решения уравнения динамического программирования, что при больших размерностях вектора х является весьма трудной задачей. Кроме того, зависимость возмущающего процесса от управления усложняет моделирование и численный анализ данной проблемы. Поэтому кажется естественным перейти к эквивалентной постановке задачи оптимального управления, к которой возмущающий процесс не зависит от управления. Такую возможность дает обобщенная гирсаиовская замена меры [16]. Вместе с ней переходим к новой формулировке задачи оптимального управления в терминах «ненормализованного» условного распределения Xf. Описываемая ниже конструкция предложена в [79]. Пусть Nt, О t Т, — стандартный пуассоновский процесс на вероятностном пространстве (Q,FX,N,P), и наблюдения задаются марковской цепью X , удовлетворяющей уравнению (2.17) с некоторым / -предсказуемым управлением? 0, Р-п.и. почти всюду на [О, Г]. Тогда процесс Qt = Nt—t — .7- -мартингал по мерс Р.
Таким образом, преобразование меры дает возможность построить слабое решение (XfjN?) управляемой системы (2.17) на вероятностном пространстве { ltTXyN, Р), которое потраекторно совпадает с сильным решением (X",iV() на вероятностном пространстве (Q,FX N,Р). Причем, как следует из и.З Леммы 2.3, в силу абсолютной непрерывности меры Р по отношению к мере Р (Л" 0 Р-п.п. для t Є [0,Т]) можно вычислять все средине значения (если они существуют) па траекториях этого сильного решения с независящим от управления пуассоновским процессом JV(. При этом управление естественно определяет эволюцию процесса Xt и входит в плотность меры Р по Р. Дальнейшее рассмотрение задачи управления основано на результатах [79] (гл. 12), однако в рассматриваемом случае наблюдаемый считающий процесс зависит от управления.
Таким образом, сформулирована новая задача оптимального управления для системы (2.40) с целевой функцией (2.41), которая эквивалентна исходной, но является более простой для анализа, так как возмущающий считающий процесс не зависит от управления, а система уравнений (2.40) линейна по qu. Нетрудно видеть, что строгая положительность управления, при которой можно доказать эквивалентность задач, па самом деле не так уж и важна, так как в силу свойств системы (непрерывная зависимость от управления правой части системы и функционала, ограниченность числа скачков) для любого управления можно построить аппроксимирующую последовательность строго положительных управлений, обеспечивающую сходимость по критерию качества. Это означает, что в исходной и вспомогательной задачах значения супремума критерия качества совпадают.
Предположим, что существует положительное оптимальное управление и и выведем необходимое условие оптимальности. Для задач с возмущениями типа пуассоновского процесса существует достаточно хорошо разработанная теория необходимых условий оптимальности в форме принципа максимума [90,133(. Однако в нашем случае линейной системы можно получить условия оптимальности непосредственно, вычисляя производную Гато для целевой функции.
ЧМ решения двойственной задачи фильтрации и управления
Сплошной линией выведена ошибка фильтра i b(7) который в данном случае является оптимальным. Ошибка минимаксного фильтра, то есть фильтра і о("у), выведена пунктиром. Кроме ошибок, па рисунках представлены коридоры [-3 а, 3 а], где и для оптимального фильтра является среднеквадратическим отклонением (СКО) ошибки оценки, а для минимаксного фильтра — оценкой СКО, рассчитанной как корень из соответствующих диагональных элементов матрицы Яіі у) из (1.53). Необходимо отметить, что пилообразная динамика т обусловлена непрерывной динамикой процесса, который оценивается по дискретным наблюдениям.
Для сравнения на рисунках 4.7-4.10 приведены ошибки фильтрации для случая истинной ковариации шумов в наблюдениях равной % = % Как и па предыдущей серии рисунков сплошной линией выведена ошибка фильтра Foiy), а пунктирной — ошибка минимаксного (в этом случае также и оптимального) фильтра Р0{у).
Видно, что оценка качества фильтра Fo{ y) (коридор [-3 т, 3 ст], где а — оценка СКО полученная с помощью формулы (1,53)) слишком оптимистична: реальное качество фильтра заметно хуже, так как выход ошибки оценки за пределы коридора — маловероятное событие. То же самое можно сказать и о значении критерия качества: оценка J = ./( 0(7),7) = 4.00242 104 меньше, чем реальное значение J = = -/( 0(7),7)= 4.12301-104Т
Таким образом, оценки минимаксного фильтра в приведенных примерах являются более реалистичными по сравнению с оценками оптимального фильтра с ошибочными параметрами. Кроме того, примеры иллюстрируют робастность минимаксного фильтра, то есть его слабую чувствительность к вариации статистических параметров модели.
Пример 4.6. Данный раздел посвящен применению полученных результатов оптимальной нелинейной фильтрации состояний специального марковского процесса к задаче оперативного слежения за состоянием сетевого соединения по протоколу TCP.
Управление потоками информации в большинстве сетей (как локальных, так и глобальных) осуществляется с помощью семейства протоколов TCP [56,88]. Основой надежности протокола TCP является повторная передача утерянных или поврежденных во время пересылки данных. Посылая очередной сегмент данных, отправляющая сторона ожидает подтверждение о его получении со стороны адресата, и в случае, если подтверждение не получено, производит повторную отправку. Естественной характеристикой степени загруженности канала между отправителем и получателем является время подтверждения RTT (round trip time), равное промежутку времени между отправкой пакета и получением подтверждения па пего. Под каналом здесь подразумевается совокупность маршрутов, по которым пакеты могут передаваться на пути от отправителя к адресату. Текущее значение параметра RTT зависит от совокупности случайных факторов, включающих выбор конкретного маршрута (отправитель ї± адресат), уровень загрузки маршрутизаторов на этом маршруте и т.д. Поэтому естественным представляется рассматривать RTT как случайный процесс.
Алгоритм управления скоростью передачи данных протокола TCP действует следующим образом: как только происходит потеря пакета, скорость передачи уменьшается в два раза (коэффициент уменьшения может быть разным в различных версиях протокола, однако указанное значение рекомендовано в [88]). Между потерями пакетов скорость передачи линейно растет, причем скорость роста зависит от текущего значения RTT. Кроме того, от RTT зависит и RTO (retransmission timeout) время, в течение которого отправитель ожидает подтверждения па посланный пакет. По истечении RTO пакет считается утерянным и подлежит повторной пересылке.
Таким образом, для описания функционирования протокола TCP для данного канала предлагается рассматривать пару (RTT, состояние капала). Особенностью этих двух параметров является то, что они непаблгодаемы (скрыты) и, кроме того, изменяются во времени и зависят друг от друга.
При анализе рассматриваемой системы с помощью теории массового обслуживания необходимы дополнительные предположения о характеристиках сети: о ее топологии, наличии и количестве в ней «узких мест» (bottlenecks) — маршрутизаторов, разделяющих сегменты сети и т.п. Например, при большой загруженности сети, па таком маршрутизаторе может теряться большое количество пакетов, так как размер его буфера ограничен. Поэтому такой подход не может быть общим для сетей с произвольной конфигурацией. Например, для беспроводных сетей, топология которых изменяется с течением времени, он не может быть использован в принципе. С другой стороны, алгоритмы оценивания RTT, в настоящее время используемые в реализациях протокола TCP, вообще не связаны с какой-либо математической моделью сети.
Построим скрытую марковскую модель передачи данных по каналу связи. Процесс передачи пакетов между отправителем и получателем будем описывать двумя параметрами: состоянием канала связи и временем подтверждения.
Будем предполагать, что канал может находиться в двух состояниях: в загруженном и в свободном. На таком предположении основаны многие современные модели соединений. Они берут свое начало от классической модели Гильберта [85], в которой состояние соединения принимает два значения: «хорошее» и «плохое», и переключение между ними происходит в соответствии с некоторым марковским процессом с двумя состояниями.
Будем полагать, что в загруженном состоянии время получения подтверждений больше по сравнению со свободным состоянием. Кроме этого, и загруженном состоянии велико также и среднее количество потерянных или испорченных пакетов. Поэтому динамику канала будем описывать с помощью марковской цепи 9t со следующими возможными состояниями:
