Содержание к диссертации
Введение
ГЛАВА 1. Постановка задачи 20
1.1. Модель 20
1.2. Достаточные условия равномерной интегрируемости семейства .28
1.3. Строгие є-мартингалы 32
ГЛАВА 2. Результаты 34
2.1. Критерии оптимальности 34
2.2. Детерминированный случай 41
2.3. Достаточное условие строгой є -мартингальности 47
ГЛАВА 3. Доказательства 53
3.1. Доказательство теоремы 1.1 53
3.2. Доказательство теоремы 1.2 56
3.3. Доказательство теоремы 1.3 58
3.4. Доказательство теоремы 2.1 60
3.5. Доказательство теоремы 2.2 66
3.6. Доказательство теоремы 2.3 71
3.7. Доказательство теоремы 2.4 74
3.8. Доказательство теоремы 2.5 76
3.9. Доказательство теоремы 2.6 80
3.10. Доказательство теоремы 2.7 86
Приложение 91
Заключение 97
Список литературы
- Достаточные условия равномерной интегрируемости семейства
- Строгие є-мартингалы
- Детерминированный случай
- Доказательство теоремы 1.2
Введение к работе
1. Основная цель диссертации — это исследование следующей задачи стохастического оптимального управления:
Пусть на некотором отрезке [О,Г] (момент Т, вообще говоря, может быть случайным), задан прогрессивно измеримый интегрируемый (в каждый марковский момент г <Т) случайный процесс X и число А > 0. Определим множество допустимых управлений U, как состоящее из кусочно-постоянных предсказуемых случайных процессов с конечным числом переключений, ограниченных по модулю единицей. Для и Є U рассмотрим следующий процесс
Jx.uW-f UsdXs - 2 JIdU* I'
о 0
где / I dus I — процесс полной вариации и.
Определим целевой функционал fx(u) как математическое ожидание случайной величины Jx,u(Т):
fx(u)±EJx,u(T).
Задача состоит в описании множества управлений и, и Є U, на которых достигается максимум функционала fx{u) на U.
Насколько известно автору, задачи подобного рода до сих пор формулировались как задачи оптимального инвестирования при наличии операционных издержек в рамках стохастической финансовой математики,
которая на данный момент является, пожалуй, одним из основных
практических приложений стохастического анализа и стохастического
Шг оптимального управления. С. финансовой точки зрения поставленная задача
получает следующую интерпретацию. Пусть процесс X описывает дисконтированную относительно процентной ставки динамику некоторого финансового актива. Инвестору позволяется иметь в портфеле как положительное, так и отрицательное количество актива X, однако в каждый момент времени это количество ограничено по модулю единицей. Изменять портфель, продавая или покупая актив X, позволяется только конечное число раз. Функционал fx{u) можно интерпретировать как ожидаемое значение капитала самофинансируемой стратегии и в момент Т в ситуации, когда плата
за покупку/продажу одной единицы актива X составляет —. Параметр Л
Щ^ соответствует величине операционных издержек, которые на практике
складываются из брокерских комиссий и Bid-Ask спрэда, т.е. разницы между текущими ценами покупки и продажи. Тогда рассматриваемая задача может быть сформулирована как задача поиска стратегий, максимизирующих ожидаемое значение капитала инвестора в момент Т.
2. Основополагающие работы, посвященные оптимальному
инвестированию в непрерывном времени на рынках без операционных издержек (без трения), — это работы Р. Мертона [28; (1969)] и [29; (1971)]. Он рассматривал рынок с двумя активами Bt и St, где
dBt = rBtdt, dSt = fiStdt + aStdWt.
Актив Bt можно интерпретировать как экспоненциально растущий банковский счет, a St как некоторый рискованный актив, развивающийся по закону геометрического броуновского движения. В этих работах, в частности, было показано, что для инвестора с логарифмической функцией полезности оптимальной будет стратегия, которая заключается в инвестировании в Вь и St
fi — r
фиксированных долей 7Гд и 7г| от текущего капитала, где 7г| =
-к*в = 1 — -n*s. Замечателен тот факт, что эти величины не зависят от горизонта
Т. Отсюда следует, что соотношение рискованного и безрискового капитала в
*
оптимальном портфеле постоянно и равно -. Другими словами, если
1 —7Г$
текущая величина безрискового капитала в оптимальном портфеле равна х, то величина рискованного капитала у равна —-—х. Прямая у = ——х на
1 — 7Г$ 1 - 7Г
графике зависимости рискового капитала от величины банковского счета носит название линии Мертона. Обратимся теперь к рынкам с трением.
Впервые влияние операционных издержек изучалось в работе М. Дэвиса и А. Нормана [7; (1990)], которые применили для этих целей методы стохастического оптимального управления. Этот подход позволяет получать оптимальные управления посредством поиска слабых решений в уравнениях Гамильтона - Якоби - Беллмана (HJB) (см. монографии Н.В. Крылова [37; (1977)], а также У. Флеминга и Г. Сонера [13; (1993)]). В том же русле находятся работы С. Шрива и Г. Сонера [33; (1994)], Ж-П. Шанселье, Б. Оксендала и А. Сулема [3; (2002)] и Оксендала и Сулема [31; (2002)]. В последних двух работах решение описывается в терминах квазивариационных неравенств, являющихся обобщением уравнений HJB. Получающиеся уравнения или неравенства далее решаются численными методами. В случае пропорциональных издержек в работах М. Дэвиса и А. Нормана [9; (1990)] и С.
Шрива и Г. Сонера [33; (1994)] показано, что при выполнении некоторых условий можно указать две проходящие через начало координат прямые Г^ и Г2 такие, что оптимальным будет не совершать сделок, когда вектор (ttb^s) лежит внутри конуса NT, ограниченном линиями Гх и Г2. Если же (7гв,7г5) достигает границы конуса, то она становится отражающим барьером для irs, не позволяющим координатам портфеля выйти за пределы NT. В зависимости от параметров модели линия Мертона может оказаться как внутри, так и снаружи конуса NT.
Если же операционные издержки фиксированы, т.е. не зависят от размера сделки, то также, как и в случае пропорциональных издержек, внутри конуса NT сделки не совершаются, однако при достижении границ конуса величина 7TS изменяется так, чтобы вектор (7Гд,7Гз) достиг некоторой целевой границы
внутри конуса NT. В работе В. И. Закамулина [34; (2002)] показано, что с ростом капитала инвестора эта граница быстро сходится к линии Мертона. Для сравнения в модели с двумя активами Bt и St, где
dBt = rBtdt, dSt = LLStdt +
S решение и нашей задачи для процесса Xt = -=^- не зависит от Л и имеет
простой вид:
fi ^
й = - и и равно любому числу из [—1,1], если jj, — — = r.
а2 2
[-1,А.-Т<г
Однако если предположить, что величины [і , <7 или г изменяются во времени,
то оптимальное управление, вообще говоря, будет не столь тривиальным.
Возвращаясь к обсуждению подхода, основанного на методах
стохастического оптимального управления, заметим, что он имеет
существенный недостаток: уравнения HJB и его обобщения справедливы
только для марковских процессов. Такое ограничение преодолевается, если,
пользуясь выпуклостью и существованием мартингальной меры, перейти к
решению двойственной задачи, которая, как правило, оказывается значительно
проще. Впервые такой метод был использован в работах И. Карацаса, Ж.П.
Лехозского, С. Сети и С. Шрива [22; (1987)], а также И. Карацаса, Ж.П.
Лехозского и С. Шрива [21; (1987)] для процессов Ито в задаче без издержек.
Первыми, кто осознал возможность приложения дуальных методов к задаче с
издержками, были Я. Свитаник и И. Карацас [7; (1996)], которые также
рассматривали случай процессов Ито. В своей работе они показали, что задача
^1^ оптимального инвестирования с операционными издержками сводится к задаче
без операционных издержек в случае неполного рынка (т.е. такого рынка, на
котором существуют нереплицируемые функции выплат). В статье Дж. Деелстры, Г. Фама и Н. Тузи [10; (2001)] рассматривается более общая семимартингальная модель. В статье И. Карацаса и X. Ванга [24; (2000)] наряду с дуальным подходом применяется теория оптимальной остановки. Также см. статьи Джоини и Каллала [16]-[18], Я. Свитаника и X. Ванга [8; (1999)] и диссертацию К. Камизоно [20; (2001)]. Видимо, наиболее полная модель для многомерного процесса цен представлена в работе Ю.М. Кабанова [19; (1999)]. В статье Я. Свитаника и И. Карацаса [5; (1992)] рассмотрена модель с выпуклыми ограничениями на структуру портфеля. Выясняется, что такие ограничения можно учесть, предварительно решив вспомогательную конечномерную задачу на минимум, в которой фигурирует опорная функция допустимого множества портфелей. В статье тех же авторов [6; (1995)] исследуются ограничения на величину падения капитала от своего исторического максимума. Вообще говоря, дуальный подход в случае неполных рынков, какими являются рынки с трением, основан на возможности так называемого опционального представления случайного процесса, которое тесно связано с его супермартингальными свойствами по отношению к некоторому множеству мартингальных мер. Исчерпывающий результат в этой области можно найти в статье Д.О. Крамкова [26; (1996)].
Надо сказать, что и тот, и другой подход (детерминированный, связанный с решением дифференциальных уравнений и мартингальный, позволяющий переходить к решению двойственной задачи) берут свое начало с работ по хеджированию опционов. Так, впервые дифференциальное уравнение, описывающее динамику капитала, появилось в знаменитой работе Ф. Блэка и М. Шоулза [2; (1973)], а мартингальный метод для решения задачи хеджирования на полном рынке первыми применили Дж. М. Харрисон и С. Плиска [15; (1981)]. Как видно из приведенных ссылок, оба подхода по сей день имеют своих сторонников и развиваются параллельно.
З. Поставленная задача имеет ряд отличительных особенностей, которые не
позволяют причислить ее к классическим задачам оптимального
инвестирования.
Во-первых, мы не постулируем отсутствие арбитража в исследуемой задаче, т.е. мы допускаем существование стратегий, приносящих безрисковую прибыль. В рамках классической теории допущение арбитража в модели является абсолютно неприемлемым, поскольку делает бессмысленным любое инвестирование, когда сколь угодно большую прибыль можно получить без всякого риска. В рамках же нашей модели вполне можно говорить о безрисковом инвестировании, поскольку в силу условия | и | < 1 и некоторых
предположений, налагаемых на процесс X, прибыль от безрисковых стратегий всегда ограничена. Можно сказать, что в ситуации, когда в модели существуют арбитражные возможности, задача состоит в оптимальном их использовании. Данная постановка вопроса вполне согласуется с практикой, поскольку для определенного круга игроков арбитражные возможности время от времени возникают даже на наиболее эффективных рынках, однако они не могут извлечь из них бесконечно большую прибыль, так как сталкиваются с ограниченностью собственного капитала или ограниченной ликвидностью рынка. Такой подход, в частности, делает осмысленной детерминированную постановку задачи, в рамках которой любая стратегия, приносящая прибыль, является арбитражной.
Вторым существенным отличием является определение множества допустимых процессов X. В настоящей работе на процесс X не налагается никаких других условий кроме прогрессивной измеримости и интегрируемости. Разумеется, столь слабые ограничения на X делают применение уравнений HJB или мартингальных методов в решении поставленной задачи невозможным. Однако, как выясняется, для описания множества оптимальных
управлений оказывается эффективным применение более прямых и элементарных техник. Далее, такой широкий класс допустимых процессов значительно сужает множество управлений, для которых определен интеграл
/ udX. Однако из самой постановки задачи вытекает, что управление и
должно иметь конечную вариацию, иначе целевой функционал fx(u) будет равен минус бесконечности, либо сведется к неопределенности (+оо) —(+оо). В этой связи следует отметить статью П. Гуазони [14; (2002)]. В этой работе П. Гуазони изучает вопросы существования решений задач оптимального управления в очень общей модели, не предполагающей семимартингальности или марковости процесса цен. В качестве допустимых процессов автор рассматривает согласованные процессы, непрерывные справа и имеющие пределы слева. По такому процессу можно интегрировать любой непрерывный слева процесс локально ограниченной вариации (см. [11], 8.1.). Мы бы тоже могли рассматривать в качестве допустимых управлений непрерывные слева
процессы локально ограниченной вариации, ограниченные в L. Однако существо проблемы позволяет, не проигрывая в общности результатов, существенно облегчить задачу, ограничившись кусочно-постоянными управлениями.
В-третьих, инвестор в рассматриваемой задаче безразличен к уровню риска, с которым сопряжено применение той или иной стратегии. Другими словами, все стратегии, имеющие одинаковое ожидаемое значение капитала в момент Т, являются равно приемлемыми. Это не совпадает с обычным предположением финансовой теории, гласящим, что всякий инвестор обладает антипатией к риску, т.е. имеет вогнутую функцию полезности, которую и старается максимизировать. В нашем же случае функция полезности инвестора U(x) равна х, что и означает безразличное восприятие инвестором риска.
Еще одним, правда не столь существенным отличием является предположение о независимости операционных издержек от цены, в то время как принято рассматривать издержки, прямо пропорциональные цене актива. Однако в силу замечания 2.1 для строго положительных процессов X наша модель может быть расширена и на этот случай.
Далее, ограничение | и \ < 1 вполне естественно для задачи оптимального управления, но выглядит экзотичным в рамках классической теории. Объясним, зачем вообще налагать ограничение на управления. Дело в том, что если рассматривать произвольно «далекие от нуля» управления «, то в силу очевидного свойства
fx (оси) = afx(и) для любого числа а > О функционал fx, вообще говоря, не будет ограниченным сверху. Следовательно, в пространстве кусочно-постоянных управлений необходимо задать некоторую норму ||*|| и перейти к рассмотрению подмножества управлений, равномерно
ограниченных по норме ||*||. В работе рассматривается норма в пространстве Ь
ll^lloo — esssup sup |uf(o0|,
шП іє[0,Т(и>)]
откуда и вытекает ограничение | и \ < 1. Напротив, в классической постановке
задач оптимального инвестирования принято либо вовсе не налагать ограничений на управления (это становится возможным в силу вогнутости функций полезности), либо вместо ограничения на число единиц актива в портфеле рассматривать ограничение на объем вложенных в него денежных средств (т.е. на процесс utXt). Однако в такой постановке оптимальные управления кардинально меняют свои свойства, что связано с необходимостью осуществления коррекций управления, когда в результате изменения X процесс utXt выходит за допустимую границу. Однако, в ситуациях, когда
амплитуда изменений процесса X на [0,Т] существенно меньше X, два
рассмотренных ограничения обретают близкий финансовый смысл.
И, наконец, последней особенностью нашей задачи является отсутствие граничных условий, что приводит к отсутствию издержек в моменты О и Г. Такой выбор не является принципиальным, однако существенно упрощает все формулы. На этом мы закончим обсуждение постановки задачи и перейдем к описанию результатов работы.
4. Работа устроена следующим образом. В первой главе собраны основные определения и некоторые вспомогательные результаты.
Достаточные условия равномерной интегрируемости семейства
В этом разделе мы изучим вопрос, при каких условиях на процесс X семейство Jx будет равномерно интегрируемым.1
Как следует из утверждений 1.3 и 1.4, условие равномерной интегрируемости семейства Jx обеспечивает ограниченность сверху множества {fx(u)}ueu и корректность процедур предельного перехода. Последние нам потребуются при решении задачи (1.8). Поэтому поиск условий на процесс X, при выполнении которых семейство J равномерно интегрируемо, является Введем следующие обозначения: Через 7ЇР обозначим множество непрерывных справа и имеющих пределы слева мартингалов М на [0,Т] таких, что Е sup \Mt [te[o,T] оо. Очевидно, W С П1 Vp 1. Через Л обозначим множество непрерывных справа и имеющих пределы слева согласованных процессов А, имеющих интегрируемую вариацию на г [0,TJ, т.е. таких процессов, для которых Е / \dAt оо. онеотъемлемой частью проводимого анализа.
Через ТС} обозначим множество таких семимартингалов X на [ О, Г , которые представляются в виде Xt = Х0 + Mt -f- At, где М є Ті1, а А Є Л. Несложно показать, что Н} СХТ. В силу замечания 1.3 для равномерной интегрируемости семейства J% достаточно равномерной интегрируемости семейства I 2Х±\ т usdXs о uU:Nu оо
Теорема 1.2. Пусть задан cadlag процесс X Є СТ. Семейство %х равномерно интегрируемо тогда и только тогда, когда X Є Ті}.
Из теоремы 1.2 следует, что если Л = 0, то семейство Jx равномерно интегрируемо тогда и только тогда, когда X ЄНІ. Если же Л 0, то множество процессов X, для которых семейство Jx равномерно интегрируемо, будет, вообще говоря, шире, чем И}. В следующей теореме дается более общее, чем в теореме 1.2, достаточное условие равномерной интегрируемости семейства Jx
Теорема 1.3 . Пусть задан процесе X Є ХТ. Предположим, что найдется такой процесс X Є Ті}, для которого выполнено неравенство sup Xf — Xj —. Тогда семейство J% равномерно интегрируемо. t o 2
Пример 1.1. Пусть Л 0 и X - непрерывная детерминированная функция на конечном отрезке. По теореме Вейерштрасса любую непрерывную на отрезке функцию можно равномерно приблизить многочленом достаточно высокой степени. Поскольку любой многочлен на отрезке имеет ограниченную вариацию, то из теоремы 1.3 следует, что семейство J% равномерно интегрируемо.
В заключение приведем еще один полезный критерий равномерной интегрируемости семейства J%. Пусть число 0 и на конечном отрезке [0,Т] задана детерминированная cadlag функция g(t). Определим последовательность моментов \т п\ следующим образом: тєо=0, =М{і тп_1: (0- (гп_1) є}лГ,п 1.
Определим функцию g (t) на интервале [О, Г) равенством Pe(04E (r»-i)7k ь )(0-Вточке Т положим д (Т)±д(Т). п 1 1 " "; Определение 1.9.1 е-вариацией Voxe{g)T cadlag функции g{t) на отрезке [О, Г] назовем вариацию на [О, Г] функции g(t), т.е. Var( )T=Var( );r. Определение 1.10. є -вариацией cadlag процесса X на интервале [0,Г] будем называть случайную величину Уагє(Х)т, для каждого ш равную є -вариации траектории Xt (ш) на отрезке [ 0, Т (ш) ]. Утверждение 1.6. Пусть задан cadlag процесс X Є ХТ. Следующие условия эквивалентны: (i) VA 0 найдется cadlag процесс X Є Л такой, что выполнено неравенство sup Xt — Xt A. t T (ii) VAX) E[VarA(X)r] oo.
Доказательство импликации (ii) = (і). Положим То=0, т =Ыи Тп-\: Xt-XrА А}ЛТ, П 1. Очевидно, І п—і J TQ - момент остановки. Зафиксируем п 1. Предположим, что т _2 - момент остановки. Покажем, что тогда и т момент остановки. Для этого определим t процесс Y, задаваемый формулой Yt= J Iys Tn-\)dXs. По предположению о индукции процесс Y согласован. Из определения Y получаем, что т = inf {t 0: \Yt I А}Л Т. Поскольку Y непрерывен справа и согласован, то он опционален1, поэтому можно применить теорему Ханта2, из которой А следует, что т - момент остановки.
Строгие є-мартингалы
Пример 1.1. Пусть Л 0 и X - непрерывная детерминированная функция на конечном отрезке. По теореме Вейерштрасса любую непрерывную на отрезке функцию можно равномерно приблизить многочленом достаточно высокой степени. Поскольку любой многочлен на отрезке имеет ограниченную вариацию, то из теоремы 1.3 следует, что семейство J% равномерно интегрируемо. В заключение приведем еще один полезный критерий равномерной интегрируемости семейства J%. Пусть число 0 и на конечном отрезке [0,Т] задана детерминированная cadlag функция g(t). Определим последовательность моментов \т п\ следующим образом: тєо=0, =М{і тп_1: (0- (гп_1) є}лГ,п 1. Определим функцию g (t) на интервале [О, Г) равенством Pe(04E (r»-i)7k ь )(0-Вточке Т положим д (Т)±д(Т). п 1 1 " ";
Определение 1.9.1 е-вариацией Voxe{g)T cadlag функции g{t) на отрезке [О, Г] назовем вариацию на [О, Г] функции g(t), т.е. Var( )T=Var( );r. Определение 1.10. є -вариацией cadlag процесса X на интервале [0,Г] будем называть случайную величину Уагє(Х)т, для каждого ш равную є -вариации траектории Xt (ш) на отрезке [ 0, Т (ш) ]. Утверждение 1.6. Пусть задан cadlag процесс X Є ХТ. Следующие условия эквивалентны: (i) VA 0 найдется cadlag процесс X Є Л такой, что выполнено неравенство sup Xt — Xt A. t T (ii) VAX) E[VarA(X)r] oo. Доказательство импликации (ii) = (і). Положим То=0, т =Ыи Тп-\: Xt-XrА А}ЛТ, П 1. Очевидно, І п—і J TQ - момент остановки. Зафиксируем п 1. Предположим, что т _2 - момент остановки. Покажем, что тогда и т момент остановки. Для этого определим t процесс Y, задаваемый формулой Yt= J Iys Tn-\)dXs. По предположению о индукции процесс Y согласован. Из определения Y получаем, что т = inf {t 0: \Yt I А}Л Т. Поскольку Y непрерывен справа и согласован, то он опционален1, поэтому можно применить теорему Ханта2, из которой А следует, что т - момент остановки.
В качестве процесса X выберем процесс Xt; , где xt =У,Хт Ъ , тМ (0. хт = хт Очевидно, что sup Xt - Xt A. —» П-1 n-l nJ / "71 П 1 Г согласован. Из определения X следует, что Xх - cadlag процесс и Var(Xх ) = VarA(X)т, поэтому ХеА.П Доказательство импликации (і)=5 (іі). Зафиксируем Л 0. По условию найдется процесс X Є Л такой, что -ЗА выполнено неравенство sup\Xt— Xt\ \. Рассмотрим процесс Хх кт Из условия sup кг Vn l X ЗА — X ЗА I п п—1 Xt—Xt\ \ следует, что Vn 1 Х.3А — Х.ЗА Л . Поэтому X. Х_з\ — X. X ЗА — X ЗХ п-1 п-1 X_ЗА ЗА ЗА -ЗА гп-1 ЗА-А-А = Л. Отсюда следует, что 3Var(Х) УагЗЛ(X)т. Значит Е[ Var3A(X)т ] оо. П Зафиксируем число є 0. Определение 1.11. Прогрессивно измеримый процесс X такой, что для любых чисел s t выполнено EXsT oo; (1.12) E(X,T-Xj ) -, назовем є-субмартингалом на [О, Г]. Определение 1.12. Прогрессивно измеримый интегрируемый процесс X такой, что на 0,Г] процесс Y = — X является в-субмартингалом, назовем -супермартингалом на [0,Т].
Определение 1.13. Прогрессивно измеримый интегрируемый процесс X такой, что X одновременно является є-субмартингалом и е-супермартингалом на [0,Т], назовем -мартингалом на [0,Г|.
В случае є = 0 приведенные выше определения совпадают с привычными понятиями субмартингала, супермартингала и мартингала соответственно. Определение 1.14. Прогрессивно измеримый процесс X такой, что для любых о < т Є Т, величина Хт интегрируема и (1.13) щхт-Ха\Га)>-є, назовем строгим -субмартингалом на [0,Т]. Определение 1.15. Процесс X Є Хт такой, что на [О, Г J процесс Y = —X является строгим є -субмартингалом, назовем строгим є -супермартингалом на [ О, Т ]. Определение 1.16. Процесс X ЄХТ такой, что X одновременно является строгим -субмартингалом и строгим -супермартингалом на [0,Т], назовем строгим -мартингалом на [0,Г]. Замечание 1.5. Поскольку ХТ = Ха на {г = а}, то условие (1.13) в последнем определении эквивалентно тому, что (1.14) Е(Хт-Ха\Га)>-єІ(т>а).
Детерминированный случай
В этом разделе мы рассмотрим один частный случай, для которого оптимальное управление в задаче (1.8) всегда существует. Оптимальное управление будет построено явным образом, причем оно окажется детерминированным.
Пусть на отрезке [0,Г], где Т оо - число, задана непрерывная функция д{t). Для любой точки t0 Є [0,Т] и числа А О определим функции 5+(0= maxg(a)-g(t)t SbW = 9(t)-rmng(s) se[to,t\ и множества At(to)±[t to:S+(t) ±(l + I(t T))}, Л1( о) { о: (0 (1 + Д« Г))}. Множество Лд ( ) — это множество всех точек t Є [t0,T], для которых разница между максимумом функции д на [t0,t] и текущим значением g(t) больше или равна Л, если t Т и больше или равна —, если t = T.
Аналогично множество Лд (0) — это множество всех точек t tQ, для которых разница между текущим значением g(t) и минимумом функции д на [t0,t] больше или равна Л, если t Т и больше или равна —, если t = T. Из непрерывности функции g(t) следует, что множества Лд(0) и Лд (t0) являются замкнутыми. Теперь мы можем приступить к определению оптимального управления А й. Для этого воспользуемся представлением (2.6). Величину / зададим равенством (2.10) Ло = 88п(0(До)-0(О)), где А0 =infA0, Л0 = s 0:\g(s)-g(0)\ -I(s T)\,a sgn(0) полагается равным единице. Моменты 7ГП, п 1, определим по индукции: argmax[(-l)n %д(і)\ LKn-iA.] (2.11) тгпЄ -, Лп 0 [{T}, Лп=0, Л?( „-І), (-іГЧ = і лі( п-і), (-ir4 = -i" гдеДп4іпіЛп, Лп Итак, функция u(t) строится по следующим правилам: Начальное значение / определяется первым достижением функцией g(t) границы коридора g(0)±—I(t Г). Если сначала достигается верхняя л граница коридора, то / полагается равным единице, если нижняя, то минус единице. Если же граница достигается только в точке Т и д(0) = д(Т), то функция u(t) полагается равной единице всюду на [0,Т] (можно было бы положить ее равной любой другой константе из [—1,1], но для проведения доказательств нам удобнее оставаться в Щ).
Моменты 7гп переключений функции и определяются по индукции, а именно: Для тех п, для которых значение и на (7гп_і,тгп] равно единице, момент 7гп определяется как одна из точек (любая), в которой функция g{t) принимает максимальное значение на отрезке от ттп_г до первой точки, в которой St (t) становится больше или равным — (l + I(t Т)). Если же St (t) всюду на [тгп_і,Г] строго меньше, чем -(1 + 7( Г)),то ттп полагается равным Т.
Для тех п, для которых значение и на (7гп_і,тгп] равно минус единице, момент 7гп определяется как одна из точек (любая), в которой функция g(t) принимает минимальное значение на отрезке от ттп_і до первой точки, в которой Sfinl(t) становится больше или равным — (1 + I(t Т)). Если же тг„_і(0 всюду на [7гп_і,Т] строго меньше, чем — (l + I(t Т)), ТО 7ГП полагается равным Т.
Обратим также внимание на то, что из (2.10)-(2.11) напрямую не следует, ЧТО фуНКЦИЯ U ЯВЛЯеТСЯ ДОПУСТИМЫМ управлением, ПОСКОЛЬКУ уСЛОВИе N{i < оо нуждается в доказательстве.
Через Ті1 обозначим пространство непрерывных справа и имеющих пределы слева мартингалов М на [0,Т] таких, что Е sup \Mt \ < оо. Очевидно, te[o,T] что М2 С Н1, где М2 - это пространство всех квадратично интегрируемых мартингалов, т.е. таких непрерывных справа и имеющих пределы слева мартингалов, для которых sup EMf < оо. Теперь мы готовы к тому, чтобы te[o,T] сформулировать основной результат этого раздела. Теорема 2.6. Пусть Т < оо — число, и процесс X можно представить в виде (2.12) Xt=Mt + g{t), где МеП\ a g(t) — непрерывная на [О,Г] детерминированная функция. Тогда если А > 0, то функция и, удовлетворяющая соотношениям (2.10)-(2.11) , является решением задачи (1.8).
Следствие 2.2. Оптимальное управление для процесса вида (2.12) не зависит от мартингальной компоненты. Если в разложении (2.12) функция А g(t) тождественно равна нулю, то множество U состоит из управлений вида й = С, где \С\ < 1, причем fx(u) = 0.
Замечание 2.7. Условие М Є Ті1 гарантирует, что \/uE.U процесс Jx,u{t) будет мартингалом на [0,7]1. Заметим, что ослабить указанное условие, вообще говоря, нельзя. Действительно, в статье А.С. Черного [4; Section 4] построен явный пример равномерно интегрируемого мартингала X Н1 и ограниченного предсказуемого процесса Н, являющегося управлением в смысле определения 1.2, для которых процесс t / fHsdXs { о не >0 является мартингалом.
Замечание 2.8. Условие Л ^ 0 гарантирует, что число переключений NU управления и конечно. Если функция g(t) имеет конечное число локальных экстремумов на [О,Г], то требование Л ^ 0 можно опустить.
Замечание 2.9. В (2.10)-(2.11) моменты переключения оптимального управления и определяются по индукции от 7Г0 = 0 до nN = Т. Однако, используя ту же самую процедуру, можно было бы поступить наоборот: начать с определения последнего момента переключения, после чего последовательно приближаться к нулю.
Действительно, из теоремы 2.5 и разложения (2.12) вытекает, что для детерминированного и и конечного Т условие (2.7) эквивалентно тому, что для любых ^, таких, что ттк_г
Заметим, что на отрезке [0,Г] неравенство (2.13) обладает свойством антисимметрии относительно направления временной оси: если провести замену времени t' = Т — t, то в новом времени неравенство изменит знак на противоположный. Следовательно, во времени t' условию (2.13) будет удовлетворять управление и' = — и. Поэтому для построения оптимального управления в новом времени следует воспользоваться алгоритмом (2.10)-(2.11), Л А . ПОЛОЖИВ / = -/ , 7ГП = 7T;v-n. Замечание 2.10. Из определения множеств Лд (t0), Лд (t0) следует, что для Аз > Хг > 0 справедливо Л^ (t0) с Л^ (t0), Л^ (t0) с Л^ (tQ). А Поэтому если обозначить через ПЛ множество {^I,—,TTN-I} моментов переключений оптимального управления из теоремы 2.6, то из (2.11) следует, что П^ С ПАі.
Доказательство теоремы 1.2
Пусть v ЄЇІ. Без ограничения общности можно считать, что E\jXtV(T)\ oo. Действительно, поскольку EJ (T) оо в силу утверждения 1.2, то в противном случае fx(v) = EJxv(T) — ЕJxv(Т) = — оо, в то время как для v Є U такого, что v = 0, выполнено fx(v) = 0 —оо. С управлением v свяжем последовательность {vm \ , где I. J тп 1 Vm ±VI(t 7Гт). Предложение 3.4. Нш /x(vm) = /x( ). m—+00 Доказательство. Из определения vm следует, что \jX,vAT)-JxA m-l)\ I m T). Поскольку Р(7гт Т)—»0, то отсюда следует, что lim Е JXvm(T) — Jx i m)\ — 0- Поскольку семейство Jx равномерно интегрируемо и Е JX V(T)\ ОО, ТО МЫ можем воспользоваться утверждением 1.4, из которого следует, что \\т fx(vm) = lim EJXv( m) = fx(v) т—+оо т— оо Предложение доказано. Поскольку Vm l Nym т + 1 оо, то из пункта 2.1.1 следует, что найдется управление vm Є U\ такое, что fx[vm) fx(vm). Из предложения 3.4 вытекает, что lim fx(vm) fx(v). Поскольку управление v ЄІІ мы выбирали т—юо произвольно, то из последнего неравенства следует, что sup fx(u) supfx(v). иб/і veU Так как U\ С U, то тем самым sup fx(u) = supfx{v). uUx veU Доказательство необходимости в пункте 2.2.1.
Идея доказательства. Предположив, что для оптимального управления и из Щ не выполнено свойство (2.1), построим управление, не равное и на множестве ненулевой меры, на котором функционал fx принимает строго большее значение, чем на оптимальном управлении. Тем самым придем к противоречию.
Итак, пусть процесс uGUi является оптимальной стратегией. Докажем, что для капитала Ju выполнено свойство (2.1). Для полноты картины мы докажем даже более сильное по форме утверждение, гласящее, что для любых T! T2GT почти всюду выполнено: E(Ju(r2)-Ju(r1) -1) AP(r2Gnu Tl) (3.12) л , , ИгіЄ(0 Г)) + Р(г2є(0їГ) Ті)]. Доказательство будем вести от противного. Пусть найдутся моменты остановки т1 т2Е.Т такие, что Р( А) 0, где E(Jfi(r2)-Jfl(r1) Ti) (3.13) А = ЄТТ. АР(т2єЩ Ті)- [/(г1 0) + Р(г2 Г Гі)] 2 Определим управление v: vt{u ) й щ(и)-(1-21АхЫш)Ми;)]) Поскольку v Є Uі, то (\І(т2 т1)[І(т1 0) + І(т2ЄІ1„)-І(т2ЄІ1й)У (3.14) JV(T) = JU(T) + ІА. 2[JU(T2)-JU{TI)] Заметим, что на множестве А гх строго меньше т2. Далее, поскольку на і в момент т2 либо управление и, либо v (но не оба сразу!) имеет переключение (за исключением случая т2 = Т, то /(т2бПв) = 1-/(т2Щ)-1(т2 = Г) = /(т2 Г)-/(т2Щ). Из приведенных соображений следует, что (3.14) можно переписать следующим образом: -2/(т2ЄПй) (3.15) Jv(T) = Ju(T) + 2[Ju(T2)-Ju(Tl)] I A. Л + Jr(r1 0) + /(r2 r)j Поскольку А Є ТТі, то из (3.13), (3.15) и условия fx(u) оо (см. утверждение 1.2) следует, что fx(v) = fx(u)-E + 2( ( )- ( )] -2/(г2еЩ) Л + 7(т1 0) + /(т2 Г) = fx(u) P{A) -27(т2еЩ) Е + +[JU(T2)-JU(T1)]\A MU). .І(т1 0) + І(т2 Т)\ Итак, мы пришли к противоречию с предположением об оптимальности и,
Доказательство достаточности в пункте 2.2.1. Идея доказательства. Наряду с управлением иб[/ь для которого выполнено свойство (2.1), рассмотрим произвольное управление v Ui. Далее исследуем взаимные свойства этих управлений на интервалах, на которых каждое из них постоянно. Объединяя эти интервалы в один, придем к тому,что fx(v) fx(u).
Пусть для процесса UEUI выполнено свойство (2.1). Докажем, что fx{u) fx( ) VueU. Во-первых, заметим, что согласно следствию 2.1 нам достаточно показать, что fx(v) fx(и) \fv єиг. Утверждение 1.5 позволяет нам рассмотреть управление wElf, w = -(и + v). Введем в рассмотрение последовательности моментов остановки из Т {ai}i l:aiy[T и {A}i: 1 :/ Т Т такие, что последовательность стохастических интервалов (1 ,/]} определяет те интервалы постоянства управления wt, на которых оно равно нулю (Уг 1 имеются ввиду те исходы и, для которых а{ Т ).
