Содержание к диссертации
Введение
ГЛАВА I. Учет априорной информации методом коррелированных процессов
1. Введение 18
2. Метод коррелированных процессов при наличии смещений в априорных условиях 23
2.1. Постановка задачи 23
2.2. Структура оптимальной оценки 24
2.3. Адаптивные оценки при известных смещениях в априорных условиях 30
2.4. Адаптивные оценки при неизвестных смещениях в априорных условиях 31
3. Априорные условия с заданным множеством значений
3.1. Постановка задачи 40
3.2. Структура оценок 42
3.3. Оценки, основанные на 7-статистиках 44
3.4. Оценки, как функционалы Мизеса от э.ф.р. 52
4. Априорные условия с неполным числом возможных значений 55
Выводы
ГЛАВА 2. Условное оценивание функционалов плотности вероятностей
1. Введение 61
2. Постановка задачи 62
3. Оценивание при отсутствии смещений в априорных условиях 65
4. Адаптивные оценки. Примеры.
5. Оценивание при наличии смещений в априорных условиях 77
6. Адаптивные оценки при наличии смещениий в априорных условиях 80
Выводы 88
ГЛАВА 3. Метод проекций в учете априорной информации
1. Введение. Общая идея метода проекций 89
2. Проектирование на основе псевдометрик 90
3. Метод минимального расстояния 92
4. Проектирование в пространства условно-инвариантных распределений 93
4.1. Определения. Примеры. 93
4.2. Проектор и проекции 97 5. Проектирование в классы Sa -симметричных распределений 1 5.1. Центр симметрии задан 103
5.2. Центр симметрии не задан 113 6. Проектирование в квантильные классы распределений 117 7. Проектирование в класс непрерывных распределений 119 8. Проектирование в класс распределений с известными математическими ожиданиями от заданных функций 1 8.1. Проектирование на основе расстояния Кульбака-Лейблера 122
8.2. Линеаризованный проектор 127
8.3. Проекция одномерной функции распределения при полилинейных условиях 129 9. Проектирование в параметрические классы распределений 130
10. Проектирование в пересечения классов распределений
10.1. Квантильные классы условно-инвариантных распределений 135
10.2. Квантильные классы непрерывных распределений 137
10.3. Проектирование в классы непрерывных условно-инвариантных распределений 138
10.4. Квантильные классы непрерывных условно-инвариантных распределений 138
10.5. Классы 5?- -симметричных распределений с известными средними от заданных функций 140
10.6. Проектирование в сужения параметрических классов распределений 141
Выводы 147
ГЛАВА 4. Статистические оценки распределений вероятностей с учетом априорной информации
1. Введение 148
2. Эмпирическое распределение 149
3. Статистические оценки 5-симметричных распределений 150
3.1. Неравноплечная симметрия 151
3.2. Равноплечная симметрия 155
4. Статистические оценки распределений из квантильных классов
4.1. Общий случай 156
4.2. Функция распределения на прямой 159
4.3. Сглаженное эмпирическое распределение 160
5. Статистические оценки непрерывных функций распределения 163
6. Учет информации условно-инвариантного типа
6.1. Общая схема построения оценок 164
6.2. Статистические свойства оценок распределений 168
7. Оценки распределений с известными математическими ожиданиями от заданных функций
7.1. Модифицированные эмпирические распределения и информационные статистики 173
7.2. Линеаризованные оценки и информационные статистики 177
8. Оценки распределений из пересечений априорных классов 180
8.1. Непараметрические классы распределений 180
8.2. Параметрические классы распределений 181
9. Вероятности попадания модифицированных эмпирических функ ций распределения в заданные полосы 185
Выводы 196
ГЛАВА 5. Критерии согласия с использованием априорной информации
1. Введение 198
2. Метод расстояний в построении статистик критериев 200
3. Модифицированные статистики критериев согласия 201
4. Модифицированные статистики Колмогорова-Смирнова 203
4.1. Простая гипотеза 204
4.2. Точные распределения модифицированных статистик 207
4.3. Предельные распределения модифицированных статистик 212
5. Модифицированные статистики критерия омега - квадрат
5.1. Статистики для распределений с заданными квантилями 218
5.2. Статистики для Sa - симметричных распределений 223
5.3. Статистики критерия для Sa - симметричных распределений с заданными квантилями 225
6. Критерий симметрии омега-квадрат для распределений с известной медианой 226
7. О мощностных свойствах модифицированных критериев 230
7.1. Случай фиксированных альтернатив 230
7.2. Случай сближающихся альтернатив 235 Выводы 239
ГЛАВА 6. Привлечение априорной информации на основе минимума верхних границ погрешностей
1. Введение 240
2. Границы погрешностей оценок одномерных интегралов на классах функций W2 241
3. Границы погрешностей на классах функций W[ 248
4. Влияние учета дополнительной информации 249
5. Границы погрешностей оценивания кратных интегралов 251
6. Асимптотические границы погрешностей 255
Выводы 257
Заключение 258
Литература
- Адаптивные оценки при известных смещениях в априорных условиях
- Оценивание при отсутствии смещений в априорных условиях
- Проектирование в пространства условно-инвариантных распределений
- Модифицированные эмпирические распределения и информационные статистики
Введение к работе
Актуальность проблемы. Задачи статистической обработки данных обычно формулируются в терминах функционалов от распределения вероятностей, выражающих различные вероятностные характеристики, и их решение сводится к нахождению значений этих функционалов по результатам эксперимента. При построении статистических оценок функционалов часто используется метод подстановки , заключающийся в замене неизвестного распределения эмпирическим распределением. На практике почти всегда что-нибудь известно об оцениваемом распределении. Эти знания, составляющие априорную информацию, могут быть совершенно различными; они могут заключать в себе информацию о непрерывности, симметрии относительно известного или неизвестного центра, о квантилях и моментах, о монотонности функции интенсивности, о функциональном виде распределения и г\д., а также различные комбинации этих сведений. Наличие априорной информации естественным образом ставит задачу ее использования для улучшения качества эмпирических оценок. Задачи оценивания, в которых имеется существенная априорная информация, получили название условных.
К числу первых работ по условному оцениванию функции распределения и функционалов относятся исследования Ю.Н.Тюрина, E.F.Schuster, D.Hinkley, Б.Я.Левита, Ю.А.Котовника, Г.М. Кошкина, Ф.П. Тарасенко, Ю.К.Устинова и автора.
Важнейшим стимулом к разработке методов вовлечения дополнительной априорной информациив в статистическую обработку данных экспериментов послужили разнообразные практические задачи, решаемые методом статистических испытании. В.Н.Пугачевым для анализа систем предложен комбинированный метод оценивания вероятностных характеристик, использующий результаты натурных испытаний и дополнительную информацию о системе, полученную в результате теоретических исследований и статистического моделирования. Такой метод, называемый также методом коррелированных процессов, позволяет повысить точность оценивания вероятностных характеристик при заданном числе натурных экспериментов, проведение которых, как правило, трудоемко и требует больших материальных затрат. Дальнейший вклад в этом направлении внесли
Н.И.Баклашов, М.В.Гальченко, В.А. Гуревич и др.
Особую значимость учет допонптельной информации приобретает в теории надежности. В работах А.В.Прохоренко, В.Ф.Голикова описаны методы оценивания показателей надежности изделий и их составных частей по результатам испытаний или эксплуатационных наблюдений z использованием дополнительной информации, источником котрой служат анализ надежности при проектировании, результаты предыдущих испытаний изделий. В.П.Савчук рассматривал эту задачу в байесовской постановке при наличии частичной информации об априорном распределении.
Случай полной априорной определенности имеет место в задачах, решаемых методом Монте-Карло (методом статистических испытаний). Для повышения точности вычисления математических ожиданий ( интегралов) методом Монте-Карло разработаны различные приемы уменьшения дисперсии оценок - выделение главной части, симметризация подынтегральной функции, метод "существенной" выборки, метод расслоенной выборки, и т.д. По существу, все эти приемы есть способы учета имеющейся информации при оценивании математического ожидания (или какого-либо другого функционала.) по выборке, генерируемой ЭВМ в соответствии с заданным законом распределения.
Таким образом, потребности практики приводят к необходимости развития известных и создания новых более общих подходов и методов учета дополнительной априорной информации разнообразных типов в синтезе статистических процедур обработки данных и их теоретического обоснования.
Связь с научными программами, темами. Диссертационная работа выполнялась в соответствии с планами научно - исследовательских работ Сибирского физико - технического института при Томском государственном университете.
В рамках госбюджетных тем:
"Оптимизация измерительных и связных информационных систем" (координационный план АН СССР на 1971-1975 гг., проблема ТК-22, № гос. регистрации 70005304);
" Адаптивные, обучаемые и самообучающиеся системы" (координационный план АН СССР на 1976-1980 гг. по комплексной проблеме
"Кибернетика", шифр 1.12.1.2, № гос. регистрации 78017018);
"Разработка непараметрических и устойчивых к неадекват-иостям моделей статистических процедур" (1981-1985 гг., шифр "Функционал-Р", № гос. регистрации 73024024);
— в рамках хоздоговорных тем:
"Создание системы алгоритмов и программ для статистической обработки экспериментальных данных" (1974-1976 гг., шифр "Статистика", № гос. регистрации 74063880),
"Разработка и внедрение непараметрических и робастных методов в моделирование, в автоматизацию проектирования и автоматизацию технологических процессов в производстве микросхем" (1987— 1989 гг., шифр "Статистика", № гос. регистрации 75015423).
По базовому финансированию Министерства общего и профессионального образования (МОПО) в рамках тем:
"Стохастическое моделирование систем обработки информации, классификации и селекции" в 1991-1995 г.г. (шифр "Модель" №4-13-91);
"Математическое моделирование систем управлення, обработки ц передачи информации" в 1996-1998 г.г. (шифр "Система" №4-4-96Ф).
Часть исследований выполнялась в соответствии с планами научно-исследовательских работ Томского государственного университета по базовому финансированию МОПО в рамках темы
"Разработка и исследование математических моделей и программной поддержки статистической обработки разнотипных данных" в 1994-1999 гг. (шифр № 1.38.96Ф),
а также по программам, поддержанным грантом Российского фонда фундаментальных исследований (РФФИ) №95-01-00289 "Непараметрические и робастные методы обнаружения зависимостей, классификации и селекции" (1995-1996 г.г., руководитель Тарасенко Ф.П.).
Целью настоящей работы является
развитие метода коррелированных процессов для задачи условного оценивания при наличии смещений и многозначности значений в априорных условиях,
разработка новых методов и алгоритмов привлечения различных типов дополнительной информации о распределениях в проце-
дуры статистической обработки данных,
— исследование влияния учета априорной информации на свойства получаемых статистических процедур.
Методы исследования. Решение поставленных задач осуществлялось с применением методов функционального анализа , теории вероятностей, случайных процессов, математической статистики, статистического моделирования, линейной алгебры, теории матриц.
Научная новизна.
-
Рассмотрена задача статистического оценивания функционала от распределения при условии, что другие (априорные) функционалы могут принимать значения из заданного конечного множества, что обобщает ивестные ранее постановки задач условного оценивания. Это позволяет привлекать в обработку данных более разнообразную информацию о распределениях. В классе оценок линейной структуры получена оптимальная в смысле минимума среднеквадра-тпческой ошибки оценка. Предложены методы построения адаптивных оценок, сходящихся по распределению к оптимальной.
-
Показано, что метод коррелированных процессов можно с успехом применять в оценивании функционалов от условных плотностей вероятностей с привлечением дополнительной информации о значениях конечного числа других функционалов плотности. Тем самым расширена область применимости этого метода в решении новых практических задач.
Предложен класс асимптотически нормальных оценок с минимальной дисперсией для непараметрического оценивания широкого класса функционалов плотности.
Рассмотрена задача условного оценивания при наличии смещений в априорных условиях. Построены адаптивные оценки, сходящиеся по распределению с увеличением объема наблюдений к оптимальной при отсутствии смещений в априорных условиях и к безусловной оценке при наличии смещений.
3. Предложен метод проекций, позволяющий проектировать не
которое исходное распределение в заданный класс распределений
(обычно выделяемый априорными условиями) и получать новое рас
пределение с нужными свойствами. Дано общее определение класса
условно - инвариантных распределений, включаюшее в себя симметричные, с известными квантилями и непрерывные распределения. Тем самым в статистическую практику введено понятие априорной информации условно - инвариантного типа. Построены проекторы в различные классы распределений и изучены их свойства.
-
Методом проекции построены модифицированные эмпирические распределения, обладающие априорными свойствами. Получены п исследованы оценки распределений условно -- инвариантного типа, приведены формулы вычисления вероятностей попадания модифицированных эмпирических функций распределения в заданные полосы при конечном числе наблюдений.
-
Сформулирована задача проверки статистических гипотез при наличии априорной информации о распределениях. Получены модифицированные статистики критериев согласия Колмогорова, Колмогорова - Смирнова, омега-квадрат. Для статистик, модифицированных с учетом информации о симметрии, квантилях, непрерывности распределений и различных комбинаций этих сведений, получены точные и асимптотические распределения при нулевой гипотезе и некоторых типах альтернатив. Показано, что учет дополнительной информации о распределениях в структуре статистик приводит, как правило, к увеличению мощностных свойств рассмотренных критериев согласия.
6. Построены іг исследованы свойства модифицированных оце
нок, предназначенных для вычисления кратных интегралов методом
Монте-Карло. Наличие полной информации о функции распределе
ния и рассмотрение специальных классов подынтегральных функций
позволило рассмотреть при построении оценок интегралов с учетом
знания значений других интегралов новый критерий качества - ми
нимум верхней грани погрешности оценок, отличный от минимума
дисперсии. Найдены точные границы погрешностей оценок на за
данных классах подынтегральных функций. Исследованы свойства
устойчивости (робастностп) модифицированных (с учетом симме
трии и квантилей) оценок интегралов к отклонениям распределения
выборки от равномерного в (0,1) закона.
Практическая ценность.
Предложенные в диссертации методы и алгоритмы обработки
/
статистических данных с использованием дополнительной информации разработаны с учетом существующих потребностей практики и позволяют в условиях различного уровня априорной определенности решать задачи технической кибернетики (идентификации, управления, распознавания образов), геофизики, космической связи, вычислительной математики, имитационного моделирования.
Внедрение результатов работы.
Полученные алгоритмы обработки данных применялись при вы-полнениия ряда научно-исследовательских и хоздоговорных тем для различных организаций в стенах лаборатории Статистических методов Сибирского физико-технического института им. В.Д.Кузнецова при Томском государственном университете,
Материалы исследований в настоящее время используются в учебном процессе при чтении следующих курсов лекций:
"Математические методы страхового и банковского дела", "Статистическое моделирование", "Дополнительные главы математической статистики", "Статистические задачи технической кибернетики" и "Теория информации" в Томском государственном университете.
С 1975 г. и по настоящее время материалы исследований также используются студентами и аспирантами ФПМК Томского государственного университета при выполнении курсовых, дипломных работ и кандидатских диссертаций.
Апробация работы и публикации.
Основные результаты диссертационной работы докладывались и обсуждались на следующих научно-технических конференциях и симпозиумах:
VI конгрессе ИФАК по стохастическому управлению (Венгрия, 1974), IV, V, VI научных конференциях Западно-Сибирского региона MB и ССО РСФСР по математике и механике (Томск, 197-4, 1976, 1977), V Всесоюзном совещании по методам Монте-Карло (Новосибирск, 1976), II-VII Всесоюзных школах-семинарах по непараметрическим и робастным методам статистики в кибернетике (Шушенское, 1977, Дивногорск, 1981, Томск, 1983, Шушенское, 1985, Томск, 1987), VII Всесоюзной конференции по теории и передаче информации (Москва-Куйбышев, 1981), Международном симпозиуме по
теории информации ( Ташкент, 1984), Colloquium on Goodness-of-Fit. June 25-29. 1984. Debrecen, Всесоюзной конференции "Теория, методология и практика системных исследований". Секция 5. Математические методы анализа систем, (Москва, 1985), Всесоюзной конференции "Методы и програмное обеспечение обработки информации и прикладного статистического анализа данных на ЭВМ" ( Минск, 1985), II Симпозиуме ИФАК по стохастическому управлению (Вильнюс, 1986), I Всемирном Конгрессе Общества математической статистики и теории вероятностей им. Бернулли (Ташкент, 1986), International Symposium on Data Analysis, INRIA, Antibes / Juan les Pins (France) 11-14 Sept. 1989, IV Всесоюзной научно-технической конференции " Применение многомерного статистического анализа в экономике и оценке качества продукции" ( Тарту (ЭССР), 1989), Всесоюзной конференции "Информационные методы повышения эффективности и помехоустойчивости радиосистем и систем связи" ( Москва-Ташкент, 1990), Всесоюзной научно-технической конференции с международным участием стран членов СЭВ "Применение статистических методов в производстве и управлении" (Пермь, 1990), Всесоюзной конференции по имитационному моделированию и анализу данных (Минск, 1990), Республиканской научной школе-семинаре "Компьютерный анализ данных и моделирование" (Минск, 1992), VIII, IX, X Международных симпозиумах по непараметрическим и робастным методам в кибернетике (Красноярск, 1995, 1997, 1999), II Сибирском конгрессе по прикладной и индустриальной математике (Новосибирск, 1996), Юбилейной научной конференции Сибирского физико-технического института им. академика В.Д.Кузнецова при Томском государственном университете (Томск, 1998), Юбилейной межрегиональной научной конференции "Исследования по анализу и алгебре", посвященной 50-летию механико-математического факультета ТГУ (Томск, 1998), Третьем Корейско-Российском международном научно-техническом симпозиуме (Новосибирск, 1999), Международном семинаре "Стохастические системы управления" Дрезденского технического ун-та и НИИ АЭМ при ТУ-СУР (Томск, 1999),
Структура диссертации.
Работа состоит из введения, шести глав, заключения, списка ли-
тературы и приложения, включающего документы об использовании результатов диссертации в учебном процессе. Объем диссертации -275 страниц, в том числе таблиц - 4, рисунков - 3. Библиография содержит 125 наименований.
Адаптивные оценки при известных смещениях в априорных условиях
Из (2.10) видно, что величина третьего слагаемого принимает различные значения в зависимости от того, какие компоненты вектора А равны нулю. Она тем меньше, чем больше нулевых компонент в А. Таким образом, наличие смещений в априорном условии (2.1) приводит, как правило, к увеличению СКО по сравнению с их отсутствием (А = 0). Исключение составляет случай, когда ненулевые компоненты А удовлетворяют уравнению CTV [ А = 0.
Предположим, что mi компонент вектора Ат равны нулю, без потери общности их можно считать первыми, остальные т = т — т\ компоненты не равны нулю. Обозначим А7 Un Un U22 где V\\ и U\\ квадратные матрицы размера (т\ х mi), a V22 и Lr22 квадратные матрицы размера [т2 х т2). Тогда U12 и22 Лп = v lc NA(2](U21C[1] + U22Cm 1 + NAf2]U22A[2] N(Aj2](U21C[1] + U22Cm))2 Тлг-1, NSr(eN(\0)) = - CJ V C + ! , ЛГЛГ r л 1 + iV A[2] О 22 [2] Если существуют матрицы V 1, (V22 — V iVj 1 V12)-1, то из формулы Фро-бениуса (см.,например, [58], стр. 301) получаем U 22 — 21 11 V 12) V12I11, 621 = U
Эти соотношения можно использовать для уточнения двух последних формул. Теорема 2.1. Пусть выполнены условия (1.9) и (1.10) и матрица V невырождена. Тогда Доказательство. Формулы (2.11)-(2.14) непосредственно с-ледуют из (2.9), (2.10) и условий теоремы. Покажем, что выполняется (2.15). Поскольку слагаемые суммы являются независимыми, одинаково распределенными случайными величинами с нулевыми математическими ожиданиями и конечными, отличными от нуля дисперсиями т0 = Dpif - CTV lC, то на основании центральной предельной теоремы следует (2.15) Пусть А ф 0. Представим {N-1 + ATV-1A)ATV 1A Далее, из (1.9) и неравенства Чебышева следует сходимость по вероятности к нулю компонент вектора (Д — Д)т = (b — b)T, из (2.9) вытекает уЛгАтЛо = 0(l/vN). Отсюда получаем, что остаточный член, состоящий из второго и третьего слагаемого в (2.16), стремится по вероятности к нулю при N — оо. Следовательно, предельное распределение выражения (2.16) определяется предельным распределением первого слагаемого, представляющего собой сумму -L ЕМ ) - ( / №) - ь)т (v- c - Г ТуХ2С) - «] в которой слагаемые являются независимыми одинаково распределенными случайными величинами с нулевыми математическими ожиданиями и конечными, отличными от нуля дисперсиями
Отсюда на основании центральной предельной теоремы следует (2.15) и при А ф 0. v Следствие 2.1. При учете одного априорного условия (т=1 ) и Аі ф 0 уменьшения предельного значения aQ дисперсии нормированной оценки не происходит. Действительно, в этом случае
Отметим также, что величина (CTV [А)2/ATV lА в (2.14) принимает различные значения в зависимости от того, какие компоненты вектора А равны нулю.
Практическое применение оценки #дг(Ло) затрудняет незнание оптимального Ло(Р) и основная проблема здесь состоит в построении адаптивных оценок #уу(Ло) со свойствами максимально приближенными к оптимальной. При построении адаптивных оценок мы будем пользоваться следующими оценками функционалов: вычисляемыми соответственно с помощью формул (1.7), (1.12), (1.13). Сформулируем свойства этих оценок в следующей лемме.
Доказательство. Поскольку выполнены (1.9),(1.10), то в силу усиленного закона больших чисел имеем (2.17), на основании многомерной центральной предельной теоремы получаем (2.18). Из первой теоремы непрерывности [9] вытекают (2.19),(2.20).
Далее, так как матрица V невырождена, то элементы vJJ обратной Л і матрицы I являются непрерывными функциями элементов матрицы V в точках Vjj . На основании (2.19) и первой теоремы непрерывности [9, стр. 32] получаем (2.21). у
Предположим, что вектор смещений А в (2.Г) известен и матрица V невырождена. Тогда, подставляя в (2.9) вместо неизвестных С и V их оценки по методу подстановки, получим следующую оценку для Ло Л і NV l&kTV l\ Ао = V-1 - С, (2.22) где элементы матрицы-столбца С и матрицы V вычисляются соответственно по формулам (1.12) и (1.13). Рассмотрим оценку функционала 0(Р) следующего вида :т 0N(\Q) = e-\i(b-p), (2.22 )
Оценку (2.22 ) назовем адаптивной оценкой с введенным смещением, в ней учтена информация о величинах сиещений в априорных условиях. Асимптотические свойства этой оценки характеризуются следующей теоремой. Теорема 2.2. Если выполнены условия (1.9),(1.10) и матрица V невырождена,то при TV — оо
Эта оценка при А = 0 и N — оо не сходится по распределению к оптимальной ON(XQ), так как последовательность iVA V A не сходится по распределению к нулю и вследствие этого разность VN(9N(\QI) — 6N(\Q)) также не стремится по распределению к нулю. Следовательно, нужно строить такие оценки последовательности wj\r = NATV 1A1 чтобы они сходилась в том или ином смысле к нулю при А - 0 и сходились к бесконечности при А = ф 0. Первое требование приводит к одинаковым асимптотическим распределениям адаптивной и оптимальной оценки, а второе - к одинаковым асимптотическим распределениям адаптивной и безусловной оценки в.
Оценивание при отсутствии смещений в априорных условиях
Решение задач классификации, идентификации, фильтрации, прогнозирования, нахождения вероятностных характеристик различных систем в условиях непараметрической априорной неопределенности приводит к необходимости оценивания по результатам наблюдений случайных величин функционалов от функции плотности распределения [14,36-39,60,78].
В данной главе рассматривается задача непараметрического оценивания одного класса таких функционалов при условии, что имеется дополнительная информация, выражаемая функционалами от условных и безусловных плотностей распределений. При построении оценок используется идея метода коррелированных процессов. Строятся асимптотически нормальные и оптимальными в смысле минимума асимптотической дисперсии оценки в заданном классе оценок. Приводятся адаптивные оценки, которые слабо сходятся к оптимальным.
Рассматриваются примеры непараметрического оценивания плотности, регрессии и условной производящей функции моментов с учетом знания вероятностных характеристик условных и безусловных плотностей. В задачах управления эти оценки могут применяться при непараметрической идентификации модели объекта, например, регрессии, с использованием знаний о параметрическом описании некоторых вероятностных характеристик объекта. 2. Постановка задачи
Пусть f(x,y) - неизвестная плотность (отросительно меры Лебега) наблюдаемого случайного вектора [X, Y) Є Rk+s,X Є Rk, Y Є Rs aj(x) = I (Pj(y)f(x,y)dy, j = l,...,n, где pi,...,(pn - известные скалярные действительные функции на Rs. Рассмотрим вероятностные характеристики следующего вида J(x) = Q(ai(x),...,an(x)), здесь Q(t), t Є Rn заданная функция из Rn в R1. Примерами таких характеристик являются: регрессия J(x) = / yf(x-y)dy/ I f(x,y)dy, IIs Rs маргинальная плотность J(x) = I f(xiV)dy Rs и другие (см. [ 14 ]). Методы непараметрического оценивания функционалов плотности по N независимым наблюдениям (выборке) (XhYl),...,(XN,YN) (2.1) вектора (X, Y) рассматривались в ряде работ (достаточно обширная библиография приведена в [14]). На практике наряду с выборкой (2.1) исследователь может располагать дополнительной информацией. Для заданного набора скалярных функций {(fn+r} , г = 1, т + р на Rs рассмотрим интегральные функционалы плотности
Здесь an+i(x]6{) и f3k(x;6m+k)- известные с точностью до конечного числа параметров функции, вг Є G С Rq, г = l,m-(-p, (Ai,...,Am, Ai,. . ., Др)Т- вектор-столбец, характеризующий смещения (отклонения) от истинных (точных) значений функционалов. Для (2.3) эквивалентно представление f((pn+m+k(y) -f3k(x;0m+k))f(x,y)dy = Ат+к(х), к = 1,р Rs или в другой форме ап+т+к(х) - /Зк(х;вт+к)а0(х) = Агп+к(х), к=11р1 (2.3 ) где (IQ(X) = JRS f(x,y)dy -плотность вектора X Є Rk\ CLQ{X) 0 на Rk. Именно (2.3 ) совместно с (2.2) мы будем использовать в дальнейшем как дополнительные априорные условия. Относительно вектора смещений А(х) = А = (Ai,..., Ато, Am+i,..., Ат+р)Т известно лишь, что его компоненты могут принимать нулевые значения. Факт равенства нулю каких-либо компонент Aj, j = 1, т + р вектора А не известен исследователю. Наличие условий (2.2) и (2.3 ) ставит задачу условного непараметрического оценивания вероятностной характеристики J{x), х Є Rk. по выборке (2.1).
Отметим, что в [27] рассматривался частный случай этой постановки, когда заранее было известно, что все компоненты вектора смещений А равны нулю.
Далее будем использовать следующие обозначения: ajJ ix) = J Рі(,У) Рі (у)Ґ(х,У) ІУ, j,j = 0,l,...,n + m+p; Rs (fQ(y) = 1, ah0(x) = a,j(x), и {х)=\\ап+1}П+,(х)1 (/,/ = l,...,m) матрица, соответсвующая условию (2.2); uW(x)=\\Ukik,(x)l (к,к = 1,...,р), Uk,k {x) = an+rn+kin+m+k {x) - Ък(х)ап+т+к {х) - Ьк,(х)ат+п+к(х)+ +Ък(х)Ък,(х) матрица, соответствующая условию (2.3 ); Z(x) = Zhk(x) (I = 1,..., га; к = 1,... ,р), Z/;fc(x) = ап+1іП+т+к(х) - an+i(x)bk(x) матрица, характеризующая взаимосвязь условий (2.2) и (2.3 ] U {x) Z{x) V х) = - непараметрические ядерные оценки, в которых ядро К (и) - заданная борелевская функция из Bh в R1. удовлетворяющая условиям 2.8) 2.9) 3. Оценивание при отсутствии смещений в априорных условиях
Рассмотрим случай, когда все компоненты вектора смещений А равны нулю. В качестве безусловной непараметрической оценки J(x) в точке ж, построенной по выборке (2.1), будем использовать 0T - оценки векторных параметров 9T, т — 1, m + р, построенные по выборке (2.1), а Л = (Лі,..., \m+p)T - вектор коэффициентов, который выбирается согласно требованиям, предъявляемым к качеству оценки. Если одно из условий (2.2) или (2.3 ) отсутствует, то в (3.2) полагаем соот ветственно Л/ = 0, / = 1,т или Хт+к = 0, к — 1,р. Сформулируем условия, при которых оценки класса (3.2) асимптотически нормальны, и определим для этого случая оптимальный вектор .
Проектирование в пространства условно-инвариантных распределений
В этом пункте мы рассмотрим проектирование в пространство Fs = и ед 7" всех симметричных распределений. Проектирование в класс Ts существенно зависит от выбранной псевдометрики в Т и складывается из двух этапов. Сначала находится / -проекция в каждом классе Та a Є Д, а затем из этих проекций выбирается р-ближайшая П р F: piF.IIp F) = inf p(F,G) = inf p(F,FQ) = p(F,FaF).
Здесь через ар обозначен центр р-ближайшего к F симметричного относительно преобразования Sap(x) = 2ар — х распределения. Обозначим J\4S — \JaeRj\4sa. Рассмотрим регпение задачи о проектировании в Ts в смысле трех псевдометрик: \!{F(x)-G{x))dx\ g(F,G)1 suPi-e R W(x) G(x)\ = pl{F, G). (метрика Колмогорова), J(F(x) - G(x))2dx = Lul(F, G), (метрика Мизеса). По теореме 5.1 все три псевдометрики принадлежат j\4s" при всех a, a потому они принадлежат M.s. Псевдометрики р9 и со 11 в общем случае не принадлежат J\4S из-за зависимости условия (5.5) и условия симметричности ф.р. Н от центра а. Согласно теоремам 5.1 и 2.1 проекции в каждый класс Та для всех трех псевдометрик одинаковы и находятся по формуле (5.20).
Теорема 5.2. Для функции распределения F и h [0,1] обозначим Kh{F) = {a :l-h F(x) + F(2a - х + 0) 1 + h, Уж Є R}. (5.27) Тогда центры р1 -ближайших к функции распределения F симметричных распределений заполняют сегмент Afc(F) = nh.Ah p) QAh(F).
Доказательств о. Покажем сначала, что множество Ah(F) связно. Пусть (i\ а-2 «з и аі,аз Є Ah(F). Так как функция F(2a — х + 0) не убывает по а, то при каждом х Є R \-h F(2ax - х + 0) + F(z) F(x) + F(2a2 - x + 0) F{x) + F(2az - x + 0) 1 + h. Иначе говоря, a2 Є Ah(F). Покажем, что множество Ah(F) замкнуто. Это верно, если Ah(F) —0 либо Ah(F) = R. В противном случае найдется точка о. о Є R\Ah(F). Поскольку множество Ah(F) связно, то точка с о лежит либо левее, либо правее множества A/,(F). Рассмотрим каждую из этих возможностей.
Пусть «о A}}{F). Тогда найдется такая точка XQ Є -R, что из неравенств в (5.27) нарушается левое: 1 - h F(x0) + F(2a0 - х0 + 0). В силу непрерывности функции F(2a—гсо+0) по а справа и ее неубывания можно указать такое 8 0, что для всех а Є [а-о, cvo + &) l-h F(x0)+F(2a-x0 + 0). Иначе говоря, точка CVQ принадлежит множеству R\A}l(F) вместе с интервалом («о — 8, «о + 8). Пусть теперь QQ Ah(F). Тогда найдется точка XQ Є R такая, что из неравенств в (5.27) нарушится правое: F(xo) + F(2a i-XQ + 0) 1 + h. В силу непрерывности F(x) слева найдется такое 5 0, что для всех х Є (XQ — 8, хо] выполняется F(x) + F(2Q:0 - ж0 + 0) 1 + h. Тогда для любого а Є (с о — % а] можно указать такое ха = XQ — 2(CXQ — а) Є (XQ — 8,XQ], ЧТО F(xa) + F(2a0 - xa + 0) 1 + h. 114 Но это означает, что целый интервал (щ — «о + 2) лежит в R\ h(F). Так как R\Ah(F) открыто, то Ah(F) замкнуто. Покажем теперь, что из h\, hi вытекает Afll(F) С Ah2(F). В самом деле, если а Є Ah F), то l — h\ F(x) + F(2a — x + 0) 1 + hi при всех x Є R. Тем более 1 — hi F{x) + F(2a — x + 0) 1 + hi при всех x R, так что а Є Лд.Ді71).
Итак, множества A/ (F) с убыванием h разве лишь убывают. Поскольку непустое Ah(F) всегда существует, например A\(F) = R, то существует и минимальный из непустых сегментов Ah(F), который мы и обозначим Ak(F). Нам осталось доказать, что проекция Fa с а Є Ak(F) минимизирует расстояние Колмогорова от F до Ts. Пусть Ah(F) 0и а Є Ah(F). Тогда p[(F, Fa) /г/2, откуда и вытекает наше утверждение. V
Теорема 5.3. Центры ар ближайших KFB смысле метрики Ми-зеса симметричных распределений удовлетворяют системе неравенств
Обозначим эту функцию от а через Н(а) и исследуем ее на минимум. Функция Н(а) определена при всех а, стремится к +оо при а —у — оо или а —у -boo и при возрастании а от —оо до +оо она сначала убывает, а затем возрастает в силу того, что функция F(x) + F(2a — x) — l монотонно не убывает по а при каждом фиксированном х Є R. Будем искать такие а, чтобы приращение АН = Н[а + 5) — Н(а) было неотрицательным при любом S. При S 0 с учетом замечания будем иметь
Под квантилъными классами распределений мы понимаем классы таких распределений, у которых фиксированы значения вероятностей некоторых событий. По терминологии 4 это есть (,, С)-условно-инвариантные распределения, которые для краткости будем называть (Е, )-квантильными, а класс всех таких распределений будем обозначать через V C\ В примере 4.6 приведена формула (4.21), описывающая проектор в класс V = V . Проектирование в такой класс осуществляется "перераспределением вероятности" между выделенными событиями в соответствии с заданными значениями.
Модифицированные эмпирические распределения и информационные статистики
Основной задачей многих статистических исследований является оценивание неизвестного распределения Р. При этом почти всегда априори что-нибудь известно об оцениваемом распределении. Эти знания обычно основаны на предыдущем опыте, физических соображениях, теоретических исследованиях, условиях проведения эксперимента и все вместе составляют априорную информацию различных типов.
С формальной точки зрения априорная информация выделяет в классе V(X,B) всех распределений априорный класс Vа, которому и принадлежит искомое распределение Р. В качестве нестатистической оценки Р можно взять любое распределение Q из Vа. Это распределение можно построить с помощью проектора Па : V —У Та\ примененному к какому-нибудь элементу из V.
Наличие статистической информации, доставляемой экспериментом, дает возможность строить те или иные статистические оценки Р. На практике характер экспериментальных данных различен, различны и их математические описания. Это могут быть обычная выборка - совокупность Х\,..., X/v независимых наблюдений из распределения Р, урезанная либо цензурированная выборка [ 64, с. 699 ], группированные наблюдения, косвенные наблюдения [8,11], стационарно-связанные наблюдения [14]. Описание других типов представления данных можно найти в [ 83, с. 309 ].
Располагая априорной и статистической информацией, требуется построить статистическую оценку Р, обладающую априорными свойствами. Достижению этой цели и служит метод проекций. В качестве проек 148
тируемого может выступать эмпирическое распределениея (э.р.) Р , построенное по данным любого типа. Проекция э.р. Рдг в априорный класс Vа приводит к оценке Рд% обладающей априорными свойствами. Подчеркнем, что предлагаемая процедура построения оценки Р не зависит от типа описания данных.
В данной главе мы будем иметь дело только с экспериментальными данными, представляющими собой независимую выборку X — (Х[, Х-2-, А дг) объема N из распределения Р, которой соответствует эмпирическкое распределение Рдг, (см. 2). Проекция ПаР = Рдг является статистической оценкой Р с учетом Р Є Vа\ Р мы будем называть модифицированным эмпирическим распределением (м.э.р.). Проекцию эмпирической функции распределения (э.ф.р.). FN, ПаР ікх) = F (x), будем называть модифицированной эмпирической функцией распределения (м.э.ф.р.).
Простейшей статистической оценкой Р является эмпирическое распределение, определяемое формулой: Рм(В) = ЕЫВ). (2.1) Здесь ІХ(В), В Є В- единичная мера, сосредоточенная в точке х: 1ЛВ) = \1 еслихєВ [ 0, если хВ. Соответствующая ему в одномерном случае э.ф.р. имеет вид і FN(x) = —i xG(I(!),I(!+1)], i = 0,N. (2.2) Здесь X(i) X(2) А(дг) - порядковые статистики выборки, к которым мы всегда будем прибавлять две крайние порядковые статистики Х(о) = -оо, Х(п+1) = +оо (2.3) Статистические свойства э.р. Рдг хорошо известны [9]. Мы приведем здесь некоторые из них для последующего сравнения со свойствами других оценок, которые будут построены в этой главе.
Математическое ожидание и дисперсия Р {В) при каждом В Є В равны соответственно MPN{B) = Р(Р), DPN(B) = ] {1N Р{В±. (2.4] Точное распределение имеет вид P{PN(B) = ±}= (I) [Р(В)]к [1 - P{B)f-k. (2.5) Эмпирическое распределение P/v представимо в виде PN(B) = P(B) + - (N(B), (2.6) где распределение См {В) — -т= Y,f=i{Ixi(B) — Р(В)) сходится при N — оо к нормальному распределению с параметрами (0,Р(Р)(1 — Р(В)). Если ф.р. Fp распределения Р непрерывна, то как в одномерном, так и в многомерном случаях имеет место закон повторного логарифма
Всюду в этой работе э.р. Рдг и э.ф.р. P/v используются как исходные эмпирические оценки распределения Р и ф.р. Fp = F соответственно.
Это случай, когда об оцениваемом распределении Р на (Л, В) известно следующее. Для заданного разбиения прямой Еа — {Сі,С 2,Сз} множествами С\ = (—oo,cv), Сі — {cv}, С з = (а, +оо) и согласованого с Еа (см. 1.4) преобразования Sa : і?, — R такого, что 5а(Сі) = Сз, Sa(C2) = С 2, 5а (Сз) = Сі, имеют место соотношения причем Р{С 2) неизвестно. Данная априорная информация задает класс условно-инвариантных распределений p\a sa) где множество С состоит из весовых функций 1р на а, которые определяются как
Пусть известна величина скачка ф.р.Р в точке а, т.е. P{C i) = F(a + 0) — F(a) — 7 1. Тогда проектирование Рдг в Vsa с учетом этой дополнительной информации приводит к оценке Р, вычисляемой по формулам (3.12)-(3.16), в которых нужно положить Л = 1. Если величина скачка равна нулю, что означает непрерывность F в точке а, то, полагая в этих же формулах 7 — 0? получим проекцию и для этого случая.
