Содержание к диссертации
Введение
ГЛАВА I. Описание несостоятельных оценок плотности вероятности 15
I. Состоятельные оценки плотности вероятности 15
2. Несостоятельные оценки плотности вероятности 25
ГЛАВА II. Функциональные предельные теоремы для разделимых статистик в случае очень редких событий 44
I. Предельная теорема для линейных разделимых статистик 45
2. Теорема о сходимости разделимых статистик к гауссовскому процессу 52
3. Мартингальные предельные теоремы для разделимых статистик 70
4. Сходимость по распределению при альтернативах 97
Литература
- Несостоятельные оценки плотности вероятности
- Теорема о сходимости разделимых статистик к гауссовскому процессу
- Мартингальные предельные теоремы для разделимых статистик
- Сходимость по распределению при альтернативах
Введение к работе
Во многих задачах математической статистики вакную роль играют разделимые статистики (см., например, [i^ ):
ЙЗн^) .
(I)
где JiN(>0, N - 1,2,... - последовательность измеримых функций, определенных для значений ос ъ 0 , a S), ,
' * >
О - случайные величины (ел.в.), имеющие мультиномиальное
распределение с вероятностями b ., . , р и числом испы-
таний n, . В случае, когда функция Qtj. имеет вид
W^^K^M . fl-іод,...}
( I { } - индикаторная функция), статистика (і) представляет собой У ^-статистику, статистику максимального правдоподобия и так называемую статистику спектра, соответственно.
В диссертации рассматривается более общий объект- процесс, значения которого представляют собой нормированные частичные суммы вида (і). Более точно: пусть X. > ...,)(^ независимые одинаково распределенные ел.в. с функцией распредепения (ф.р.) И7 - согласно гипотезе и с ф.р. F7 - согласно альтернативе. Без ограничения общности рассматриваемой нике задачи монно предполагать, что ф.р. Р и Р заданы на интервале [o,ll . Обозначим через -J- и ^ч > соответственно, плотности вероятности (пл.в.) ел.в. Хд . Введем биномиальный процесс
К. . , U -v. J
* *
Несостоятельные оценки плотности вероятности
Теорема 1.3. Пусть последовательность К С , t) ,та=1Д.,... удовлетворяет условиям (A) ,() и СС) определенным в (I.I6). Тогда для того, чтобы имело место (1,2) необходимо и достаточно,чтобы выполнялось (1.4).
Замечание 1.2. Если выполнено условие (В ) и последовательность IК w( ,")[, h.= 1,2,, удовлетворяет условиям (В) и ( С ),то вышеприведенные теоремы справедливы и без условия (й), т.е. для знакопеременных ядер KhG 0
Замечание 1.3. В предыдущих теоремах условия, касающиеся сходимости оценок h к - , связывают свойства последовательности ядер с распределением г , плотность которого оценивается. Такая связь естественна и необходима при изучении вопросов равномерной сходимости оценок 5ч на том или ином множестве распределений, например, в задачах проверки статистических гипотез.
Однако для задач собственно оценивания, когда распределение {? неизвестно, вышеприведенные условия непроверяемы. В этом случае вопрос может быть решен с помощью приводимого ниже утверждения.
Предположим, что для последовательности KJJST), К-1Д ... выполняется следующее условие:
Вспомогательные утвервдения. Пусть і V"ls , s O I ( j f s -0 J ) обозначает некоторую обобщенную пуассонов-скую полугруппу распределений (операторов) с производящим оператором й,о(Определение производящего оператора см., например, в [41 ] , с.354). Коротко элементы этой полугруппы запишем следующим образом:
Заметим, что умножением оператора UL0 на некоторый скаляр 0 сама полугруппа не меняется, так как т.е. происходит её "перенумерация". Если скаляр , есть некоторая функция переменной -Ь , скажем ь- -JQO ,то каждый представитель полугруппы j Hs , s О V будет зависеть от -і только через функцию {р :
Лемма 2.2. Каждый представитель обобщенной пуассоновской полугруппы распределений WS, S O} представляет собой невозрастающую функцию по s . Доказательство. Запишем HSCX) в следующем виде:
Здесь является убывающей функцией по при каждом фиксированном х. , а семейство распределений имеет монотонное отношение правдоподобия. Следовательно, утвер-дение леммы 2.2 следует из утверждения (I) леммы 2 (см., [42"] , с.88).
Предельная теорема для несостоятельных оценок Jv Предположим, что ядро К(х) удовлетворяет следующим условиям Примем некоторые обозначения. Пусть С\ о , +о\ есть кжасс всех ограниченных, непрерывных функций, имеющих конечные пределы на + оо . Определение, (см., например, [41] , с.314). Пусть и J - операторы, связанные с распределениями вероятностей Мы пишем в том и только в том случае, когда
Пусть A- rt обозначает множество точек Лебега функции 4- , a ,GO , єК - процесс с независимыми значениями, причем при каждом имеет ф.р. Интересно отметить, что предельная полугруппа распределений JHs,s 0j с изменением не меняется и полностью определяется функцией К . Рассмотрим, например, следующие примеры.
Поэтому производящий оператор предельной полугруппы примет вид: при таком выборе функции К предельная полугруппа состоит из пуассоновских распределений и распределение несостоятельной оценки будет слабо сходится к пуассоновскому распределе нию НгмД = 0 "V 0 )). о интенсивностью, равной с) . Пример 2.2. Пусть (.+) - оценка Парзена-Розенблатта вида (2.1). Заметим, что при асимптотике — оо п_ —ї оо Пример I. Задача классификации. Рассмотрим следующую задачу классификации. Пусть независимые ел.в. с неизвестными ф.р. \ оо и Фсос) ,осер соответственно, и пусть относительно ф.р. ф проверяется гипотеза Ч ТЦЪД"] против альтернативы Предположим, что пл.в. -J задана на интервале Год! , ограничена, и ядро Ксэс О. Рассмотрим критерий классификации вида где несостоятельная ядерная оценка пл.в. - 38 Справедлива следующая Теорема 2.2. Если выполнены условия (2.7), (2.8), то при п оо и фиксированном т критерий классификации вида (2.24) асимптотически несмещен.
Теорема о сходимости разделимых статистик к гауссовскому процессу
Напомним, что здесь, как и в замечании случайный вектор, имеющий мультиномиальное распределение с параметрами, такими, что Теорема и выполнены условия асимптотически нормальна с параметрами
Сравним условия ( ) - ( 3) из теоремы б с условиями (Б ) - (Ь3) из теоремы 2.1. Условие ( з) равносильно условии ft-J-ll o0 из ( 2 з)» Второе соотношение из ( &з ) связано с поведением пп.в. -JCO. Сравним теперь условие ( %х ) с (В/\). В наших обозначениях o. o)- 4 ( -, гг) » так что неравенство (БЛ) более общее, чем аналогичное неравенство из (- ), поскольку мы не требуем ограниченности функций о N по второму аргументу. Заметим также, что условия (fl ) - ($3 которым ДОЛИНЫ удовлетворять функции NdO не очень ограничительны. Так , например, в случае, когда 60 равномерно ограничены, так что мокно полагать NU0 s 1 і условие ( ft3 ) сводится ко второму соотношению из ( 6 з), а условия ( АА), ( (\{) будут выполняться автоматически. Наконец условие (Ьр связано с тем обстоятельством, что мы вместо функций Я С О рассматриваем функции двух переменных Ч.ц&,-Ь) и ПРИ этом ) выглядит проще условия Итак доказано соотношение (2.14), а вместе с ним и утверждение теоремы 2.1.
Замечание 2,2. Пусть функции (-0, -1, ,.-- и (-) заданы на интервале [o,l] . Утверждение теоремы 2.1 не изменится, если в условиях (Ь \) и () вместо функций (х, ), & У) и -6 GO рассматривать, соответственно,функции построенных по частичным суммам от статистики наксимального правдоподобия І Обозначим и прєдпопоіким, что функции &NW и () удовлетворяют условию ( Я ) из теоремы I.I. Пусть
Запишем процесс ,м в виде суммы трех процессов : при этом процессы из правой части приведенного равенства "различны по порядку". Действительно,в силу теоремы
Нике (см,например 3.1) показано, что при другой нормировке про qecca cL будет иметь место сходимость по распределению к винеровскому процессу Так, например, в равновероятном случае
Пример 2.2. Рассмотрим последовательность процессов представляющих собой частичные нормированные суммы от статистики, аналогичной статистике . Так как, в этом примере мокно поло-кить где, то согласно замечанию 2.2 п — \/ при (ср.с результатом работы [50]).
Мартингапьные предельные теоремы для разделимых статистик Пусть при каждом независимые одинаково распределенные ел.в. с абсолютно непрерывной ф.р. (Р или К в зависимости от того рассматривается ги потеза Р или последовательность альтернатив W . Условимся всюду ниже обозначать через EL (В ) усреднения в случае,когда ф.р. ел.в. д. есть Р СР) . Без ограничения общности рассматриваемой нике задачи мокно предполагать, что ф.р. р1 и f7 сосредоточены на интервале [o,l] и i GO i? Р (?f) 1 при 2 1. Обозначим -i ,/ , f = df/J . Как было отмечено выше, пусть снова
Мартингальные предельные теоремы для разделимых статистик
В диссертации рассматривается более общий объект- процесс, значения которого представляют собой нормированные частичные суммы вида (і). Более точно: пусть X. ...,)( независимые одинаково распределенные ел.в. с функцией распредепения (ф.р.) И7 - согласно гипотезе и с ф.р. F7 - согласно альтернативе. Без ограничения общности рассматриваемой нике задачи монно предполагать, что ф.р. Р и Р заданы на интервале [o,ll . Обозначим через -J- и ч соответственно, плотности вероятности (пл.в.) ел.в. Хд . Введем биномиальный процесс
Разделим интервал [0,lQ на N подинтервалов. в этом случае или pj =лр Сі/Н) в зависимости от того рассматривается гипотеза или альтернатива. Рассмотрим процессы вида последовательность измеримых функций, определенных для значений ос О и zf ["0,13 » причём - наименьшее целое положительное число такое, что при всех N и -Ь выполняются следующие соотношения:
Заметим здесь, что, во-первых, рассматривать процессы X в вышеприведённой конструкции, т.е. связывать значения процесса Х с приращениями биномиального процесса Е удобно с точки зрения применения мартингального подхода при нахождении предельных теорем для Во-вторых, поскольку кавдому набору вероятностей р , . . . } р мы; всегда мокем поставить в соответствие пл.в. К по следующему правилу: и наоборот, для заданной пл.в. J- мощно положить то, приведенная выше конструкция нисколько не умаляет общности рассматриваемой задачи.
Существует большое количество работ, посвященных нахождению предельного распределения для статистик (і) в случае, когда с ростом п. вероятности plrv стремятся к нулю, а N возрастает; Например, в работах были получены предельные распределения статистик X (1) и доказывались теоремы о сходимости конечномерных распределений процессов, аналогичных процессам X .Но при этом не была приведена конструкция предельного процесса У. . В работе [ю] при асимптотике была сформулирована теорема о сходимости по распределению процессов траектории которых линейно сглаживались, т.е» рассматривались как элементы пространства непрерывных функций.
Во всех этих работах вывод предельного распределения статистик (і) основывался на следующем факте: независимые пуассоновские ел.в, с интенсив н остями P;.r .j 1 Ц...;К/. Таким образом сп.в. заменялись независимыми после чего находили предельное распределение статистики при условии В работе было предложено рассмат-ривать процесс X как семимартингал относительно "удобного" потока бг-алгебр, порожденного биномиальным процессом 2:п.. Легко можно увидеть, что условное распределение приращений субмартингала при условии і имеет очень простой вид, а именно биномиальное распредедение с чисдом испытаний т, и вероятностью успеха р . Поскольку необходимые и достаточные условия сходимости по распределению семимартингалов вырака-ются в терминах условных распределений приращений семимартинга-ла, то удобно рассматривать процесс
Сходимость по распределению при альтернативах
Перед тем как перейти к изучению свойств несостоятельных оценок пл.в. (см. 2 ) выясним, каковы необходимые и достаточные условия Lt -сходимости в среднем оценок пл.в., построенных по последовательности ядер общего вида К (,х)» rv= 1,2,. удовлетворяющих лишь некоторым сравнительно общим предположениям.
Состоятельные оценки плотности вероятности Пусть независимые одинаково распределенные ел.в. с распределением F на числовой прямой R , абсолютно непрерывным относительно меры Лебега /л . Соответствующую плотность обозначим . Пусть Р обозначает функцию эмпирического распределения этих ел.в,, т.е.
Рассмотрим статистическую оценку пл.в1» вида где К х), w A.52,... - некоторая последовательность ядер. Нике рассмотрены условия, при которых имеет место _»л- сходимость к в среднем, т.е. Ь - сходимость 5vv к І" представляет существенный интерес. В частности, заметим, что и F обозначает распределение с плотностью , верхняя грань берется по всем борелевским мнокествам, т.е. L . - сходимость плотностей эквивалентна сходимости распределений по вариации» Положим и предполоїшм, что последовательность К ( т), h.= i,2,... удовлетворяет условиям: последовательность, т.е.
Замечание I.I. Различные определения S последовательностей и условия поточечной сходимости К 4 к 4 мокно най -ти в работах [37 - 40 Поскольку при выполнении условия (В) соотношения (I.I) и эквивалентны, то мы мокем интересоваться последним. Справедлива следующая
Оценка (1.5) следует из малости F{Ul c] при больших С и условия (1.4) теоремы I.I. Далее для любых борелевских множеств 95 с. R выполняется неравенство откуда следует (1.6). Оценка (1.7) следует из неравенства Шварца, из равенства и вида множества ft (5 ) , т.к. верную при всех достаточно больших п. . Отсюда,в силу произвол льности чисел "] и 5" , следует утверждение теоремы I.I.
Отсюда, учитьшая (1.9), получаем неравенство р(в } 1 (1Л0) верное при о и каждом т. Однако т »е. по любому наперед заданному числу 0 можно найти натуральное число п_0 такое, что при п. п.0 и каждом \ , L K(6 K . Таким образом, учитывая (I.IO), заключаем, что при j jo , Уг и любом О хотя МВ ,Ь-1 - 20 Получили противоречие условия Р к . Лемма доказана. Доказательство теоремы 1.2. Рассмотрим множество В (Б")2 = А )ПФМ, где При заданном 0 выберем число И так, чтобы Возможность такого выбора следует из малости Р [ \-б[ \Л при больших \Л , неравенства и : Ы) К Н и условия Р«К. Таким образом, для такого К\ имеем
Следовательно, из предыдущего неравенства, учитывая, что при BK(S) функция f (О $ М , получаем для п.в. B CS) : откуда следует (1.14). Таким образом,из (I.I3) и (I.I4) следует (I.I2). Неравенства (I.II) и (I.I2) позволяют записать
По условию теоремы 1.2, первое слагаемое в правой части (I.I5) стремится к 0 при a-s Далее, так как то из утверждения леммы I.I следует при к. - oo. Поэтому, придавая в (1.15) числу д сколь угодно малые, а ю. - достаточно большие значения, заключаем, что
Теорема 1.3. Пусть последовательность К С , t) ,та=1Д.,... удовлетворяет условиям (A) ,() и СС) с определенным в (I.I6). Тогда для того, чтобы имело место (1,2) необходимо и достаточно,чтобы выполнялось (1.4).
Замечание 1.2. Если выполнено условие (В ) и последовательность IК w( ,")[, h.= 1,2,, удовлетворяет условиям (В) и ( С ),то вышеприведенные теоремы справедливы и без условия (й), т.е. для знакопеременных ядер KhG 0
Замечание 1.3. В предыдущих теоремах условия, касающиеся сходимости оценок h к - , связывают свойства последовательности ядер с распределением г , плотность которого оценивается. Такая связь естественна и необходима при изучении вопросов равномерной сходимости оценок 5ч на том или ином множестве распределений, например, в задачах проверки статистических гипотез.
Однако для задач собственно оценивания, когда распределение {? неизвестно, вышеприведенные условия непроверяемы. В этом случае вопрос может быть решен с помощью приводимого ниже утверждения.
Как было отмечено выше утверждение о сходимости по распределе нию процессов X случае очень редких собы тий может быть доказано двумя способами. В этом параграфе дока зательство соотношения при У . = О(Ы) проводится по следующей схеме: в начале устанавливается равен ство Л - 4-і , а затем, применяя теорему I.I и не обходимые и достаточные условия сходимости мартингалов по рас пределению (см., например, [Ч7 \ ) доказываются следующие соот ношения:
