Введение к работе
Актуальность работы. В настоящее время существует множество состоятельных методов непараметрического оценивания плотности вероятности, в которых скорость сходимости среднеквадратическоя ошибки практически приближается к теоретически возможной. Однако применению непараметрических методов препятствует наличие в них неизвестных параметров процедур (параметров сглаживания), которые зависят как от неизвестной функции плотности, так и от объема обучающей выборки и размерности пространства. В пзрзеновском ?<етоде оценки функции плотности - это тіш и ширина ядра, в knn' жзтоде - число ближайших соседез, в гистограммном методе - размер ячейки (бина) и т.д.
До последнего времени не уделялось достаточного внимания пршсладным вопросам непаракотрического оценивания плотности вероятное'/:: по конечным, а часто и гест-'-а ограниченным выборкам. :акой важной проблема, к?," выбор параметра сглаживания по наблюдениям, посвяце-:-^: лишь единичные публикации, и, предложенные в них мет о "-і не дают способа выбора оптимального значения параметра процедуры в случае конечного набор экспериментальных данных.
Так как статистические задачи в физике космических лучей в основное необходимо решать при условии, что распределения переменных заданы в непарзметрической форме, то для выбора параметров процедур в качестве критерия предлагается использовать вероятности ."""г'очно? классиф".ноции, которую можно оценить по выборочной инфор'.'.гщ'И.
Ограниченность обЪема обучающей выборки может вызвать смещение оценки исследуемой величины. Уменьшение такого смещения является также очень важным, так как в противном случае получим оценку, характеризующую только данную конкретную выборку, а не исследуемый физический процесс. Применение бутстреп метода позволило кроме компенсации смещения оценить также дисперсию оценок.
Для комценсации смещения в работе предложена процедура адаптации оценки. Для каждой выборки вокруг оптимального значения параметра сглаживания, выбранного по минимуму риска, с некоторым шагом выбирается несколько значений параметра, и классификация идет не по определенному значению параметра, а по медианному значению вариационного ряда плотности.
Цель работы состояла в:
1. Разработке методов непараметрического локального оценивания
многомерной функции плотности вероятности при конечном объеме
обучающих выборок:
-
Автоматизации выбора параметров процедур оценивания многомерной плотности вероятности:
-
Выборе критерия оптимизации для определения наилучших параметров статистических процедур по наблюдениям и для сравнения различных непараметрических методов оценивания?
4. Выборе метода управления данными в ходе обработки с целью
получения оценок параметров разброса оценок по единственной и
ограниченной выборке.
Новизна работы. Предложен новый класс оценок плотности вероятности - медианные оценки, которые точнее, чем оцэнки с любым фиксированным параметром процедуры.
Впервые в задачах физики космических лучей для управления
данными в ходе обработки применена бутстреп процедура как средство уменьшения снесения оценок и оценивания дисперсии в случае единственной выборки.
Предложена процедура выбора оптика явного параметра сгла^изэния при оцениваем плотности ьзро.'тгности по результатам эксперимента, где показателе'' качества сценки выбран байесовский риск, который может быть оценен по результатам эксперимента. .
Научная и практическая ценность. Развитые в диссертации методы применяются при обработке данных крупных экспериментов физики КЛ - эксперимента "Памир", и черенковского телескопа обсерватории Уиппл.
Особенно полезным оказался принцип индивидуальной обработки каждого события - что невозможно без эффективных непараметрических методов оценивания функции плотности вероятности. Переход к многомерному анализу так же значительно повысил надежность физических выводов в физике КЛ.
Апробация работы. Результаты, приведенные в диссертации, докладывались на Международных . конференциях по космическим лучам и методам вычислительной физики (Бангалор,1 Сан-Диего, 1985:^ Чехословакия, 1835: Москва, 1987), на и Всесоюзной конференции по автоматической обработке физической информации (Ереван,1885; и iv Всесаг-т-юй школе-семинаре по программно-алгоритмическому сбеспзчению гірикладкого многомерного статистического ;їга."іга, (;:ахкадаор,1991).
Структура диссертации. Диссертация состоит из введения, 3 глав, заключения, списка лтгзрзтуры. ОбЪэм диссертации составляет 95 страниц, включая 7 рисунков и 13 таблиц. Список литературы содаршт 71 наименование. По тем? диссертации
опубликовано ІЗ работ. Их перечень дан в заключении диссертации.
Автор диссертации защищает:
1. Эффективность использования адаптивных локальных оценок
плотности вероятности - медианных оценок в задачах физики
космических лучей.
2. Использование байесовского риска в качестве критерия при
выборе оптимального набора признаков и оптимального ядра в
задаче оценивания плотности при обучении байесовского
классификатора.
-
Применение бутстреп процедуры как эффективного способа управления конечной выборкой в ходе'обработки данных.
-
Результаты обработки данных в экспериментальной физике космических лучей.