Исследование методами компьютерного моделирования свойств оценок и статистик критериев согласия по группированным и цензурированным выборкам Чимитова Екатерина Владимировна

Содержание к диссертации

Введение 4

ГЛАВА 1. ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ 14

1. Основные понятия и определения 14

2. Вопросы оценивания параметров законов распределений по группированным наблюдениям _г 18

3. Вопросы проверки гипотез о согласии с использованием критериев типа %² 22

4. Критерий %² Пирсона 22

5. Критерий типа х² Никулина 25

6. Выбор числа интервалов группирования 27

4. Проблемы оценивания параметров законов распределений по цензурированным выборкам 30

5. Вопросы проверки гипотез о согласии по цензурированным выборкам .31

6. Выводы 36

ГЛАВА 2. ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКИХ СВОЙСТВ
ОПТИМАЛЬНЫХ L-ОЦЕНОК ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЙ ПО
ВЫБОРОЧНЫМ КВАНТИЛЯМ 38

1. Построение L-оценок параметров сдвига и масштаба 38

2. Выбор квантилей t_t стандартного распределения и вычисление а_р р\, У,, », ³⁹

3. Исследование точности оценивания квантилей и L-оценок 43

4. Точность L-оценок в зависимости от объема выборок 46

5. Точность L-оценок в зависимости от числа используемых квантилей 49

4. Пример построения оценок 50

5. Выводы 53

ГЛАВА 3. ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКИХ СВОЙСТВ КРИТЕРИЕВ

ТИПА X^{2 54}

3.1, Исследование распределений и мощности критерия типа %² Никулина. 54

3.2. Выбор оптимального числа интервалов группирования для критериев
согласия типа % 62

3. Исследование распределений статистики %² Пирсона при проверке сложных гипотез с использованием различных оценок по группированным данным 73

4. Выводы 78

ГЛАВА 4. ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКИХ СВОЙСТВ ОМП

ПО ЦЕНЗУРИРОВАННЫМ ВЫБОРКАМ 80

1. Исследование точности ОМП по цензурированным данным 80

2. Исследование смещения ОМП параметров распределений по сильно цензурированным выборкам 86

3. Построение несмещенных ОМП по цензурированным выборкам 97

4. Выводы 102

ГЛАВА 5. ИССЛЕДОВАНИЕ РАСПРЕДЕЛЕНИЙ СТАТИСТИК
КРИТЕРИЕВ РЕНЬИ И КОЛМОГОРОВА ПО ЦЕНЗУРИРОВАННЫМ
ВЫБОРКАМ 104

5.1. Исследование распределений статистики Реньи при проверке простых
гипотез о согласии по цензурированным выборкам 104

5. Случай цензурирования I типа 104

6. Случай цензурирования II типа 109

2. Построение модифицированной статистики Реньи в случае цензурирования I типа 114

3. Исследование распределений статистики критерия Колмогорова при проверке простых гипотез о согласии по цензурированным выборкам 118

4. Исследование распределений статистики Колмогорова по цензурированным выборкам при проверке сложных гипотез о согласии 121

5. Выводы 127

Заключение 129

Список использованных источников 131

Приложение 1 144

Приложение 2 153

Приложение 3 161

Введение к работе

Современное состояние и актуальность темы исследований. Методы прикладной статистики успешно применяются в различных отраслях народного хозяйства, практически во всех областях науки. Большинство статей в технических, медицинских, социологических изданиях содержат упоминания о применении статистических методов.

При статистическом анализе данных в различных приложениях необходимо принимать решения, применяя для этого соответствующий аппарат математической статистики. При этом требования к качеству статистических выводов, как правило, очень высоки. Однако имеющиеся теоретические результаты зачастую не удовлетворяют возрастающим требованиям практики. Классические результаты оказываются применимыми при достаточно строгих предположениях, которые на практике очень часто не выполняются. Важен также следующий аспект. Большинство наиболее весомых результатов в математической статистике имеет асимптотический характер. На практике же всегда имеют дело с ограниченными объемами наблюдений. И свойства используемых статистик в таких ситуациях порой существенно отличаются от асимптотических.

Построение статистических закономерностей аналитическими методами представляет собой все более сложную задачу и требует все более совершенного математического аппарата. Поэтому решение многих задач продвигается очень медленно. В последние десятилетия вместе с развитием компьютерной техники интенсивно развиваются компьютерные методы исследования, позволяющие быстро и не менее точно, чем с использованием строгого математического аппарата, находить статистические закономерности [94,95,105].

В связи с бурным развитием и внедрением персональных компьютеров, особую актуальность приобретает задача обеспечения высокого качества пакетов прикладных статистических программ. Однако, несмотря на

5 определенную насыщенность рынка программными системами статистического анализа, реализуемые в них методы и алгоритмы сильно отстают от последних достижений в области прикладной статистики. Это объясняется тем, что далеко не все результаты вошли в литературу справочного, нормативного и учебного характера и остаются труднодоступными для разработчиков программного обеспечения.

Необходимо отметить и то, что в некоторых работах, к сожалению, встречаются ошибки применения статистических методов [122]. Например, в учебниках по "Общей теории статистики" [80, 125] постоянно повторяется одна и та же ошибка: для проверки гипотезы о принадлежности функции распределения выборки параметрическому семейству предлагается использовать критерий типа Колмогорова, при этом параметры теоретического распределения оцениваются по выборке, а процентные точки берутся для классического распределения статистики, полученного в предположении, что параметры точно известны. Дело в том, что в случае, когда параметры определяются по выборке, предельное распределение будет другим, процентные точки его примерно в 1,5 раза меньше, чем для классического распределения статистики критерия Колмогорова [123].

Перспективы программного обеспечения по статистическому анализу данных обсуждались в работах [46, 47], современные проблемы внедрения прикладной статистики поднимались в [122]. Необходимо отметить, что использование ЭВМ и их совершенствование отражается на развитии статистических методов [51, 89, 127], взглядах на точность вычисления оценок [8, 99, 100, 116, 121], расширяет использование статистических методов в приложениях.

Достоверность результатов статистического анализа в первую очередь зависит от степени адекватности выбранной модели анализируемым данным. Поэтому обязательным этапом является проверка гипотезы о согласии имеющихся статистических данных с выбранным теоретическим распределением. Очень часто на практике в качестве параметров этого распределения берут оценки параметров, полученные по тем же самым данным. В таком случае речь идет о проверке сложной гипотезы о согласии. В настоящее время существует большое количество работ, посвященных исследованию задач проверки сложных гипотез с использованием различных критериев согласия. Критерии согласия подразделяются на две основные группы: параметрические, к которым относятся критерии типа %^г, и непараметрические критерии - это критерии типа Колмогорова - Смирнова, типа со² и Q² Мизеса, критерии Реньи.

При выборе методов статистического анализа необходимо учитывать форму представления исходных данных, часто определяемую условиями и точностью регистрации. На практике нередко возникает задача обработки группированных или цензурированных наблюдений, особенно при исследовании величин типа "времени жизни". Интерес к таким задачам не снижается, так как появление группированных и цензурированных выборок оказывается естественным и обычно порождается спецификой проведения экспериментов и условиями регистрации наблюдений. Статистическому анализу цензурированных и группированных данных посвящены работы [4, 6, 9-11, 13, 16, 25, 26, 31, 33, 42, 45, 65, 77]. С обработкой цензурированных и группированных данных в задачах надежности связаны работы [21, 24, 28, 33, 35, 43, 52, 67, 69, 79, 124, 126].

Вопросы оценивания параметров распределений, условия существования оценок максимального правдоподобия по группированным и частично группированным данным рассматривались в работах [50, 63, 81]. В [131] рассмотрены различные методы оценивания параметров, предполагающие использование группированных выборок. В [132] получены Z-оценки параметров сдвига и масштаба, основанные на выборочных квантилях. Этот подход, по сути, также предполагает работу с группированными выборками.

Использование критериев типа %² предусматривает группирование исходной выборки наблюдений случайной величины. Очевидно, что качество

7 статистических выводов зависит от того, как группируются данные. Сказанное относится и к оцениванию параметров распределений, и к критериям проверки гипотез. Разбиение на интервалы равных вероятностей в критериях согласия впервые предложено в работе [31], и такой вариант группирования в качестве предпочтительного обычно рассматривается в работах теоретического характера. В работах [83, 84, 87] с использованием методов статистического моделирования показано, что при асимптотически оптимальном группировании, при котором минимизируются потери в информации Фишера, мощность критериев х² Пирсона и отношения правдоподобия максимальна в случае проверки близких конкурирующих гипотез.

Исследованию критериев типа х² Д^дя непрерывных распределений при сложных гипотезах и оценивании параметров по негруппированным наблюдениям посвящены работы [1, 7, 115, 118, 119, 152, 153]. В 1973 году появились работы М.С. Никулина [118, 119], в которых предлагается модификация стандартной статистики параметрического критерия %²

Пирсона. Предложенная Никулиным модифицированная статистика обладает уникальным свойством свободы от распределения при проверке сложных гипотез. При этом параметры распределения оцениваются методом максимального правдоподобия по исходной негруппированной выборке. С момента публикации этих работ прошло более 25 лет, но, не считая работ самого Никулина, нам не известны публикации других авторов, посвященные этой статистике, и, тем более, какие-либо упоминания о результатах использования статистики Никулина в приложениях.

Несмотря на то, что теория проверки гипотез с помощью критериев типа X² развивается уже давно, и, казалось бы, все вопросы решены, вопрос выбора оптимального числа интервалов группирования до сих пор остается открытым. В [41, 48, 68, 146, 151, 155] и других работах приводятся рекомендации по выбору числа интервалов, исходящие из того, чтобы при данном объеме выборки как можно лучше приблизить плотность распределения её

8 непараметрической оценкой (гистограммой). Но ни в одних из рекомендаций, за исключением [66], не подходят к выбору числа интервалов при близких альтернативных гипотезах с позиций построения наиболее мощного критерия согласия.

Цензурированные выборки известны в математической статистике уже давно [133], однако сначала они не привлекали широкого внимания специалистов. В начале 60-х годов после выхода работы [27] задачи прикладного статистического анализа цензурированных выборок становятся предметом активного внимания специалистов по математическим методам теории надежности. Промежуточные итоги всех этих исследований были подведены в работе [15], в которой проблема анализа цензурированных выборок рассматривается с точки зрения общей теории математической статистики. К отечественным работам, посвященным вопросам параметрического и непараметрического оценивания по цензурированным выборкам, относятся [49, 55, 59, 124, 133, 134, 136]. Вопросы оценивания параметров по цензурированным наблюдениям также рассматривались в [53, 54, 58, 60, 61, 139-145]. Обширную библиографию работ по обработке цензурированных выборок можно найти в [117, 133, 134]. Следует отметить, что внедряемые результаты теоретических исследований в основном относятся к задачам оценивания распределений как в параметрической, так и в непараметрической форме. Существует большое количество работ, посвященных оцениванию параметров распределений по цензурированным выборкам методом максимального правдоподобия: [18, 32, 42, 45, 58, 78, 90, 133, 136] и другие. Показано, что цензурирование всегда приводит к потере эффективности оценок и, более того, распределения ОМП при сильной степени цензурирования оказываются асимметричными, а сами оценки смещенными.

Необходимость проверки адекватности выбранного вида распределения выборочным данным при анализе надежности по цензурированным выборкам явно определяется в ГОСТ 27.504-84. Очевидно, что при цензурировании наблюдений снижается способность критериев согласия различать близкие законы распределения. В среде специалистов по надежности, которым наиболее часто приходится сталкиваться с проблемами обработки сильно цензурированных выборок, сложилось даже мнение о бесперспективности различения моделей законов распределений, используемых в задачах надежности и контроля качества, с помощью критериев согласия [72]. В случае проверки простых гипотез для проверки согласия при цензурированных наблюдениях могут использоваться критерии Реньи, модифицированные критерии Колмогорова, Смирнова, Крамера-Мизеса и критерий Мозеса [128]. Вывод предельных распределений статистик данных критериев можно найти в работах [2, 30, 37, 38, 114, 135, 137], на основании полученных асимптотических формул составлены необходимые для практики таблицы. Однако нам не известно ни одной публикации, в которой были бы даны конкретные рекомендации по использованию этих критериев для проверки согласия по цензурированным выборкам при ограниченных объемах наблюдений. В случае проверки простых гипотез перечисленные непараметрические критерии являются свободными от распределения. Очевидно, что при проверке сложных гипотез данные критерии теряют это свойство. Поэтому необходимы соответствующие исследования распределений статистик этих критериев при проверке различных сложных гипотез с целью построения моделей предельных распределений.

При проверке сложных гипотез предельные распределения статистик непараметрических критериев согласия существенно зависят от вида закона распределения, с которым проверяется согласие и применяемого метода оценивания. Для случая полных выборок в работах [91, 92] построены аппроксимации предельных распределений минимумов статистик непараметрических критериев согласия и распределений статистик при использовании метода максимального правдоподобия. Эти результаты наиболее подробно изложены в [93].

10 Цель и задачи исследований. Основной целью диссертационной работы является дальнейшее развитие на основе использования компьютерного моделирования прикладных методов статистического анализа наблюдений одномерных непрерывных случайных величин, обеспечивающих качественные выводы при группированных и цензурированных наблюдениях.

Для достижения поставленной цели предусмотрено решение следующих задач: исследование статистических свойств оптимальных L-оценок по выборочным квантилям; исследование распределений статистики типа %² Никулина; исследование функции мощности критериев %² Пирсона и Никулина в зависимости от объема выборки и числа интервалов группирования; исследование предельных распределений статистики критерия %² Пирсона при проверке сложных гипотез с использованием различных оценок по группированным данным; построение поправок, ликвидирующих смещение при оценивании параметров по цензурированной выборке методом максимального правдоподобия; исследование распределений статистик критериев типа Реньи и типа Колмогорова в зависимости от объема выборки и степени цензурирования.

Методы исследования. Для решения поставленных задач использовался аппарат теории вероятностей, математической статистики, вычислительной математики, математического программирования, статистического моделирования. Научная новизна диссертационной работы заключается в: результатах исследования распределений статистики %² Пирсона при различных методах оценивания параметров законов по группированным данным; результатах исследования мощности критериев типа х² в зависимости от числа интервалов; построении поправок на смещение оценок максимального правдоподобия параметров распределений по сильно цензурированным выборкам; построении законов распределения, аппроксимирующих предельные законы распределения статистики критерия типа Колмогорова при проверке сложных гипотез по цензурированным выборкам.

Основные положения, выносимые на защиту.

Результаты исследования распределений статистики типа %² Никулина в зависимости от способа группирования данных.

Сравнительный анализ по мощности критериев типа %² и непараметрических критериев Колмогорова и со² Мизеса.

Результаты исследования мощности критериев типа %² в зависимости от числа интервалов группирования.

Результаты исследования распределений статистики критерия %² Пирсона при использовании различных оценок по группированным данным.

Применение поправок, полученных с использованием метода статистического моделирования, для построения несмещенных ОМП по сильно цензурированным выборкам.

Результаты исследований и практические рекомендации к применению критериев Реньи и Колмогорова для проверки простых гипотез о согласии по цензурированным выборкам.

Результаты исследования распределений статистики типа Колмогорова при проверке сложных гипотез и вычислении ОМП по цензурированным выборкам.

Обоснованность и достоверность научных положений, выводов и рекомендаций обеспечивается: применением аналитических методов исследования свойств оценок и критериев; подтверждением аналитических выводов и рекомендаций результатами статистического моделирования.

12 Личный творческий вклад автора заключается в проведении исследований, обосновывающих основные положения, выносимые на защиту. Практическая ценность и реализация результатов. Часть результатов исследований критериев типа %² были использованы при разработке рекомендаций по стандартизации Р 50.1.033-2001 [129]. Сформированные поправки на смещение ОМП параметров распределений по сильно цензурированным выборкам для конечных объемов выборок позволяют получать статистически несмещенные оценки, по точности не уступающие ОМП. Полученная модификация статистики Реньи позволяет получать корректные выводы при проверке простых гипотез о согласии при небольших объемах выборки. Получены модели, аппроксимирующие предельные распределения статистики критерия типа Колмогорова (при проверке сложных гипотез по цензурированным выборкам).

Апробация работы. Основные результаты исследований докладывались на Российской НТК "Информатика и проблемы телекоммуникаций" (Новосибирск, 1999, 2000); Новосибирской межвузовской НТК магистрантов и аспирантов на английском языке "Молодые исследователи XXI столетия" (Новосибирск, 2000); Четвертом Сибирском Конгрессе по Прикладной и Индустриальной Математике ИНПРИМ-2000 (Новосибирск, 2000); V международной конференции "Актуальные проблемы электронного приборостроения АПЭП-2000" (Новосибирск, 2000); Международной НТК "Информационные системы и технологии ИСТ2000" (Новосибирск, 2000); Всероссийской НТК "Информационные системы и технологии ИСТ 2001" (Нижний Новгород, 2001); Международной НТК "Информатика и проблемы телекоммуникаций" (Новосибирск, 2001, 2002); Региональной НТК "Наука. Техника. Инновации" (Новосибирск, 2001, 2002); VI международной конференции "Актуальные проблемы электронного приборостроения АПЭП-2002" (Новосибирск, 2002). Исследования по теме диссертации явились составной частью работ, поддержанных Российским фондом фунда-

13 ментальных исследований (проект № 00-01-00913) и грантом Минобразования

РФ (проект № Т 02-3.3-3356).

Публикации. Основные результаты исследований по теме диссертации опубликованы в 22 печатных работах и 1 отчетепо НИР.

Структура работы. Диссертация состоит из введения, 5 глав основного содержания, включая 46 таблиц и 31 рисунок, заключения, списка использованных источников и 3 приложений.

Краткое содержание работы. В первой главе представлен обзор проблем статистического анализа по группированным и цензурированным данным, даются основные определения и формулы.

Во второй главе исследуются распределения оптимальных Z-оценок и выборочных квантилей, соответствующих асимптотически оптимальному группированию. Сравниваются статистические свойства L-оценок со свойствами ОМП.

В третьей главе рассматривается задача проверки статистических гипотез о согласии по группированным данным. Исследуются предельные распределения статистик критериев типа %² Пирсона и Никулина и мощность этих критериев при проверке простых и сложных гипотез о согласии.

В четвертой главе исследуются статистические свойства ОМП параметров распределений по сильно цензурированным выборкам. Формируются поправки на смещение ОМП как эмпирические функции от объема выборки и степени цензурирования.

В пятой главе исследуются распределения статистик критериев типа Реньи и типа Колмогорова при проверке простых и сложных гипотез о согласии по цензурированным выборкам. Приводятся полученные законы распределения, аппроксимирующие предельные распределения статистики Колмогорова в случае оценивания параметров методом максимального правдоподобия.

Краткое описание исследовательского комплекса программ представлено в приложении 1.

Похожие диссертации на Исследование методами компьютерного моделирования свойств оценок и статистик критериев согласия по группированным и цензурированным выборкам

Исследование свойств некоторых критериев проверки статистических гипотез и обеспечение корректности их применения методами компьютерного моделированияРогожников, Андрей Павлович

Разработка и исследование методов и алгоритмов для моделирования адаптивных веб-ресурсов на основе нечетких ультраграфов Целых Алексей Александрович

Разработка декларативных методов представления знаний для моделирования и исследования нормативных текстовЕльчанинова Наталья Борисовна

Исследование методов и разработка алгоритмов планирования и моделирования целенаправленного поведения Тарханов Тимур Сейфединович

Разработка и исследование интегрированных алгоритмов размещения элементов на основе методов эволюционного моделированияБалюк Любовь Владимировна

Разработка и исследование методов интеллектуального поиска топологических структур с заданными свойствамиДимитриченко, Дмитрий Петрович

Разработка и исследование методов и программ геоакустической локации мобильными сейсмическими группамиАвроров, Сергей Александрович

Разработка и исследование методов, средств и моделей для оптимизации технологических и организационных процессовМазурова Татьяна Александровна

Исследование методов и разработка алгоритмов автоматического планирования траектории на плоскостиЯковлев, Константин Сергеевич

Исследование методов представления и обработки знаний средствами дескриптивной логикиШушакова Анна Геннадьевна