Введение к работе
Актуальность темы исследования Корректное применение на практике множества классических методов математической статистики обусловлено выполнением конкретных предпосылок или условий, которые в реальных условиях оказываются недостижимыми или не могут быть проверены В условиях конкретной ситуации даже при кажущихся незначительными нарушениях предпосылок свойства оценок или распределения статистик применяемых критериев могут существенно отличаться от "стандартных" В других случаях наоборот, даже значитечьные отклонения реалььых условий от классических предположений не приводят к значимым изменениям свойств или распределений статистик
Как правило, исследование свойств оценок или статистик, нахождение закона распределения статистики конкретного критерия аналитическими методами оказывается чрезвычайно сложным Особенно, ести учесть множество реальных ситуаций, для которых это следовало бы сделать Поэтому при исследовании вероятностных (статистических) закономерностей все чаще используют методы статистического моделирования
Данная диссертационная работа является логическим продолжением исследований (Постовалов С Н , Чимитова Е В , Помадин С С ), проводимых на кафедре прикладной математики НГТУ и направленных на расширение прикладных возможностей кчассических методов математической статистики за счет изучения свойств классических критериев при нарушении стандартных предположений, лежащих в обосновании метода или критерия Развиваемая методика компьютерного моделирования и анализа статистических закономерностей позволяет получать полезные результаты, расширяющие аппарат математической статистики Применение получаемых результатов обеспечивает корректность статистических выводов в тех ситуациях, когда использование классических процедур и методов неправомерно Методика дополняет аналитические методы, обеспечивая нахождение приближенного решения в тех случаях, когда этого не удается сделать аналитическими методами
Диссертационная работа нацелена на решение ряда задач, интерес к которым не снижается в связи с их практической направленностью и частым использованием соответствующих методов или критериев в приложениях
Принадлежность наблюдаемых данных нормальному закону является необходимой предпосылкой корректного применения большинства классических методов математической статистики, используемых в задачах обработки измерений, стандартизации и контроля качества Поэтому проверка на отклонение от нормального закона является частой процедурой в ходе проведения измерений, контроля и испытаний
Отечественный стандарт ГОСТ Р ИСО 5479-2002, представляющий собой аутентичный текст международного стандарта ISO 5479-97, отражает далеко не полную картину, связанную с критериями проверки отклонения выборок наблюдаемых случайных величин от нормального закона Различные подходы к решению данной задачи связано с множеством имен (Shapiro S S, Wilk М В,
Shapiro S S, Wilk MB , Hartley H О , Bowmann К О , Shenton L R , Barmghaus L , Epps T W , Pulley L В , Doornik J A , Hansen H , Золотухина Л В „ Looney S W , Gulledge T R , Martinez J , Iglewicz В , Prescott P и др )
С необходимостью решения задач проверки гипотез о принадлежности двух выборок случайных величин одной и той же генеральной совокупности (проверки однородности) постоянно сталкиваются при анализе случайных ошибок средств измерений, при статистическом управлении качеством процессов Критерии проверки однородности связаны в первую очередь с именами Смирнова Н В , Lehmann Е L , Rosenblatt М В данной диссертационной работе не затрагиваются критерии проверки однородности средних и критерии однородности дисперсий, хотя и исследуется устойчивость критерия проверки независимости Аббе, близкого по свойствам к критериям проверки однородности средних
При решении задач статистического анализа и, в частности, при построении моделей законов распределения и вычислении оценок параметров этих моделей проблема наличия в выборке аномальных измерений имеет чрезвычайно важное значение Присутствие единственного аномального наблюдения может приводить к оценкам, которые совершенно не согласуются с выборочными данными В случае принадлежности наблюдений нормальному закону применяемые критерии чаще всего опираются на работы Grubbs F Е и предшествующие им работы Смирнова Н В
Не окончательно решенной проблемой является проверка адекватности моделей законов распределений с применением критериев согласия Практика их применения изобилует примерами неэффективного (почти всегда) или некорректного (очень часто) применения Это касается как критериев типа %2, так и непараметрических критериев согласия В частности, предельные распределения статистик непараметрических критериев согласия типа Колмогорова, типа Крамера-Мизеса-Смирнова или Андерсона-Дарлинга при проверке сложных гипотез зависят от истинного закона, соответствующего проверяемой гипотезе, числа и типа оцениваемых параметров этого закона, от выбранного метода оценивания параметров, иногда, от значения параметра
В исследование критериев типа %2 внесли значительный вклад Чибисов Д М , Гванцеладзе Л Г , Боровков А А , Никулин М С , Rao К С , Robson D S , Мирвалиев М , Воинов В Г , Greenwood Р Е , Drost F С , Лемешко Б Ю , Чими-това ЕВ и др Исследование непараметрических критериев согласия при проверке сложных гипотез связано с именами Кае М , Kiefer J , Wolfowitz J , Pearson E S , Hartley H О , Stephens M A , Мартынова Г В , Тюрина Ю Н , Саввуш-киной Н Е , Лемешко Б Ю , Постовалова С Н и др
Вопросы мощности критериев согласия исследовались в работах Чиби-сова Д М , Боровкова А А , Никулина М С , Воинова В Г , Лемешко Б Ю , Постовалова С Н, Чимитовой Е В и др Однако в большинстве случаев вопрос о преимуществе в мощности того или иного критерия относительно конкретных альтернатив остается без четкого ответа, так как определение мощности критерия упирается в необходимость знания распределения статистики критерия при
соответствующей конкурирующей гипотезе А нахождение этого распределения аналитическими методами, как правило, связано с серьезными трудностями и удается крайне редко
Цель и задачи исследований. Основной целью диссертационной работы является дальнейшее расширение на основе компьютерного моделирования прикладных возможностей классических методов математической статистики, уточнение знаний о свойствах ряда статистических критериев, широко используемых в различных прикладных областях
В соответствии с поставленной целью решались следующие задачи
исследование распределений статистик и сравнительный анализ совокупности критериев, применяемых при проверке отклонения распределения вероятностей от нормального закона,
исследование распределений и мощности критериев проверки однородности двух выборок Смирнова и Лемана-Розенблатта,
исследование распределений статистик критериев типа Граббса и расширение их возможностей при отбраковке аномальных измерений,
исследование распределений статистики критерия независимости Аббе при нарушении предположений о принадлежности наблюдений нормальному закону, исследование мощности критерия,
уточнение моделей распределений статистик непараметрических критериев согласия типа Колмогорова, Крамера-Мизеса-Смирнова, Андерсона-Дарлинга при проверке сложных гипотез относительно некоторых законов наблюдаемых величин,
исследование распределений статистик непараметрических критериев согласия типа Колмогорова, Крамера-Мизеса-Смирнова, Андерсона-Дарлин-га при проверке сложных гипотез относительно семейств бета-распределений, построение моделей распределений статистик и таблиц процентных точек,
- сравнительный анализ мощности критериев типа % и непараметрических
критериев согласия Кочмогорова, Крамера-Мизеса-Смирнова, Андерсона-
Дарлинга
Методы исследования. Для решения поставленных задач использовался аппарат теории вероятностей, математической статистики, статистического моделирования, математического программирования Научная новизна диссертационной работы заключается
в результатах сравнительного анализа критериев проверки отклонения распределения от нормального закона и в выявлении недостатков критериев Шапиро-Уилка и Эппса-Палли, которые ранее никем не отмечались,
в результатах исследования мощности критериев однородности Смирнова и Лемана-Розенблатта, в предложенной поправке к статистике критерия Смирнова, обеспечивающей близость распределения статистики к предельному,
в построенных таблицах процентных точек, расширяющих возможности критериев типа Граббса при отбраковке аномальных измерений,
- в подтверждении устойчивости критерия независимости Аббе к наруше
нию предположений о принадлежности наблюдений нормальному закону,
в результатах исследования мощности критерия,
в моделях распределений статистик непараметрических критериев согласия типа Колмогорова, Крамера-Мизеса-Смирнова, Андерсона-Дар шшга при проверке сложных гипотез относительно некоторых законов наблюдаемы» величин,
в результатах исследования, моделях и таблицах процентных точек распределений статистик непараметрических критериев согласия при проверке сложных гипотез относительно семейств бета-распределений,
- в результатах сравнительного анализа мощности критериев согласия
Основные положения, выносимые на зашиту. На защиту выносятся
Результаты исследований распределений статистик, мощности и сравнительного анализа критериев проверки отклонения эмпирического распределения от нормального закона
Результаты исследований распределений статистик и мощности критериев однородности Смирнова и Лемана-Розенблатта, рекомендации по применению критериев однородности
Результаты расширения возможностей критериев типа Граббса для проверки различных видов гипотез (об аномальности различного числа эпементов в выборке)
Результаты исследования устойчивости критерия независимости Аббе к нарушению предположений о принадлежности наблюдений нормальному закону, результаты исследования мощности критерия
Уточненные модели распределений статистик непараметрических критериев согласия типа Колмогорова, Крамера-Мизеса-Смирнова, Андерсона-Дарлин-га при проверке сложных гипотез относительно некоторых законов наблюдаемых величин
Результаты исследования, модели и таблицы процентных точек распределений статистик непараметрических критериев согласия при проверке сложных гипотез относительно семейств бета-распределений
Результаты сравнительного анализа мощности критериев типа %2 и непараметрических критериев согласия Колмогорова, Крамера-Мизеса-Смирнова, Андерсона-Дарлинга
Обоснованность и достоверность научных положений, выводов и рекомендаций обеспечивается
корректным применением математического аппарата и методов статистического моделирования для исследования свойств и распределений статистик критериев,
совпадением результатов статистического моделирования с известными теоретическими результатами
Личный творческий вклад автора заключается в проведении исследований, обосновывающих основные положения, выносимые на защиту, в разработке программного обеспечения
Практическая ценность и реализация результатов.
Резутьтаты сравнительного анализа критериев проверки отклонения от нормального закона, включающего указания недостатков и преимуществ отдельных критериев, расширяют рекомендации для практического применения критериев, приводимые в ГОСТ Р ИСО 5479-2002
Результаты исследования критерия однородности Смирнова, предложенная поправка к статистике критерия расширяют возможности применения критерия в притожениях
Результаты исследования устойчивости критерия независимости Аббе расширяют сферу его корректного применения в приложениях
Результаты исследования статистик критериев типа Граббса позволяют проверять на аномальность одновременно несколько элементов в выборке, расширяя прикладные возможности критерия
Результаты исследования непараметрических критериев согласия при проверке сложных гипотез, результаты исследования мощности непараметри-
ческих критериев и критериев типа % дополняют и уточняют рекомендации по стандартизации Р 50 I 037-2002 и Р 50 1 033-2001
Результаты исследований и средства моделирования включены в программную систему "Интервальная статистика" ISW и используются в научных исследованиях и учебном процессе
Апробация работы Результаты работы докладывались на региональной конференции студентов, аспирантов и молодых ученых "Наука Технологии Инновации", Новосибирск, 2003 и 2005 гг, Всероссийской научно-технической конференции "Информатика и проблемы телекоммуникаций", Новосибирск, 2004, 2005 и 2006 гт, VII и VIII международных конференциях "Актуальные проблемы электронного приборостроения", Новосибирск, 2004 и 2006 гг, Всероссийской научно-технической конференции "Информационные системы и технологии", Нижний Новгород, 2004 и 2006 гг , VIII Korea-Russia International Symposium on Science and Technology, Tomsk, 2004 г, VII International Conference "Computer Data Analysis and Modeling Robustness and Computer Intensive Methods", Minsk, 2004 г , Международном научно-техническом семинаре "Математическая, статистическая и компьютерная поддержка качества измерений", Санкт-Петербург, 2006 г
Диссертационные исследования явились составной частью работ, проводимых в рамках проектов "Математическое и алгоритмическое обеспечение задач статистического анализа данных и исследования статистических закономерностей при нарушении классических предположений", грант Министерства образования Российской Федерации № Т02-3 3-3356, 2003-2004 гг , "Развитие компьютерных технологий моделирования и исследования фундаментальных закономерностей математической статистики", раздел 3 3 программы "Развитие научного потенциала высшей школы" Министерства образования и науки РФ, код проекта 15378, 2005 г, "Развитие компьютерных технологий исследования статистических закономерностей" (контракт № 2005-РИ-19 0/002/091, 2005 г) и "Применение компьютерных технологий исследования статистических законо-
мерностей в задачах оценивания и различения близких гипотез о виде и свойствах распределений случайных вепичин" (контракт № 2006-РИ-19 0/001/119, 2006 г), ФЦНТП "Исследования и разработки по приоритетным направлениям развития науки и техники" на 2002-2006 годы по разделу "Проведение научных исследований молодыми учеными", "Расширение прикладных возможностей классических методов математической статистики", грант Российского фонда фундаментальных исследований № 06-01-00059
Публикации По теме диссертации опубликовано 12 печатных работ, в том числе 5 в рецензируемых журналах из списка ВАК, 7 в трудах и материалах конференций В конце реферата приведен список основных публикаций Структура работы Основная часть диссертации изложена на 158 страницах и состоит из введения, 5 глав основного содержания, включая 34 таблицы и 84 рисунка, заключения, списка литературы из 121 наименования и приложений
