Содержание к диссертации
Введение
1. Математическое предисловие 19
1.1. Постановка задачи групповой классификации 19
1.2. Критерий отношения правдоподобия 23
1.3. Статистические правила групповой классификации 25
1.4. Краткие сведения о некоторых вероятностных моделях, используемых в работе 25
1.4.1. Многомерное нормальное распределение [ W(|i, ) ] 26
1.4.2. Распределение Уишарта [ W(b,п)] 26
1.4.3. Распределение выборочных характеристик нормального закона [NJV(\i,T,,n)] 28
1.4.4. Многомерное Т-распределение Стьюдента |Т(к,ц,)] 29
1.4.5. Нормальные модели последовательностей зависимых наблюдений [iV(nx»^x)3 31
1.5. Байесовский подход к статистическому оцениванию 34
2. Оценивание плотностей распределений выборок в рамках байесовских моделей 37
2.1. Восстановление зависимостей по эмпирическим дан ным 37
2.1.1. Структура байесовских оценок 37
2.1.2. Байесовские оценки при квадратичной функции потерь,.. 39
2.1.3. Восстановление плотностей распределений в байесовских моделях 40
2.1.4. Выбор априорного распределения неизвестных параметров в байесовской модели 42
2.2. Построение байесовских оценок плотностей распределений выборок в рамках нормальных моделей 44
2.3. Байесовское оценивание плотности распределения нормальной последовательности марковского типа 53
2.4. Оценивание параметрических функций в байесовских моделях Уишарта и многомерного Т-распределения Стьюдента 59
2.4.1. Модели Уишарта 59
2.4.2. Модель Т-распределения Стьюдента 62
2.5. Квадратические погрешности байесовских оценок 63
3. Решающие правила групповой классификации 71
3.1. Групповые классификаторы в случае нормальных классов 71
3.1.1. Классификация в условиях независимости наблюдений... 71
3.1.2. Классификация последовательности зависимых наблюдений 78
3.2. Классификация в случае распределения Уишарта и Т-
распределения Стьюдента 81
3.2.1. Групповая классификация независимых матриц, имеющих распределение Уишарта 81
3.2.2. Вычисление верхней и нижней границы для вероятности ошибочной классификации в случае двух Т-распределений Стьюдента 84
3.2.3. Статистическая групповая классификация в случае Т-распределения Стьюдента 91
3.3. Асимптотические свойства статистических групповых класси
фикаторов 93
4. Сравнительные характеристики статистических оценок и решающих правил классификации 101
4.1. Методы статистического моделирования 102
4.1.1. Методы Монте-Карло 102
4.1.2. Моделирование стандартного нормального распределения 104
4.1.3. Моделирование невырожденного многомерного нормального распределения 105
4.1.4. Генерация случайных величин, имеющих % - распределение 106
4.1.5. Моделирование многомерного Т-распределения 107
4.2. Оценка суммарной вероятности ошибок классификации мето дом статистического моделирования., 108
4.2.1. Цель экспериментов 108
4.2.2. Условия экспериментов 109
4.2.3. Результаты проведенных экспериментов 113
4.3. Исследование статистических оценок для вероятностной моде ли выборки, извлеченной из нормальной совокупности 127
4.3.1. Исследование байесовской оценки 127
4.3.2. Сравнение байесовской и несмещенной оценки для функции правдоподобия выборки, извлеченной из нормальной совокупности 132
Заключение 138
Библиографический список
- Статистические правила групповой классификации
- Восстановление плотностей распределений в байесовских моделях
- Групповая классификация независимых матриц, имеющих распределение Уишарта
- Моделирование невырожденного многомерного нормального распределения
Введение к работе
Актуальность проблемы
В последние десятилетия получила довольно широкое развитие теория, связанная с разработкой методов распознавания образов. Предметом изучения этой теории являются способы решения трудно формализуемых и противоречивых задач классификации, оптимизации, принятия решения, которые часто возникают при моделировании сложных систем в экономике, медицине, технике. Процедуры распознавания эффективно используются при проектировании экспертных систем в различных областях знания. Особое место здесь занимают задачи, связанные с решением проблемы обучения распознаванию образов, которая является одной из центральных в области создания искусственного интеллекта.
Отдельным важным приложением теории и методов распознавания является классификация объектов по измерениям их характеристик. Большой вклад в развитие теории классификации внесли С.А.Айвазян, Ю.Н.Благовещенский, Л.Д.Мешалкин, Ю.И.Журавлев, Н .Г.Загоруйко, В.Н.Вапник, Ш.Ю.Раудис, В.Д.Мазуров, Г.С.Лбов, Т.Андерсон, С.Рао, К.Фукунага. На сегодняшний день существует много прекрасных руководств по теории классификации [20], [21], [22], [24], [28], [29], [30], [33], [37], [40], [42], [43], [44], [58], [59], [70], [84], [86], [101]. Все они различаются способами описания классов и решающими правилами.
Традиционные методы классификации дают правила отнесения одного вектора наблюдений к одному из М заданных классов. Такая задача носит название поточечной классификации. Задача поточечной классификации впервые была поставлена и исследована в работе А.Вальда [104] в 1944 году и с появлением монографии Т.Андерсона [24] нашла довольно широкий круг применений.
Обобщением классической задачи поточечной классификации является задача групповой классификации. В этом случае необходимо классифицировать группу, состоящую из щ>\ объектов, для которой априори известно,
7 что она извлечена из одного из классов. Задачи групповой классификации возникают, в частности» в медицинской и технической диагностике, в типологии совокупностей по щ векторным наблюдениям, В последнее время появляются работы, связанные с применением алгоритмов групповой классификации при решении задач распознавания сигналов, которые представляют собой развивающиеся во времени случайные процессы. Для решения таких задач требуется разработка и реализация принципиально новых методов. Это связано с тем, что использование именно групповых классификаторов позволяет уменьшить число ошибочных выводов, получаемых при отнесении группы к тому или иному классу, в сравнении с применением к этой же группе известного метода голосования. Кроме того, важной особенностью группового подхода к решению задачи распознавания образов является возможность увеличения статистической информации за счет привлечения группы классифицируемых объектов при построении решающих правил классификации.
Можно выделить две тенденции в развитии исследований, связанных с групповой классификацией: первая - принятие решения по целой группе независимых наблюдений; вторая - классификация последовательных во времени зависимых наблюдений. Первая тенденция возникла в связи с контролем качества продукции, когда нет возможности (или это требует существенных затрат) проверить каждое изделие и решение о годности всей партии принимается по результатам проверки определенной доли продукции. Вторая тенденция соответствует часто встречаемой в жизни ситуации, когда результаты наблюдений, сделанных в некоторый момент времени, зависят от результатов ранее произведенных наблюдений (например последовательный контроль качества изделий, данные метрологии, биофизические данные и
т.д.)-
Приведем несколько задач, где успешно используются методы групповой классификации.
8 Плохое состояние экологической обстановки вызывает многие заболевания, которые носят название экопатологий. Пусть на некоторой территории имеется Л/различных экопатологий с медицинскими диагностическими показателями. На конкретной территории отбирается случайным образом группа пд больных, работающих на одном предприятии. Требуется определить тип экопатологий, к которой относятся сотрудники данного предприятия. При riQ =1 речь идет об отнесении конкретного больного к одному из типов
экопатологий, а при щ > 1 появляется возможность более обоснованно судить о влиянии ухудшившейся экологической обстановки на здоровье работников предприятия.
Анализ электрокардиограмм позволяет оценить состояние сердечнососудистой системы, знание которого важно при лечении больных болезнями сердца, а также при оценке работоспособности здоровых людей. Анализ электрокардиограмм по их графическим записям делает врач-интерпретатор, на что он тратит много времени, при этом нередко возникают субъективные ошибки. Устранение указанных недостатков возможно путем автоматизации анализа кардиограмм с применением алгоритмов групповой классификации. В этом случае речь идет о классификации последовательности rcg зависимых векторов, соответствующих /70 QRS комплексам кардиограммы. Компонентами каждого вектора являются измерения величин амплитуд графиков кардиограмм в нескольких равномерно отдаленных друг от друга точках. Первый вектор представляет первый QRS комплекс, второй - второй QRS комплекс, третий - третий и т.д. Таким образом, на основании п$ последовательных векторов измерений можно быстро и надежно диагностировать проблему.
Задача групповой классификации впервые была формализована в работе ЛЛо [98] и получила дальнейшее развитие в работе Дж.Киттлера [92]. В этих работах исследуется классификация в два класса щ и а?2 - годных и
9 дефектных изделий. При этом А-мерные наблюдения предполагаются независимыми, что соответствует специфике контроля качества продукции.
Большое внимание исследованию задачи групповой классификации независимых многомерных наблюдений уделяется в работах Р.А.Абусева и Я.П.Лумельского, В них формулируется и решается задача как в параметрической, так и в непараметрической постановке, исследуется суммарная вероятность ошибок, возникающих при групповой классификации. В [3], [12] построены состоятельные непараметрические оценки для верхней и нижней границы суммарной вероятности ошибок классификации в случае двух нормально распределенных совокупностей. В работах [6], [13]» [51] решается задача групповой классификации в статистической постановке: строятся асимптотически оптимальные решающие правила, основанные на несмещенных оценках, оценках максимального правдоподобия и байесовских оценках функций правдоподобия выборок, извлеченных из нормальных совокупностей; исследуются их асимптотические свойства. Работа [14] носит обзорный характер и посвящена анализу работ, связанных с построением асимптотически оптимальных решающих правил группового выбора в случае многомерного нормального распределения и распределения Уишарта, В [1] проводится сравнение применения методов поточечной (метод голосования) и групповой классификации для отнесения группы, состоящей из щ наблюдений к одному из двух классов; доказывается эффективность применения группового подхода к решению задачи классификации выборочной совокупности.
Работа В.МКондакова [49] посвящена построению статистического группового классификатора на основе байесовской оценки плотности матричного нормального распределения. В работе предложен конструктивный подход, который позволяет рассматривать группу, состоящую из щ к-мерных векторов, как один объект в (щ х к) - мерном пространстве, что позволяет перейти к классической задаче поточечной классификации.
Групповая классификации зависимых наблюдений близка проблеме классификации случайных процессов. Первая работа в этой области связана с
10 классификацией временных рядов и принадлежит С.Азену и А.Аффифи [81]. В ней рассматривается случай двух классов гауссовых последовательностей авторегрессии первого порядка с общей ковариационной матрицей- В [84] исследована задача классификации 2-мерных нормальных векторов на два класса, которые определяются векторами наблюдений Xt в различные моменты времени t\ и *2- Совместное распределение Xt и Xt описывается
нормальным законом. Зависимость наблюдений здесь выражается через скаляр р. Исследованы ситуации, когда не все параметры классов со\ и й^ из"
вестны, приводятся границы для вероятностей ошибочной классификации.
В работе Э.К.Шпилевского [74] развиваются рекуррентные методы случайных процессов, описываемых разностными уравнениями типа AR(p). Здесь рассматривается М альтернативных гипотез HyiH^s^^H$rfі соответствующих классам щ,а)2,—,&м- Задача динамической классификации, решаемая в этой работе, состоит в принятии гипотезы Нг в текущем времени
по наблюдениям реализаций Zq ={zQ,zi,,.,Mzrt} дискретного или непрерывного во времени случайного процесса {Xt fZt,Q
Работы В.Клигиса [47], [48] посвящены решению задачи классификации многомерных зависимых последовательностей марковского типа. Здесь приводится постановка задачи построения группового классификатора для зависимых многомерных наблюдений; построены оптимальные и статистические решающие правила, основанные на оценках максимального правдоподобия, найдены аналитические выражения для суммарных вероятностей ошибок классификации; проведено сравнение качества различных классификаторов на моделированных данных.
Вместе с тем можно выделить класс моделей наблюдений, для которых
11 задача групповой классификации либо вообще не ставилась» либо вопросы, связанные с групповой классификацией на основе этих моделей были рассмотрены лишь частично. К числу таких моделей можно отнести некоторые байесовские модели.
Под байесовскими моделями понимаются математические модели, которые включают в себя функцию, описывающую распределение объектов в исследуемой совокупности» которое принадлежит некоторому параметрическому семейству и априорное распределение вероятностей анализируемых неизвестных параметров.
Особый интерес представляют модели, в которых параметрическое семейство обладает достаточными статистиками. В последнее время широкую популярность приобрели базы данных, в которых содержится большое количество статистической информации, относящейся к одной и той же исследуемой совокупности (когда физические эксперименты проводятся на одном и том же объекте). Хранение таких данных требует больших объемов памяти. Если для параметров вероятностной модели совокупности существуют достаточные статистики, то появляется возможность значительно сжать объем информации за счет хранения вычисленных значений этих статистик. В связи с этим возникает проблема разработки методов, позволяющих принимать решения на основе обобщенных данных.
Разработке и исследованию методов групповой классификации многомерных наблюдений в случае байесовских моделей и посвящена настоящая работа.
Цель работы
Цель работы состоит в построении и изучении групповых классификаторов в случае, когда выборки наблюдений описываются байесовскими моделями. В работе рассматриваются следующие модели:
байесовские модели выборок независимых ^-мерных нормальных векторов и векторов, извлеченных из многомерных Т-распределений Стьюдента;
байесовская модель вектора достаточных статистик нормального рас-
12 пределения;
байесовская модель марковской последовательности ^-мерных гауссовых векторов;
байесовская модель выборки симметричных квадратных матриц, имеющих распределение Уишарта.
Для осуществления цели работы необходимо решить следующие задачи: 1) провести статистическое оценивание параметрической функции, входящей в состав байесовской модели; 2) построить решающие правила групповой классификации; 3) исследовать построенные статистические оценки и разработанные классификаторы, используя аналитические методы и методы статистического моделирования.
Научная новизна результатов
Впервые исследуется новая область приложения байесовских моделей и получены следующие основные результаты:
— в рамках соответствующих байесовских моделей построены стати
стические оценки для плотности распределения достаточных статистик к-
мерного нормального распределения, для функции правдоподобия выборки»
извлеченной из совокупности, объекты в которой имеют распределение Уи
шарта; решена задача статистического байесовского оценивания марковской
последовательности ^-мерных гауссовых векторов; найдены аналитические
выражения для квадратических погрешностей байесовских оценок в случае
одномерного нормального и % -распределения;
-выписаны асимптотически оптимальные групповые классификаторы, основанные на байесовских моделях;
- в случае многомерного Т-распределения получены аналитические
выражения верхней и нижней границы суммарной вероятности ошибок для
оптимального байесовского решающего правила; численно исследована за
висимость вероятности ошибки классификации выборки от параметров мо
дели при использовании различных групповых классификаторов в случае
13 нормальных классов и классов, объекты в которых имеют Т-распределение Стьюдента.
Научная и практическая значимость работы
Результаты, полученные в работе, являются вкладом в теорию групповой классификации. Разработанные в работе методы могут быть положены в основу конкретных эффективных алгоритмов распознавания при решении практических задач техники, экономики, медицины.
Материалы диссертации вошли в курсы лекций и лабораторных практикумов для бакалавров и магистров механико-математического факультета Пермского государственного университета, обучающихся по направлению «Прикладная математика и информатика» (специализация «Математическое моделирование в экономике»).
Значимость работы подтверждается поддержкой исследований грантами РФФИ: №95-01-00015 «Разработка методов группового распознавания»; №98-01-00360 «Разработка асимптотически оптимальных решающих правил группового распознавания»; № 01-01-00494 «Построение математических моделей задач распознавания групп объектов из некоторых параметрических
семейств» (руководитель проф, Р.А.Абусев ); № 04-01-00481 «Процедуры группового выбора и математические методы распознавания образов» (руководители проф. РЛЛбусев проф. В.В.Маланин),
Положения, выносимые на защиту
1. Соотношения, определяющие статистически состоятельные байесов
ские оценки плотности распределения достаточных статистик нормального
закона, плотности распределения марковской последовательности многомер
ных нормальных векторов, функций правдоподобия выборок, извлеченных
из -распределения и распределения Уишарта.
2, Точные аналитические выражения для квадратических погрешно
стей байесовских оценок плотностей распределения выборок, извлеченных
2 из одномерной нормальной совокупности и совокупности, имеющей х '
14 распределение,
Асимптотически оптимальные групповые классификаторы, построенные на основе байесовских моделей в случае нормального распределения, распределения Уишарта, а также в случае многомерного Т-распределения Стьюдента.
Точные аналитические выражения, определяющие верхнюю и нижнюю границы суммарной вероятности ошибок классификации для оптимального байесовского решающего правила в случае многомерного Т-распределения Стьюдента,
Численные эксперименты с использованием методов статистического моделирования, направленные на исследование построенных решающих правил классификации.
Методика исследования. Достоверность результатов
При проведении исследований в работе был использован аппарат математического анализа, теории вероятностей, математической статистики, многомерного статистического анализа, линейной алгебры, а также методы математического и имитационного моделирования с применением средств вычислительной техники- Достоверность выводов подтверждается хорошим согласованием полученных в работе результатов имитационных экспериментов с теоретическими результатами для некоторых оптимальных решающих правил классификации.
Публикации и апробация работы
Изложенный в диссертации материал достаточно полно отражен в работах [8], [10], [11], [15], [16], [17], [53], [77], [78], [79], [82], [83], [96]. Работы [53], [96] выполнены лично автором. Работа [8] выполнялась в коллективе соавторов. В ней диссертант принимал участие в постановках задач, разработке и тестировании программного обеспечения, получал и оценивал результаты расчетов. Остальные работы выполнены в соавторстве с научным руководителем, При их выполнении автор диссертации принимал участие в доказательстве теорем, проводил расчеты и изложение результатов.
15 Основные положения и результаты работы докладывались и обсуждались на следующих семинарах и конференциях: IV Всесоюзной научно-технической конференции «Применение многомерного статистического анализа в экономике и оценке качества продукции» (Тарту, 1989); Всесоюзной научно-практической конференции с международным участием стран членов СЭВ «Применение статистических методов в производстве и управлении» (Пермь, 1990); Республиканской научной школе-семинаре «Компьютерный анализ данных и моделирование» (Минск, 1992); V научной конференции стран СНГ «Применение многомерного статистического анализа в экономике и оценке качества продукции» (Москва, 1993); Межрегиональной научно-технической конференции «Математическое моделирование систем и процессов» (Пермь, 1994); Научных семинарах кафедры теории вероятностей и математической статистики Пермского госуниверситета, руководитель проф. Я.ПЛумельский (Пермь, 1992 - 1994); XVII Международном семинаре по проблемам устойчивости стохастических моделей (XVII Seminar on Stability Problems of Stochastic Models, Казань, 1995); Всероссийской научной конференции с международным участием "Математические методы распознавания образов-8" (Пущино, 1995); Всероссийской конференции "Математические методы распознавания образов-10" (Москва, 2001); VII Международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (Санкт-Петербург, 2004); Научном семинаре ЦЭМИ РАН, руководители проф. СА.Айвазян, проф, Ю.Н.Благовещенский (Москва, 2005).
Структура и объем диссертации
Диссертация изложена на 150 страницах, включает 15 таблиц, 10 рисунков, библиографический список (104 литературных источника), состоит из списка обозначений, введения, четырех разделов и заключения.
Краткое содержание работы
Во введении обоснована актуальность темы диссертации, сформулированы цель и задачи исследования, показана научная новизна и практиче-
екая значимость работы. Здесь же приводится анализ работ, в которых ставилась и решалась задача групповой классификации.
Первый раздел представляет собой математическое предисловие, подразделы 1.1, 1.2 и 1.3 которого содержат постановку задачи групповой классификации. Здесь приводится вид оптимального байесовского и статистического групповых классификаторов, формулируются основные этапы решения задачи групповой классификации,
В подразделе L4 приводятся сведения о вероятностных распределениях, которые используются в диссертационной работе.
В подраделе L5 обсуждается байесовский подход к статистическому оцениванию и приводится перечень рассматриваемых в настоящей работе байесовских моделей.
Второй раздел посвящен построению оценок (байесовских оценок) для параметрических функций выборок в рамках байесовских моделей. Материалы данного раздела написаны на основании работ [10], [11], [16], [77], [78], [79].
В подразделе 2 А описывается метод восстановления вероятностной модели объектов в совокупности с использованием байесовского подхода. Здесь обсуждается структура байесовских моделей и вводится понятие байесовской оценки относительно априорного распределения неизвестного параметра модели. Рассматриваются подходы к выбору априорного распределения неизвестного параметра.
В подразделе 2Л приводятся результаты байесовского оценивания функции правдоподобия выборки я' = (Х01,„.,Х0/го), извлеченной из многомерной нормальной совокупности с двумя неизвестным параметрами. Сформулировано и доказано утверждение, определяющее точное аналитическое выражение байесовской оценки для плотности совместного распределения достаточных статистик нормального распределения,
В подразделе 2.3 решается задача оценивания многомерной нормальной последовательности марковского типа.
17 В подразделе 2 А доказываются утверждения, определяющие вид байесовских оценок для функций правдоподобия выборок, извлеченных из сово-
купностей, имеющих х " распределение и распределение Уишарта. Кроме того, в этой части работы приводится известный результат, определяющий аналитическое выражение байесовской оценки функции правдоподобия выборки в случае многомерного Т-распределения Стьюдента.
Подраздел 2,5 посвящен исследованию байесовских оценок, В работе найдены аналитические выражения для квадратических погрешностей байесовских оценок в случае одномерного нормального и х2-распределения. Доказаны соответствующие теоремы,
В третьем разделе работы строятся решающие правила групповой классификации и аналитически исследуются их свойства. Работы [15], [17], [53], [82], [83], [77], [78] составляют основу данного раздела.
В подразделах ЗА и 3.2 сначала приводятся известные результаты, связанные с построением некоторых оптимальных байесовских решающих правил, а затем строятся статистические групповые классификаторы для случая многомерных нормальных моделей наблюдений в классах, моделей Уишарта и Т-распределения Стьюдента. В этой части работы также найдены выражения для верхней и нижней границ риска классификации в случае двух классов, объекты в которых независимы и имеют многомерное Т-распределение Стьюдента.
В подразделе 3.3 доказывается состоятельность байесовских оценок и асимптотическая оптимальность статистических решающих правил групповой классификации.
Четвертый раздел в основном посвящен исследованию и сравнению различных групповых классификаторов. Основные результаты данного раздела опубликованы в работах [8], [15], [17].
Подраздел 4.1 содержит краткую информацию о методах Монте-Карло. Здесь приводятся основные формулы и алгоритмы, позволяющие моделировать векторы с заданными законами распределения.
Подраздел 4.2 посвящен описанию численных экспериментов, направленных на всестороннее исследование суммарной вероятности ошибок, возникающих при использовании различных классификаторов (в том числе и ранее построенных) для групп независимых наблюдений в случае многомерного нормального распределения и Т-распределения Стьюдента. Здесь же приводятся результаты проведенных экспериментов,
В подразделе 43 на основании значений квадратических погрешностей проводится сравнение байесовской и несмещенной оценок функции правдоподобия выборки» извлеченной из одномерной нормальной совокупности [96]. Результаты исследований представляются в виде графиков зависимостей значений квадратических погрешностей от объема выборок, используемых при построении оценок.
В заключении подводится итог проведенным в работе исследованиям, формулируются основные решенные проблемы,
Статистические правила групповой классификации
Случайный вектор Х = {Хт ,...,Х(к))т размерности к имеет невырожденное нормальное распределение с вектором математических ожиданий \i = (M[X(l) ],..., M[Xik)])T = (// ,...,// )г и ковариационной матрицей = , i,j = \a,-,k,rnQKii=M[(Xii) M )T( U)-MU))]-корреляци онный момент между 1-Й иу-и компонентой случайного вектора, если плот ность распределения вероятностей его при всех X є R имеет вид (хц,) = (2;0 тИ 1/2ехр --(х-м/Е-Чх-ц) (1.4.1) Характеристическая функция Tx(t) случайного вектора X, распределенного по многомерному нормальному закону, имеет вид (t) = exp(rtV- trSt), (1А2) для всех t-(f(1) ,...,/ )7, eRfc.
Случайная величина X имеет одномерное нормальное распределение 2 1 со средним (Л и дисперсией а ( со // со; а 0)э если распределение X абсолютно непрерывно с плотностью распределения вероятностей gLx\p,c?) = е-( -Л2/22. (1.4.3) Функция -Ґ/2 F(Z)= ЖС 1 (1Л4) есть функция распределения случайной величины X N(0,1)«
Пусть Х\,„.,Хт - случайная выборка, состоящая из -мерных векторов, которые имеют многомерное нормальное распределение с нулевым вектором средних и ковариационной матрицей . Обозначим через V случайную симметрическую матрицу размерности (kxk), определяемую равенством m V=] ]X;X/ . Матрица V имеет распределение Уишарта с т степенями свободы и параметрической матрицей . Если т к-\ и матрица L не вырождена, то распределение Уишарта называется невырожденным и может быть задано с помощью плотности распределения вероятностей следующим образом: \\у } ехр- SpL v g(vE,«) = Ц— } (145) 2foi/2 к(к \)/4мт/2утг(т + 1-г II 11 Пусть N\r„yn - независимые симметрические случайные матрицы, п имеющие распределение (1,4.5). Статистика Ttt = V/ является достаточной Ы для неизвестного параметра 2 и имеет распределение Уишарта g(tn Е,тш) [24].
Один из примеров использования распределения Уишарта при решении практических задач можно найти в работе [26].
Распределение Уишарта является многомерным обобщением % распределения [% ], Если Х\ . Хт - независимые случайные величины, имеющие одномерное нормальное распределение N(Oya ), то случайная ве Ш 2 2 личина U= Xj имеет % -распределение с плотностью 1=1 -и 2а2 uml2-lzW g(u\a ,т) = ; и 0, гп \. (1.4.6) 2т12
Пусть Xj,...,X„ - независимые случайные -мерные вектора, имеющие нормальное распределение с неизвестными параметрами ji и Т.. Статистики 1=1 Ы1 являются достаточными статистиками для распределения (1.4.1), Их можно заменить эквивалентными достаточными статистиками, такими как вектор средних и выборочная матрица ковариаций ХдЛ]Гх,, (1.4.7) S =-(Х/-Хй)(Х/-Х„)7 . (1.4.8)
Статистики (1.4.7) и (1.4.8) также являются оценками максимального правдоподобия для неизвестных параметров ц и нормального распределения соответственно.
Верны следующие утверждения [24]: Теорема 1.1 (Уишарта). Пусть Xi,X2,...,X„ и Х ЛГ(ц,Е), / = 1,2,...,я, п к. Тогда статистики (L4J) и (1АЯ) независимы, Хп распределена по k-мерному нормальному закону с параметрами }х и — L, a nSn п имеет распределение Уишарта (1.4.5) с (п-1) степенями свободы и пара-метрической матрицей Обозначим Y = Xfl, Z = nSn Теорема 1.2. Плотность совместного распределения достаточных статистик YMZ, если она отлична от нуля, имеет вид g(y,z(n,,H) = п /2.і(я- -2У2 2кп/2 к(к+\)/4\т\п/2 ї-гІП-Г ,-=1 у X (1.4.9) xexp 2\ n w В случае одномерного нормального распределения достаточными для (1.4.3) являются статистики п п ntl (1.4.10) Если обозначить Хп = 7, п$п = Zt то из теорем 1.1 и 1.2 в одномерном случае следует утверждение: Следствие 1.1. Пусть Х\,„пХп одномерные случайные величины, (J2 Х iV(/i,а ). Тогда статистики Y и Z независимы, Y N(jUt ), Z п имеет % -распределение с (п-ї) степенью свободы и параметром а , а их совместная плотность распределения имеет вид
Восстановление плотностей распределений в байесовских моделях
Пусть Х\,Х2,...,Хп — независимая повторная выборка наблюдений над случайной величиной X, имеющей плотность распределения g(x \ в) с неизвестным параметром в є. Задача состоит в том, чтобы на основе наблюдений Х\,Х2,...,Хп оценить g{x\9). Будем использовать функцию потерь ти і па квадратичной ошибки fVQg-g\) = [g(x\9)-g(x\xi,X2,-.,xn)] предполагая, что в имеет априорное распределение с плотностью h{6).
Для решения этой задачи [33] по формуле Байеса находится плотность апостериорного распределения вероятностей неизвестного параметра 1г{6\х\,Х2,...,хп) = — , (2.1.4) f(x\tX2,...,xn) где f(xux2,..,xn)= \і(хь...,хп\в)1г{в) ів (2.1.5) 0 — маргинальная плотность распределения выборки Х\,Х2,—,Хп, а L(x\tX2,...,xn \в) - функция правдоподобия выборки. Оценку для g(x\0) будем искать в виде функции g(x\xitX2t—,xn) , которая доставляет минимум априорному байесовскому риску RE(S)= Jfe( I #) - g(x I x\t...txn)]2L(xi,.. .tx„\0)h(0)d6dxdxi..dx„. Еи+1х0 Здесь Еп+і - пространство всевозможных выборок объема (п+1). Изменим порядок интегрирования и обозначим lg(x\0)L(xux2t...,x„\0)h(0)d0 gE(x\xux2 xn) = Т, ; (2Л.6) Тогда Rg (g) можно представить в виде суммы RE (g) = R\+R2 (g), где Д1= \[g2{x\6)L{xhX2,...,xn\e)h{6)de-Ew+ix -f{x\9x2,...,xn)g\(x\x\,X2,...,xn)](bc(k\dx2..dxnt Ы%)= l[g(x\xhx2,...,xn)-g(x\xhx2,...,xrl)]2dxdxldx2...dxn.
Первое слагаемое от g{x\x\,X2,—,xn) не зависит, поэтому минимум Rj;{g) доставляет второе слагаемое. Этот минимум равен нулю и достигается в случае, когда g{x\xbx2 xn) = gE(x\xbx2 xn). Следовательно, наилучшая оценка, минимизирующая Rgig), находится по формуле (2.1.6). С учетом (2.1.4) получим оценку для g{x\0) ввиде g(x\xl9X2 :;Xn)= \g{x\e)h{6\x\,x29 xn)d0. Для построения оценок плотностей распределений вероятностей в байесовских моделях удобно пользоваться формулой \g(x\6)L{xbx2 xn\6)h(6)de ёБ{х\хьхъ...хп)=—— 1тит,а С2-1-7) jL(xi)X2f" Xn \ff)h{0)d9 0 которая следует из (2 Л .6) с учетом (2 Л .5),
В математическом предисловии было отмечено, что выбор априорного распределения зависит, как правило, от предыстории функционирования анализируемого процесса, если таковая имеется, и от профессиональных теоретических соображений о его сущности, специфике, особенностях,
В ряде задач априорная информация о некотором параметре в является совсем незначительной и неопределенной по сравнению с тем, что предполагается узнать о в из доступных наблюдений. В силу неопределенности априорной информации по сравнению с той информацией, которой мы будем располагать после наблюдений, не имеет смысла тратить много сил и времени на поиски наилучшего в данной ситуации априорного распределения. В этом случае удобно использовать некоторое стандартное априорное распределение, которое было бы употребительно сразу во многих ситуациях, где априорная информация достаточно неопределённа.
Часто в качестве такого стандартного априорного распределения выбирается несобственное распределение, задаваемое неотрицательной плотно стьго, интеграл от которой по всему параметрическому пространству 0 бесконечен. Например, если 0 — это вещественная прямая и из-за незначительности информации априорная плотность распределения вероятности в сильно «размазана» по всей прямой, то можно выбрать в качестве априорного распределения плотность, постоянную на всей числовой прямой [39]. Такая равномерная плотность не является плотностью распределения вероятности никакого собственного вероятностного распределения на вещественной прямой. Однако можно получить апостериорное распределение, являющееся уже собственным, выбирая в качестве априорной равномерную плотность и проводя формальное вычисление с некоторыми наблюдениями х\9Х2 "уХп.
Групповая классификация независимых матриц, имеющих распределение Уишарта
Оптимальное решающее байесовское правило групповой классификации выборки n = (Voi,Vo2,." Von ), п0 т, состоящей из независимых случайных матриц, которые имеют распределение Уишарта (1.4.5) с т степенями свободы и параметрической матрицей / в условиях принадлежности ее классу с номером і, будем строить [11], [77] согласно (1.1.4) с учетом того, что (3.2.1) "о і=\ \(т-к-\)12 щ U\voi ехр , І = \,2,.М. _ /=1 уп {к,тЩпот!2 11=1 Тогда %C(y;, ЄСЛИ 1=\ h 4j (3.2.2) для всех ТФ]у Г = 19Мш "о В силу достаточности статистики Тп = Х О/ которая имеет распре /=1 деление Уишарта g(tn ,#om), из (1.1.6) следует решающее правило яооСй , если Sp\z X -EJ1) }+W0mln- J 21n ч для всех r&j\ г = 1,А/,
Последнее совпадает с правилом (3.2.2), если принять во внимание определение Т и свойства следа матрицы. При k = l из (3.2,2) следует оптимальный классификатор для группы я -( 0Ъ 02»" 9 0я0)» С0СТОЯЩей из riQ независимых случайных величин, имеющих х1 -распределение с плотностью (1-4,6): ;Г0О с Фу» если иы Ъпщ\х 2\х ы\ 1 1 %} 0V СГ для всех r#j7 r-l M, В случае, если выборка = (Voi,Vo2»—»VoH ) извлечена из совокупности наблюдений, имеющих распределение Уишарта с неизвестной параметрической матрицей, а условное распределение л можно представить байесовской моделью вида "о иы /=1 {(m-k-l)/2 L{7tm\i:hm) = w№=-z mi2 -ш exp 4i (E/ lv«) статистический групповой классификатор будем строить с использованием байесовских оценок вида (2.4.2) с учетом обучающих выборок Щ =lV/bV/2.-.VfoJ, i = l,M; ЯДОСЙ);, ЄСЛИ Sr. (3.2.3) (nj+nQ)m q r(k,(nj+no)m) y(k,nrm) Г(к,(пг+п0)т) y(k,njm) "jm (пг+щ)т T —T1nJ+n0 1«0 2 T1nf +Щ T lnr+n0 % nrm 2 T«j+«0 для всех г-ї-j, г —\М.
Вид неравенства в (3,2,3) упрощается, если принять равными объемы обучающих выборок и априорные вероятности классов щ - М : TTQQ Z й);9 ЄСЛИ пт Т(г) Л + tfQ (и+л0)/я для всех r j9 г = \9М.
В приведенных правилах /-1 /=1 а Т4;_ вычисляется по объединенной выборке, которая составлена из классифицируемой выборки и обучающей выборки объема п представляющей класс щ. Значение у(к,т) выисляетсяпо формуле (2.2.7).
Из (3.2.3) при щ-\ получаем статистический классификатор, позволяющий классифицировать одну симметрическую положительно определенную квадратную матрицу к одному из М классов: X GJj, если Vi_v 2 тлг+1 2 щт («у +1)от Тп2+\-"\ 2 ТПу+1 у(кАп;+{)+т)у(к,пгт) х y(kf(nr+l)+m) гіЬпіт) для всех r j9 r-lyM. Если выборка І7оі,ї/о2 —і /опл представлена байесовской моделью m/2-l. Дягоо17 т) = ч 2/ ехр "о 1 "о Е"0/ ГК 2 /=1 J /=i h{af)d rf = daf/af, І = \,М, то ее классификацию можно осуществить с помощью правила, построенного с использованием байесовских оценок вида (2.4.8):
Получить точное аналитическое выражение для суммарной вероятности ошибочной классификации, к сожалению, не представляется возможным. В [83] показано, что усредненное по z значение риска R при v^-co стремится к величине риска правила классификации для нормальных совокупностей. Следовательно, величину (3.1.8) при щ=\ можно рассматривать как приближенное значение суммарной вероятности ошибок, получаемых в результате применения классификатора (3.2.4).
Анализ приведенных таблиц дает возможность сделать следующие выводы относительно границ (3.2.10):
1. Нижняя граница при любых значениях параметров ближе к «истинному» значению вероятности ошибок, оценкой которого будем считать значение, определяемое в (3.1.8), чем верхняя граница.
2. С увеличением расстояния Махаланобиса (А) нижняя граница становится менее чувствительной к изменениям параметра v, чем верхняя.
График, иллюстрирующий зависимость нижней и верхней границ суммарной вероятности ошибок классификации для правила (3.2.4) на примере 5 = 0,1 и v-5, 25, 100 приведен на рисунке 2.
Моделирование невырожденного многомерного нормального распределения
Методы Монте-Карло составляют численные методы решения математических задач при помощи моделирования случайных величин. Среди них можно выделить те, в которых полностью воспроизводится модель рассматриваемого процесса. Такие методы называют имитационными.
Алгоритмы Монте-Карло сравнительно легко программируются и позволяют решать многие задачи, недоступные для классических численных методов. Важнейший прием методов Монте-Карло состоит в сведении задачи к расчету математических ожиданий. Принципиальную основу этого составляет усиленный закон больших чисел в форме А,Н,Колмогорова: Для того чтобы среднее арифметическое независимых реализаций случайной величины % сходилось с вероятностью единица к математическому ожиданию , необходимо и достаточно, чтобы это математическое ожидание существовало.
При реализации метода Монте-Карло моделируются случайные величины с заданными законами распределения, На основании смоделированных значений разыгрываются случайные величины с более сложными законами распределения. Причем распределение последних не может быть, как правило, найдено аналитически, поэтому используются числовые процедуры математической статистики. Метод осуществляется в три этапа.
На первом этапе моделируются числа а, равномерно распределенные в интервале (0;1). Для этого используются многочисленные методики, которые можно найти в руководствах по статистическому моделированию. Простейший метод [23] состоит в использовании рекуррентных формул, производящих регулярную последовательность чисел, являющуюся для внешнего наблюдателя случайной и удовлетворяющую основным требованиям, накладываемым на «настоящие» случайные числа. Такую последовательность принято называть последовательностью псевдослучайных чисел
Далее получают реализации случайных величин или векторов с заданным законом распределения. Стандартный метод моделирования случайных величин состоит в использовании формул вида = ( ) где а - реализация случайной величины, равномерно распределенной на интервале (0;1). В случае, когда является непрерывной случайной величиной с плотностью g(x\ а х Ъ (границы а и Ъ могут быть и бесконечными), а р{у) является строго монотонной и непрерывной функцией на интервале (0;1), то единственная моделирующая формула имеет вид: X где G(x) = G (х) = \g{t)dt = Г1 (х) - функция распределения случайной ве а личины .
Моделирование -мерного случайного вектора = (1), ) состоит в последовательном разыгрывании случайных величин j с плотно стью g\(x)9 %2 с условной плотностью g2(x2 l l) "-» %к с условной плотностью gfc(xk \xUx2 " xk-l)- Если же все , ) независимы, то их условные плотности распределения равны безусловным и порядок моделирования случайных величин роли не играет.
Однако стандартные методы моделирования редко используются на практике, так как для многих распределений G(x) не выражается через элементарные функции- Поэтому используются специально разработанные методы и алгоритмы.
На заключительном этапе алгоритмов Монте-Карло на основании реализаций вероятностной модели полученных на предыдущем шаге, происходит изучение свойств модели, вычисляются ее характеристики с помощью методов математической статистики.
Метод моделирования нормального распределения основан на свойствах изотропного вектора. Определение. Случайный вектор о) = (доі,й 2 - -»ОД) называется изотропным, если точка ю /1 со распределена равномерно по поверхности сферы о =1 и не зависит от ю. Пусть Щ9 2 " 9 к - независимые нормальные случайные величины с 2 2 математическим ожиданием 0 и дисперсией 1. Тогда % =2 7/ имеет X " Ы\ распределение с плотностью (1.4.6), Известен следующий результат [41]: Лемма Если ц — изотропный вектор такой, что \ r\ = Xk то его ком поненты //1,//2 -» независимы и нормальны с параметрами (0,1).
Похожие диссертации на Групповая классификация на основе байесовских моделей
