Содержание к диссертации
Введение
ГЛАВА 1. Состояние вопроса и обоснование задач исследования 16
1.1. Оценивание параметров 16
1.1.1. Однооткликовая модель 16
1.1.2. Многооткликовая модель 24
1.1.3. Модель с качественными и разнотипными факторами 32
1Л .4. Оценивание при наличии пропусков в данных 35
1.1.5. М -оценки 38
1.1.6. Устойчивое оценивание одномерных моделей 42
1.1.7. Устойчивое оценивание многомерных моделей 50
1.1.8. Оценивание при наличии неоднородных данных и разнотипных откликов 54
1.2. Оптимальное планирование эксперимента 57
1.2.1. Задачи оптимального планирования эксперимента 57
1.2.2. Критерии и условия оптимальности планов эксперимента... 59
1.2.3. Алгоритмы численного построения оптимальных планов 68
1.3. Выбор структуры модели 75
1.3.1. Задача выбора структуры 75
1.3.2. Критерии качества структур 78
1.3.3. Алгоритмы выбора структуры 84
1.3.4. Вопросы устойчивости в задаче выбора структуры 90
1.4. Выводы и обоснование задач исследования 94
ГЛАВА 2. Устойчивое м -оценивание 97
2.1. Оценивание однородной одномерной модели 97
2.1.1. Теоретические основы 97
2.1.2. Исследование 102
2.2. Оценивание неоднородной одномерной модели ..ПО
2.2.1. Показатели качества ПО
2.2.2. Оптимизация с ограничениями на матрицы регрессоров 115
2.2.3. Поэлементная оптимизация 121
2.2.4. Оценивание при ограничениях на параметры 127
2.3. Многомерная нормальная модель 129
2.3.1. Оценивание 129
2.3.2. Исследование 133
2.4. Двусторонняя экспоненциальная модель 136
2.4.1. Адаптивное оценивание 136
2.4.2. Адаптивное робастное оценивание при байесовском точечном засорении 140
2.4.3. Минимаксный подход 144
2.4.4. Исследование 146
2.5. Финитная и приближенная финитная модели 154
2.5.1. Оценивание финитной модели 155
2.5.2. Оценивание приближенной финитной модели ;. 161
2.5.3. Исследование финитной модели 165
2.5.4. Исследование приближенной финитной модели 168
2.6. Выводы 172
ГЛАВА 3. Оценивание при мультиплрпсативнои ковариационной структуре ошибок .. ...173
3.1. Оценивание параметров регрессионной модели с эллиптическим распределением ошибок 173
3.1.1. Модель 173
3.1.2. Оценивание параметров 178
3.1.3. Частные случаи эллиптического распределения 185
3.1.4. Прикладные аспекты разработанного подхода 189
3.1.5. Исследование 191
3.2. Оценивание параметров модели при наличии разнотипных откликов и пропусков в данных 206
3.2.1. Модель 206
3.2.2. Оценивание параметров 211
3.2.3. Исследование 219
3.3.Выводы 225
ГЛАВА 4. Оптимальное планирование эксперимента 227
4.1. Планирование эксперимента при ММП-оценивании параметров по неоднородным наблюдениям 227
4.1.1. Планирование эксперимента при независимых ошибках наблюдений 227
4.1.2. Планирование эксперимента при зависимых ошибках наблюдений 233
4.1.3. Исследование свойств планов эксперимента 235
4.2. Планирование эксперимента при робастном оценивании параметров по неоднородным наблюдениям 247
4.2.1. Показатели качества М-оценок 247
4.2.2. Постановка задачи планирования эксперимента 251
4.2.3. Условия оптимальности планов эксперимента 257
4.2.4. Алгоритмы построения оптимальных планов 262
4.2.5. Исследование свойств планов эксперимента 264
4.3. Планирование эксперимента при оценивании параметров модели с разнотипными откликами и пропусками в данных 267
4.3.1. Постановка задачи планирования эксперимента 267
4.3.2. Планирование эксперимента с учетом появления пропусков 272
4.3.3. Свойства инвариантности планов эксперимента 277
4.3.4. Исследование свойств планов эксперимента при возникновении пропусков 282
4.3.5. Исследование стратегии последовательного планирования эксперимента 288
4.4. Выводы 292
Глава 5. Выбор структуры модели 294
5.1. Обобщенная задача и критерии выбора структуры 294
5.1.1. Обобщенная задача выбора структуры 294
5.1.2. Критерии, использующие разбиение выборки на две
части 298
5.1.3. Критерии типа скользящего контроля 309
5.1.4. Критерии, не использующие экзаменационную выборку 316
5.1.5. Выбор структуры при наличии качественных и разнотипных факторов 319
5.1.6. Исследование критериев выбора структуры 321
5.2. Алгоритмы выбора структуры 328
5.2.1. Алгоритмы решения традиционной задачи выбора структуры 328
5.2.2. Алгоритмы решения обобщенной задачи выбора структуры 333
5.2.3. Исследование алгоритмов выбора структуры 344
5.3. Выбор структуры при негауссовских и зависимых ошибках 355
5.3.1. Подходы к выбору структуры 355
5.3.2. Исследование робастных критериев выбора структуры 365
5.3.3. Исследование алгоритма последовательного уточнения оптимальной структуры 373
5.3.4. Исследование выбора структуры при зависимых
ошибках 376
5.4. Выводы 381
Глава 6. Применение методов построения моделей 382
6.1. Моделирование процессов струйного электрофоретического
осаждения 382
6.1.1. Постановка задачи 382
6.1.2. Моделирование с использованием одномерных методов 387
6.1.3. Моделирование с использованием многомерных методов 3 93
6.2. Построение модели индукционного нагрева слитков 406
6.3. Моделирование возрастных коэффициентов рождаемости 415
6.4. Моделирование социально-экономических показателей
крупных городов России 425
6.5. Выводы 442
Заключение 443
Список Использованных Источников
- Модель с качественными и разнотипными факторами
- Оценивание неоднородной одномерной модели
- Частные случаи эллиптического распределения
- Планирование эксперимента при зависимых ошибках наблюдений
Введение к работе
Актуальность темы исследований. Многие исследования в различных областях знаний (физике, химии, биологии, технике, экономике и т.д.) опираются на статистические данные, отражающие некоторые стороны изучаемых объектов и явлений. На основе собранной статистики строятся математические модели, служащие для целей описания и прогнозирования поведения объектов изучения.
Среди основных этапов построения математической модели по статистическим данным - оценивание неизвестных параметров, планирование эксперимента и выбор структуры модели.
В основе методов, используемых для реализации данных этапов, лежат некоторые предположения о свойствах изучаемых объектов, в частности, о свойствах ошибок наблюдений. Так, метод наименьших квадратов (МНК) -наиболее часто используемый в практике статистических исследований метод оценивания параметров - обладает рядом положительных свойств при независимых гомоскедастичных (имеющих одинаковую дисперсию) ошибках, распределенных по нормальному закону.
При зависимости ошибок наблюдений переходят к использованию многомерных методов (Т.В. Андерсон, С.С. Уилкс, СР. Рао, С.А. Айвазян). Например, может использоваться обобщенный МНК (ОМНК), требующий, однако, знания ковариационной матрицы наблюдений. На практике значение ковариационной матрицы неизвестно и для ее определения может вводиться некоторая экономная параметризация, позволяющая оценить параметры методом максимального правдоподобия (ММП) в условиях многомерного нормального распределения ошибок.
В то же время предположение о нормальности ошибок часто является слишком жестким. Например, в наборе данных могут присутствовать грубые ошибки (выбросы), возникающие вследствие нарушения условий эксперимен та, неправильного измерения, засорения данных и т.п. В таких случаях более адекватными являются распределения с тяжелыми хвостами, для которых оценки по МНК могут быть неустойчивыми. С другой стороны, в некоторых ситуациях более адекватным будет предположение об ошибках наблюдений, имеющих хвосты более легкие, чем у нормального распределения, оценки по МНК при этом также теряют некоторые из положительных свойств.
На практике данные часто являются неоднородными (разнораспределен-ными). К неоднородности приводит наличие выбросов в наборе данных, другой пример - гетероскедастичность ошибок наблюдений. В общем случае от наблюдения к наблюдению могут меняться любые параметры модели, и даже вид распределения.
Возможно более полный учет статистических свойств наблюдений способствует повышению качества моделей, однако, на практике далеко не всегда имеется полная информация.
Для решения этой проблемы разработаны различные подходы, приводящие к устойчивым методам оценивания. К таким подходам относятся робаст-ное, адаптивное и непараметрическое оценивание. Непараметрические оценки строятся в предположении неизвестного распределения ошибок, лишь удовлетворяющего ряду ограничений. При робастном оценивании разрабатываются процедуры, оптимальные в окрестности параметрической модели. Исследования по проблеме робастности связаны с именами Дж. Тьюки, П. Хьюбера, Ф. Хампеля, а в нашей стране - Л.Д. Мешалкина, Б.Ю. Лемешко, С.А. Смоляка, Б.П. Титаренко. Один из перспективных подходов, приводящий к устойчивым решениям и разработанный A.M. Шурыгиным, основан на модели байесовского точечного засорения данных. При адаптивном оценивании конкретный вид статистической процедуры выбирается на основе оценки какой-либо характеристики неизвестной функции распределения наблюдений. Концепция адаптивного оценивания регрессионных моделей была разработана Р.В. Хоггом. Один из подходов к адаптивному оцениванию состоит в построении квази правдоподобных оценок при использовании некоторого параметризованного по форме семейства распределений. Благодаря наличию параметра формы имеется возможность для методов оценивания адаптироваться к свойствам ошибок измерений.
Процедуры выбора структуры модели, основанные на использовании МНК- и ОМНК-оценок, также оказываются чувствительными к нарушению предположений классической регрессионной модели. Поэтому при выборе структуры однооткликовой нестрого нормальной модели применяются устойчивые подходы: используются соответствующие модификации информационного критерия Акаике, критериев Меллоуса и cross-validation, пошаговой регрессии. Ведущим специалистом в области робастного выбора структуры является Э. Рончетти.
В классических регрессионных моделях, изучаемых в рамках планирования эксперимента, ошибки наблюдений обычно предполагаются одинаково распределенными, могут использоваться условия нормальности распределения ошибок и их гетероскедастичности. Развитие методов планирования эксперимента связано с именами Р. Фишера, Дж. Бокса, Дж. Кифера, Н. Dette, а в нашей стране - В.В. Налимова, В.В. Федорова, М.Б. Малютова, СМ. Ермакова, В.Г. Горского, Е.В. Марковой, В.И. Денисова, А.А. Попова, Г.К. Круга.
При изучении сложных систем их состояние может описываться характеристиками, измеренными в разных шкалах. В связи с этим может возникнуть задача построения многофакторной модели с разнотипными откликами. Моделирование разнотипных величин рассматривается в работах I. Olkin a, R.F. Tate, WJ. Krzanowski, Ю.И. Журавлева, Н.Г. Загоруйко, Г.С. Лбова.
На практике часто встречаются ситуации, когда наблюдения содержат пропуски. При использовании многомерных методов в этом случае необходимы специальные процедуры обработки данных (Е.М. Beale, RJ.A. Little, D.B. Rubin, Н.Г. Загоруйко).
Несмотря на широкую разработанность методов устойчивого оценивания параметров, вопросы построения моделей многофакторных объектов по неоднородным, негауссовским, зависимым наблюдениям требуют дальнейшей разработки и исследования.
В области оценивания параметров необходимо развитие подхода, использующего модель байесовского точечного засорения, недостаточно разработан подход, основанный на представлении ковариационной матрицы ошибок в виде кронекерова произведения нескольких положительно определенных матриц, недостаточно разработаны методы описания разнотипных откликов и методы моделирования при возникновении пропусков в данных. Методы планирования оптимального эксперимента при ошибках, обладающих указанными выше свойствами, ранее, фактически, не разрабатывались. Недостаточно разработаны методы выбора структуры многооткликовых и негауссовских одно-откликовых моделей. Требуется развитие методов выбора структуры, учитывающих ограничения на параметры модели.
Все вышесказанное позволяет определить задачу разработки и исследования методов планирования эксперимента, оценивания параметров и выбора структуры для моделей многофакторных объектов по неоднородным, негауссовским, зависимым наблюдениям как отдельную область научных исследований, имеющую важное значение для развития теории математического моделирования и ее применения на практике.
Цель и задачи исследования. Целью работы является развитие методов оптимального планирования эксперимента, оценивания неизвестных параметров и выбора структуры для моделей многофакторных объектов в условиях неоднородности, негауссовости, зависимости наблюдений. Основными задачами исследования является построение, исследование и применение данных методов.
Методы исследования. Исследование базируется на использовании результатов теории вероятностей, математической статистики, математического анализа, вариационного исчисления, теории оптимального планирования эксперимента, регрессионного анализа, численных методов, методов оптимизации, методов статистического моделирования.
Достоверность и обоснованность научных положений, рекомендаций и выводов обеспечивается: применением для исследования развиваемых подходов аналитических методов, результатами исследования методов с использованием статистического моделирования, решением прикладных задач.
Научная новизна. Получены следующие новые результаты, которые выносятся на защиту:
- получены вид критерия качества оценок и вид оптимальных оценочных функций устойчивых оценок параметров одномерных моделей при неоднородных данных и неоднородном байесовском точечном засорении; доказаны теоремы о свойствах оценочных функций; получен вид устойчивых оценочных функций неоднородной двусторонней экспоненциальной модели, однородных финитной и приближенной финитной моделей, неоднородной многомерной нормальной модели;
- введена общая мультипликативная ковариационная структура, когда ковариационная матрица ошибок наблюдений представляется в виде кронеке-рова произведения нескольких положительно определенных матриц, изучены свойства ММП-оценок регрессионной модели при эллиптическом распределении ошибок наблюдений, предложена схема покомпонентного вычисления оценок, в которой используются простые вычислительные формулы;
- предложена модель для описания зависимости откликов количественного и качественного типов от входных переменных, решена задача оптимального планирования эксперимента для данной модели, разработаны ЕМ-алго-ритмы поиска оценок параметров модели при мультипликативной ковариационной структуре ошибок количественных откликов и наличии пропусков в наборе данных;
- впервые поставлена и исследована задача планирования эксперимента при оценивании параметров модели по неоднородным негауссовским наблюдениям методом максимального правдоподобия и робастными методами; для случая робастного оценивания изучены свойства непрерывных планов эксперимента и получены условия их оптимальности;
- впервые поставлена и исследована задача оптимального планирования эксперимента при оценивании параметров многооткликовых регрессионных моделей в условиях действия вероятностного механизма возникновения пропусков в наборе данных;
- впервые сформулирована обобщенная задача выбора структуры модели, включающая оптимизацию состава регрессоров (функций от входных переменных) и системы линейных ограничений на параметры;
- предложены критерии качества многооткликовых моделей с линейными ограничениями на параметры; разработаны эффективные по затратам вычислительные схемы алгоритмов решения обобщенной задачи выбора структуры;
- предложены критерии качества при робастном оценивании многоот-кликовой нормальной модели и однооткликовой двусторонней экспоненциальной модели; предложен принцип варьирования модели для конструирования критериев в случае негауссовских и зависимых ошибок наблюдений.
Личный вклад. Все результаты, приведенные в диссертации без ссылок на чужие работы, принадлежат лично автору.
Практическая полезность и реализация результатов работы. Разработанные в диссертации подходы позволяют эффективно решать задачи оценивания параметров, планирования эксперимента и выбора структуры при построении многофакторных моделей по неоднородным, негауссовским, зависимым наблюдениям. Созданное программное обеспечение позволяет автоматизировать процесс построения моделей. Разработаны модели реальных технологических и социально-экономических процессов. Полученные результаты на шли практическое применение в Новосибирском государственном техническом университете (НГТУ), Новосибирском институте информатики и регионального управления, Западно-Сибирском центре антикоррозийной защиты ООО «МОБИЛ СТРОЙ XXI», ОАО «Новосибирский завод химконцентратов».
Апробация работы. Результаты диссертационной работы докладывались и обсуждались на Международных конференциях «Актуальные проблемы электронного приборостроения» (г. Новосибирск, 1996, 1998, 2000, 2002, 2004 гг.) [93, 97, 103, 106, 122], на Международных научно-технических конференциях «Информатика и проблемы телекоммуникаций» (г. Новосибирск, 1997, 2001, 2002 гг.) [99, 102, 123], на Международной научно-технической конференции «Информационные системы и технологии» (г. Новосибирск, 2000 г.) [98], на Российских научно-технических конференциях «Информатика и проблемы телекоммуникаций» (г. Новосибирск, 1994, 1996 2000, 2004, 2005, 2006 гг.) [17, 18, 27, 89, 94, 118, 124 - 126, 129 - 131], на Всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации» (г. Новосибирск, 2003 г.) [26], на Сибирских конгрессах по прикладной и индустриальной математике (г. Новосибирск, 1996,2000 гг.) [95,119], на научном семинаре кафедры прикладной математики Томского политехнического университета и кафедры АСУ Томского государственного университета систем управления и радиоэлектроники (г. Томск, 2006 г.), на научных семинарах кафедры прикладной математики НГТУ.
Работа над диссертацией в 2005 - 2006 гг. проходила в рамках следующих проектов: «Информационная технология построения многофакторных моделей по неоднородным, негауссовским, коррелированным наблюдениям» (поддержан грантом Президента РФ, № МК-3376.2005.9, 2005 - 2006 гг., автор - руководитель проекта), «Планирование эксперимента, оценивание параметров и выбор структуры при построении многофакторных моделей по статистическим данным, содержащим разнораспределенные, негауссовские, коррелированные ошибки» (поддержан Министерством образования и науки РФ, ве домственная научная программа «Развитие научного потенциала высшей школы», код проекта 4574, 2005 г., автор - руководитель проекта), «Методы построения многофакторных моделей по статистическим данным и их применение к моделированию технологических процессов» (поддержан грантом Администрации Новосибирской области, договор № ФГМ-4-05, 2005 г., автор - руководитель проекта), «Методы моделирования статических и динамических многофакторных объектов стохастической природы» (поддержан Министерством образования и науки РФ, аналитическая ведомственная целевая программа «Развитие научного потенциала высшей школы», код проекта РНП-2.1.2.43, 2006 г.).
Публикации. Автор имеет 57 научных работ, из них по теме диссертации - 42 работы ([18, 26, 42 - 45, 50, 70, 90, 91, 93, 94, 96, 97, 100 - 117, 120 -123,126 - 128,130 - 132]), в том числе: 19 статей в ведущих научных журналах и изданиях, входящих в перечень, рекомендованный ВАК РФ, (представлены в автореферате); 10 статей в сборниках научных трудов; 13 статей в материалах Международных и Российских конференций.
Структура диссертации. Диссертация состоит из введения, шести глав, заключения, списка использованных источников и двух приложений.
Первая глава содержит описание рассматриваемых моделей, постановки задач оценивания параметров, планирования эксперимента, выбора структуры и обзор полученных результатов в этих областях.
Вторая глава посвящена развитию методов устойчивого оценивания, основанных, главным образом, на модели байесовского точечного засорения.
В третьей главе развиваются методы оценивания параметров многомерных моделей с количественными и разнотипными откликами и мультипликативной ковариационной структурой ошибок количественных откликов.
Четвертая глава посвящена развитию методов планирования эксперимента при ММП- и робастном оценивании параметров моделей количественных откликов по неоднородным негауссовским наблюдениям и при ММП-оценива нии параметров моделей разнотипных откликов.
В пятой главе развиваются методы выбора структуры однооткликовых и многооткликовых гауссовских и негауссовских моделей.
Шестая глава посвящена использованию разработанных методов оценивания параметров, планирования эксперимента, выбора структуры и программного обеспечения для моделирования реальных технологических и социально-экономических процессов.
В приложении 1 описывается разработанное программное обеспечение, в приложении 2 представлены документы, подтверждающие использование результатов.
Автор выражает глубокую благодарность доктору технических наук, профессору В.И. Денисову за поддержку и постоянное внимание к работе, доктору технических наук A.M. Шурыгину за критические замечания и обсуждение ряда вопросов устойчивого оценивания.
Модель с качественными и разнотипными факторами
До сих пор мы не обращали внимание на природу факторов, от которых зависят отклики. Однако рассмотренные выше методы непосредственно можно использовать лишь в случае, когда факторы измерены в количественной шкале. Этот случай изучает регрессионный анализ. Модели с качественными факторами рассматриваются в дисперсионном анализе [8, 53, 194, 282], а модели с разнотипными факторами - в ковариационном анализе [186,194].
Рассмотрим пример однооткликовой модели с качественными факторами. Пусть имеется два фактора с J и К уровнями варьирования соответственно. Запишем модель в виде _уд = \х + ау + (Зд- + (оф)д + ед, где j = 1,...,J, k = \,...,K, Ц - аддитивная постоянная, a,- - главный эффект у-го уровня первого фактора, (Зд- - главный эффект к -го уровня второго фактора, (оф)д - взаимодействие у-го уровня первого фактора и к -го уровня второго фактора. Данная модель содержит неизвестные параметры ц., a ,, (3 , (оф)д, j = 1,..., J, k-\,..., К, требующие оценки.
Чтобы использовать качественные факторы, их необходимо закодировать набором вспомогательных (фиктивных) переменных, каждая из которых может принимать только два возможных значения: 1 или 0. При этом число вспомогательных переменных определяется числом уровней варьирования качественных факторов. Так, если некоторый фактор л:/ имеет v уровней варьирования J/1,5/2,...,5/v, то в модель вводится v вспомогательных переменных jtfl,jt/2,..., /v Вспомогательная переменная Ху принимает значение 1 в случае Xf = Sy и 0 - в случае дг/ Ф Sy.
Рассмотрим многооткликовую модель вида Y = XQ + ZA + E, (1.41) где Y- Nxl-ыатрица. N измерений / откликов системы, Х- Л -матрица Означений / фиктивных переменных, связанных с качественными факторами, Z -іУляг-матрица N значений m регрессоров, выражаемых в количественной шкале, 0 и А - txl- и /wxZ-матрицы неизвестных параметров, Е - JVxZ-матрица неизвестных значений /-мерного вектора ошибок наблюдений.
Система уравнений (1.41) представляет собой модель многомерного ковариационного анализа. Слагаемое ZA задает регрессионную часть модели, а слагаемое -дисперсионную.
Можно рассмотреть общую модель, включающую взаимодействия количественных и качественных факторов [52, 157]. В дальнейшем будем предполагать, что эти взаимодействия включены в дисперсионную часть.
Многомерную ковариационную модель (1.41) можно представить как традиционную многооткликовую модель специального вида. Как и в случае регрессионных моделей, зависимость откликов от качественных и разнотипных факторов можно строить в виде моделей псевдонезависимых регрессий и моделей с общими параметрами, если априорно наложить некоторые ограничения на элементы матриц 0 и А.
Отличительной чертой модели (1.41) является неполнота ранга матрицы X. Для получения единственного решения при оценивании по МНК используют обобщенное обращение матриц [39, 53, 282], приведение исходной модели к регрессионной модели полного ранга [48, 52, 157, 172], введение идентифицирующих ограничений [172,194].
Отметим, что при наличии неполного ранга матрицы X оценки параметров уже не будут несмещенными. В связи с этим особый интерес вызывают некоторые линейные комбинации параметров, называемые функциями, допус т кающими оценку (ФДО). В модели (1.1) параметрическая функция с 0, где с - вектор постоянных коэффициентов, называется функцией, допускающей оценку, если для нее существует такой вектор а, что Е a Y) = с 0. Для мо т дели (1.1) с ограничениями (1.9) функция с 0 называется функцией, допус Т кающей оценку, если существует линейная функция a Y + d такая, что Е laTY + d\ = cTQ при RQ = d.
Исходную модель (1.41) можно привести к модели полного ранга, воспользовавшись факторизацией матрицы X вида X = XQX\ [157]. Получим Y = X0Xie + ZA + E = X0 + ZA + E, (1.42) при этом матрица XQ имеет полный столбцовый ранг, матрица Х\ имеет полный строчный ранг, матрица 0 = Х\& содержит значения системы линейно независимых ФДО.
Оценивание неоднородной одномерной модели
Для плотности (2.24) равенство (2.17) проверяется аналогично. На практике оцениваемый параметр часто является векторным. Например, вместе с параметром сдвига оцениваются мешающие параметры (параметры масштаба и формы). Конструирование векторных оценочных функций - более сложная задача. Будем ее решать, составляя вектор из оценочных функций, полученных для каждого параметра в отдельности. Далее, хотя решения в теории робастности могут формулироваться в виде оптимальной оценочной функции, часто требуется знание вида функции потерь, например, при выборе структуры модели или выборе одного решения оценочного уравнения из нескольких. Рассмотрим эту проблему для обобщенных радикальных оценок.
Часто встречающейся задачей является одновременное оценивание параметров сдвига и масштаба. Для нее справедлив следующий результат. Теорема 2.7. Пусть 0j - параметр сдвига, 02 - параметр масштаба и справедливы условия теорем 2.3 и 2.4. Тогда локальный минимум функции 082/(1+5) N Є(Єі,Є2) = --2— 2 а( /,Єі,Є2) (2.28) 5 /=1 соответствует обобщенной радикальной оценке параметров Gj, 02- Доказательство заключается в дифференцировании минимизируемой функции. В общем случае определить функцию потерь невозможно, однако можно указать функцию, в некотором смысле близкую ей. Теорема 2.8. Пусть 0 - вектор оцениваемых параметров, тогда локальный минимум функции 1 N 2(Є) = -72 5( /,Є) (2-29) 5/=1 удовлетворяет системе оценочных уравнений 9=9 Доказательство заключается в дифференцировании минимизируемой функции.
Оценочные функции в теореме 2.8 отличаются от обобщенных радикальных тем, что не учитывают условие асимптотической несмещенности (1.47). Аналогично, дифференцируя функцию (2.28) по произвольному параметру, отличному от параметров сдвига и масштаба, получим оценочную функцию, эквивалентную (2.30).
Говоря о прикладных аспектах развиваемой теории, следует заметить, что во многих случаях не существует простых аналитических выражений для равнооптимальной оценочной функции. Тем не менее, она, по-видимому, обладает наиболее привлекательными свойствами с точки зрения рассмотренного подхода.
В качестве альтернативы равнооптимальной оценке может использоваться радикальная оценка, которая во многих практически значимых частных случаях тоже в равной степени обеспечивает эффективность и устойчивость. Обычно при незначительно меньших величинах эффективности и устойчивости радикальная оценка, благодаря относительно простому аналитическому виду, оказывается наиболее удобной для практического применения.
Пусть вектор, составленный из независимых наблюдений за откликом (откликами) исследуемой системы, можно разделить на р подвекторов (групп наблюдений) так, что ошибки наблюдений одной группы являются одинаково распределенными. Рассмотрим регрессионную модель вида Уу=/Т(Хд)в + ед,1 = 1,...,р,] = 1,...,Ц, (2.31) где уу - j-Q наблюдение в /-и группе, X}; - вектор входных переменных, еу - ненаблюдаемая ошибка, щ - количество наблюдений в /-и группе.
Ошибки наблюдений 1-й группы имеют модельное распределение с функцией Gj(z), плотностью gt(z), нулевым параметром сдвига и мешающими параметрами: параметром масштаба и, возможно, параметром формы. А М -оценку 0 вектора параметров определим путем минимизации функции вида Р Щ Є(Є) = р,{/?;(Є)], (2.32) і=1 j=\ т где p/[z] - функция потерь /-й группы, Гу($) = Уу - f (%)0 - остаток, соответствующий у -му наблюдению в /-й группе.
Если функции p/(z) дифференцируемы, то, приравняв нулю частные производные функции (2.32) по элементам вектора параметров при его значе-нии, равном 0, получим систему оценочных уравнений
Частные случаи эллиптического распределения
Решение системы оценочных уравнений в общем случае можно осуществлять методом покомпонентного оценивания. Удобно выделить подмножества оцениваемых параметров {0}, {C/j},..., \U„ \,{v\},...,jv„ }.
На этапе уточнения оценки параметра 0 можно пользоваться ИМНК с использованием весовой функции К 7г-,л/,Уу(л). При поиске оценок параметров U\,...,Uy, можно применить аналогичный подход, который сведется к итеративному пересчету на соответствующем этапе оценок U; (по формуле (3.3)) с использованием в весовой функции w(#/ w/ Vy(/)) оценок ее аргументов, вычисленных на предыдущей итерации. Для вычисления значений параметров формы на очередной итерации следует воспользоваться каким-либо численным методом поиска решения системы уравнений.
При использовании данного подхода требуется положительная определенность оценок матричных параметров ковариационной матрицы, вычисляемых на каждой итерации.
Теорема 3.2. Необходимыми условиями положительной определенности очередного приближения оценки Uj, j = 1,..., им, полученного на любой итерации алгоритма покомпонентного оценивания, являются
Доказательство следует из вида уравнения (3.3) и свойств ранга матрицы. Например, для ковариационной структуры (3.2) условия имеют вид
Pi Р2РЗ Р2 PlP3 РЪ Р\Р2 Рассмотрим ситуацию, когда значения весовой функции для всех групп оказываются одинаковыми w(#/ «/,Vy/A) = w. Например, весовая функция может являться константной; если в случае полной априорной идентифици 185 руемости каждая группа имеет свой параметр формы, то весовая функция зависит (если зависит) только от аргумента щ, в результате для обеспечения равенства весов все группы должны иметь одинаковую размерность.
Обозначим 9, Uj - ММП-оценки параметров в условиях нормальных ошибок, данному случаю соответствует константная весовая функция w = 1. Выделим ситуацию, когда множество матричных параметров Uj, j = 1,...,пи разбито на два подмножества J\ и J2 так, что оценки параметров из подмножества J\ пересчитываются на итерации покомпонентного оценивания первыми и в каждой матрице V; присутствует ровно один матричный параметр из подмножества J\. В этом случае на очередной 5-й итерации покомпонентного оценивания справедливы равенства
Таким образом, полученные в результате работы алгоритма оценки 9, Uj равны ММП-оценкам в условиях нормальных ошибок с ковариационной матрицей /-й группы, равной Vf (за исключением матричных параметров из подмножества J\, увеличенных по сравнению с соответствующими оценками в нормальном случае в w раз).
Получить аналитический вид априорных значений можно для широкого круга распределений. Рассмотрим многомерные распределения эллиптического типа, указанные в табл. 3.1.
Для нормального распределения w( -,«z-) = l и все этапы одной итерации покомпонентной процедуры являются неитеративными. Рассмотрим результаты для распределения Стьюдента. Поскольку ШЯі,іЧ,Уу(і)) _ W/+vY(Orv 4./ 4-(«/+vy(/))/2-1 для весовой функции справедливо представление ЧЯі Щ,чу(і)) = (и/ + vy(/))/(vy(/) +qf).
Уравнение (3.6) в этом случае имеет вид qj = щ(УуГ(\ + %{)Кц + у(/)) В результате получим % —щ и W; = 1. В данном случае величины q и поимеют указанные априорные значения независимо от априорной идентифицируемости соответствующего параметра формы и его значения, причем весовая функция является константной.
Уравнение (3.9) приводится к виду DG[( . + v/)/2]o(/i/ + v/) + ta(v/)-DG(v//2) = 0. Решением уравнения является V/ =оо. Таким образом, ММП-оценки в этом случае совпадают с ММП-оценками, полученными в условиях нормального распределения.
Рассмотрим оценивание при ошибках, имеющих многомерное распределение Стьюдента.
В случае априорной неидентифицируемости для вычисления ММП-оценок следует использовать исходную систему уравнений правдоподобия. Получаемый алгоритм назовем адаптивным. Им можно пользоваться и в остальных случаях, игнорируя возможности учета априорной идентифицируемости.
В случае полной априорной идентифицируемости, согласно полученным результатам, следует воспользоваться ММП-оцениванием в рамках нормальной модели.
Планирование эксперимента при зависимых ошибках наблюдений
В результате решение задачи планирования эксперимента для линейной по параметрам модели при неоднородных наблюдениях усложняется по сравнению со случаем однородных наблюдений. Здесь могут быть использованы стратегии локально оптимального, последовательного, минимаксного, байесовского планирования [183,213 - 216,219].
В случае, когда функция эффективности неизвестна, ее можно параметризовать и оценивать [183].
Предположим, что вид функций Xj(x), V/(x) известен с точностью до векторных параметров X/ и V/: Я/(х)=А,Дл:Дн, V/-(X)=V/(JC,V/-). Введенные параметры могут быть оценены по ММП совместно с вектором параметров регрессии 0. Планирование эксперимента в этом случае может быть направлено на повышение точности не только основных параметров 9, но и параметров функции эффективности [216].
В качестве примера рассмотрим планирование эксперимента на составных областях. Предположим, что для /-го отклика введены два разбиения области планирования X на области Х-1, / = 1,...,и ., и на области XJ ,к = \,...,Пу., в которых являются постоянными функции \((х) и V/(JC) соответственно. В этом случае функции Xj(x) и Vj(x) определяются величинами к;;, j = 1,...,п ., и Vj-, = 1,...,Лу., задающими значения функций в соответствующих областях: Xj(x) = Ху, х є X , v,-(#) = v , хеХ 1. В случае, когда разбиения \Х.-Ё ,j = l9...9n .\ и ІХ ,к = \,...,Пу.\ совпадают при всех / (п . =nv.), для оценивания неизвестных параметров можно применять подходы, рассмотренные в главе 2 или их модификации.
На практике модель составных областей может быть использована, когда в разных подобластях области планирования измерение откликов производится приборами, имеющими разные характеристики, либо когда с помощью соответствующей функции эффективности можно аппроксимировать неизвестную функцию эффективности.
Пусть /-мерный вектор ошибок одновременных наблюдений за всеми откликами в некоторой точке х имеет эллиптическое распределение с плотностью вида g(z,x) = g[z,V(x),v(x)] = C[v(x)]\V(x)\-V2 g[q(x),v(x)], где v(x) - значение скалярного параметра формы распределения в точке д;, V(x) - значение псевдоковариационной матрицы в точке х, Т —1 г і q(x) = z V (x)z, g v] - функция, обладающая свойствами плотности распределения (за исключением условия нормировки). При этом предполагаются известными функции V(x) и v(x), определяющие зависимость псевдоковариационной матрицы и параметра формы от точки х.
В качестве законов распределения ошибок наблюдений на практике часто используют частные случаи эллиптического распределения: многомерное нормальное распределение и многомерное распределение Стьюдента.
Информационная матрица для многооткликовой модели имеет вид (1.62) с матричной функцией эффективности, определяемой в общем случае как П( ) = Е д In g(z, х) д In g(z,x) dz dzT
Для произвольного эллиптического распределения при выполнении некоторых условий регулярности функция эффективности имеет вид [245] (4.1) П(дг) = Cl[V(x)9v(xj\ = ф)Г \х), где (х) = o[V{x), v(x)] = - Е \q{x)w2 ( )}.. 2 dg[q,v(x)] w(x) = - g[q(x)M )] fy q=q{x) Для нормального распределения функция со(х) равна единице, для рас пределения Стьюдента она равна [245] CO(JC) = cofv(x)l = —— . Вид за J v(x) + l + 2 висимости функции GO (v) от значения параметра формы при различных значениях размерности / для распределения Стьюдента приведен на рис. 4.6.
Зависимость функции co(v) от значения параметра формы для распределения Стьюдента различной размерности Как и в случае независимых наблюдений, неполнота информации о функции эффективности приводит усложнению решения задачи планирования эксперимента. При практическом применении различных стратегий планиро 235 вания можно параметризовать каким-либо образом функции V(x), v(x): V(x) = V[x,V),v(x) = v(x,v), где V и v - векторы параметров функций V(x) и v(x) соответственно, и оценивать их параметры по наблюдениям. Например, можно ввести разбиения области планирования X на области Xj , j = 1,...,пу, в которых является постоянной функция V(x), и на области ХУ, k = \,...,nv, в которых является постоянной функция v(x): V(x) = Vj, хеХ;, v(x) = vjc, хєХ .В результате вновь приходим к задаче планирования на составных областях.
