Оптимизация минимально контрастного оценивания нелинейной однопараметрической парной регрессии Гетманская Ирина Васильевна

Содержание к диссертации

Введение

Глава 1. Итерационное минимально контрастное оценивание регрессионного коэффициента 21

1.1. Постановка задачи 22

1.2. Весовая функция регрессии 25

1.3. Наблюдаемые значения регрессионного коэффициента 27

1.4. Рекуррентная формула оценивания регрессионного коэффициента 28

Выводы 30

Глава 2. Оптимизация минимально контрастного оценивания регрессионного коэффициента 31

2.1. Начальное приближение 31

2.2. Условие окончания итерационного процесса 36

2.3. Погрешность оценки 40

2.4. Условия оптимальности оценивания 46

Выводы 50

Глава 3. Алгоритм итерационного минимально контрастного оценивания нелинейной однопараметрической парной регрессии 52

3.1. Алгоритм оптимизации минимально контрастного оценивания регрессионного коэффициента нелинейной парной регрессии 54

3.2. Итерационный процесс минимально контрастного оценивания регрессионного коэффициента 57

3.3. Отыскание прогнозируемой погрешности минимально контрастной оценки регрессионного коэффициента 61

3.4. Моделирование исходных данных численного эксперимента оценивания 63

Выводы 67

Глава 4. Сравнение результатов итерационного минимально контрастного и классических методов оценивания нелинейных однопараметрических парных регрессий 68

4.1. Сравнение с результатами оценивания методом наименьших квадратов 69

4.2. Сравнение с результатами оценивания методом ньютона -гаусса 74

4.3. Сравнение с результатами оценивания методом марквардта 78

4.4. Итерационное минимально контрастное оценивание параметров полупроводников и сравнение его результатов с оценками метода конфлюентного анализа 84

Выводы 90

Заключение 92

Список литературы 94

• Весовая функция регрессии
• Условие окончания итерационного процесса
• Алгоритм оптимизации минимально контрастного оценивания регрессионного коэффициента нелинейной парной регрессии
• Сравнение с результатами оценивания методом наименьших квадратов

Введение к работе

Актуальность работы. Научно — технический прогресс в его современном состоянии всеобщей компьютеризации характеризуется проникновением во все сферы деятельности человека наукоёмких технологий, что обусловливает для их создания и совершенствования широкое применение математических методов. Многие технологии связаны с обработкой и интерпретацией исходных данных, что, как правило, осуществляется решением обратных задач, в частности, восстановлением неизвестных параметров состояния объекта исследования по данным о его состоянии. Для решения обратной задачи необходима математическая модель состояния объекта исследования, являющаяся лишь некоторым приближением её к реальности.

Например, в технологиях локальной диагностики материалов промышленной опто и микроэлектроники используются модели жёсткого электромагнитного излучения, возникшего в результате взаимодействия заряженных частиц с объектами исследования. На их основе строятся методы микроанализа: определение локальных параметров материала по регистрируемым сигналам интенсивности электромагнитного излучения образца. Так, в работах [1, 2] совершенствуются модели катод олюминес-центного излучения полупроводников.

В технологиях спутникового зондирования для прогнозирования глобальных и региональных изменений природной среды, применяются сложные модели геофизических, биохимических, климатических процессов. Например, объём биомассы растительности на поверхности суши или содержание хлорофилла в водоёмах по их спектральным образам предназначены сложные модели состояния природных экосистем [3].

Для прогнозирования социальных и социально-экономических явлений применяются сложные модели их состояний [4]. Так, количественные закономерности строения и функционирования социума и социаль-

5 но -экономических систем позволяют определить параметры его равновесия, дестабилизации и развития.

В геофизических исследованиях, несмотря на большую сложность, моделей интенсивности магнитного и гравиметрического полей в зависимости от параметров местоположения руды [5], они применяются для оценки параметров местоположения руды по данным аэрофотосъёмки [6].

В ядерной физике используются модели, описывающие ядерную структуру или межъядерные силы с помощью уравнений квантовой механики [7].

В рамках данной работы нет необходимости в освещении всего многообразия существующих моделей.

Надо иметь в виду, что математическая модель является лишь некоторым приближением её к реальности. Простая модель может не отражать важные особенности объекта. Ещё с работ Николая Кузанского (XV век) в гносеологии считается, что реальность сложнее сколь угодно сложной модели [8].

Результат решения обратной задачи в первую очередь зависит от степени приближения к реальности описывающей её модели. Чем модель точнее, тем от большего числа параметров она зависит, вследствие чего её аналитическое представление становится сложным, что влечёт за собой проблемы её использования.

Наблюдаемые параметры состояния объектов исследования, как правило, отягощены ошибками измерений. Для их обработки и интерпретации не менее важным, чем подбор адекватной модели, является корректное применение методов регрессионного анализа, которые базируются на основные понятия и методы теории вероятностей и математической статистики [9 - 15].

Развитие регрессионного анализа, как элемента математической статистики, в первой половине 20-го столетия строилось в основном исходя из параметрического подхода вследствие его вычислительной простоты,

соответствия предположениям рассматриваемых моделей, а также математического удобства такого описания.

Пусть известна природа совокупности данных x_t, у;, i = l,n, и найдена с точностью до неизвестного параметра 9 математическая модель в виде зависимости Y — г{Х,д}. По результатам п независимых наблюдений значений фактора jc_z- и отклика y_t таких, что

Уі-Yi + Si, x^Xj + Si,

где г = l,w - номер наблюдений, 8,-, s,- - погрешности, возникающие из —за

неучтенных факторов, и (или) ошибок измерений значений независимой X,- и зависимой Y_t переменных. Оценить параметр в можно одним из методов параметрического сглаживания.

В регрессионном анализе функцию У = г(Х,#) называют параметрической регрессией, а оцениваемый параметр в - регрессионным коэффициентом. В общем случае параметрическая регрессия Y = г(Х,9) - нелинейная относительно параметра 0 функция.

Оценивание регрессионного коэффициента обычно проводится с помощью некоторого критерия, строящегося с использованием функционала

п F = ^p(8_z), который является неотрицательной, неубывающей, выпуклой /=1

функцией, зависящей от величины s_z- =jF_/-r(X/,9). Оценка 0 параметра 0 должна обеспечивать минимум функционала F, хотя бы приближённо. Если функция г{х,9) дифференцируема по параметру в, то оценка в находится в результате решения оценочного уравнения

(0.1)

полученного на основании необходимого признака существования локального минимума функционала F, в котором

Метод оценивания параметра Э минимизацией по нему функционала F, у которого р(є_г-) = Пу_г—-r(X/,0)j , называется методом наименьших

квадратов (МНК) [16].

Обобщением МНК является метод наименьших расстояний [17], ми-

п нимизируемый функционал которого F = ^р(є/,5_г-) зависит от функции

/=1

р(в_і,5_і) = (у_і-г(Х_і,в))² +(^-^-)².

При условии, когда x_t - измеренные значения X; без погрешностей 8,-, то есть х₍. и Xf совпадают, этот метод совпадает с МНК.

Статистическая база наименьших квадратов была подведена в 1809 году немецким учёным Гауссом, исходя из введённого им принципа максимального правдоподобия. Он сформулирован [18] так: наилучшее описание является то, которое даёт наибольшую вероятность получить в результате измерений именно те значения, которые были фактически получены.

Если закон распределения погрешностей известен и он нормальный, то минимизируемый функционал, полученный методом максимального правдоподобия, совпадает с функционалом, соответствующим взвешенному МНК с весами, определяемыми среднеквадратичными отклонениями погрешностей. Данное обстоятельство является веским теоретическим обоснованием (с вероятностной точки зрения) того, что при нормально распределенной погрешности исходных данных оптимальной оценкой регрессии является оценка МНК.

Оценка параметра в минимизацией итерациями функционала, полученного по принципу максимального правдоподобия с учётом погрешно-

8 сти не только отклика, но и предиктора, является оценкой метода конфлю-энтного анализа (КА) [19, 20].

Вычислительные алгоритмы оценивания параметрической регрессии - алгоритмы поиска глобального (если нет уверенности в том, что локальный минимум один) или локального минимума [21, 22] функционала F. С появлением компьютеров стали широко применяться специальные методы, такие как Ньютона- Гаусса, Марквардта, локальной минимизации, учитывающие специфику минимизируемого функционала [23 - 27]. Алгоритмы итерационного типа имеют «недостаток, присущий большинству методов локального поиска, заключающегося в том, что для их сходимости требуется хорошее начальное приближение» [24].

В диссертационной работе в качестве начального приближения предлагается оценка, полученная на основании формирующих итерационную формулу оценивания данных. Доказанная в рамках определённой точности состоятельность начального приближения, в рамках той же точности снимает остроту проблемы «плохого начального приближения», что оптимизирует сглаживание итерациями.

Классические методы математической статистики базируются на представлении о нормальном распределении погрешности исходных данных, в то время как современный подход статистики состоит в использовании непараметрических [28-33] и устойчивых [34-37] (робастных) методов, в меньшей степени опирающихся на предположения о законе распределения погрешности.

Предназначением методов непараметрического сглаживания является решение прямых задач для эмпирического построения модели зависимости между наблюдаемыми параметрами состояния изучаемого объекта. Непараметрический подход был открыт в 1857 году саксонским экономистом Энгелем. Этими методами долгое время пренебрегали. Нынешний интерес к ним обусловлен осознание того, что непараметрические методы обладают гибкостью и используют лишь минимальную априорную ин-

9 формацию, например, о непрерывности или симметричности функции распределения случайных погрешностей.

Разработанный в диссертационной работе метод, в результате нелинейной аппроксимации модельной регрессии в точках с координатами, соответствующими исходным данным оценивания, приобретает свойство гибкости непараметрического подхода, что позволило найти критерий оптимальности оценивания, согласующейся с реальными результатами оценивания.

С 60-х годов 20-го столетия в связи с появлением компьютеров появились методы прикладной статистики, в которых отказ от некоторых классических рекомендаций математической статистически компенсировался расширением круга решаемых задач. Методы анализа данных в них, в отличие от классических, меньше опираются на представление о законах распределения исходных величин.

Причины ограниченной прикладной ценности классической статистики указывались ещё А.Н.Колмогоровым [38] и Дж. Тьюки [39]. В [39] на простом примере оценки центра нормального распределения показана неустойчивость оценки максимума правдоподобия к слабому отклонению плотности распределения от модельной.

Оптимизацию решения предложил П. Хьюбер [40]: он нашёл наилучшую оценку центра нормального распределения при наихудшем симметричном загрязнении и назвал её робастной (гоЬизг=здравая). Л.Д. Ме-шалкин [41] предложил семейство устойчивых оценок всех параметров многомерного нормального распределения. Объёмное статистическое моделирование в Принстонском университете [42] показало, что оценка Хьюбера неустойчива при нарушении симметрии загрязнения. Там же были опробованы и рекомендованы десятки других оценок центра, более устойчивые, чем простое среднее. Эти способы перенесены на задачу регрессии, решения которой называются робастной регрессией.

10 Количество робастных регрессий больше, чем количество оценок, предложенных в Принстонском эксперименте. Так, Юречкова [43] предложила аналогичную выборочной медиане функцию р(є) = \є\, соответствующую методу наименьших модулей Форсайд и др. [44]

соответствующую обобщённому методу наименьших модулей а Мешалкин [45] — экспоненциальную функцию

p(s) = -Qxp{—Лє /2), соответствующую методу семейства оценок Ме-

шалкина. Харин и Сталевская [46] избавились от необоснованности оценок, предусмотрев в исходной модели погрешности в определении, как отклика, так и предикторов. Предложенные Шурыгиным [47] регрессии, учитывающие ошибки отклика и предиктора, удобны для создания устойчивых решений.

Робастные методы основаны на более общих, чем в классических методах предположениях относительно случайных ошибок. Так, считают, что в методе минимакса [36] эти ошибки независимы и имеют симметричный закон распределения, в ранговых методах [48] распределены непрерывно и одинаково, а в методе наименьших модулей [43, 49] и знаковом методе [50] с равными вероятностями принимают положительные и отрицательные значения.

В данной работе найден критерий выбора оптимальной регрессии на основе данных оценивания апостериори в отличие от выше описанных методов с условиями оптимальности априори, что позволяет считать его более обоснованным для реального эксперимента, в условиях неопределённости относительно законов распределения погрешностей. Это актуально для прикладных методов регрессионного анализа.

Для практических задач оценивания характерна неполнота информации относительно законов распределения погрешностей наблюдаемых параметров. Поэтому без проверки гипотез для каждого нового эксперимента

оценивания о предполагаемом (нормальном) распределении погрешности применение классических методов необоснованно.

Поэтому весьма актуальна разработка методики, позволяющей осуществлять робастное оценивание достаточно сложных моделей в характерных для реального эксперимента условиях.

Так, в предположении о нормальности погрешности исходных данных оценивания параметров полупроводникового материала (диффузионной длины ННЗ и скорости поверхностной рекомбинации) в работах [51 -57] исследованы возможности МНК и КА. Результат оценивания МНК и КА диффузионной длины ННЗ равен 0,3+0,1 мкм, из которого видно, что для субмикронного разрешения точность данного оценивания не достаточна. Объяснить не достаточную точность результата оценивания можно не только необоснованностью применения МНК и КА в реальных условиях эксперимента, но и тем, что, например, в работах [51, 52] используются методы линеаризации регрессионной зависимости интенсивности КЛ излучения от энергии первичных электронов.

Для класса линейных и линейных по параметру регрессионных моделей методы регрессионного анализа подробно изучены и хорошо разработаны. Они обсуждаются в подавляющем большинстве работ. Связано это с тем, что: 1) нелинейные методы сложнее для практического применения, чем линейные, 2) для сложных моделей возникают проблемы применения нелинейных методов, 3) для класса нелинейных регрессионных зависимостей можно применять линейные методы, предварительно линеаризовав нелинейную регрессионную модель. Известно [58], что преобладание в прикладном регрессионном анализе линейных по параметрам моделей отражает тот факт, что при решении конкретных задач неизвестный отклик изучаемой системы заменяется его полиномиальной аппроксимацией. Между тем, нелинейные модели регрессии обладают важными преимуществами перед линейными. Основное из них состоит в большей адекватности

12 нелинейных моделей с существенно меньшим числом неизвестных параметров.

Несмотря на то, что задача параметрического оценивания нелинейных регрессионных моделей значительно сложнее, чем аналогичной задачи для линейных моделей, задачи нелинейного сглаживания на практике встречаются часто. Это происходит по следующим причинам [23]:

а) нелинейность исходит из сущности явления, для описания которо
го предназначена модель;

б) дополнительная информация об истинном характере зависимости
позволяет выбрать достаточно точную нелинейную модель с значительно
меньшим числом параметров, чем аналогичной линейной модели;

с) линеаризация модели часто приносит значительно больше потерь, чем выгод.

Примерами нелинейных моделей могут служить:

1) широко применяемая в исследованиях кинетических задач мо
дель

г(х,в) = Yui ^QXP(-⁰i+m ^х) > /=1

которая возникает при решении систем линейных дифференциальных уравнений;

2) модели

( l\

г(х,в) = ^^ві^ехЛ~^ві+т(^х-⁰і+2т) J и

/=1

т л

_{'М)= —-}

і=\(х-6_і+т) +ві+2т

описывающие резонансные явления и использующиеся при обработке спектрального анализа;

3) модель

г(х,в) = arctgYX^xi ~^ві)> /=1

использующаяся в задачах слежения за движущимися объектами.

В нелинейных методах для достаточно больших объёмов исходных данных п может возникнуть проблема результативности решения оценочного уравнения (0.1). С ростом объёма исходных данных оценивания п сложность уравнения (0.1) 2п кратно увеличивается. Чем сложнее вид модели и чем больше погрешность исходных данных, тем ниже порог числа п, при котором уравнение (0.1) не имеет решения, что согласуется с классическими рекомендациями статистиков, согласно которым дисперсия регрессионного предсказания минимальна при полном наборе признаков.

Из вышесказанного следует то, что осуществление на практике базового закона математической статистки, закона больших чисел, применительно к регрессионному анализу (асимптотической сходимости оценки к истинному значению оцениваемого параметра) невозможно.

Так как для современных технологий характерно создание и совершенствование описывающих состояния объектов исследования моделей, имеющих достаточно сложное представление, то решение этой проблемы актуально.

Так, она возникает при исследовании возможности достижения субмикронного разрешения в локальной диагностике полупроводников с использованием, отвечающей современному представлению физики полупроводников модели явления, лежащего в основе катодолюминесцентного (КЛ) метода оценивания параметров полупроводников. Надо заметить, что эта модель является не самой сложной из предложенных [2] моделей. Описание формирования её аналитического представления в виде функциональной зависимости интенсивности КЛ излучения от параметров полупроводниковой мишени и электронного зонда, выраженной через элемен-

14 тарные и специальные функции, приведено в приложении 3 данной работы.

При КЛ исследованиях немало важной является задача уменьшения радиационной нагрузки на исследуемый объект. Связанные с этим вопросы оптимизации измерений и обработки данных в КЛ микроскопии задач рассматривались в работе [59].

В диссертационной работе эти вопросы не ставятся, но они решаются в силу качества полученных разработанным методом оценок. Возможность достижения субмикронной точности при оценивании необходимых параметров полупроводников с малыми объёмами исходных данных (и<8) является аспектом актуальности диссертационной работы.

Подавляющее большинство всех формул, используемых в естественно — научных и технических дисциплинах относятся к парным регрессиям, когда модель г(х,в) является однооткликовой и однофакторной [60]. Так,

по вопросам парной регрессии в одном из научных журналов только за два года опубликовано шесть статей [61 - 67], что свидетельствует об актуальности исследований в диссертационной работе по совершенствованию метода оценивания парных регрессий.

Объём знаний по прикладной статистики давно превысил индивидуальные возможности восприятия [68]. Так как публикации по статистике необозримы, поэтому полный обзор литературы, касающейся вопросов регрессионного анализа и оптимизации решений задач с его помощью, в рамках диссертационной работы невозможен.

Создание программного обеспечения статистических методов— самостоятельная область деятельности, идущая вслед за разработкой алгоритмического обеспечения. Первую программу общего назначения для решения задач оценивания нелинейным методом наименьших квадратов создали Бут и Петерсон [69] совместно с Боксом. Впоследствии были созданы программы, предназначенные для конкретных групп пользователей и решающих некоторые частные задачи нелинейного оценивания. Так, про-

15 граммы [70 - 77] реализуют имеющие более общий характер, чем МНК, алгоритмы с применением конечно — разностных аппроксимаций или аналитически заданных производных или без них. Программное обеспечение различается, не только алгоритмом, но и используемым алгоритмическим языком, типом ЭВМ и системному обеспечению, в которых оно создано. В одной из современных систем компьютерной математики, символьных математических вычислений Maple для Windows на компьютерах класса IBM, регрессионный анализ обеспечен программой fit статистического пакета stats [78]. Она реализует алгоритм МНК для частного случая нелинейных регрессий, линейных по параметрам.

В данной работе программа, обеспечивающая разработанный метод оценивания парных однопараметрических регрессий не ограничивает класс нелинейных регрессий линейными по параметру функциями.

Выполненное в системе Maple, необходимое аналитическое задание производной обеспечено встроенной функцией этой системы. Для сложных моделей задание производных без привлечения ЭВМ невозможно. Размер их выражений, найденных встроенными функциями системы Maple, исчисляется десятками, а для производных второго порядка даже сотнями страниц печатного текста. Это обстоятельство решает выбор системы для реализации разработанного алгоритма оценивания сложной нелинейной регрессии в пользу системы символьной математики Maple.

Программный комплекс, обеспечивающий разработанную в работе методику оценивания РК, несмотря на ограничения в ней класса оцениваемых нелинейных регрессий однопараметрическими и парными, имеет немаловажное преимущество перед существующими программами. Она просто модифицируется для получения любых оценок из класса минимально контрастных, в том числе и робастных, что является актуальным в свете современного понимания обоснованности прикладных статистических методов.

Цель работы— оптимизация нелинейного параметрического сглаживания по качеству оценок, таких, как несмещённость, и по чувствительности к виду распределения переменных состояния.

Для достижения поставленной цели решались следующие задачи:

1. разработка итерационных формул нелинейного параметрического сглаживания, позволяющих получать любую из робастных оценок необходимого параметра модели;

2. определение условий сходимости оценки, вычисленной по разработанной формуле, к истинному значению оцениваемого параметра и выбор оптимальной оценки;

3. создание программного комплекса для реализации на ЭВМ разработанного метода оценивания;

4) проведение вычислительного эксперимента для сравнительного ана
лиза качества оценок, полученных разработанным методом, и оценок,
вычисленных традиционными методами прикладной статистики.
Методами исследования были: методы теории вероятностей, мате
матической и прикладной статистики, теории приближения, теории диф
ференциального и интегрального исчисления, оптимизации, а также мате
матического моделирования с использованием компьютерной системы
символьной математики Maple и программирования в её среде.

Достоверность положений и выводов диссертационной работы определяется тем, что в ней используются классические и современные математические методы теоретического обоснования результатов, а выводы исследований её возможностей получили подтверждения в численных экспериментах оценивания и согласуются с ранее опубликованными данными.

Научная новизна результатов работы состоит в следующем: 1. Разработан новый итерационный минимально контрастный метод оценивания нелинейной однопараметрической парной регрессии, включающий:

17 точечное оценивание параметров регрессий; выбор лучшей оценки из множества, полученных на основании одного набора исходных данных эксперимента оценивания.

2. Найдены условия оптимальности оценивания разработанным мето
дом:

условие окончания итерационной процедуры вычисления оценки, минимизирующее относительную погрешность оценки; аналитическое выражение для минимизации прогнозируемого смещения оценки, как критерия качества оценки.

3. Показано, что оценки регрессионных зависимостей, полученные с по
мощью предложенного метода, как на тестовых примерах, так и на
прикладных задачах оценивания свойств полупроводниковых мате
риалов, имеют значительно более высокую точность, чем зависимо
сти, построенные традиционными методами прикладной статистики.

Практическая ценность работы заключается в следующем.

Разработанная методика оценивания необходимых параметров модели совместно с оптимизацией качества оценки может быть использована для достижения субмикронного разрешения в локальной диагностике полупроводниковых материалов. Методика применима также в любых других технологиях, где необходимо оценивать параметр регрессионного уравнения со сложной моделью состояния объекта исследования при отсутствии достаточных знаний о характере распределения погрешностей исходных данных, что препятствует обоснованному применению классических методов статистики.

Диссертационная работа выполнена в рамках научно-исследовательских работ (НИР) по планам Министерства образования РФ и Российского фонда фундаментальных исследований (РФФИ):

по программе «Университеты России (технические университеты)»;

по грантам РФФИ и администрации Калужской области (проекты № 02-02-96017, № 02-01-96023);

- по гранту Министерства образования РФ (проект Т00-2.2-852, номер гос. регистрации 01200110405).

Теоретическая значимость работы заключается в том, что предложенный подход к решению задач практической реализации и оптимизации параметрического сглаживания моделей может быть использован для совершенствования нелинейного регрессионного анализа.

Основные результаты, выносимые на защиту:

4. итерационный метод минимально контрастного оценивания нелинейной однопараметрической парной регрессии;

5. условия оптимальности полученных по разработанному методу оценок;

6. способ выбора лучшей оценки регрессионного коэффициента из множества минимально контрастных оценок, полученных на основании одного набора исходных данных с использованием различных функций минимума контраста;

7. результаты сравнительного анализа итерационных минимально контрастных оценок с оценками, полученными известными классическими статистическими методами;

8. минимально контрастные оценки значений диффузионной длины ННЗ, толщины приповерхностной области, обеднённой основными носителями заряда, а также коэффициента самопоглощения КЛ излучения для полупроводниковых материалов GaP_0;38As₀,62 и СаТе.

Личный вклад автора. Основные научные результаты, полученные лично соискателем, заключаются в следующем:

1. разработан итерационный метод минимально контрастного оценивания нелинейной однопараметрической парной регрессии;

2. найдены условие оптимальности полученных по разработанному методу оценок;

3. найден способ выбора лучшей оценки регрессионного коэффициента из множества минимально контрастных оценок, полученных на основании одного набора исходных данных с использованием различных функций минимума контраста;

4. создано программное обеспечение компьютерной реализации разработанного метода;

5. проведены численные эксперименты оценивания ряда нелинейных относительно оцениваемого параметра регрессий различными методами;

6. проведён сравнительный анализ итерационных минимально контрастных оценок с оценками, полученными традиционными методами прикладной статистики;

7. проведены численные эксперименты итерационного минимально контрастного оценивания диффузионной длины ННЗ, толщины приповерхностной области, обеднённой основными носителями заряда, а также коэффициента самопоглощения КЛ излучения для полупроводниковых материалов GaPo,38As_0>62 и СаТе.

Апробация работы и публикации. Работы по теме диссертации докладывались и обсуждались на Всероссийских научно - технических конференциях «Прогрессивные технологии, конструкции и системы в приборе - и машиностроении» (Москва, 2000, 2003); XXXI международной конференции по физике взаимодействия заряженных частиц с кристаллами (Москва, 2001); международной научно - технической конференции «При-боростроение-2002» (Алупка, 2002); XIX Российской конференции по электронной микроскопии (Черноголовка, 2002); Всероссийской научно -технической конференции «Методы и средства измерений физических величин» (Нижний Новгород, 2003); 2-ой Российской научно— технической конференции, посвященной 110-летию со дня рождения А.Я. Хинчина (Калуга, 2004).

20 По теме диссертации опубликовано 15 работ, в том числе 5 статей в научных журналах и сборниках (из них 3 в научных изданиях Перечня ВАК) и 2 доклада в материалах всероссийских и международных конференций.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, списка литературы и трёх приложений. Общий объём работы составляет 121 страницу, включая 19 рисунков и 8 таблиц. Список литературы содержит 105 наименований.

Весовая функция регрессии

Цель работы— оптимизация нелинейного параметрического сглаживания по качеству оценок, таких, как несмещённость, и по чувствительности к виду распределения переменных состояния.

Для достижения поставленной цели решались следующие задачи: 1) разработка итерационных формул нелинейного параметрического сглаживания, позволяющих получать любую из робастных оценок необходимого параметра модели; 2) определение условий сходимости оценки, вычисленной по разработанной формуле, к истинному значению оцениваемого параметра и выбор оптимальной оценки; 3) создание программного комплекса для реализации на ЭВМ разработанного метода оценивания; 4) проведение вычислительного эксперимента для сравнительного ана лиза качества оценок, полученных разработанным методом, и оценок, вычисленных традиционными методами прикладной статистики. Методами исследования были: методы теории вероятностей, мате матической и прикладной статистики, теории приближения, теории диф ференциального и интегрального исчисления, оптимизации, а также мате матического моделирования с использованием компьютерной системы символьной математики Maple и программирования в её среде. Достоверность положений и выводов диссертационной работы определяется тем, что в ней используются классические и современные математические методы теоретического обоснования результатов, а выводы исследований её возможностей получили подтверждения в численных экспериментах оценивания и согласуются с ранее опубликованными данными. Научная новизна результатов работы состоит в следующем: 1. Разработан новый итерационный минимально контрастный метод оценивания нелинейной однопараметрической парной регрессии, включающий: точечное оценивание параметров регрессий; выбор лучшей оценки из множества, полученных на основании одного набора исходных данных эксперимента оценивания. 2. Найдены условия оптимальности оценивания разработанным мето дом: условие окончания итерационной процедуры вычисления оценки, минимизирующее относительную погрешность оценки; аналитическое выражение для минимизации прогнозируемого смещения оценки, как критерия качества оценки. 3. Показано, что оценки регрессионных зависимостей, полученные с по мощью предложенного метода, как на тестовых примерах, так и на прикладных задачах оценивания свойств полупроводниковых мате риалов, имеют значительно более высокую точность, чем зависимо сти, построенные традиционными методами прикладной статистики. Практическая ценность работы заключается в следующем. Разработанная методика оценивания необходимых параметров модели совместно с оптимизацией качества оценки может быть использована для достижения субмикронного разрешения в локальной диагностике полупроводниковых материалов. Методика применима также в любых других технологиях, где необходимо оценивать параметр регрессионного уравнения со сложной моделью состояния объекта исследования при отсутствии достаточных знаний о характере распределения погрешностей исходных данных, что препятствует обоснованному применению классических методов статистики. Диссертационная работа выполнена в рамках научно-исследовательских работ (НИР) по планам Министерства образования РФ и Российского фонда фундаментальных исследований (РФФИ): - по программе «Университеты России (технические университеты)»; - по грантам РФФИ и администрации Калужской области (проекты № 02-02-96017, № 02-01-96023); - по гранту Министерства образования РФ (проект Т00-2.2-852, номер гос. регистрации 01200110405). Теоретическая значимость работы заключается в том, что предложенный подход к решению задач практической реализации и оптимизации параметрического сглаживания моделей может быть использован для совершенствования нелинейного регрессионного анализа. Основные результаты, выносимые на защиту: 1) итерационный метод минимально контрастного оценивания нелинейной однопараметрической парной регрессии; 2) условия оптимальности полученных по разработанному методу оценок; 3) способ выбора лучшей оценки регрессионного коэффициента из множества минимально контрастных оценок, полученных на основании одного набора исходных данных с использованием различных функций минимума контраста; 4) результаты сравнительного анализа итерационных минимально контрастных оценок с оценками, полученными известными классическими статистическими методами; 5) минимально контрастные оценки значений диффузионной длины ННЗ, толщины приповерхностной области, обеднённой основными носителями заряда, а также коэффициента самопоглощения КЛ излучения для полупроводниковых материалов GaP0;38As0,62 и СаТе.

Условие окончания итерационного процесса

В данной главе определены условия оптимальности оценок РК, выработанных по формуле (1.11). В первом разделе в качестве начального приближения формулы (1.11) оценивания РК рассматривается состоятельная оценка РК. Этот качество начального приближения обеспечивает сходимость оценки по формуле (1.11) к точке из окрестности истинного значения оцениваемого параметра радиуса, определяемого величиной опшбок приближений составляющих формулу оценивания. Во втором разделе определены условия окончания итерационного процесса, которое в сочетании с состоятельностью начального приближения обеспечивает оптимальность оценки по формуле (1.11) в рамках известной точности. В третьем разделе методом проверки асимптотической сходимости оценки по формуле (1.11) к истинному значению оцениваемого параметра найдено выражение асимптотического (прогнозируемого для бесконечно большого объёма исходных данных) смещения оценки РК относительно её истинного значения. В четвёртом разделе на основании полученного в третьем разделе выражения смещения определены условия оптимального оценивания и способы нахождения лучших оценок из найденных по формуле (1.11) с использованием различных функций минимума контраста по одному набору исходных данных. Здесь же приведены результаты численных экспериментов выбора оптимальной оценки на основании построенного критерия выбора.

Начальное приближение Правая часть формулы (1.10) оценивания РК зависит от самой оценки в, так как ближения играет определяющую роль в решении задачи оценивания РК. Это связано с тем, что оценочное уравнение минимально контрастного метода, на основании которого построена формула оценивания (1.10), сформировано исходя из необходимого признака существования локального минимума минимизируемого функционала. В силу нелинейности функционала, его локальный минимум может оказаться не единственным, и не обязательно совпадающим с глобальным минимумом, в окрестности которого предполагается нахождение истинного значения оцениваемого параметра. Эта проблема обсуждается, например, в статье автора диссертации [55], посвященной вопросам сходимости оценок параметров полупроводников, полученных методом конфлюентного анализа.

В качестве хорошего начального приближения итерационных методов принято считать оценку, полученную МНК. Для регрессионных зависимостей сложного вида оценивание любым общепринятым методом регрессионного анализа, в том числе и МНК, связано с трудностями практической (компьютерной) реализации методов оценивания. Причины этой ситуации проанализированы в разделе 1.1.

В качестве достаточно простого способа нахождения начального приближения итерационных методов рассматривается [27] любое значение НРК.

Теоретическим обоснованием того, что начальное приближение находится в окрестности глобального минимума минимизируемого функционала, может стать его состоятельность, как оценки РК. В работах [80, 81] доказаны несмещённость и состоятельность оценок, построенных на основании совокупности НРК в эксперименте. При этом, постановка задачи оценивания отличается от постановки в данной работе (1.1)-(1.3) тем, что значения предиктора измерены без погрешностей. Доказательство эффективности1 этой оценки в постановке задачи (1.1)-(1.3) приведено в приложении 1 данной работы.

Алгоритм оптимизации минимально контрастного оценивания регрессионного коэффициента нелинейной парной регрессии

Сравнивая их с приведёнными в таблице 7 результатами оценивания того же параметра для тех же материалов, можно сделать вывод о более точном ИМКО. Так, абсолютная погрешность приведённых в таблице 7 оценок L ннз, лучшая из которых равна AL //«3=0.005 мкм, а худшая -АЬннз=0.0\ мкм, меньше приведённой в работе [57] абсолютной погрешности ALHH3=0A мкм оценок LHH3.

На основании результатов сравнения можно утверждать о том, что ИМКО позволяет использовать в качестве регрессии более сложную модель зависимости интенсивности КЛ излучения ЦЕо) от энергии первичных электронов вида (П.3.8), и получать более высокой точности робастные оценки диффузионной длины ННЗ Ьннз полупроводниковых материалов. Для оценивания толщины приповерхностной области, обеднённой основными носителями заряда, ls проведён численный эксперимент, данные которого п =9, о-, =0.006, т2 =0.442. Регрессионной моделью является зависимость интенсивности КЛ излучения от параметров мишени и энергии электронов пучка вида (П.3.8), в которой в качестве оцениваемого параметра выступает толщина приповерхностной области, обедненной основными носителями заряда ls 1= I(E0, Is), а заданные значения остальных параметров характерны для CdTe. Получены точечные оценки ls, абсо о лютные погрешности которых - A/ s =0.0215 мкм, Л(/$- ) =0.0216 мкм.

Абсолютная погрешность оценки того же параметра для того же материала CdTe, найденная в работе [2] методом КА, составляет 0.1, в то время как в данном эксперименте оценивания она составляет 0.02 и свидетельствует о более высокой точности ИМКО.

В таблице 8 приведены результаты оценивания и выбор оптимальной оценки из трёх, полученных по формуле (1.11) с различными функциями минимума контраста. В ней также приведены основные данные численных экспериментов оценивания электрофизических параметров полупроводниковых материалов CdTe и GaPo38AsQ 62 В экспериментах 1-4 оценивалась диффузионная длина ННЗ G=LHH3i в экспериментах 5 — 7 - толщина приповерхностной области, обеднённой основными носителями заряда, 6=ls, а в экспериментах 8, 9 - коэффициент самопоглощения KJI излучения в= а. Значение относительной погрешности \а — сс\/а оценки коэффициента самопоглощения в эксперименте 8, равное 14 абс. ед., можно объяснить несоразмерной модельному значению оцениваемого параметра а=0.001 погрешностью исходных данных эксперимента оценивания o"i=0.015, а2=0.16. Параметры и результаты экспериментов итерационного минимально — контрастного оценивания ряда электрофизических параметров для полупроводниковых материалов CdTe и GaP0 38Asote Толкованием причин такого результата является следующее. Тип формулы оценивания относится, скорее, к непараметрическому, чем итерационному классу. Оценивание осуществляется, как правило, не больше чем за три шага итерации. Объяснением высокой скорости сходимости ИМКО является доказанная эффективность (состоятельность) оценки, применяемой в качестве начального приближения. Так как эффективность доказана в рамках точности приближения числовых характеристик состав ляющих начальное приближение, (о) + (о"2) , то и результат ИМКО имеет ту же ошибку приближения. Приведённые в таблице 8 экспериментальные данные подтверждают справедливость выводов проведённых в работе исследований оптимальности ИМКО. С помощью ИМКО возможно достижение субмикронного разрешения в локальной диагностике полупроводников методом КЛ излучения в результате робастного оценивания сложного вида, как более точного, регрессионной параметрической модели, такой как, например, зависимость интенсивности КЛ излучения полупроводников от параметров мишени и электронного зонда вида (П.3.8). Выводы Основные результаты данной главы состоят в следующем. 1. Проведено сравнение оценок РК нелинейных по оцениваемому параметру регрессий, полученных ИМКО, с оценками МНК, Ньютона - Гаусса, Марквардта, КА. 2. Показано, что для существенно - нелинейных регрессий результаты ИМКО более высокой точности, чем результаты МНК и метода Ньютона - Гаусса. ИМКО от двух до пятидесяти раз точнее оценок линейного МНК и, по крайней мере, на порядок точнее оценок общего нелинейного МНК и метода Ньютона - Гаусса. 3. Установлено, что для гладких функций регрессий относительная погрешность оценок РК находится в диапазоне изменения малых величин от 3-Ю"2 до 10"5, а также то, что при сравнении найденных методом МНК, Ньютона- Гаусса и ИМКО оценок, преимущество в их точности не выявлено. 4. Установлено, что относительная погрешность оценок, полученных ИМКО, от двух до восьми раз меньше погрешности оценок метода Марквардта, который является одним из итерационных модификаций МНК и признан надёжным на практике методом оценивания РК нелинейных регрессий. 5. Проведены численные эксперименты ИМКО диффузионной длины НТО, толщины приповерхностной области, обеднённой основными носителями заряда, и коэффициента самопоглощения для полупро 91 водниковых материалов CdTe и GaPot3&4so,62- В эксперименте используется сложный вид зависимости интенсивности КЛ излучения от параметров мишени и электронного зонда, полученной на основании модели, отвечающей современному представлению физики полупроводников. 6. Показано, что абсолютная погрешность оценок диффузионной длины ННЗ, полученных ИМКО, как минимум в два раза меньше абсолютных погрешностей оценок, ранее полученных методом КА в более выгодных для КА условиях (величина погрешности предиктора при оценивании методом КА в три раза меньше погрешности при ИМКО).

Сравнение с результатами оценивания методом наименьших квадратов

Толкованием причин такого результата является следующее. Тип формулы оценивания относится, скорее, к непараметрическому, чем итерационному классу. Оценивание осуществляется, как правило, не больше чем за три шага итерации. Объяснением высокой скорости сходимости ИМКО является доказанная эффективность (состоятельность) оценки, применяемой в качестве начального приближения. Так как эффективность доказана в рамках точности приближения числовых характеристик состав ляющих начальное приближение, (о) + (о"2) , то и результат ИМКО имеет ту же ошибку приближения.

Приведённые в таблице 8 экспериментальные данные подтверждают справедливость выводов проведённых в работе исследований оптимальности ИМКО. С помощью ИМКО возможно достижение субмикронного разрешения в локальной диагностике полупроводников методом КЛ излучения в результате робастного оценивания сложного вида, как более точного, регрессионной параметрической модели, такой как, например, зависимость интенсивности КЛ излучения полупроводников от параметров мишени и электронного зонда вида (П.3.8). Выводы Основные результаты данной главы состоят в следующем. 1. Проведено сравнение оценок РК нелинейных по оцениваемому параметру регрессий, полученных ИМКО, с оценками МНК, Ньютона - Гаусса, Марквардта, КА. 2. Показано, что для существенно - нелинейных регрессий результаты ИМКО более высокой точности, чем результаты МНК и метода Ньютона - Гаусса. ИМКО от двух до пятидесяти раз точнее оценок линейного МНК и, по крайней мере, на порядок точнее оценок общего нелинейного МНК и метода Ньютона - Гаусса. 3. Установлено, что для гладких функций регрессий относительная погрешность оценок РК находится в диапазоне изменения малых величин от 3-Ю"2 до 10"5, а также то, что при сравнении найденных методом МНК, Ньютона- Гаусса и ИМКО оценок, преимущество в их точности не выявлено. 4. Установлено, что относительная погрешность оценок, полученных ИМКО, от двух до восьми раз меньше погрешности оценок метода Марквардта, который является одним из итерационных модификаций МНК и признан надёжным на практике методом оценивания РК нелинейных регрессий. 5. Проведены численные эксперименты ИМКО диффузионной длины НТО, толщины приповерхностной области, обеднённой основными носителями заряда, и коэффициента самопоглощения для полупро-водниковых материалов CdTe и GaPot3&4so,62- В эксперименте используется сложный вид зависимости интенсивности КЛ излучения от параметров мишени и электронного зонда, полученной на основании модели, отвечающей современному представлению физики полупроводников. 6. Показано, что абсолютная погрешность оценок диффузионной длины ННЗ, полученных ИМКО, как минимум в два раза меньше абсолютных погрешностей оценок, ранее полученных методом КА в более выгодных для КА условиях (величина погрешности предиктора при оценивании методом КА в три раза меньше погрешности при ИМКО). 7. Оценки толщины приповерхностной области, обеднённой основными носителями заряда, также точнее оценок метода КА. Преимущество точности не так значительны, как у оценок диффузионной длины ННЗ, что объясняется гладкостью регрессии относительно оцениваемого параметра.