Содержание к диссертации
Введение
1 Анализ и идентификация объединенных неопределенных моделей из мерений 11
1.1 Анализ и идентификация неопределенной модели измерений. Синтез моде ли [Д Е] 16
1.1.1 Синтез модели [А, Е] как задача проверки статистических гипотез. 16
1.1.2 Классы статистических критериев проверки гипотез 18
1.1.3 Инвариантные критерии проверки статистических гипотез и максимальный инвариант. 23
1.1.4 Проверка адекватности модели измерений 24
1.1.5 Проверка адекватности классов моделей измерений и синтез модели измерений 32
1.2 Использование информации о связи неопределенных моделей измерений. Объединенная неопределенная модель 37
1.3 Сравнение качества анализа и идентификации объединенных неопределенных моделей измерений в отсутствии дополнительной информации о связи и при ее использовании 39
2 Идентификация нестационарных неопределенных моделей измерений 53
2.1 Постановки задач идентификации нестационарных неопределенных моде лей измерений в различных областях научных исследований 55
2.1.1 Теория возможностей. Проблема эмпирического восстановления возможности 55
2.1.2 Идентификация типа среды в игровой постановке задачи о случайных блужданиях частиц с взаимодействием 59
2.2 Идентификация нестационарных неопределенных моделей измерений как задача проверки нестационарных сложных гипотез 75
2.3 Обзор свойств традиционных классов статистических критериев в контексте задачи проверки нестационарных сложных гипотез 77
2.3.1 Наиболее мощные и равномерно наиболее мощные критерии 77
2.3.2 Минимаксные и байесовские критерии 81
2.3.3 Последовательные и асимптотически оптимальные критерии 84
2.4 Проверка двух нестационарных сложных гипотез. Критерий голосования 88
2.5 Проверка произвольного конечного числа нестационарных сложных гипотез. 105 2.5.1 «Игровой критерий 111
2.5.2 «Частотный» критерий 114
2.6 Анализ качества «игрового» и «частотного» критериев 117
3 Приложения 127
3.1 Распознавание обвалов по данным бурения, полученным от трех различных датчиков 127
3.2 Моделирование эксперимента но эмпирическому восстановлению возможности 146
3.3 Идентификация типа среды в игровой постановке задачи о случайных блужданиях взаимодействующих частиц 153
Заключение 165
Литература
- Классы статистических критериев проверки гипотез
- Использование информации о связи неопределенных моделей измерений. Объединенная неопределенная модель
- Идентификация типа среды в игровой постановке задачи о случайных блужданиях частиц с взаимодействием
- Последовательные и асимптотически оптимальные критерии
Введение к работе
Актуальность темы
В настоящее время математические модели эксперимента описывают довольно сложные явления и процессы. Это является одной из причин того, что модели эксперимента не могут быть заданы точно (являются неопределенными). В рамках измерительного эксперимента будем говорить о неопределенной модели измерений. При этом отметим, что ошибочное решение при выборе модели или неадекватный выбор класса возможных моделей могут привести к неверным результатам анализа и интерпретации данных эксперимента. Поэтому методы анализа и идентификации неопределенных моделей измерений составляют существенную часть математического моделирования, и полученные на их основе результаты являются чрезвычайно важными при экспериментальных исследованиях. Традиционно неопределенность связывается с незнанием конкретной модели измерений из некоторого априори заданного класса или с неуверенностью в истинности самого класса. При изучении новых типов явлений или при появлении новых способов их изучения может понадобиться введение нового понятия неопределенности модели измерений и переход на новый уровень ее (неопределенности) анализа.
Зачастую исследователь располагает несколькими способами изучения интересующего его явления, и каждому из них он сопоставляет свою неопределенную модель измерений. Предположение о наличии некоторой неизвестной априори связи между этими моделями требует более высокого уровня описания неопределенности. При этом остается открытым вопрос, как изменится качество алгоритма анализа и идентификации объединенной неопределенной модели измерений, построенной на основе отдельных неопределенных моделей измерений, если использовать дополнительную информацию о связи отдельных моделей.
Другой более высокий уровень неопределенности может быть связан с тем, что, во-первых, неизвестен класс, к которому принадлежит модель отдельного измерения, и, во-вторых, неизвестно, существует ли закономерность, определяющая соответствие номера отдельного измерения в последовательности наблюдений и конкретной его модели. В этих случаях мы будем говорить о нестационарной неопределенной модели измерений. Широко используемый подход, опирающийся на предположение о стохастической природе закономерности появления моделей отдельных измерений в последовательности наблюдений (байесовский подход) оказывается не всегда приемлемым. Подобные ситуации характерны для таких экспериментов, в которых за время измерения исследуемый объект и измерительная процедура могут эволюционировать неизвестным образом. При этих условиях исследователь может получить неадекватные оценки вероятностных характеристик процесса измерений. Кроме того, даже если исследователю и удалось построить адекватную стохастическую модель эксперимента, то она может оказаться слишком громоздкой и сложной для применения на практике.
Введение объединенных и нестационарных неопределенных моделей измерений при переходе на новый уровень описания неопределенности требует развития новых методов анализа и идентификации этих моделей.
В диссертационной работе задача анализа и идентификации объединенных неопределенных моделей рассматривается для линейных схем измерений с аддитивным стохастическим шумом. При решении применяются математические методы, использующие в
своей основе теорию проверки статистических гипотез. В книге [Пытьев, 2004]1 исследованы задачи, связанные с объединением моделей измерений. При этом не предполагается наличие априорной дополнительной информации о связи между отдельными моделями. В других работах, в том числе в работах [Андерсон, 1976] 2,[Кашьяп, Рао, 1983]3 тоже не рассматриваются такие постановки задач, в которых бы предполагалось наличие априорной дополнительной информации о связи между отдельными моделями измерений. В диссертационной работе предлагается определенным образом учесть подобную информацию и рассмотреть свойства соответствующей объединенной неопределенной модели измерений. Новые методы, предложенные в диссертационной работе, применяются к задачам морфологического анализа изображений. Необходимо отметить, что в известных нам к настоящему времени работах на эту тему, в том числе в работах [Ту, Гонсалес, 1979]4, [Вапник, 1974]5, [Алешин, 1998]6, [Пытьев, 1983]7, [Пытьев, 1984]8, [Pyt'ev, 1993]9, [Богданов, Чуличков, 2002]10, [Javidi, 2002]11 не исследуются задачи распознавания образов по нескольким предъявленным изображениям при наличии дополнительной информации о связи моделей формирования изображений и задача анализа изменений качества соответствующих алгоритмов распознавания при «внесении» дополнительной связующей информации. Предложенные в диссертационной работе методы анализа и идентификации объединенных неопределенных моделей измерений, построенные в предположении наличия дополнительной информации о связи отдельных неопределенных моделей измерений, позволили при определенных условиях эффективно проанализировать и решить указанные задачи морфологического анализа в контексте проблемы распознавания обвалов по данным бурения, полученным от трех различных датчиков [Кольцов, Пытьев, Чуличков, 2005]12, [Кольцов, 2005]13.
Подход, позволяющий в определенных случаях осуществлять идентификацию нестационарной неопределенной модели измерений, в которой предполагается «частичная байесовость» модели отдельного измерения, разработан в монографии [Пытьев, 2006]14,
Пытьев Ю.П., Методы математического моделирования измерительно-вычислительных систем, М.: Физматлит, 2004.
Андерсон Т., Статистический анализ временных рядов. М.: Мир, 1976.
Кашъяп Р.Л., Рао А.Р., Построение динамических стохастических моделей по экспериментальным данным. М.: Наука, 1983.
4 Ту Док., Гонсалес Р., Принципы распознавания образов. М.: Мир,1979. Вапник В.Н., Червоненкис А.Я., Теория распознавания образов. Статистические проблемы обучения. М.: Наука, 1974.
6Алешин СВ., Распознавание динамических образов, ч.І. М.: изд-во МГУ, 1998.
7Пытьев Ю.П., Морфологический анализ изображений // ДАН СССР, 1983, т.269, №5, с. 1061-1064. Пытьев Ю.П., Задачи морфологического анализа изображений // В сб. ст. «Математические методы исследования природных ресурсов Земли из космоса», М.: Наука, 1984, с. 41-82.
9Pyt'ev Yu.P., Morphological Image Analysis // Pattern Recognition and Image Analysis, vol. 3, №1, 1993, p. 19-28.
И. В. Богданов, А. И. Чуличков, Применение локального морфологического фильтра при анализе изображений. В. Новгород: VI Международная конференция «Распознавание образов и анализ изображений. Новые информационные технологии». РОАИ-6-2002, 2002, с. 71-74.
11Image Recognition and Classification: Algorithms, Systems, and Applications, (B. Javidi, ed.), Marcel-Dekker, New York, NY, 2002.
12Кольцов Д.А., Пытьев Ю.П., Чуличков А.И. Способ распознавания обвалов по данным бурения, полученным от трех различных датчиков, патент per. № 2005127312, 30 августа 2005 г.
Кольцов Д.А., Синтез модели эксперимента в задачах интерпретации данных. Распознавание обвалов по данным бурения скважин // Сб. трудов 1-й меж; ду народной научно-практической конференции «Современные информационные технологии и ИТ-образование». М., 2005, стр. 607-614.
Пытьев Ю.П., Возможность как альтернатива вероятности. Математические и эмпирические осно-
где основные результаты, определяющие качество метода идентификации, сформулированы в терминах сильной состоятельности оценок неопределенных характеристик модели. В настоящее время нам неизвестны другие работы, посвященные данной проблеме. Рассматриваемые в диссертационной работе подходы позволяют для нестационарной неопределенной модели измерений, в которой модели формирования отдельного измерения предполагаются стохастическими, построить алгоритмы идентификации, характеристики качества которых сформулированы в терминах переходных (по возможным значениям долей появлений моделей отдельных измерений в последовательности наблюдений) вероятностей ошибочных решений. Кроме того, указаны методы выбора оптимального (в определенном смысле) алгоритма идентификации в зависимости от особенностей задания нестационарной неопределенной модели измерений.
Цель диссертационной работы.
Целями диссертационной работы являются
разработка методов повышения качества алгоритма получения новых знаний об исследуемом объекте/явлении, основанных на учете дополнительной информации о связи нескольких неопределенных моделей измерений (о применении см. патент [Кольцов, Пы-тьев, Чуличков, 2005]), а именно разработка методов анализа и идентификации объединенных неопределенных моделей измерений, строящихся на основе отдельных неопределенных моделей измерений при наличии дополнительной информации о связи данных моделей;
разработка методов идентификации нестационарных неопределенных моделей измерений;
разработка и построение численных методов, алгоритмов и программ решения
задачи распознавания образов по нескольким предъявленным изображениям при наличии дополнительной информации о связи моделей формирования изображений для построения алгоритма обнаружения и оценивания параметров обвалов по данным бурения, полученным от трех различных датчиков;
задачи проверки нестационарных сложных гипотез;
задачи эмпирического восстановления теоретико-возможностной модели.
Методы исследования
Методической и теоретической основами исследования являются методы решения экстремальных задач [Васильев, 1988]15 и задач проверки статистических гипотез [Боровков, 1984]16, а также методы анализа и интерпретации данных эксперимента [Пытьев, 1989]17, [Пытьев, 2004]. Анализ неопределенных моделей измерений, обсуждаемых в диссертации, опирается на теорию надежности выводов [Пытьев, 2004], [Пытьев, 2006]. При
вы, применения. М.: Физматлит, 2006.
Васильев Ф.П., Численные методы решения экстремальных задач. М.: Наука, 1988.
Боровков А.А., Математическая статистика. Оценка параметров. Проверка гипотез. М.: Наука, 1984.
Пытьев Ю.П., Математические методы интерпретации эксперимента. М.: Высшая школа, 1989.
введении новых понятий качества анализа и идентификации неопределенных моделей были использованы идеи, сформулированные при обсуждении природы случайности [Чайковский, 2004]18, проблем эргодической теории [Балеску, 1978]19, [Ван Кампен, 1990]20, нелинейной динамики [Анищенко, Вадивасова, 1999]21, [Анищенко, Астахов, 2003]22, [Ма-линецкий, Потапов, 2000]23 и теории игр [Петросян, Зенкевич, 1998]24. Численные эксперименты реализованы с использованием программ, написанных на языке C/C++, а также программ, составленных на базе платформы Matlab.
Научная новизна
Научная новизна работы состоит в том, что в ней получены следующие новые результаты:
предложены новые методы анализа и идентификации неопределенных моделей измерений для линейных схем измерения с аддитивным стохастическим шумом в случае, когда корреляционный оператор шума имеет вид Е = <т2/;
предложен метод повышения качества анализа и идентификации объединенной неопределенной модели, основанный на учете дополнительной информации о связи отдельных неопределенных моделей измерений; показано, что при переходе к использованию объединенной модели с учетом дополнительной связующей информации мощность построенного на основе метода максимальной надежности критерия проверки адекватности класса моделей измерений не изменяется, а вероятность ошибочного выбора (в соответствии с методом максимальной надежности) модели измерений может как увеличиваться, так и уменьшаться, в зависимости от значений параметров объединенной неопределенной модели;
введено понятие нестационарной неопределенной модели измерений, поставлена задача ее идентификации как задача проверки нестационарных сложных гипотез; при этом получены следующие результаты:
в случае двух гипотез сформулировано условие разрешимости задачи идентификации, построен состоятельный критерий, проведена оценка переходных вероятностей ошибочных решений для данного критерия и указана связь полученных оценок с условием разрешимости и объемом выборки;
решена задача идентификации нестационарной неопределенной модели измерений в случае произвольного конечного числа нестационарных сложных гипотез; сформу-
Чайковский Ю.В., О природе случайности. М.: Центр системных исследований - Институт истории естествознания и техники РАН, 2004.
Балеску Р., Равновесная и неравновесная статистическая механика. М.: Мир, 1978.
Ван Кампен Н.Г., Стохастические процессы в физике и химии. М.: Высшая школа, 1990.
Анищенко B.C., Вадивасова Т.Е., Астахов В.В., Нелинейная динамика хаотических и стохастических систем. Изд-во Саратовского универ-та.Саратов,1999.
22Анищенко B.C., Астахов В.В., Вадивасова Т.Е., Нейман А.Б., Стрелкова Г.И., Шиманский-Гайер Л., Нелинейные эффекты в хаотических и стохастических системах. Москва-Ижевск: Институт компьютерных исследований, 2003.
Малинецкий Г.Г., Потапов А.Б., Современные проблемы нелинейной динамики. М.: Эдиториал УРСС, 2000.
24Петросян Л.А., Зенкевич П.А., Семина Е.А., Теория Игр. М.: Высш. шк., Книжный дом «Университет», 1998.
лировано условие разрешимости задачи, предложены два алгоритма идентификации и проведен сравнительный анализ их качества;
решена в новой постановке задача распознавания образов для линейной схемы измерений с аддитивным стохастическим шумом при неизвестном значении а2 в корреляционном операторе шума Е = <т2/; в условиях неизвестного истинного класса моделей измерений разработана и применена процедура обнаружения обвалов и оценивания их параметров по данным бурения, полученным от трех различных датчиков, обладающая более высоким качеством (оцениваемым экспериментально на основе экспертных оценок) по сравнению с аналогичной процедурой, использующей данные от одного датчика;
предложено решение проблемы эмпирического восстановления возможности и проблемы идентификации типа среды в игровой постановке задачи о случайных блужданиях взаимодействующих частиц на основе разработанных методов идентификации нестационарных неопределенных моделей измерений.
Практическая ценность работы
Разработан новый инструмент для научных исследований и решения прикладных задач, который позволяет проводить анализ и идентификацию новых типов неопределенных моделей измерений: объединенной модели, построенной на основе отдельных неопределенных моделей измерений с использованием дополнительной информации об их связи, и нестационарной неопределенной модели.
При анализе и идентификации объединенных неопределенных моделей измерений полученные результаты позволяют для линейных схем измерений с аддитивным стохастическим шумом в известном смысле эффективно:
в случае неизвестного параметра а2 корреляционного оператора шума по данным наблюдений верифицировать модель измерений и выбирать из заданного класса модель, наилучшим образом согласующуюся с результатами измерения;
решать задачи анализа и идентификации объединенной неопределенной модели измерений при наличии и в зависимости от имеющейся дополнительной информации о связи отдельных неопределенных моделей измерений при известном и неизвестном параметре а2 корреляционного оператора шума как задачу проверки адекватности класса моделей измерений по отношению к данным наблюдений и как задачу синтеза модели измерений; в частности, полученные результаты позволяют строить и применять процедуры обнаружения объектов и идентификации их типов в случае, когда между классом моделей измерений и множеством типов объектов установлено взаимнооднозначное соответствие, а данные наблюдений представлены в виде нескольких наборов измерений, отвечающих, каждый, различным сторонам/способам исследования объекта (различным отдельным неопределенным моделям измерений).
Практическая ценность разработанных в диссертации методов идентификации нестационарных неопределенных моделей измерений заключается в том, что данные методы позволяют исследователю
изучать объекты/явления, которые описываются нестационарными неопределен
ными моделями измерений, используя методы проверки нестационарных сложныхгипотез о стохастических моделях формирования отдельных измерений, при отсутствии какой-либо информации о том, есть ли и, если есть, то какова закономерность появления простых гипотез в последовательности наблюдений, а также решать задачу идентификации нестационарных неопределенных моделей измерений как задачу проверки нестационарных сложных гипотез, в частности при решении проблемы эмпирического восстановления возможности и при анализе различных сложных стохастических динамических систем с «внутренним шумом» (см. [Ван Кампен, 1990], и пример игровой задачи, связанной с изучением данных проблем, ее исследование и решение в [Кольцов, Сердобольская, 2006]25);
в реальном эксперименте, учитывая различные особенности неопределенной модели измерений и условие разрешимости задачи идентификации модели, оценить минимальное необходимое число -/Vmin измерений, требующееся для достижения заданного исследователем уровня качества алгоритма идентификации; при этом может быть учтен фактор затрат, в том числе вычислительных, приходящихся на одно отдельное измерение или на один отдельный акт принятия решения по отдельному измерению; осуществлять выбор оптимального (в определенном смысле) алгоритма идентификации, имеющего наименьшее значение Л^шп? как при учете фактора затрат, так и при отсутствии учета данного фактора.
Предлагаемые методы и программы имеют целью повышение качества алгоритмов получения новых знаний об исследуемом объекте/явлении. Некоторые из полученных результатов применялись автором в составе исследовательской группы, работающей над задачами анализа изображений геологических структур в рамках договора о сотрудничестве между Физическим Факультетом МГУ им. Ломоносова и компанией «Schlumberger», по результатам исследований был оформлен патент [Кольцов, Пытьев, Чуличков, 2005].
Апробация работы
Гезультаты диссертационной работы докладывались на 1-й Международной научно-практической конференции «Современные информационные технологии и ИТ-образование», на конференциях «Математические методы распознавания образо в— 12», «Интеллектуальные системы и компьютерные науки-9», а также на научных семинарах кафедры МАТИС (механико-математический факультет МГУ) и кафедры КМФ (физический факультет МГУ).
Публикации по теме диссертации
По теме диссертации опубликовано 6 работ: одна работа в составе патента, 2 статьи в журналах и 3 статьи в трудах конференций.
Структура диссертационной работы
Диссертация состоит из введения, трех глав основного текста, заключения и списка литературы.
Кольцов Д.А., Сердобольская М.Л., Проверка сложных гипотез при отсутствии статистической устойчивости частоты // Обозрение прикладной и промышленной математики. М., 2006 (в печати).
Классы статистических критериев проверки гипотез
Понятие статистического критерия является одним из основных понятий теории проверки статистических гипотез и используется как основной элемент понятийного аппарата во многих работах, посвященных разработке методов решения задач, возникающих в рамках данной теории [56], [57], [54], [53], [30], [27]. Проверка статистических гипотез заключается в проверке каких-либо предположений (гипотез) относительно распределения, в соответствии с которым распределен некоторый набор случайных величин = (fj,.,. ,jv). Начнем с рассмотрения случая простых гипотез.
Определение 2. Простой гипотезой называется любое предположение, однозначно определяющее распределение f.
В задаче проверки гипотез проблема отсутствовала бы, если бы распределение Рг, из которого извлечена выборка = х (см. [30]), было известно. Решение о том, справедлива данная гипотеза или нет, должно основываться лишь на знании выборки х, которая нам задана, и, возможно также, на знании априорной информации относительно Рг, если мы таковой располагаем.
Пусть случайный вектор принимает значения в пространстве 7ZN. Решение задачи проверки гипотез состоит в том, чтобы определить процедуру принятия решения по выборке f = х. Для этого необходимо задать в той или иной форме отображение выборочного пространства TlN на множество рассматриваемых гипотез. Такое отображение называется статистическим критерием.
Пусть Ргъ. - распределение случайного вектора , отвечающее простой гипотезе HV) v — 1,...,К При этом известно, что выборка является выборкой из одного из этих распределений. Задача состоит в том, чтобы определить каким из распределений Рг„ контролируется , т.е. необходимо проверить V следующих простых гипотез: Я,: Ргв(-), «=1,...,V, (1.10) где знак « » обозначает отношение, заключающееся в том, что стоящий слева от пего случайный вектор контролируется распределением, указанным по правую сторону знака.
Будем рассматривать параметрический случай, когда выборка = х извлечена из распределения Pro {Рге}еєЄ- В этом случае простые гипотезы можно записывать в виде Hv = { Ргзи} или Hv = {в = ev} где в\,...,ву - фиксированные точки из 0. Случай (1.10) также можно рассматривать как параметрический с конечным множеством e={l,...,V}.
Процедуры принятия решения могут носить различный характер: возможно построение процедур, которые по уже полученной реализации х вектора наблюдений однозначным (детерминированным) образом ставят в соответствие данному вектору одну из гипотез Hv; возможно также построение процедур, которые осуществляют это сопоставление случайным образом, т.е. при фиксированном = х выбор Hv осуществляется с определенными вероятностями. Существует также процедуры принятия решения, не связанные с постоянным объемом выборки, но о них речь пойдет в Главе 2. Первому типу процедур отвечают статистические критерии, определяемые следующим образом. Определение 3, Статистическим критерием для проверки гипотез Я],... ,Ну называется любое измеримое отображение 5(-) : 1ZN —» {Hi,... ,Ну).
Данные критерии еще называются нерандомизироваиными в отличие от критериев, соответствующих второму типу процедур принятия решения: Определение 4. Раидомизировапнилі статистическим критерием для проверки гипотез Ні,... ,Ну называется любое измеримое отображение 7г(-) : TZN — РС У\ где Х есть множество векторов (тг ,... ,7iy), nv О, щ=1 тгг, = 1.
В соответствии с рандомизированным решающим правилом 7f(-) если реализация случайного вектора равна х, то с вероятностью irv(x) принимается гипотеза Hv. Далее будем искомый критерий обозначать символом 7Г, имея ввиду, что нерандомизироваппый критерий является частным случаем рандомизированного (щ{х) = 1 для таких х, что 5(х) = Hv), и всякий раз оговаривая там, где нужно, случаи, связанные с особенностями поиска именно нерандомизированных критериев.
В задаче проверки статистических гипотез процесс поиска критерия связывается с понятием качества критерия, и целью данного процесса является нахождение оптимального критерия в соответствии с сформулированным понятием качества. Один из способов сравнения критериев основывается на понятии качества, характеризующегося набором вероятностей ошибочных решений
Использование информации о связи неопределенных моделей измерений. Объединенная неопределенная модель
Перейдем теперь к рассмотрению задач анализа и идентификации неопределенной модели М. измерений по параметру Д когда априори исследователь предполагает, что модель измерений принадлежит классу {[А, Е] : А А, Е = о2!}, истинный оператор А модели является неизвестным оператором из множества А, а параметр о считается мешающим, т.е. не интересующим исследователя в процессе анализа и идентификации модели М. Будем предполагать, что операторы А в А имеют полный ранг. Как уже отмечалось ранее в 1.1.1, в такой ситуации могут быть поставлены задача проверки адекватности используемого класса М моделей наблюдаемым измерениям, а также задача «синтеза» модели измерений, как задача оценивания истинной модели из М в случае (если будет признан адекватным класс М). Во второй задаче речь идет фактически о проблеме оценивания истинного оператора А Є А модели измерений. Построение оптимальных в каком-либо смысле оценок для А при наличии лишь довольно общих предположений об А я А довольно затруднительно. В таких ситуациях, как правило, осуществляют поиск решений задачи оценивания в классах состоятельных оценок.
В общем случае, когда требуется по наблюдению f построить оценку 0 неизвестного фиксированного параметра 0 0, от которого зависит распределение выборки = х, используются следующие понятия. Определение 13. Оценка 9 — 9 N() — в (fa,... ,дг) называется состоятельной, если 6 9 Рг при N — оо; здесь «— # обозначает сходимость по вероятности. Определение 14, Оценка 9 называется сильно состоятельной, если при N — оо О —+9; п.н. здесь «?— » обозначает сходимость почти наверное (с вероятностью 1).
В [14] рассмотрена оценка оператора А (как оценка максимального правдоподобия), обладающая свойством сильной состоятельности. На основании свойств случайной величины cf (f) (см. (1.39)), определяющей надежность отдельной модели [Л,Е],А Л, в [27], [14] предлагается метод максимальной надежности как метод выбора модели (метод синтеза наиболее надежной модели) для случая известного корреляционного оператора Е. Если исследователь априори предполагает, что истинная модель принадлежит классу М = {{А, Е] : А є А}, то методом максимальной надежности называется метод выбора такой модели \А, Е], на которой достигается экстремум в следующей оптимизационной задаче: af(0 = m x{a (0\AA}. (1.54)
По аналогии определим метод максимальной надежности выбора модели [Л,] для случая неизвестного параметра а2 в операторе S — а21 следующим образом: аД) = тж{алЦ)\АеА}, (1.55) где ал() надежность (1.49). Далее мы считаем, что М — {[А, о2І], А Є Л} как в случае швестного, так и в случае неизвестного а2, а под надежностью а() имеем в виду величину (1.39) или (1.49) в зависимости от контекста; аналогичное соглашение примем и для а„{).
Рассмотрим теперь задачу проверки адекватности класса М моделей, Учитывая свойства распределений величины #т(), было бы естественным рассматривать значение () как показатель уровня адекватности класса М. Т.е., если выбрана некоторая пороговая величина 0 щ 1, и выполняется неравенство а+() щ, то класс М можно признать не противоречащим наблюдениям и, следовательно, приемлемым, а модель [Л ,], в которой оператор А = Л+() доставляет экстремум в (1.54) (или в (1.55), в зависимости от контекста), считать результатом синтеза модели измерений, или результатом идентификации неопределенной модели М при неизвестном параметре А.
Вопрос выбора значения 0 фактически связан с задачей проверки гипотез о распределении случайной величины а»(), то есть гипотез об «успешности» или «неуспешности» выбора класса М (адекватности или неадекватности выбранного класса). В силу этого будем данное значение определять на основе выбранного исследователем уровня є, который не должна превышать вероятность ошибки первого рода для искомого критерия проверки данных гипотез, т.е. аь = с ь(є).
Помимо порога адекватности щ можно также рассмотреть эмпирическое качество неопределенной модели М, характеризующее уровень непротиворечивости модели М по отношению к экспериментальным данным. Свяжем данное эмпирическое качество со значением at(x), отвечающим конкретной реализации = х. (т.е. фактически с эмпирически наблюдаемым уровнем адекватности используемых класса Лі). При этом, чем ближе это значение к 1, тем выше можно считать эмпирическое качество неопределенной модели. Причем значение 0 Щ(Е) 1 необходимо использовать для того, чтобы заведомо в эксперименте отличать непротиворечивые модели, построенные в результате процесса синтеза: значение at(x) аь(є) будет соответствовать низкому эмпирическому качеству неопределенной модели и будет свидетельствовать в пользу противоречивости всего выбранного исследователем класса моделей по отношению к экспериментальным данным.
Если же рассматривать серии экспериментов с реализациями хі,...,хт то можно фактически о эмпирическом качестве неопределенной модели судить по результатам проверки гипотез о распределении случайного вектора (а (і),..., а (г)) (мы считаем, что оператор А истинной модели измерений фиксирован в серии экспериментов). При этом качественная картина такова: если значения a ( i),... ,а (хт) оказываются «примерно равномерно расположенными на отрезке [0,1] (или преимущественно расположенными близко к единице), то эмпирическое качество модели «М следует признать приемлемым, а класс М моделей - «адекватным», то есть не противоречащим процессу измерений; если данные значения будут группироваться преимущественно близко к нулю, то выбранный исследователем класс моделей, следует признать неприемлемым, неадекватным наблюдаемым измерениям, а соответствующее ему эмпирическое качество неопределенной модели - неудовлетворительным.
Дополним приведенные выше качественные аргументы в пользу метода максимальной надежности дальнейшим более строгим рассмотрением задачи проверки адекватности класса Лі.
Рассмотрим случай известного параметра а2. В эксперименте исследователь предполагает, что либо класс М является адекватным, т.е. истинной моделью формирования измерения является модель, соответствующая какому-либо оператору А из А, либо пе существует в А таких А, что измерение можно было бы представить в виде = а + и, где а Є %{А),А Є Л; в последнем случае класс М следует признать неадекватным (неадекватным для проведения моделирования и анализа исследуемого явления).
Идентификация типа среды в игровой постановке задачи о случайных блужданиях частиц с взаимодействием
Задачи о случайных блужданиях частиц с взаимодействием рассматриваются в различных областях науки. Особенно детально и глубоко проработаны подходы кинетической теории в физике [82]—[84], [29], [42], [74], [75] и теории ветвящихся процессов со взаимодействием [85]- [87]. Однако можно отметить такого рода постановки задач о случайных блужданиях, которые преследуют иные цели исследования и не сводятся к постановкам задач, анализируемых в указанных теориях. Целью одной из таких постановок задач является задача идентификации типа системы взаимодействующих частиц по наблюдениям за какой-либо выделенной частицей системы (частицей-зондом). При этом анализируемой системе свойственна неопределенность, содержащаяся в правилах перемещения и взаимодействия частиц. Именно эта неопределенность является основной проблемой задачи идентификации, т.к. при присутствии лишь «чистых» правил перемещения и взаимодействия частиц процесс идентификации системы не вызывал бы особенных трудностей (как при наличии неопределенных правил). Далее будут отмечены особенности данной задачи идентификации и приведены соответствующие аргументы в пользу того, чтобы использовать нестационарные неопределенные модели измерений для ее решения. А пока дадим обзор некоторых существующих подходов к описанию системы из N взаимодействующих частиц с указанием целей и особенностей моделирования данных систем.
Кинетическая теория.
Основным направлением исследований кинетической теории являются исследование системы частиц, описываемой некоторыми комплексами стохастических уравнений на мезоскопическом [29] и, возможно, микроскопическом уровнях, и, как часть исследования, поиск на их основе макроскопических свойств исследуемой системы при предельном переходе к случаю большого числа частиц в системе. Мезоскопическое представление предполагает описание системы N взаимодействующих частиц посредством необходимого исследователю набора функционалов, зависящих от распределения вероятностей f(N\t,ті,... ,тдг). Функция f(N (t,T\,... ,тдг) задается BiV-мерпом фазовом пространстве системы и определяет вероятность нахождения системы N частиц в состоянии, определяемом переменными f,ті,... ,гдг, где символы та обозначают совокупности координат и компонент импульса а-ой частицы: та = (ra,Pa), t — время; / fm(t,Ti,... ,TN)dTi.. ,dTN = 1, dra = d3xad3pa.
Мезоскопическое представление занимает промежуточное (по степени детальности) место между микроскопическим и макроскопическим способами описання системы N взаимодействующих частиц. Как отмечено в [29], из опыта известно, что при исследованиях конкретных макропараметров системы, несмотря на сложность лежащих в основе микроскопических процессов, удается выделить макрозакопомерности поведения системы. При этом эмпирические значения макровеличин флуктуируют. В таком случае хорошей оценкой макровеличины считают среднее се наблюдаемых значений. Один из основных вопросов кинетической теории заключается в проблеме выяснения условий применимости такого подхода и проблеме поиска способов моделирования систем, не удовлетворяющих этим условиям. В работе [82J отмечено, что используя уравнения движения частиц системы, можно получить кинетическое уравнение Больцмана, решение которого позволяет прогнозировать состояние системы в заданный момент времени t в известном приближении. При этом основная идея заключается в том, что систему можно заменить соответствующим ансамблем таких систем, которые описываются теми же уравнениями движения, но имеют другие начальные мнкросостояшія у = {ТЇ,. .. ,тдг). Структура ансамбля определяется функцией плотности f (y) таким образом, что f N\y)dy представляет число выборочных систем, обладающих начальными микросостояниями, принадлежащими элементу объема dy. Подстановка ансамбля в случае отдельной системы превращает у в стохастическую переменную і]. Множество выборочных значении т? состоит из всех возможных микросостояпнй, а вероятность того, что 1} принадлежит определенному элементу фазового пространства dy, равна доле выборочных систем ансамбля, принадлежащих этому интервалу. Для реально существующих систем подстановка ансамбля приводит к тому, что каждая физическая величина Z(t) становится стохастическим процессом, среднее значение и моменты которой можно связать с наблюдениями.
Последовательные и асимптотически оптимальные критерии
Суть последовательной процедуры принятия решения, согласно [56], сводится к тому, что производится последовательный анализ результатов измерений &,г — 1,..., JV : при получении нового измерения (начиная с самого первого) проверяется выполнение одного из трех определенных условий; если выполняется одно из них, то принимается гипотеза Я1, если второе - гипотеза Н2, а, если выполняется третье условие (взаимоисключающее первое и второе), то принимается решение продолжить наблюдение. Далее дадим формальное определение последовательного критерия для случая проверки двух простых гипотез Н\,Н2 [56], чтобы продемонстрировать основные особенности метода .
Пусть даны последовательность независимых случайных величин ( (каждая случайная величина принимает значения в X), бесконечная выборка l = а 00 и целочисленная случайная величина v 0, являющаяся функцией от . Обозначим х часть бесконечной выборки х 00 , состоящую нз п первых ее элементов. Будем считать, что v является марковской случайной величиной относительно последовательности , то есть известные значения х п первых ті случайных величин позволяют сказать, произошло событие У ф п или нет, другими словами, событие {і/ ф n} iti] "і.п - ст-алгебра, порожденная ь--,« Кроме того, будем считать, что v - собственная относительно обоих соответствующих распределений, порожденных Я},#2 случайная величина, т.е. \\${у со) = 1. Здесь Pri O - вероятность, рассчитанная в предположении, что все члены последовательности ( распределены в соответствии с R\t%. Пусть х" пространство векторов (щх ) таких, что v(x ) — п, и введем на х" с-алгебру F", определенную событиями {и — ті, ж Є А}, где А Є F, Т - г-алгсбра всех подмножеств множества ХП, 71 = 0,1,....
Определение 24, Последовательным критерием 5 для проверки гипотезы Н\ против гипотезы Яг называется пара (v,Z), где Z J представляет собой область приема Щ (критическую область).
Обычный нерандомизированный критерий является частным случаем последовательного, когда v = п постоянно (если v 0, то решение принимается без проведения испытаний).
Последовательный критерий 6 характеризуется вероятностями ошибок № = Ы&&}) Є z\ № = Рг5«",ЄМ) І 2). Пусть с проведением каждого отдельного наблюдения связаны некоторые затраты а, Обозначим потери, возникающие при неправильном решении в пользу гипотезы Н\р, как viit2,k = 1,2. Предположим, что существуют qip - априорные вероятности гипотез Н\р. Тогда можно ввести математическое ожидание потерь, которые возникают при использовании критерия 5, как L{q,8) = Y,4k[ak{&)vk + aEkv(5)\. (2.36)
Данная величина называется байесовским риском.
Определение 25. Последовательный критерий 5, минимизирующий байесовский риск L(Q,S), называется байесовским.
Поскольку, наряду со случайностью заложенной в , в последовательной процедуре присутствует случайность, связанная с номером шага остановки v (номер шага, на котором происходит принятие решения в пользу #1 или Яг), то кроме ужо известных характеристик критерия а {6),к = 1,2, у критерия S появляются новые характеристики: величины Е\ру{6) (среднее число испытаний, необходимых для принятия решения при условии, что верна гипотеза Hip). Таким образом, если раньше ограничивалась одна из ошибок к-го рода, то теперь исследователь может, руководствуясь информацией о величине затрат а, приходящихся на каждое новое измерение, ограничивать сверху максимальное среднее число необходимых испытаний с целью соблюсти «экономические ограничения при проведении эксперимента. В J30] указывается, что для любого наперед заданного уровня либо ошибки критерия, либо максимальных затрат, можно выбрать соответствующие необходимые параметры Гі,Г2, которые следующим образом фигурируют в определении области соответствующего оптимального критерия, отвечающей принятию решения о продолжении наблюдений Г! Г3, Гі КГ2, (2.37) /і (з) где /1(-)1/2(-) - плотности распределения вероятностей по некоторой лебеговской мерс, соответствующие гипотезам Hi, Я2 (выход через левую границу дайной области соответствует принятию Hi, выход через правую границу - принятию Hi)- Данный критерий называется последовательным критерием отношения правдоподобия. Особенностью данного критерия является то, что всегда можно указать такие Гі,Гг, которые позволяют минимизировать либо ошибки принятия решения, либо максимальные затраты. Это особенно удобно в тех случаях, когда про априорные вероятности появления гипотез Нір ничего неизвестно.
Похожие диссертации на Методы анализа и идентификации неопределенных моделей эксперимента
