Содержание к диссертации
Введение
ГЛАВА 1. Характеризация многомерных НЭС
1. Класс многомерных распределений Т и его свойства 41
2. Частные случаи решения функционального уравнения 47
3. Примеры 49
Нормальное распределение 49
Распределение Пуассона 51
Гиперболический косинус 59
Биномиальное распределение 62
Отрицательное биномиальное распределение 64
Гамма-распределение Нормальное-Пуассоновское распределение 68
ГЛАВА 2. Точечное оценивание многомерных нэс с квадратичной функцией дисперсии
1. Многомерные НЭС с квадратичной функцией дисперсии 70
2. Ортогональные многочлены и их свойства 70
3. Простые квадратичные семейства, выражение для производной 74
4. Выражение для скалярного произведения многочленов одной степени 76
5. Разложение многочлена по параметру 77
6. Построение несмещенной оценки 78
7. Система ортогональных многочленов для полиномиального рас пределения 79
ГЛАВА 3. Применение НЭС в модели социальных последствий реформы ЖКХ
1. Постановка проблемы 81
2. Анализ исходных данных и источников информации 83
3. Основные предположения 88
4. Применение распределений НЭС для описания демографичес ких процессов 93
5. Обозначения и предположения для описания сложной семьи 98
6. Описание модели 100
Заключение 108
Список литературы
- Распределение Пуассона
- Отрицательное биномиальное распределение
- Выражение для скалярного произведения многочленов одной степени
- Применение распределений НЭС для описания демографичес ких процессов
Распределение Пуассона
Задача состоит в определении подходящей оценки, т. е. вещест-веннозначной функции 6, задаваемой на выборочном пространстве, относительно которой можно надеяться, что 5(Х) будет оказываться близким к неизвестному д{6). Значение 6(х), которое будет принимать 5(Х) на полученном при наблюдении значении х величины X и будет оценкой для д(в), полученной на основании имеющихся у нас данных.
Оценка 6 должна быть близка к д(0), и так как 6(Х) есть случайная величина, то мы будем интерпретировать это в том смысле, что она будет близка в среднем. Чтобы сделать это требование точным, необходимо указать меру средней близости оценки к д(в) (или среднего расстояния между ними).
Предположим, что последствия от оценивания д(6) значением d измеряются величиной L(9,d). Относительно функции потерь L предположим, что так что потери нулевые, когда оценка равна правильному значению. Точность или, скорее, неточность оценки S характеризуется тогда функцией риска 11(6,6) = Ев{Ц0,д(Х))}1 т. е. средними потерями в результате использования 5 в течение длительного промежутка времени. Хотелось бы найти такое 6 которое бы минимизировало риск при всех значениях в.
В сформулированном виде эта задача, как правило, решения не имеет. Поэтому часто такую задачу заменяют другой, потребовав, чтобы оценка удовлетворяла некоторому условию, обеспечивающему определенную степень беспристрастности. Одно из таких условий требует, чтобы смещение Ев[5(Х)] — д(9) оценки, называемое систе матической ошибкой, было равно нулю. т. е. чтобы Ев[6(Х)] = д(в) при всех в ев.
Это условие несмещенности гарантирует, что в конце концов те количества, на которые S пере- или недооценивает д(0), сбалансируют друг друга, так что получаемые значения оцениваемой величины будут "в среднем" правильными.
В общем случае несмещенные оценки могут не существовать. Если существует несмещенная оценка для д, то оцениваемая функция д называется допускающей несмещенную оценку (ДНО-функцией).
Несмещенность является весьма привлекательным качеством оценки, поэтому изучению его свойств и их применению уделено много внимания см. [6], [8], [11], [16], [22]-[24], [35]. Однако требование несмещенности не выделяет в общем случае оценку однозначно.
Одним из критериев оптимальности является эффективность оценки, т. е. выполнение условия несмещенности при минимальной дисперсии в классе несмещенных оценок. Эффективная оценка не всегда существует, но когда существует, то является единственной. Следующая теорема показывает, что эффективную оценку, если она существует, следует искать среди функций от достаточной статистики.
Таким образом, для натуральных экспонентных семейств распределений можно вычислить вектор математических ожиданий следующим образом ЕвХг=ггц = р-, і = М, т = (ти...1тп)Т = к ІІ(в). (0.20) В большинстве случаев параметризация НЭС с помощью среднего (га Є Мр) является более употребимой, чем параметризация с помощью натурального параметра в Є G, в частности, при определении дисперсионной функции, например, в [59]-[63].
Характеризации НЭС дисперсионной функцией. Наиболее известный и применяемый вариант характеризации НЭС — с помощью дисперсионной функции. Дисперсионной функцией называется (см. [59]) пара (У(гп),Мр), где га — вектор средних, Мр — область (возможных значений) средних семейства распределений F. Она позволяет однозначно характеризовать семейство распределений, и VF(m)= f ({e,x-m))2P(m,F){a!x). (0.21) J Е Заметим, что функция V(m) без области средних MF не может однозначно восстанавливать семейство, например, в одномерном случае, V(m) = т2 характеризует два различных НЭС, одно с Мр = = (-оо,0), другое — с Мр = (0,со) (см. [62]).
В многомерном случае дисперсионная функция задается матрицей размерности п х п и многомерной областью средних MF Є Rn.
Важным частным случаем многомерных НЭС являются так называемые диагональные семейства распределений.
Определение 0.1 ([39]). Многомерное n-мерное НЭС F называют диагональным, если существуют функции ai,...,an, такие, что ковариационная матрица Vp(m) имеет диагональ а\{т\), ...,ап(тп) для любого т = (mi, ...,mn), заданного в Мр — области средних семейства F, то есть диагональные элементы a,jj зависят только от rrij.
Благодаря полезным, хорошо изученным и удобным характери-зационным качествам дисперсионной функции, большинство моделей классификации, как одномерной, так и многомерной, строятся на свойствах дисперсионной матрицы, см. [39], [59], [61], [62], [63].
Одномерный случай. В статьях К. Морриса, опубликованных в 1982 и 1983 годах [62], [63], подробно изучен класс одномерных натуральных экспонентных семейств с квадратичной функцией дисперсии. Для них проведена полная классификация, изучены их вероятностные свойства и реализованы многие статистические процедуры.
Распределения нормальное, пуассоновское, гамма, биномиальное и отрицательное биномиальное получили широкое применение благодаря большому количеству полезных математических свойств. Классу натуральных экспонентных семейств принадлежит также, например, обратное гауссово распределения.
Некоторые из вышеупомянутых НЭС имеют квадратичную функцию дисперсии (НЭС-КФД), представленную в (0.25).
Моррис доказал, что с точностью до линейных преобразований существуют ровно шесть различных семейств распределений, принадлежащих этому классу, пять из которых перечислены выше, а на примере шестого, гиперболического косинуса, продемонстрировано, как конструировать семейства распределений, используя свойство квад-ратичности функции дисперсии.
Дисперсия для такого типа имеет вид Ур{т) = т3/р2, т. е. представляет собой многочлен третьей степени относительно среднего. Это семейство распределений подробно изучено, например в [67], [54], и имеет многочисленные применения, в частности, в теории финансов. Авторы перечислили еще 5 натуральных экспонентных семейств распределений с кубической функцией дисперсии и доказали, что с точностью до линейных преобразований в класс НЭС с кубической функцией дисперсии входят шесть типов распределений с квадратичной функцией дисперсии и шесть перечисленных ниже типов распределений, функция дисперсии которых представляет собой в точности многочлен третьей степени. Ниже приводятся соответствующие вероятностные законы, а также вид дисперсионных функций, см. таблицу 2 (для всех распределений 1-6 MF = (0,+оо)),
Отрицательное биномиальное распределение
Эта теорема наиболее близка, но не идентична полученному в нашей работе следующему результату.
Рассмотрим [72] распределение случайного вектора X = (Xi,X2), которое: (1) принадлежит классу двумерных натуральных экспонентных семейств; (2) распределения его компонент Х\ и Х2 представляют собой одномерные натуральные экспонентные распределения. Обозначим такое семейство распределений Т Є R2. Всюду далее будем рассматривать только дискретные и абсолютно непрерывные случаи. Тогда Р(хі:х2) — вероятность или плотность В ТОЧКе (xi,X2). Пусть маргинальные распределения вектора X определяются производящими функциями кумулянтов ki(ai) и / (с ) соответственно. Тогда можно его распределение можно описать в терминах производящих функций кумулянтов следующим образом.
Теорема 0.8 ([72]). Производящая функция кумулянтов двумерного семейства распределений f может быть представлена в виде К(вив2) = к1{в1 + р1(б2)) + к2{02)-к1{в%+131{е2)) = = к2(в2 + р2(Є1)) + к1(в1)-к2(Є2]+р2(в1)), (0.43) где кі(аі) и /с2(а2) — маргинальные производящие функции кумулянтов, вгєві: \іткг(в1)=0, /М021) =&(#?)= 0, = 1,2. (0.44) Согласно этой теореме в работе предлагается процедура восстановления семейства Т по его маргинальным распределениям. Иногда, используя предложенные алгоритмы, можно получить единственное решение (/Зі(02),/3г(0і)) функционального уравнения (0.43), благодаря чему восстановить двумерное распределение с зависимыми известными компонентами.
Еще один рассмотренный в данной работе алгоритм позволяет восстанавливать многомерные распределения по известным распределениям компонент, используя свойство их воспроизводимости, причем для многомерного распределения с пуассоновскими маргиналами при применении обоих вышеперечисленных методов мы получили один и тот же результат, см. [74].
Свойство воспроизводимости НЭС. Понятие "воспроизводимости" по отношению к параметру 9 было введено Уилксом (Wilks) в 1963 году следующим образом: пусть Xi и Хг — независимые одинаково распределенные величины с распределениями F(- : 9\) и F{- : 62) соответственно. Если величина Z = Х\ + Хч распределена согласно F(- : в\ + 92), то F называется воспроизводимым относительно параметра 9.
Вопросы, связанные с этим свойством, подробно изучались, например в [67], [40], в частности, были рассмотрены случаи констант а = 1/гг для многомерных параметров, а также случай а = 1, в котором доказано, что ему принадлежит единственное семейство распределений — пуассоновское.
Рассмотрен случай степенной (V(m) = am1) дисперсионной функции, в котором проведена классификация в зависимости от значений 7 и области (возможных значений) средних Мр В частности, в рамках этого семейства получен следующий интересный результат: Теорема 0.9 ([40]). Пусть Q = R, есть семейство нормальных распределений тогда и только тогда, когда является воспроизводимым. В этом случае есть всего два вида стабилизирующих констант а(п) = in-1/2, которым соответствует преобразование параметра дп(в) = ±п1 2в.
Пусть П = R+, & есть натуральное экспонентное семейство распределений с функцией дисперсии V(m) = am1, 7 7 2 тогда и только тогда, когда является воспроизводимым. В этом случае стабилизирующие константы имеют вид которым соответствует преобразование параметра дп(0) = 0п(1-7 7-2) для 7 1, дп(в) = в + (1/а)\пп для j = 1. Ниже свойство воспроизводимости применяется для восстановления многомерного натурального экспонентного семейства по пуассо-новским маргиналам.
Реконструкция многомерного распределения с пуас-соновскими маргиналами. Обозначим (см. [74]) Vті семейство распределений n-мерного случайного вектора Х п\ обладающее свойствами: (1) распределение любого его подвектора Х — (Xj1,...,Xjm), тп = 1, ...,п принадлежит классу га-мерных натуральных экспонент ных семейств; (2) его маргинальные распределения представляют собой одномер ные распределения Пуассона. Утверждение 0.1 ([74]). Пусть ХІ1ІШШШ)ІП ik — 0,1, к = 1,п — независимые случайные величины, имеющие распределения Пуассона с натуральными параметрами
Выражение для скалярного произведения многочленов одной степени
Многомерные НЭС с квадратичной функцией диспер сии. В статье Морриса [63], опубликованной в 1983 году, был предло жен метод для построения несмещенных оценок параметров в клас се одномерных натуральных экспонентных семейств с квадратич ной функцией дисперсии. Основой этого метода является построение системы полиномов, ортогональных относительно рассматриваемой плотности распределения.
В данной работе рассматривается обобщение этого метода на случай многомерных натуральных экспонентных семейств.
Рассмотрим многомерное натуральное экспонентное распределение с квадратичной функцией дисперсии, задаваемой многомерной областью (возможных значений) средних Мр и Как уже было отмечено, многочлены одной степени не ортогональны. Найдем выражение для их скалярного произведения. 2.4. Выражение для скалярного произведения многочленов одной степени. Утверждение 2.4. Скалярное произведение многочленов одной степени имеет вид Ее(Р .,АІ.н,) = (-і) в,-і - -Во G%;(V), где V — {cij)ij=Tn — дисперсионная матрица, Вь, к — 0,q — 1 определены в соотношении (2.4), G{ 1" i n(V) — коэффициент, полученный по нижеописанной процедуре. Доказательство.
Построение несмещенной оценки. Используя перечисленные результаты, несложно получить теперь следующий общий вид оценки аналитической функции д(т), где га — вектор средних.
Пусть д(т) — аналитическая функция, т = = (mi,...,mn) — вектор средних, принимающий значения в области возможных значений средних Мр, т$ = (т, ...,га ) — внутренняя точка Мр Тогда существует единственная несмещенная оценка функции д(т), которую можно представить в виде
Постановка проблемы. В подавляющем большинстве современных государств экономические, политические, социальные и другие процессы оказываются объектами активного изучения. Поэтому важным направлением научно-практической работы являются разработка и применение математических методов и компьютерных систем для анализа и прогнозирования практически в любой области целенаправленной человеческой деятельности. В настоящее время особую роль играет исследование социальных процессов. Их анализ и прогнозирование могут существенно помочь достижению стабильности общественных отношений и обеспечению социальной устойчивости внутри муниципального сообщества.
Строить модели социальных процессов в масштабе государства весьма сложно, однако в масштабе муниципального образования эта задача вполне доступна. Для достижения этой цели недостаточно иметь элементарную статистику (типа обзоров ВЦИОМ). Нужна система поддержки принятия решений, основанная — в том числе и в первую очередь — на математических методах, которые позволяют дать наиболее объективные и точные оценки. Полученные статистические данные и модели — при надлежащей модификации — можно использовать для проведения мониторингов и перманентной оценки социального состояния населения.
Постоянный количественный анализ необходим и для оценки последствий принимаемых решений, что, в свою очередь, необходимо для получения социального прогноза. Особое внимание уделяется сфере жилищно-коммунального хозяйства (ЖКХ), реформирование которой существенно затрагивает подавляющую часть населения. На рост жилищно-коммунальных платежей население реагирует наиболее остро, а это непосредственно влияет на социальную стабильность, причем не только внутри муниципального образования.
Предлагаемая задача моделирования социальных последствий реформы ЖКХ рассматривается нами в контексте более общей глобальной задачи построения модели управления комплексным социально-экономическим развитием муниципального образования. В связи с этим могут быть выделены следующие направления и объекты исследования: - условия жизни различных социальных групп города Твери и структура этих групп; - возможные состояния социальных групп и источники (причины) их перехода из одного состояния в другое, в том числе — в крайние состояния; - взаимоотношения и взаимовлияния между социальными группами и возможные схемы (сценарии) перехода (эскалации) социальной ситуации из одного состояния в другое; - анализ требований и предложений социальных групп и возможности по их реализации; - разработка системы оценки и прогнозирования социального климата в Твери. Для решения поставленной в таком варианте задачи, существенными моментами являются: - описание структуры населения по различным критериям (возрасту, сфере деятельности, уровню дохода, социальному стату су и т. п.); - разработка системы параметров, характеризующих социально-экономический уровень семьи, включающую оценку доходов и расходов населения; - математическая обработка данных и формирование на ее основе оценок текущего состояния, динамики и прогнозов. 3.2. Анализ исходных данных и источников информации.
В настоящее время данные, предоставляемые официальными органами статистики (например, областной комитет статистики), часто не отражают реальной ситуации. Это вызвано постоянно уменьшающимся числом опрашиваемых (выборки не являются репрезентативными), кроме того, происходит резкое смещение социально-экономического состава опрашиваемых в сторону бедных и беднейших слоев населения. В связи с этим, для получения более точных оценок, необходимо пользоваться другими (первичными) источниками информации. Перечислим некоторые из них.
Применение распределений НЭС для описания демографичес ких процессов
По данным имеющейся статистики, за последние годы в городе возросла вероятность выбытия членов сложной семьи в связи с изменением места жительства (вне города), причем в основном это касается молодых семей. Такую вероятность необходимо оценивать отдельно. Сделать это можно, используя многомерное полиномиальное распределение с общим параметром п = 1 и различными зависимыми параметрами pi,p2,... аналогично случаю, рассмотренному ниже.
Происходит изменение состава семьи за счет возникновения ее новых членов. Рождение ребенка. Рассмотрим супружеские пары репродуктивного возраста, т. е. G{ = (ХІ5У;) Є Kin,X ax] х Kin,Yax]. Согласно пункту 4.1., будем отдельно оценивать вероятности рождения первого и прочих детей, причем если в квартире проживают две (эмпирическая статистика показывает, что вероятность проживания трех и более пренебрежимо мала) простые семьи репродуктивного возраста, не имеющие детей, то рождение детей для различных простых семей будем интерпретировать как двумерный случайный вектор с зависимыми компонентами, каждая из которых имеет биномиальное распределение с общим параметром п = 1и различными, но зависимыми р\ и р соответственно. Совместное распределение такого вектора является полиномиальным, т. е. принадлежит классу простых квадратичных двумерных НЭС.
Для п=1 вероятность рождения ребенка равна pi = тщ, і = 1, 2. Таким образом, оцениваемые функции gi(rrii) = mi, і = 1,2, зависят только от одного параметра, следовательно, метод двумерного оценивания функций от средних, предложенный в третьей главе, вырождается в этом случае в одномерное оценивание, причем оценки средних, полученные с помощью этого метода, совпадают с оценками, полученными, например, методом моментов, и равны выборочным средним.
Если в рассматриваемой сложной семье есть две семьи репродук 104 тивного возраста со значимым количеством детей, то их число детей будем описывать с помощью двумерного случайного вектора с зависимыми компонентами, распределение которого описано во второй главе.
А значит, для однозначного восстановления параметров требуется оценить функции д{тпі) = гп{, что можно сделать, используя систему ортогональных многочленов (1.52), причем полученные таким образом оценки совпадают с оценками, полученными по методу моментов, см. [75].
Брак. Для каждой (неполной (Х{ = 0 или У; = 0)) супружеской пары Gl = (Xi,Yi) используя эмпирическую статистику, можно подсчитать вероятность брака при условии G1, т. е. вероятность брака людей данного возраста, при этом необходимо учитывать, что по этой причине возможно и выбытие членов сложной семьи. Мы предполагали равновероятными в этом случае варианты уменьшения и увеличения численности рассматриваемой семьи.
Прочие причины. Аналогично предыдущему, согласно данным эмпирической статистики можно оценить вероятности возвращения членов семьи с мест работы, учебы, вследствие развода и пр.
Каждой семье в соответствие поставим площадь квартиры, в которой она проживает, вектор других учитываемых характеристик жилья, общих для всех ее членов, например, общую сумму оплаты жилья, льгот и жилищных субсидий, а также индивидуальные показатели для всех живущих в квартире.
Таким образом, мы можем оценить в фиксированный момент времени распределение состава семей, прогнозировать изменение жилищной ситуации в связи с демографической составляющей.
Рассматриваемая модель предлагалась для оценки социальных последствий принятия управленческих решений в реформе жилищно-коммунального хозяйства города Твери [71]. Выводами, полученными в результате анализа имеющихся данных могут быть следующие: - величина оплаты квартирных услуг весьма велика по сравнению с доходами большой части населения; - наблюдается существенный разброс величины доходов жителей города; - происходит заметное "старение" населения города, например, доля детей до 5 лет составляет всего около 4% (например, в возрастную категорию 35-40 лет входят около 9% населения), что, как правило, связанно с увеличением доли малообеспеченных и социально незащищенных слоев;
Введен в рассмотрение и изучен специальный подкласс многомерных натуральных экспонентных семейств распределений, для которого разработана и теоретически обоснована процедура восстановления распределения многомерных случайных векторов по заданным маргиналам. В некоторых частных случаях данная процедура имеет единственное решение. В рамках рассматриваемого класса получены уже известные и некоторые новые многомерные обобщения одномерных случайных величин, принадлежащих классу натуральных экспонентных семейств с квадратичной функцией дисперсии. В частности, доказано, что многомерное нормальное распределение есть единственно возможное многомерное обобщение нормального распределения в рамках рассматриваемого семейства; подробно рассмотрен случай пуассоновского распределения, все результаты для него получены для случая произвольной размерности; получены двумерные обобщения биномиального и отрицательного биномиального распределений, частными случаями которых являются полиномиальный и отрицательный полиномиальный случаи; получены двумерные обобщения гамма- и закона гиперболического косинуса.
Разработана система функций, являющихся ортогональными относительно плотности распределения многочленами, изучены их свойства. Эти многочлены являются базисом для построения эффективных оценок аналитических функций от многомерных параметров, алгоритм нахождения которых предложен для специального класса распределений.
