Содержание к диссертации
2
ВВЕДЕНИЕ 4
ГЛАВА 1. ПРЕДМЕТНАЯ ОБЛАСТЬ, ОБЪЕКТ ИССЛЕДОВАНИЯ.
ПОСТАНОВКА ЗАДАЧИ 12
Управление сложными системами со стохастическими параметрами. Проблемы идентификации и классификации 12
Структура взаимосвязи и взаимообусловленности задач прикладной статистики 16
Постановка задачи. Объект, предмет и задачи исследования 26
ГЛАВА 2. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ АНАЛИЗА СТРУКТУРНЫХ СВОЙСТВ СТАТИСТИЧЕСКИХ ДАННЫХ. МЕТОД И АЛГОРИТМ ОЦЕНИВАНИЯ ОДНОРОДНОСТИ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ 31
Свойства моментов распределений приведенных к интервалу [0,1] 31
Свойства распределений случайных величин, заданных в ограниченном интервале 37
Об информативности коэффициентов вариации при решении прикладных задач 47
Алгоритм проверки однородности выборки и её репрезентативности исследуемому случайному процессу 54
Метод и алгоритм определения параметра однородной генеральной совокупности по репрезентативному ограниченному объему выборки из нее 67
ГЛАВА 3. ПРИКЛАДНЫЕ ЗАДАЧИ СТАТИСТИЧЕСКОГО АНАЛИЗА
ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ 81
3.1 .Обобщенная схема идентификации однородной генеральной совокупности 81
Снижение погрешности определения структурных свойств однородной генеральной совокупности по ограниченной выборке из нее 90
Метод обнаружения и исключения аномальных значений выборки, полученной из однородной генеральной совокупности 99
Обнаружение моментов изменения структурных свойств генеральной совокупности 114
ГЛАВА 4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ РАЗРАБОТАННЫХ МЕТОДОВ И
АЛГОРИТМОВ ПЕРВИЧНОЙ ОБРАБОТКИ ОДНОРОДНЫХ
ГЕНЕРАЛЬНЫХ СОВОКУПНОСТЕЙ И ИХ СМЕСЕЙ 120
4.1. Краткая характеристика технологий программирования 120
Win32/C 120
C++/MFC 121
Visual Basic 121
Java 122
COM 123
Windows DNA 124
NetFramework .NET 124
4.2. Основы технологии .NET и выбор языка программирования 126
Строительные блоки .NET (CLR, CTS и CLS) 126
Выбор языка программирования 127
Преимущества С# 128
4.3. Описание автоматизированной подсистемы первичной обработки
выборочных данных из однородных генеральных совокупностей и их смесей 131
ЗАКЛЮЧЕНИЕ 138
ЛИТЕРАТУРА
Введение к работе
Актуальность темы. Как и во многих областях науки и техники в системах социально-экономической природы, принятие управленческих решений основано, как правило, на статистических данных. Наиболее характерными являются следующие задачи:
идентификация - разработка моделей исследуемых объектов (процессов, явлений) по статистическим данным;
классификация - разделение изучаемой совокупности объектов (процессов, явлений) на однородные, в некотором смысле, взаимоисключающие физически или статистически различимые группы;
выявление и исследование зависимостей между факторами, описывающими исследуемый объект;
понижение объема факторов, описывающих объекты;
распознавание (обнаружение) - отнесение каждого из заданного множества объектов, представленных в виде совокупности наблюдений, к одному из заранее известных классов.
Решению перечисленных задач посвящено большое количество как фундаментальных, так и прикладных научно технических работ по эконометрике и социомет-рике в проекции на прикладную статистику.
При этом качество идентификации, классификации, распознавания (обнаружения), во многом определяется качеством и объёмом исходной информации, а также методами, приёмами и критериями принятия решения.
Выполнение названных задач часто происходит при наличии внешних и внутренних помех. Внешние помехи, как правило, определяются условиями получения информации, внутренние - методами обработки информации. Наличие помех и неучтенных воздействий ведет к несовпадению между истинными значениями и результатами измерения характеристик изучаемых процессов, поэтому данные (наблюдения, измерения) носят, преимущественно, вероятностный характер.
5 Большинство статистических задач в системах управления решаются при ограниченных объёмах данных (обусловленных либо сложностью получения данных, либо высокой динамичностью изучаемых явлений) и высокой априорной неопределённости о состояниях исследуемых объектов (явлений, процессов). В этих условиях при решении статистических задач характерными являются:
а) недостаточность сведений о параметрах и свойствах наблюдаемого объекта, что
ограничивается независимостью и одинаковой распределенностью измерений;
б) необоснованные предположения о характере выборочных данных:
исследуемая генеральная совокупность принимается однородной;
выборка считается репрезентативной;
в) изменчивость условий получения данных;
г) непостоянство количества измерений в различные моменты времени;
д) ограниченность объёма наблюдений.
Перечисленные факторы существенно усложняют решение статистических задач из-за проблематичности применения известных классических методов математической статистики, фундаментальные результаты которых относятся, в основном, к асимптотическим свойствам распределений и моделям экспоненциального типа (или распределений, порождённых нормальным распределением) и основанным на них критериям.
К важнейшим требованиям, предъявляемым к методам статистического анализа, относятся:
высокие качественные характеристики;
устойчивость применяемых методов в условиях изменения статистических характеристик, исследуемых объектов и помех;
практическая реализуемость методов.
Качество решения статистических задач, прежде всего, определяется:
вероятностными свойствами изучаемых явлений (объектов);
адекватностью эталонных описаний объектам, задачам и целям их решения;
мерами различия между объектами и критериями их различения.
Особое место в обеспечении качества решения статистических задач занимает качество используемой информации. Это, прежде всего, однородность и репрезентативность исследуемых данных. К сожалению, как в теории, так и на практике, однородность и репрезентативность экспериментальных данных принимается как само собой разумеющимися.
Даже в тех случаях, когда осуществляется проверка однородности, она сводится к проверке соответствия выборочных данных нормальному или априорно заданному закону, лишь бы совпадали некоторые числовые характеристики или параметры, что, в общем, сводится к решению задачи оценивания репрезентативности выборки.
Из изложенного следует, что современные методы решения статистических задач должны обеспечивать системный подход к решению разнообразных задач статистического анализа (начиная с постановки эксперимента, первичной обработки данных и завершая принятием решений) и быть:
универсальными, независимыми от форм (классов) распределений;
устойчивыми к изменениям статистических свойств наблюдений;
чувствительными к структурным изменениям вероятностных характеристик наблюдаемых характеристик;
эффективными при относительно малом объёме выборки, просты в реализации.
В настоящее время известны фундаментальные исследования в области теории и практики идентификации (A.M. Дейч, Н.С. Райбман, В.Я. Катовник, П. Эйкхофф, P.M. Юсупов, А.К. Дмитриев и др.); прикладной статистики (С.А. Айвазян, Т.Химмельблау); методов статистического анализа, отличных от классических (Г.Дейвид - порядковые статистики, Я. Гаек, 3. Шидак - ранговые критерии, М. Кендел - ранговые корреляции, П. Хьюбер - робастные методы, Дж. Тьюки - графические методы анализа, Б. Эфрон - нетрадиционные методы, Дж. Иган, Ф.П., Тарасенко, Г.Б. Петухов - методы теории стохастической индикации и т.д.).
Несмотря на имеющиеся успехи в этих направлениях, разработанные методы не всегда удовлетворяют требованиям практики. Объективная реальность часто выдви-
7 гает условия, когда о свойствах наблюдений априорно известны минимальные сведения, которые ограничиваются:
однородностью;
репрезентативностью;
случайностью;
независимостью.
При этом первые два условия требуют научного обоснования. Это обусловливает противоречия между требованием качественного решения задач прикладной статистики и качеством используемой информации.
Основная решаемая задача данной диссертации заключается в модификации известных и создании новых инструментальных средств первичной обработки экспериментальных данных в контурах управления социально экономических систем.
Таким образом, разработка методов оценивания однородной репрезентативности выборки, позволяющих обосновать однородности исследуемых генеральных совокупностей, является актуальной как в теоретическом, так и в практическом аспектах.
Диссертационная программа выполнялась в рамках научно-технической программы «Притирка-2-И-К » Курского государственного технического университета, утвержденной Министерством образования и науки РФ.
Объектом исследования являются экспериментальные данные для решения задач идентификации, классификации, распознавания (обучения), использующиеся в контурах управления социально-экономическими объектами.
К предмету исследования диссертационной работы относятся методы, алгоритмы и программные средства оценивания однородной репрезентативности выборки из генеральной совокупности и их приложения в практических задачах управления в рассматриваемой сфере.
Цель настоящей работы сводится к повышению качества первичной обработки данных для решения задач прикладной статистики путем создания методов, алгоритмов и программных средств, объединенных в автоматизированную подсистему
8 первичной обработки данных, являющуюся неотъемлемой частью систем управления социально-экономическими системами. Задачи диссертационной работы:
разработка концептуальной модели распределений случайных величин, определённых в ограниченном интервале, и исследование её свойств;
определение однородной генеральной совокупности и разработка методов, алгоритмов оценивания однородности и репрезентативности выборочных данных и параметров исследуемой однородной генеральной совокупности;
разработка метода снижения погрешности определения параметров однородной генеральной совокупности по выборочным данным из неё;
разработка метода цензурирования выборочных данных и метода обнаружения изменения свойств случайных процессов по выборочным данным (задача о «разладке»);
разработка автоматизированной подсистемы первичной обработки выбороч
ных данных в задачах прикладной статистики.
Методы исследования базируются на основных положениях теории вероятностей, математической статистики, прикладной статистики, системного анализа, теоретического и прикладного программирования, теории алгоритмов и теории управления.
Научная новизна определяется разработкой теоретических положений и методов повышения качества предварительной обработки выборочных данных в прикладных задачах статистического анализа. Разработанные методы опираются на свойства концептуальных моделей вероятностных распределений, определённых в ограниченном интервале, а также на свойства однородных распределений (генеральных совокупностей).
К основным теоретическим результатам, полученным в диссертационной работе, относятся:
модель представления вероятностных распределений, заданных в ограниченном
интервале, и её свойства, задаётся в виде совокупности собственных индикаторов,
что позволяет создать основу для разработки средств первичной обработки данных;
определение однородной генеральной совокупности в виде одномодального
распределения случайных величин, у которого модули отклонений от среднего значения распределений не существенно отличаются по заданной мере близости от распределения Бернулли;
модифицированный метод и алгоритм оценивания однородной репрезентативности выборочных данных из генеральной совокупности;
обобщённый метод и алгоритм определения характеристик генеральной совокупности, при условии, что она однородна;
метод снижения погрешностей оценок параметра однородной генеральной совокупности с использованием «дополнительных данных».
К основным результатам прикладного характера, базирующимся на разработанных в диссертации теоретических положений, относятся:
модель взаимосвязи и взаимообусловленности основных задач прикладной статистики;
методы:
- цензурирования выборочных данных;
- определения момента изменения структурных характеристик однородной гене
ральной совокупности (в задачах о «разладке»);
рекомендации по применению коэффициента вариации в статистических иссле
дованиях;
структура и функция автоматизированной подсистемы предварительного анализа статистических данных. На защиту выносятся:
1) модель взаимосвязи и взаимообусловленности задач математической стати
стики, а также модели вероятностных распределений, определённых в ограничен
ном интервале и их свойства, позволяющие существенно расширить круг решаемых
задач прикладной статистики;
2) модифицированный метод и алгоритм оценки однородности репрезентативно
сти ограниченной выборки из однородной генеральной совокупности, что позволило
10 сформулировать корректные рекомендации по использованию коэффициента вариации в задачах прикладной статистики;
методика, позволяющая снять существующие ограничения на объем выборок, и разработанный на ее основе логически и практически состоятельный, обобщенный алгоритм определения параметров однородной генеральной совокупности;
метод формирования условно-дополнительных данных для снижения погрешности определений характеристик однородной генеральной совокупности по выборочным наблюдениям, а также методы решения прикладных задач:
цензурирование данных;
обнаружение момента изменения структурных характеристик однород
ных совокупностей (задача о «разладке»);
5) структура и функции автоматизированной подсистемы предварительного ста
тистического анализа выборочных данных системы управления и результаты реше
ния практически важных задач.
Апробация работы. Результаты работы докладывались и обсуждались на заседании кафедры ИСЭ КГТУ и международной конференции молодых ученых г. Сочи, 2004, 2006 гг., Международном симпозиуме России, г. Курск, 1995 г.
Реализация. Разработанные теоретические положения, методы и алгоритмы апробированы при решении конкретных задач и внедрены в учебный процесс в Курском государственном техническом университете, Гуманитарно-техническом институте (г.Курск) и реализованы в виде пакета прикладных программ.
Публикации. По материалам диссертации опубликовано 15 работ: в том числе 11 статей (из них 9 в журналах, рекомендованных ВАК) и 4 тезиса докладов на международных конференциях. Личный вклад автора разработка:
модель системы взаимосвязи и взаимообусловленности задач прикладной статистики (60 %);
концептуальной модели вероятностных распределений заданных в ограниченных интервалах и изучения их свойств (50%);
11 определение методов, алгоритмов и приемов оценивания однородной репрезентативности ограниченного объема выборок из вероятностного пространства (90%) и определения параметра однородной генеральной совокупности (90%);
модифицированного метода и алгоритма оценивания параметра генеральной совокупности (80%);
обобщенного метода и алгоритма идентификации характеристик генеральной совокупности, при условии, что она однородна (100%);
метода понижения погрешностей оценок параметра однородной генеральной совокупности (90%);
цензурирование выборочных данных (60%);
рекомендаций по применению коэффициента вариации в статистический исследованиях (90%);
автоматизированной подсистемы первичной обработки и визуализации экспериментальных данных (95%). Структура и объём работы. Диссертационная работа состоит из введения, четырёх глав, заключения, изложена на 140 страницах основного текста, содержит 43 рисунка, 22 таблицы, библиографический список состоит из 99 наименований.
