Классификация и оценивание параметров временных рядов с многократными "разладками" Мельникова, Елена Николаевна

Введение к работе

'. Актуальность темы. Решение широкого класса прикладных задач в естественнонаучных исследованиях, технике, экономике связано с анализом временных рядов, характеризующих динамику исследуемого объекта (явления). Традиционным является предположение, что статистические свойства наблюдаемого ряда не меняются на анализируемом промежутке времени. Однако,во многих приложениях это предположение нарушается:характеристики анализируемого временного ряда претерпевают скачкообразные изменения, происходящие в неизвестные моменты времени (получившие.названия моментов "разладки"). При анализе подобных временных рядов возникает необходимость обнаружить произошедшие изменения(установить факты "разладок") и, если установлено, что "разладки" произошли, оценить моменты их наступления; опреде- лить точность получаемых оценок и их вероятностные свойства. Ис- ' следования в этом направлении связаны с именами ученых: А.Н. Ширяев, Л. Телькснис, И.В.Никифоров, Н.Клигене, А.П.Трифонов, В.В.Конев, Ю.С.ХарИН, S.S.Page. D.Y.Hlnkley, U.Baaeeville И Др.

В зависимости от количества скачкообразных изменений характеристик временного ряда на интервале наблюдения различают задачи обнаружения однократной "разладки" и задачи обнаружения многократных "разладок". Основное внимание в литературе уделялось именно обнаружению однократных "разладок". Однако, на практике часто возникает необходимость исследования временных рядов с многократными "разладками". Среди таких задач большой теоретический и практический интерес представляет задача о многократных "разладках" при заданном числе і > 2 моделей (классов) случайной последовательности, актуальная при построении алгоритмов контроля за состоянием систем управления, при разработке адаптивных процедур идентификации сложных нестационарных динамических систем и явлений с фиксированным, известным числом l состояний или режимов функционирования, каждый из которых описывается собственной вероятностной моделью. В каждом режиме система может находиться в течение некоторого, вообще говоря, случайного промежутка времени с переходом в моменты "разладок" в один из l-i альтернативных.режимов»

В такой постановке задача о многократных "разладках" может трактоваться и как специальная задача теории статистической классификации, и появляется принципиальная возможность не только обнаруживать "разладки", но и классифицировать их типы по наблюдаемым

- I -

данным. Многократное применение известных алгоритмов обнаружения однократных "разладок" для решения таких задач не учитывает повторяемость классов и не позволяет классифицировать типы "разладок". Непригодными оказываются и известные алгоритмы статистической классификации, т.к. они ориентированы на осуществление "поточечной" классификции, не учитывают наличие серий в последовательности наблюдений.

Таким образом, учет специфической структуры временных рядов с многократными "разладками", наиболее полное использование существующей априорной информации о вероятностных моделях наблюдений, порождающих временной ряд, 6 механизме чередования номеров классов и изменения длин участков "однородности", преодоление трудностей, связанных с многоэкстремальностью и большим объемом вычислений делают актуальной разработку новых моделей, методов, алгоритмов и программного обеспечения классификации временных рядов с с многократными "разладками".

Цель работы - построение и исследование эффективности решающих правил (РП) классификации и оценивания параметров векторных временных рядов с многократными "разладками" при заданном числе моделей (классов) случайных наблюдений; разработка и программная реализация алгоритмов классификации на основе полученных решающих правил в условиях параметрической и непараметрической априорной неопределенности.

Поставленная цель определила следующие основные задачи:

1. Построение и описание математических моделей векторных временных рядов с многократными "разладками".

2. Исследование эффективности оптимального' РП обнаружения многократных "разладок" и классификации при известных вероятностных характеристиках временного ряда.

3. Разработка, исследование эффективности и программная реализация субоптимальных параметрических РП обнаружения "разладок" и классификации велЛюрных временных рядов с абсолютно непрерывным распределением вероятностей и дискретных временных рядов.

4. Построение, асимптотический анализ параметрических и непараметрических (ядерного типа) статистических оценок функционала мел-классового расстояния в пространстве вероятностных распределений.

5. Синтез основанных на статистических оценках функционала межклассового расстояния параметрических и непараметрических РП обнаружения "разладок" и классификации; исследование их эффектив-

ности и программная реализация.

Методы исследования, применяемые в настоящей работе, включают метода теории вероятностей и математической статистики, статистической теории распознавания образов и многомерного статистического анализа, методы оптимизации, теории матриц, а также метод статистического моделирования на ЭВМ.

Новые научные результаты.

В рамках параметрической вероятностной модели наблюдений:

6. Для регулярного семейства плотностей на основе принципа максимального правдоподобия построено семейство субоптимальных РП совместного определения моментов "разладок", их числа и классификации векторных временных рядов.

7. Построено простое в вычислительном отношении двухэтапное РП: на первом этапе оцениваются моменты "разладок" и их число; на втором этапе осуществляется классификация с использованием модифицированной иерархической процедуры кластер-анализа со специальным функционалом близости.

8. Построено семейство субоптимальных РП обнаружения "разладок" и классификации дискретных векторных временных рядов для семейства полиномиальных распределений.

'4. В условиях регулярности параметрического семейства плотностей' получено стохастическое разложение состоятельной параметрической оценки функционала межклассового расстояния при истинности нулевой гипотезы однородности, а также при истинности є-близкой альтернативы неоднородности.

5. Указаны условия, при выполнении которых найдено асимптотическое распределение нормированной параметрической оценки функционала межклассового расстояния. Построен тест для проверки статистической значимости оценок моментов "разладки"; определена мощность теста.

6. На основе параметрической оценки функционала межклассового расстояния построены РП обнаружения "разладок" и классификации наблюдаемого векторного временного ряда.

В рамках непараметрической вероятностной модели наблюдений:

1. Построена непараметрическая (ядерного типа) состоятельная статистическая оценка функционала межклассового расстояния в ь_а -метрике.

2. Получено асимптотическое распределение состоятельной непараметрической оценки межклассового ь_г- расстояния. Построен тест

проверки статистической значимости оценок моментов "разладки".

3. Найдены асимптотические разложения для моментов первого и второго порядка непараметрической оценки межклассовго ^расстояния.

4. Построены непараметрические РП выявления "разладок", их числа и классификации векторного временного ряда, использующие непараметрическую статистическую оценку межклассового ь₂-расстояния.

.Практическая ценность работы состоит в том, что ее результаты могут использоваться при решении задач статистического анализа неоднородных экспериментальных данных в научных исследованиях, технике, экономике, при разработке и программной реализации алгоритмов контроля за состоянием технологических процессов, сложных нестационарных динамических систем с фиксированным числом режимов функционирования.

Реализация результатов. Теоретические и практические результаты использованы и внедрены при выполнении НИР "Разработка методов, алгоритмов и программного обеспечения устойчивого (робастно-го) анализа данных для автоматизации научных исследований, математического моделирования на ЭВМ сложных систем в условиях априорной неопределенности" (ном.гос.per. 01890080962) в рамках Республиканской научно-технической программы "Информатика"; при выполнении НИР "Разработка теории устойчивого математического моделирования систем, логико-комбинаторных и вероятностно-статистических методов оптимизации и распараллеливания вычислительно-информационных процессов", (ном. гос. per. 0I9I0054943) по плану фундаментальных научных исследовали БГУ; при выполнении в БГУ хоздоговорных НИР * 38745, № 38790. На основе предложенного метода разработана на языке Паскаль для ПЭВМ стандартная программа классификации векторных временных рядов с многократными "разладками" с использованием непараметрических статистических оценок функционала межклассового расстояния. Программа включена в Фонд алгоритмов и программ Бел-госуниверситета и Республиканский информационный фонд алгоритмов и программ (РФАП) Института математики АН РБ ( per. ном. РФАП 207І8Г7.00379).

Апробация работы. Основные результаты диссертации докладывались на v Всесоюзном симпозиуме "Машинные методы обнаружения закономерностей" (Минск,1985), на ш Всесоюзной конференции "Перспективные методы планирования и анализа экспериментов при исследовании случайных полей и процессов" (Гродно,1988), на Всесоюзной научно-технической конференции "Методы представления и обработки

случайных сигналов и полей" (Харьков,I989), на Республиканской конференции молодых ученых и специалистов "Применение информатики и вычислительной техники при решении народнохозяйственных задач" (Минск,1989), на ні Всесоюзном семинаре "Обнаружение изменения свойств случайных процессов" (Воронеж,1990), на республиканской научно-технической школе-семинаре "Анализ и синтез систем массового обслуживания и сетей ЭВМ" (Одесса,1990), на республиканской научной конференции "Математическое и программное обеспечение анализа данных" (Минск, 1990), на межреспубликанской научно-технической конференции творческой молодежи вузов Прибалтики, Белоруссии, Молдавии "Актуальные проблемы информатики: математическое, програмное и информационное обеспечение" (Минск, 1990), на Минском городском научном семинаре "Математическое и программное обеспечение анализа данных", в Белгосуниверситете на семинарах кафедр математического моделирования и анализа данных, теории вероятностей и математической статистики, на конференциях молодых ученых БГУ (І985-І99І).

Публикации.По теме диссертации опубликовано 10 печатных работ.

Основные результаты работы, выносимые на защиту:

1. Два типа субоптимальных РП определения многократных "разладок", их числа и классификации векторных временных рядов для регулярного параметрического семейства плотностей.

2. Субоптимальное РП обнаружения "разладок" и классификации дискретных временных рядов, описываемых полиномиальными распределениями.

3. Стохастическое разложение параметрической статистической оценки функционала межклассового расстояния в условиях регулярности; тест проверки статистической значимости оценок моментов "разладок". .

4. Параметрические РП обнаружения "разладок", их числа и классификации временных рядов на основе оценок функционалов межклассовых расстояний.

5. Непараметрическая статистическая оценка функционала межклассового расстояния в l_x- метрике; асимптотические разложения моментов первого и второго порядка оценки межклассового-. i_g-расстояния; непараметрический тест проверки статистической значимости оценок моментов "разладки".

6. Непараметрические РП обнаружения многократных "разладок", их числа и классификации временных рядов с использованием оценок

функционала межклассового ь_г- расстояния.

Достоверность приводимых в диссертации результатов обеспечивается корректным применением математических методов и подтверждается результатами вычислительных экспериментов.

Структура и объем работы. Работа состоит из введения, трех глав, заключения, списка литературы, включающего 119 наименований, диссертация содержит 139 страниц, включая 8 рисунков.