Содержание к диссертации
Введение
ГЛАВА 1. Методология обработки потока измерительной информации 16
1.1. Обоснование методики обработки результатов измерений 16
1.2. Вероятностная модель потока измерительной информации 22
1.3. Методы обнаружения аномальных измерений при априорной неопределенности 44
1.4. Временные методы выделения полезной составляющей 68
1.5. Спектральные методы выделения полезной составляющей 89
1.6. Методы размножения результатов измерений 101
Выводы 103
ГЛАВА 2. Итерационный метод выделение полезной составляющей при непараметрической априорной неопределенности
2.1. Итерационный метод выделения полезной составляющей 105
2.2. Оценка погрешности выделения полезной составляющей итерационным методом 113
2.3. Анализ эффективности использования итерационного метода при выделении полезной составляющей 119
2.4. Оценка эффективности итерационного метода выделения полезной составляющей по остаткам 130
Выводы 137
ГЛАВА 3. Выделение полезной составляющей методом размножения оценок при непараметрической априорной неопределенности 139
3.1. Метод размножения оценок полезной составляющей 139
3.2. Обоснование выбора основных параметров метода размножения оценок 153
3.3. Анализ эффективности метода размножения при выделении полезной составляющей 173
3.4. Оценка эффективности метода размножения полезной составляющей по остаткам 188
3.5. Оценка эффективности обработки результатов измерений при одностороннем законе распределения шумовой составляющей 201
Выводы 206
Глава 4. Обнаружение аномальных измерений при непараметрической априорной неопределенности
4.1. Адаптивный метод обнаружения аномальных измерений при анализе нестационарных случайных сигналов 208
4.2. Исследование эффективности метода обнаружения аномальных измерений 213
4.3. Эффективность обнаружения одиночных аномальных измерений 227
4.4. Эффективность обнаружения групповых аномальных измерений 236
Выводы 250
ГЛАВА 5. Методы первичной обработки результатов измерений 252
5.1. Программное обеспечение первичной обработки результатов измерений 252
5.2. Сравнительный анализ эффективности методов сглаживания результатов измерений 254
5.3. Эффективность использования новых методов при анализе нестационарных случайных сигналов 270
5.4. Использование методов первичной обработки результатов измерений в задачах прогнозирования 272
5.5. Комбинированные методы обработки результатов измерений 278
5.6. Анализ эффективности методов первичной обработки результатов измерений на экспериментальных данных 288
Выводы 293
Основные результаты и выводы 296
Литература 300
- Методы обнаружения аномальных измерений при априорной неопределенности
- Анализ эффективности использования итерационного метода при выделении полезной составляющей
- Анализ эффективности метода размножения при выделении полезной составляющей
- Использование методов первичной обработки результатов измерений в задачах прогнозирования
Введение к работе
В настоящее время объем информации, передаваемой радиотехническими системами, постоянно растет, что обуславливается количеством измеряемых и регистрируемых параметров, которые предназначены для контроля и управления сложными народнохозяйственными объектами. К ним можно отнести ракетно-космические системы, промышленные, биологические, медицинские системы и ряд других. Сложность научных исследований и, как следствие, расширение контролируемых параметров, также приводит к резкому увеличению потока измерительной информации, обработка которого без использования автоматизированных систем сбора и обработки результатов измерений становится практически невозможным, что привело к развитию компьютерной обработки результатов измерений (работы Васильева В.Н., Гурова И.П. др.).
Необходимость передачи зарегистрированных (измеренных) данных по телеметрическим каналам связи требует увеличения скорости передачи информации и увеличения их пропускной способности. С 1965 года интенсивно начали изучаться различные методы сокращения избыточности передаваемой информации. Основными из них являются методы сжатия результатов измерений. Однако, их использование связано с рядом трудностей, которые заключаются в необходимости предварительного получения оценок статистических характеристик измеряемых сигналов, представляющих в большинстве случаев единственную реализацию нестационарного случайного сигнала с ограниченным объемом результатов измерений. При непараметрической априорной неопределенности современная статистика не располагает математическим аппаратом для решения этой задачи.
Большинство телеметрируемьтх реализаций относятся к нестационарным сигналам аддитивной природы. Наблюдаемый ряд результатов измерений можно рассматривать как выборку нестационарного случайного сигнала ограниченного объема, которую представляют как сумму некоторой полезной составляющей и случайной, подчиняющейся некоторому вероятностному закону.
Случайная составляющая может включать в себя и грубые ошибки измерений (так называемые аномальные или сбойные измерения). Аномальные значения, возникающие в каналах измерения, обработки и передачи данных, даже при небольшой частоте их появления, вносят большие погрешности в результаты восстановления сообщений или в оценки их статистических характеристик.
Задачей первичной обработки результатов измерений является повышение достоверности полученных данных, что требует решения таких вопросов,
. как обнаружение и устранение аномальных значений, уменьшение дисперсии случайной составляющей, выделение полезной составляющей при непараметрической априорной неопределенности и ограниченном объеме результатов измерений. Главной трудностью разделения исходной реализации результатов измерений на полезную и случайную составляющие является отсутствие априорных сведений о статистике этих процессов и требование полной автоматизации процедур выделения составляющих без участия экспериментатора. Приоритетным направлением при этом является совершенствование методов их обработки, создание измерительно-информационных радиотехнических систем и
. комплексов.
Использование на практике методов, которые рассматриваются в работах Дейвида Г., Переверткина СМ., Бендата Дж., Андерсена Т., Винера Н., Калмана Р.Е., Брандта 3., Левина Б.Р., Цветкова Э.И., Тихонова В.И., Кринец-кого Е.И., Фомина А.Ф., Айвазяна С А., Лихарева В.А. и ряда других, возможно лишь при наличии достаточного объема априорной информации как о полезной, так и о случайной составляющих. В противном случае их эффективность снижается, и говорить о достоверности проведенного анализа становится нецелесообразным. Этим и объясняется тот факт, что при таком огромном количе-
. стве работ по данной тематике компьютерная обработка данных осуществляется либо при визуальном анализе, либо простейшими методами, такими как метод скользящего среднего и его модификации. Особенно это проявляется при обработке результатов измерений, которые представлены единственной реализацией измеряемого процесса.
7 Пакеты прикладных программ статистической обработки результатов
измерений содержат, как правило, методы, требующие априорной информации
об измеряемом процессе или позволяющие проводить анализ на основе визу
ального контроля экспериментатора, т.е. при его непосредственном участии.
Таким образом, то, чем располагает современная наука, уже не может удовлетворять возрастающим требованиям, которые предъявляются к системам первичной обработки результатов измерений. В связи с этим развитие методологии анализа нестационарных случайных сигналов на основе новых методов при непараметрической априорной неопределенности и ограниченном объеме результатов измерений является весьма актуальной темой как с теоретической,
так и с практической точек зрения.
Объектом исследования являются методы и алгоритмы обработки нестационарных случайных сигналов и извлечение информации в условиях непараметрической априорной неопределенности и ограниченном объеме измерений.
Предметом исследований является уменьшение погрешности выделения полезной составляющей и увеличение вероятности правильного обнаружения аномальных значений при обработке нестационарных случайных сигналов в условиях непараметрической априорной неопределенности и ограниченном
объеме измерений.
Целью диссертационной работы является развитие методологии анализа нестационарных случайных сигналов, представленных единственной реализацией при непараметрической априорной неопределенности и ограниченном объеме измерений, на основе создания научно-методического аппарата и алгоритмов их функционирования.
Для достижения поставленной цели необходимо решить следующие основные задачи:
1. Систематизация основных методов анализа нестационарных случайных сигналов, представленных единственной реализацией при априорной непа-
8 раметрической неопределенности, развитие методологии их анализа посредством разработки новых методов.
Разработка и исследование новых методов выделения полезной составляющей нестационарных случайных сигналов при непараметрической априорной неопределенности и ограниченном объеме результатов измерений.
Разработка и исследование нового метода обнаружения и устранения как одиночных, так и групповых аномальных значений при анализе нестационарных случайных сигналов в условиях непараметрической априорной неопределенности и ограниченном объеме результатов измерений.
Сравнительный анализ погрешности обработки нестационарных случайных сигналов, при различных моделях измеряемого процесса, с методами, которые наиболее широко используются в настоящее время для первичной обработки результатов измерений.
Оценка эффективности использования методов анализа нестационарных случайных сигналов при решении задачи прогнозирования.
Разработка методов и алгоритмов их реализующих, которые позволят реализовать первичную обработку результатов измерений при непараметрической априорной неопределенности и ограниченном объеме измерений в радиотехнических системах сбора и обработки результатов измерений.
Научная новизна.
В рамках диссертационной работы нашло свое дальнейшее развитие теория анализа нестационарных случайных сигналов и были получены следующие новые научные результаты:
1. Разработан новый метод выделения функции полезной составляющей (патент № 2207622) для первичной обработки результатов измерений в условиях непараметрической априорной неопределенности при наличии единственной реализации нестационарного случайного сигнала и ограниченном объеме выборки, который основан на размножении не самой исходной реализации, а оценок полезной составляющей, получаемых определенным образом и который не имеет аналогов при решении задач подобного класса.
Получены статистические характеристики покрытий метода размножения оценок и обосновано использование случайных чисел, имеющих равномерный закон распределения при формировании покрытий.
Проведено аналитическое обоснование числа разбиения исходной выборки на покрытия и получены аналитические выражения, которые позволили установить функциональную зависимость между основными параметрами ме-
тода размножения оценок.
Разработан новый рекуррентный метод (патент № 2222824) выделения полезной составляющей при непараметрической априорной неопределенности и наличии единственной реализации нестационарного случайного сигнала с ограниченным объемом выборки результатов измерений.
Проведен анализ метода размножения оценок полезной составляющей и его модификаций и показано, что результирующая оценка полезного сигнала получается как средневзвешенное значение кусочно-квадратичных функций, аппроксимирующих исходную реализацию сигнала при каждом разбиении
временного отрезка результатов измерений. Экспериментально доказано целе
сообразность повторной обработки, которая позволяет уменьшить значение
среднеквадратической погрешности по сравнению с однократной обработкой.
Разработан адаптивный метод обнаружения аномальных измерений, реализованный на основе метода размножения оценок полезной составляющей, который в условиях непараметрической априорной неопределенности и наличии единственной реализации нестационарного случайного сигнала с ограниченным объемом выборки позволяет определять единичные и групповые аномальные измерения.
Аналитически доказана возможность создания новых методов обработки результатов измерений: при комбинировании критериев минимизации среднеквадратической погрешности и среднего квадрата конечной разности первого порядка значений измеряемого процесса; при комбинировании метода размножения оценок и метода скользящего среднего (патент №2257610).
10 Практическая значимость.
Предложена методика оценки результирующей полезной составляющей при числе размножения меньше тридцати, которая заключается в замене математического ожидания оценок по сечениям в каждый момент времени, значением моды нормированной оценки плотности распределения в каждом из сечений. Экспериментально показано, что среднеквадратическая погрешность выделения при этом уменьшается в среднем на 58%, по сравнению с использованием оценки математического ожидания в каждом из сечений.
Экспериментально установлено, что повторная обработка методом размножения оценок уменьшает значение среднеквадратическои погрешности в среднем на 10% по сравнению с однократной обработкой, однако проводить её более пяти раз нецелесообразно, так как при этом наблюдается увеличение среднеквадратическои погрешности.
Разработан алгоритм обнаружения и устранения одиночных и групповых аномальных измерений в условиях непараметрической априорной неопределенности при наличии единственной реализации нестационарного случайного сигнала и ограниченном объеме выборки, который позволяет обнаруживать при амплитуде аномальных измерений более восьми значений среднеквадрати-ческого отклонения шумовой составляющей одиночные аномальные измерения с вероятностью ошибки первого рода не выше ОД, независимо от модели полезной составляющей, закона распределения шумовой составляющей и ее дисперсии. Значение вероятности правильного обнаружения при этом практически равно единице при количестве аномальных измерений до 10% от объема выборки, независимо от места их расположения. Установлено, что предлагаемый метод позволяет обнаруживать с практически единичной вероятностью групповые аномальные измерения амплитудой более шести значений среднеквадрати-ческого отклонения шумовой составляющей, состоящие из пяти измерений, независимо от их места расположения, функции полезной составляющей, закона распределения и дисперсии шумовой составляющей. Наличие нестационарно-
сти по дисперсии шумовой составляющей не снижает эффективности метода обнаружения аномальных измерений.
Получена операторная форма итерационного метода выделения полезной составляющей на фоне аддитивной шумовой составляющей и предложен метод устранения разрывов оценки полезного сигнала, использование которого позволяет уменьшить среднеквадратическую погрешность выделения в среднем на 7-10%.
Разработанная методика использования нового подхода построения первичной обработки нестационарного случайного сигнала позволила применить ее для решения задач прогнозирования; на примере разряда аккумуляторной батареи удалось обеспечить по 100 измерениям прогноз на 2500-3500 из-
, мерений с погрешностью не более 5%.
6. Предложенная методика построения первичной обработки нестацио
нарного случайного сигнала в условиях непараметрической априорной неопре
деленности при наличии единственной реализации и ограниченного объема вы
борки результатов измерений, основанная на использовании новых способов
обработки, позволяет в среднем на 50% уменьшить значение среднеквадратиче-
ской погрешности при наличии аномальных значений результатов измерений,
по сравнению с обработкой известными методами при отсутствии аномальных
значений.
Методы исследования.
Научные исследования в диссертационной работе основывались на использовании методов математической статистики, теории принятия решений, статистической радиотехники, методов вычислительной математики и имитационного моделирования на ПЭВМ. Проверка теоретических расчетов и выводов проводилась на основе имитационного моделирования на моделях и реальных результатах измерений.
Достоверность и обоснованность результатов теоретических исследований обеспечивается результатами имитационного моделирования на различ-, ных моделях полезной и аддитивной шумовой составляющих. Новизна техни-
12 ческих предложений подтверждается экспертизой технических решений, которые подтверждены патентами на предлагаемые способы и свидетельствами на программное обеспечение алгоритмов, которые их реализуют.
Реализация результатов работы.
Диссертационная работа выполнялась в рамках госбюджетных и научно-исследовательских работ совместной Проблемной лаборатории перспективных технологий и процессов РАН и ЮРГУЭС, в том числе по ЕЗН Министерства образования России (ЮРГУЭС-1.02Ф, № ГР 01.200.210719, Инв. № 02.20.0306360). «Методы первичной обработки результатов измерений и алгоритмы, их реализующие» и в соответствии с заданием Минобрнауки РФ по теме «Идентификация полезной составляющей результатов измерений в условиях априорной непараметрической неопределенности и ограниченном объеме данных» (ЮРГУЭС - 2.06.Ф), а также гранта в рамках аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы» (РНП.2.1.2.75). Результаты диссертационной работы внедрены на предприятиях при обработке результатов измерений, что подтверждается соответствующими актами о внедрении (в/ч 56003, НИИ энергетики ЮРГТУ, ООО «Волго-градтрансгаз», экономический эффект 990000 руб./год, в Донской ремесленной палате), а также в НИИ электронной техники г. Воронежа при разработке цифровых фильтров и архитектуры мультипроцессорной системы и программного обеспечения на базе цифрового сигнального процессора серии «Триллер». Результаты диссертационной работы в виде алгоритмов и программ используются в учебном процессе ЮРГУЭС при проведении практических и лабораторных работ по дисциплинам "Устройства цифровой обработки информации", "Первичная обработка информации", "Статистическая радиотехника", "Методы цифровой обработки сигналов".
Предложенные новые методы обработки результатов измерений признаны изобретениями и подтверждены патентами (№ 2207622, № 2222824, №2257610).
Программное обеспечение для ПЭВМ, реализующее новые методы первичной обработки результатов измерений, официально зарегистрированы в Российском агентстве по патентам и товарным знакам (РОСПАТЕНТ).
Апробация работы.
Основные положения диссертационной работы изложены и одобрены на научно-технических конференциях Таганрогского радиотехнического государственного университета (1984-2006 гг.), Шахтинского технологического института (1983-95 гг.), Донской государственной академии сервиса (1996-98 гг.), Южно-российского государственного университета экономики и сервиса (1998-2006 гг.), Новочеркасского государственного технического университета (1998-2004 гг.), на заседаниях научно-технической конференции "Интенсификация и автоматизация отделочно-зачистной обработки деталей, машин и приборов" (Ростов-на-Дону, 1988 г.), на научно-технической конференции ВНТО РЭС "Передача, приём и обработка сигналов в радиотехнических системах и устройствах" (Ростов-на-Дону, 1991 г.), на 3-й Всероссийской научно-технической конференции "Методы и средства измерений физических величин" (Нижний Новгород, 1998 г.), на Международных конференциях "Цифровая обработка сигналов и ее применение" (Москва, 2000 г., 2003 г., 2005 г., 2006г.), на 3-й Международной конференции "Новые технологии управления движением технических объектов" (Новочеркасск, 2000 г.), на Международном симпозиуме "Аэрокосмические приборные технологии" (Санкт-Петербург, 2002 г. и 2004 г.), на Международной конференции "Системный подход в науках о природе, человеке и технике" (Таганрог, 2003 г.), на Международной конференции «Анализ и синтез как методы научного познания (Таганрог, 2004 г.), на Международной конференции «Математические методы в технике и технологиях» (Кострома, 2004 г.), на выездной сессии секции отделения энергетики машиностроения и процессов управления РАН (Ессентуки, 2005 г.).
Результаты работы были отмечены медалями ВДНХ СССР (золотая и бронзовая медали) в 1985 году.
14 Публикации. По результатам выполненных исследований опубликова-' но 63 работ, в том числе 1 монография, 3 патента, 9 свидетельств на программный продукт, 15 статей в центральных рецензируемых журналах, 35 статьи в материалах международных конференций и симпозиумов.
Структура и объём работы. Диссертационная работа состоит из введения, пяти глав с выводами, заключения, списка литературы, включающего 252 наименования, 5 приложения на 46 страницах. Основной текст работы изложен на 299 страницах машинописного текста, поясняется 140 рисунками и 9 таблицами.
На защиту выносится:
метод выделения полезной составляющей, состоящий в разбиении исходной реализации на нестационарные участки с помощью обнаружителя полезного сигнала, их аппроксимации по методу наименьших квадратов полиномом второй степени с последующими итерациями уточнения получаемой оценки полезной составляющей;
метод выделения полезной составляющей, заключающийся в размножении оценок измеряемого процесса за счет разбиения исходной реализации на покрытия случайными числами, распределенными по равномерному закону, аппроксимацией на них результатов измерений по методу наименьших квадра-
' тов полиномом низкой степени, с последующим усреднением в каждый момент времени;
результаты расчетов основных статистических характеристик элементарных покрытий при использовании случайных чисел, распределенных по равномерному и нормальному законам; аналитическое обоснование числа разбиений исходной выборки на покрытия и аналитические выражения, устанавливающие функциональную зависимость между основными параметрами метода размножения оценок;
результаты анализа погрешностей в сечениях размноженных оценок полезной составляющей и критерии принятия решения при результирующей оценке функции измеряемого процесса;
адаптивный метод обнаружения и устранения одиночных и групповых аномальных значений результатов измерений, основанный на использовании метода размножения оценок полезной составляющей;
результаты оценки погрешности выделения полезной составляющей предлагаемыми методами при различных моделях функции измеряемого процесса и аддитивной шумовой составляющей;
результаты оценки эффективности метода обнаружения аномальных значений на различных моделях функции измеряемого процесса и аддитивной шумовой составляющей при различных интенсивностях и количестве аномальных измерений (одиночных и групповых);
методика первичной обработки результатов измерений при различных моделях функции измеряемого процесса и аддитивной шумовой составляющей на основе использования новых методов;
результаты сравнительной оценки эффективности методов первичной обработки с наиболее известными и распространенными методами;
оценка эффективности использования предлагаемых методов при решении задачи прогнозирования;
алгоритмы и программы, реализующие новые методы первичной обработки результатов измерений при непараметрической априорной неопределенности и ограниченном объеме исходной выборки.
Методы обнаружения аномальных измерений при априорной неопределенности
Следует отметить, что любая задача определения параметров исследуемой системы по величине сигнала какого-либо прибора относится к классу обратных задач и является некорректной из-за погрешностей обрабатываемой измерительной информации. В этом случае точное решение обратной задачи найти невозможно и задача обработки данных сводится к получению устойчивого к малым изменениям исходных данных приближенного решения. Отнесение алгоритмов обработки измерительной информации к обратным задачам позволяет оценивать свойства таких алгоритмов, абстрагируясь от составляющих погрешности экспериментальных данных. В то же время, поскольку для некорректных обратных задач не может существовать заведомо устойчивого решения, вопрос об устойчивости к малым изменениям исходных данных приближенного решения становится центральным для оценки любого алгоритма обработки. Методы прикладной статистики, используемые для обработки данных, основываются на различных априорных предположениях. Выполняются, или нет априорные предположения, используемые в конкретном методе обработки, зависит от структуры исходных данных. Алгоритм обработки, эффективный для одного типа данных, может приводить к невероятным результатам для данных другого типа, как утвержается в работе Клейнена Дж. [63].
С другой стороны, из-за чрезвычайного разнообразия типов данных, нельзя предложить универсального алгоритма обработки, одинаково пригодного для любого случая. Проблема в том, что далеко не для всех случаев сформулированы критерии, которые позволяют выбрать алгоритм, наиболее эффективный для обработки конкретного типа данных. В таких случаях часто полагаются на интуицию, и многие этапы обработки остаются плохо формализованными. Решением вопроса является разработка баз знаний экспертных систем, в которых, после анализа свойств исходных данных, автоматически выбирается наиболее эффективный алгоритм их обработки по некоторому выбранному критерию. Такие базы знаний требуют формализации всех этапов обработки, начиная с предварительного (разведочного) анализа данных и до заключительных критериев, позволяющих оценить оптимальность проведенной обработки.
В данной работе оценка эффективности методов и алгоритмов первичной обработки результатов измерений проводится на основе использования имитационного моделирования. Имитационное моделирование - это исследование модели сложной системы, направленное на получение информации о самой модели, при этом, следует учитывать, что сложность - это форма отношения исследователя к объекту. Идея всякого моделирования, в том числе и имитационного, предполагает наличие модели, заданной в том или ином виде. Поскольку моделирование - это эксперимент во времени, то его методы можно использовать для изучения динамического поведения систем. Особенно, если модель содержит случайные величины, тогда даже простая модель может стать непреодолимой для аналитического исследования [63].
При решении прикладных статистических задач перспективным является описание исследуемого явления на модельном уровне, что требует развитых средств выбора модели из некоторым образом сформированного набора моделей. Часто на основе априорных сведений выбрать модель не удается. В настоящее время существует ряд методов, позволяющих решить эту задачу, используя результаты статистического наблюдения. Поскольку существует большое разнообразие моделей, то актуальным становится вопрос формирования набора моделей, из которых в последующем будет осуществлен выбор адекватной модели. Здесь возможны два подхода, согласно работе Клейнена Дж. [63]: формирование произвольного набора моделей, например, с ориента цией на прикладную область; формирование набора моделей по некоторому принципу (полноты, наименьшей избыточности и другое). В общем случае априорная информация о функции измеряемого процесса, особенно при обработке результатов уникальных измерений представленных единственной реализацией, крайне мала. Таких примеров на практике встречается достаточно большое количество. При обработке таких результатов измерений предполагается весьма ограниченная априорная информация об измеряемом процессе. В данной категории функция полезного сигнала, являющаяся функцией времени или каких-то иных величин, которая априори точно не известна, но может быть представлена в виде линейной комбинации известных функций времени [7]. Анализ эффективности предлагаемых методов первичной обработки производился из предположения, что исходная функция на некотором интервале может хорошо аппроксимироваться полиномом низкой (не выше второй) степени. Функцию S(t) будем считать гладкой по Андерсону [7], а именно, под гладкой функцией мы будем понимать функцию, которая может быть достаточно хорошо приближена полиномом не выше второй степени на некотором, не слишком малом, интервале времени. Это предположение оправдывается первой теоремой Вейерштрасса и теоремой Тейлора. Полиномы, аппроксимирующие функцию полезного сигнала, не обязаны быть одинаковыми на различных интервалах. Полином, подобранный на одном интервале, может не иметь ничего общего с указанной гладкой функцией в любой другой части отрезка наблюдения (измерения), т.е. фактически мы говорим о кусочной гладкости. В тоже время предположение о гладкости на любом интервале позволяет говорить о ее гладкости на всей области определения. Таким образом, смысл приведенного определения гладкости функции полезного сигнала (тренда) состоит в том, что предположение о гладкости тренда является локальным свойством, в то время как предположение о полиномиальном характере тренда связано со всем интервалом наблюдения. Соответственно предположение гладкости позволяет использовать для оценки полезного сигнала в данной точке только наблюдения вблизи этой точки, в то время как предположение о полиномиальном характере приводит к тому, что для оценки полинома, представляющего полезный сигнал на всем интервале, используются все наблюдения. Количество сигналов, которые удовлетворяю требованию гладкости по Андерсену чрезвычайно велико [203], поэтому предлагаемый выбор используемых моделей нельзя считать полным. Один из принципов классификации сигналов основан на возможности или невозможности точного предсказания их мгновенных значений в любые моменты времени. Если математическая модель сигнала позволяет осуществить такое предсказание, то сигнал называется де терминированным. Строго говоря, детерминированных сигналов в природе не существует, т.е. реальный сигнал нельзя описать строго аналитически. Мы сталкиваемся здесь с одной из форм общего принципа неопределенности - по знание окружающего мира возможно лишь в условиях неточного его описания. На самом деле, реальный сигнал можно лишь с той или иной степенью точно сти аппроксимировать другими функциями.
Анализ эффективности использования итерационного метода при выделении полезной составляющей
При проведении испытаний объектов исследования часто встречается ситуация, когда одно или несколько измерений резко отличаются по величине от основной массы измерений. Причины появления таких выбросов могут быть самые различные: сбой в работе регистрирующей аппаратуры, влияние внешних факторов и др., что является предметом отдельного исследования. Результаты таких измерений носят название - аномальных. Компьютерная обработка результатов измерений на основе использования ЭВМ привела к необходимости формализации и алгоритмизации, прежде всего процедур выявления грубо искажённых (аномальных) результатов измерений и отбрасывания их как непригодных для дальнейшего анализа. Следует отметить, что хотя постановка этой задачи и методика её решения в общем виде являются известными, расчёт рабочих характеристик обнаружителя аномалий с учётом конкретных статистических характеристик сообщений и погрешностей практически не рассматривался и представляет значительный и особенно практический интерес [182].
По оценкам различных авторов, например Ершова А.А., Стогова Г.В. [56,206] экспериментальные данные могут содержать до 5-10% аномальных результатов измерений. Однако даже и при меньшем их количестве опасность представляет каждый отдельный такой результат, поскольку его проникновение в итоговые материалы обработки может привести к ложным оценкам и выводам. К сожалению, не существует общепринятого метода автоматического удаления аномальных измерений [251], это можно объяснить еще и тем, что невозможно определить аномальное это измерение, или просто экстремальное.
При гауссовом законе распределения случайных величин статистические процедуры, основанные на усреднении, сглаживании по среднеквадрати-ческим критериям, обладают оптимальными свойствами. Однако они очень чувствительны к встречающимся на практике нарушениям условий их корректного применения, в частности при появлении аномальных значений. Это привело к разработке методов обработки информации, устойчивых (или робастных) к возможным вариациям характеристик исходных данных [5,47,167,189,200,206, 221,226]. Большие, пусть даже и редкие ошибки в наблюдениях, могут сильно искажать результаты, снижать эффективность процедуры, а наличие среди наблюдений грубых ошибок, отличие закона распределения случайных величин от гауссовского, встречаются в практических исследованиях достаточно часто.
До настоящего времени отсутствуют работы, где последовательно, с единых позиций рассматривались бы теоретические основы и инженерные методы отбраковки аномальных результатов измерений в области создания алгоритмов и устройств обработки экспериментальных данных. В работе А.Ф.Фомина, О.Н. Новоселова, А.В. Плющева [182] предпринята попытка, провести систематизацию теоретических основ и методов отбраковки аномальных результатов измерений в коррелированных случайных процессах и последовательностях с акцентом на инженерные приложения. Однако наличие полезной составляющей и априорная неопределенность о характеристиках измеряемого процесса существенно усложняет решение данной задачи. Применяемые на практике различные эвристические методы, например с использованием критерия «три сигмы», обеспечивающие определённую защиту от аномальных погрешностей, не всегда являются эффективными [182]. Проверка достоверности и исключение аномальных измерений в случайном нестационарном процессе должно предшествовать всем остальным процедурам обработки данных, потому что наличие недостоверных отсчётов может сильно исказить результаты последующих операций [182]. Необходимость и целесообразность использования процедуры отбраковки аномальных измерений обосновывается не только чисто теоретическими выводами, но и практическими соображениями, вытекающих из разной природы влияния аномальных погрешностей, по сравнению с нормальными, на конечные результаты обработки и принимаемые решения. Аномальные измерения существенно опаснее, так как могут приводить к ошибочньш решениям. В связи с этим, оценка эффективности первичной обработки при наличии нормальных и аномальных погрешностей должна проводиться по двум показателям: по некоторому усреднённому, типа среднего квадратическо-го - для нормальной погрешности, и по вероятности появления аномальных погрешностей на выходе устройства обработки результатов измерений. Очевидно, оптимальное устройство первичной обработки должно обеспечивать минимум нормальной среднеквадратической погрешности при заданном (или минимальном) значении вероятности аномальной погрешности. Исследование аномальных измерений преследует следующие основные цели, согласно работе Лихарева В.А. [85]: - выровнять результаты измерений перед их анализом; - убедиться в наличии аномальных измерений, что указывает на необходимость пересмотра процедуры получения данных; - выделить аномальные результаты измерения, которые могут представить особый интерес именно из-за их экстремальности. В Общем случае, после обнаружения аномальных погрешностей, результаты измерений могут восстанавливаться или не восстанавливаться.
Анализ эффективности метода размножения при выделении полезной составляющей
В тех случаях, когда расхождение оценок статистик не выходит за пределы выбранной меры, исследуемый процесс называют случайным квазистационарным сигналом. [70,80,228]. Однако, в большинстве практических случаев, при анализе результатов измерений располагают лишь одной единственной реализацией случайного нестационарного сигнала с ограниченным объемом результатов измерений. В связи с этим необходимо рассмотреть методы выявления нестационарности (полезной составляющей) по одной реализации.
Методы фильтрации временных рядов, позволяющие обрабатывать единственную реализацию исходного процесса, можно условно разделить на две группы: локальные и глобальные (рис. 1.4). К локальным методам относятся методы, использующие для получения оценки функции полезного сигнала (тренда) в данной точке только значения временного ряда в окрестности этой точки. К глобальным методам фильтрации относятся такие, при реализации которых используются одновременно все значения временного ряда.
В процессе измерения регистрируется некоторая функция У(х) в виде двух точечных множеств {уі}, fa], ieJ.N; где і - номер измерения; yt -значения анализируемого процесса; Xj - значение аргумента функции. Математическое описание случайных нестационарных функций представляет собою достаточно сложную задачу. Поэтому для решения прикладных задач обработки результатов измерений естественно попытаться выразить случайную нестационарную функцию через более простые модели случайных сигналов.
Если функция измеряемого процесса (тренда) флуктуирует, смещаясь в сторону возрастания или в сторону убывания, то ее оценку в большинстве случаев можно хорошо приблизить полиномами [84,198]
Данный 5 критерий качества аппроксимации имеет перед другими критериями следующие преимущества: во-первых, он приводит к сравнительно простому математическому способу определения параметров аппроксимирующей функции; во-вторых, он допускает довольно веское теоретическое обоснование с вероятностной точки зрения [30].
При выборе степени полиномиальной функции может быть применен метод последовательных разностей (состоящий в вычислении разностей первого порядка 4 = х/ xt-b второго порядка $ = 4 4-7 и т-Д- и порядок разностей, при котором они будут примерно одинаковыми, принимается за степень полинома). По первой теореме Вейерштрасса [49] всякую непрерывную функцию на любом интервале можно как угодно точно приблизить полиномом bQ + bjt +... + bNt , однако, для любого ряда из N точек можно подобрать полином (N - /) - й степени, проходящий через все точки, и соответственно с минимальной - нулевой - суммой квадратов отклонений, но в этом случае не следует говорить о выделении функции полезного сигнала (тренда), учитывая случайный характер этих точек. В работах Андерсона Т., Перегудова В.И. [7,188] показано, что если случайные ошибки некоррелированы и распределены по га-уссовскому закону с нулевым математическим ожиданием и единичной дис 73 Персией, то полученная оценка вектора коэффициентов по методу наименьших квадратов является наилучшей, несмещенной оценкой, так как каждый элемент оценки вектора коэффициентов имеет дисперсию, наименьшую среди дисперсий всех несмещенных оценок соответствующего элемента вектора коэффици . ентов. В работе Андерсона Т. [7] показано, что в случае правильного выбора степени аппроксимирующего полинома, оценка вектора коэффициентов также обладает указанными выше свойствами и при коррелированных выборках.
Отметим, что остаточная сумма квадратов отклонений S состоит из двух составляющих: случайной, вызванной неточностью полученной оценки неизвестных коэффициентов ввиду наличия шумовой составляющей; систематической - обусловленной погрешностью в определении степени полинома. При правильном выборе степени полинома, остаточная сумма квадратов S незначительно отличается от величины (N-k)cr [7,15,84]. В случае известной дисперсии процесса, адекватность аппроксимирующего полинома реальному процессу может быть проведена путем сравнения величин а и а [84,198]. Исследованию поведения систематических погрешностей при неправильном выборе степени аппроксимирующего полинома посвящены работы Переверт-кина СМ., Michael A. Budina. [187,248]. Следует отметить, что систематическая погрешность при этом может достигать значительных величин. Определение степени аппроксимирующего полинома непосредственно по исходной реализации решается достаточно просто лишь для процессов, которые описываются полиномами низкой степени; с ростом степени полинома объем вычислительных затрат резко возрастает [7,188,198,239,241].
Недостатком метода наименьших квадратов является необходимость наличия априорной информации о типе аппроксимирующей функции на всем временном интервале обработки. В работе Переверткина СМ. [187] оценены точностные свойства метода наименьших квадратов моделированием процессов с априорно известными статистическими характеристиками. Минимальное значение погрешности при этом достигается в середине реализации. С увеличе 74 ниєм порядка аппроксимирующего полинома оценка дисперсии погрешности растет и на концах реализации может даже превысить дисперсию случайной составляющей. При понижении порядка аппроксимирующего полинома растет величина смещения оценки временного ряда. Следовательно, для минимизации погрешности выделения методом наименьших квадратов необходимо точно знать порядок аппроксимирующего полинома. Но даже при наличии априорной информации о порядке аппроксимирующего полинома, минимальное значение среднеквадратической погрешности (СКО) для этого метода составляет более 60% СКО случайной составляющей. Кроме зависимости от априорной информации о функции полезного сигнала требуется априорная информация о статистических свойствах ошибок измерений. В зависимости от их наличия, МНК допускает несколько модификаций:
Отсутствие априорной информации о статистических свойствах ошибок измерений, закон распределения которых неизвестен, однако предпола гается их независимость и нулевое значение математического ожидания.
Использование методов первичной обработки результатов измерений в задачах прогнозирования
С помощью данного метода определяется наличие периодических компонент и их величина, а также определяется величина начальных фаз. Как и предыдущие методы, рассмотренный метод требует наличия априорных данных об исследуемом процессе.
Методы текущего и экспоненциального сглаживания наиболее просты в реализации, однако точность получаемых оценок средних значений при этом неизвестна (в отличие от метода наименьших квадратов, где можно построить доверительные интервалы для сглаженной функции). Основным недостатком данных методов сглаживания является трудность рационального выбора интервала сглаживания. Длина интервала сглаживания зависит от статистических свойств нестационарной и стационарной составляющих измеряемого процесса, которые сами являются предметом изучения и часто, как правило, априори бывают неизвестными.
Кроме выше рассмотренных методов, можно назвать также еще ряд методов, в том числе: метод узкополосной фильтрации, метод корреляционного отношения и т.д. [7,25,57,187,205,240.242,243.247].
Наиболее значимые результаты теории стохастической фильтрации относятся к линейной теории, которая связана с именами Калмана и Бьюси 10,244-246]. Определим задачу фильтрации, как получение наилучшей по заданному критерию оценки 0(t) вектора параметров для всех «текущих» точек наблюдений y(t) с учетом априорных сведений о виде сигнала S(t,@) и характеристиках шума u(t) Данная задача является линейной задачей фильтрации, решение которой впервые получено в работах Р. Калмана и Р. Бьюси [195,197,231,244-246]. В схеме, предложенной Калманом и Бьюси, синтез оптимального фильтра осуществляется рекуррентным способом, что дает возможность его реализации с помощью цифровых вычислительных устройств. Есть и другие причины, обусловившие широкое применение фильтра Калмана. Одна из них состоит в том, что он «работает» и без предположения стационарности процессов 0(t) и y(t). Структурная схема процесса дискретной фильтрации Калмана приведена на рис. 1.5.
В соответствии со структурной схемой вычисляется оценочный вектор параметров на к - м шаге &(k) = A(k)(k-l). При этом используется оценка вектора параметров (к-і) на предыдущем (к-1) - м шаге, а также известная матрица перехода А(к). После получения к - го измерения у(к) прогнозируемая оценка вектора параметров корректируется по значению невязки у{к)-С(к)А{к)э(к-1), путем умножения этой невязки на матричный коэффициент усиления фильтра Калмана, который равен R&(k)c ()Д (), где R@(k) апостериорная ковариационная матрица параметров; Re(k) — ковариационная матрица ошибок измерений; с(к) - известная матрица, описьгоающая линейные соотношения переменных состояния [28].
Фильтр Калмана дает наилучшие, в смысле минимума среднеквадрати-ческого отклонения, оценки параметров по сравнению с любыми другими линейными фильтрами, в том числе при негауссовых шумах [28].
Недостаток «калмановской фильтрации» состоит в том, что метод «сглаживания» нестационарных сигналов фильтрами Калмана сложен в реализации, и для их синтеза необходимо располагать априорными сведениями о характере распределения полезного сигнала и шума [187]. Необходимо отметить, что рекуррентные методы эффективны при надежных априорных оценках вектора параметров. Качество априорных оценок оказывает существенное влияние на условие сходимости и устойчивости оценок [28].
Рассмотренные методы, как правило, требуют определенного объема априорных данных о полезной составляющей (сигнале) и о вероятностных характеристиках аддитивной шумовой составляющей (помехи). В случае наличия такого рода данных чаще всего используется метод наименьших квадратов. При отсутствии априорных данных, как следует из работы Андерсона Т. [7], рекомендуется исходную реализацию разбить на участки переменной длины так, чтобы в их пределах полезный исходный сигнал можно было бы достаточно точно приблизить полиномом низкой степени, а аддитивный шум описывался полиномом более высокой степени. Обычно интервал, на котором случайный нестационарный процесс может быть аппроксимирован полиномом заданного порядка с постоянными коэффициентами, называется интервалом стационарности [84].
Определение интервала стационарности проводится на основании третьей основной теоремы наименьших квадратов [7,84,188]. Однако, более простым для практического применения и более эффективным, является использование для этой цели измерителя полезного сигнала. Данный принцип использован в работе Переверткина СМ. [187] и на его основе разработан ряд высокоэффективных алгоритмов сглаживания исходного случайного, нестационарного процесса. Тип измерителя в значительной степени влияет на качество выделения исходной полезной составляющей.
В работах Миронова И.И., Новоселова О.Н., Переверткина СМ. [174, 175, 187] в качестве измерителя используется непараметрический измеритель, основанный на статистике Кендалла. С помощью данного измерителя исходная реализация результатов измерений разбивается на участки «квазистационарности» переменной длины. Длина отрезков «квазистационарности» зависит от функции полезного сигнала. Затем полученные участки «квазнстационарности» аппроксимируются полиномом нулевой степени по методу наименьших квадратов.
В работе Переверткина СМ. [187] отмечается, что использование интервалов «квазистационарности» для сглаживания результатов измерений близко к оптимальному, по критерию минимума дисперсии ошибки сглаживания, и не требует априорных данных о вероятностных характеристиках случайной шумовой составляющей. Однако, при рассмотрении алгоритмов такого типа, необходимо рассмотреть влияние типа измерителя на эффективность сглаживания с целью выбора наиболее эффективного измерителя.
