Содержание к диссертации
Введение
ГЛАВА 1. Современное состояние вопроса и постановка задачи исследования 8
1.1. Основные определения 8
1.2. Классификация процессов . 9
1.3. Основные методы прогнозирования 10
1.3.1. Регрессионный анализ 11
1.3.2. Нейронные сети 12
1.3.3. Спектральные методы 13
1.3.4. Корреляционные методы 14
1.3.5. Функциональные ряды 15
1.3.6. Методы на основе моделей процессов 16
1.3.7. Дифференциалы стохастических процессов 17
1.3.8. Физические модели 18
1.3.9. Стохастические рекурсивные последовательности 19
1.4. Сущность предлагаемого метода 20
1.5. Цель и задачи исследования 21
1.6. Выводы по главе 1 22
ГЛАВА 2. Получение экстраполирующих рядов для прогнозирования детерминированных процессов 23
2.1. Выбор экстраполирующего ряда 23
2.2. Основные соотношения 24
2.3. Нелинейные и параметрические процессы 34
2.4. Точность результатов прогнозирования 48
2.5. Влияние усреднения исходных точек на точность прогнозирования 49
2.6. Выводы по главе 2 51
ГЛАВА 3. Получение экстраполирующих рядов для прогнозирования случайных процессов 53
3.1. Временные погрешности задания исходных точек 53
3.2. Амплитудные погрешности задания исходных точек 54
3.3. Методика прогнозирования процессов с шумами 60
3.4. Особенности прогнозирования стационарных процессов 70
3.5. Особенности прогнозирования революционных процессов 76
3.6. Дополнительные приложения метода 78
3.7. Выводы по главе 3 79
ГЛАВА 4. Практические применения метода 81
4.1. Классификация процессов на основе корней характеристического уравнения..81
4.2. Методика прогнозирования сложных процессов 83
4.3. Прогнозирование активности солнца 87
4.4. Прогнозирование среднегодовой и среднемесячной температуры 92
4.5. Прогнозирование годовых и месячных осадков 97
4.6. Прогнозирование годового стока рек 103
4.7. Прогнозирование траекторий летающих объектов , 106
4.8. Прогнозирование разряда гальванического элемента , 111
4.9. Прогнозирование термо-э.д.с 112
4.10. Прогнозирование коэффициента линейного расширения 114
4.11. Причины ухудшения точности прогнозирования 115
4.12. Выводы по главе 4 116
Заключение 118
Литература 120
Приложение. программа аппроксимации и прогнозирования процессов на ЭВМ 128
- Дифференциалы стохастических процессов
- Нелинейные и параметрические процессы
- Амплитудные погрешности задания исходных точек
- Методика прогнозирования сложных процессов
Введение к работе
Развитие науки и техники определяет необходимость глубокого изучения характера поведения различных объектов и систем, определения тенденций их развития и возможных вариантов их состояния в будущем. Как правило, мы не имеем точного представления о характере и взаимодействии явлений, проходящих в рассматриваемой системе, и можем наблюдать лишь результат их совместного влияния на интересующий нас выходной процесс. Таким образом, исследователь вынужден рассматривать систему как "черный ящик", и не имеет возможности построить достаточно точную ее модель, Информация о текущем поведении системы ограничивается регистрацией отдельных групп ее выходных параметров. В процессе наблюдения накапливается некоторое количество данных. Эти данные можно использовать для прогноза параметров системы в будущем,
В данной работе рассматривается метод прогнозирования детерминированных и случайных процессов с помощью обобщенных степенных и показательных рядов, являющихся решениями линейных разностных уравнений. Коэффициенты этих уравнений получаются с помощью определенного количества равноотстоящих точек процесса.
Прогнозирование нелинейных, параметрических и случайных процессов осуществляется теми же методами с дополнительной обработкой полученного ряда. Она сводится к отбрасыванию несущественных компонент ряда и последующей его оптимизации по критерию минимального отклонения от исходных точек при одновременном ограничении степени нарастания оставшихся компонент в зоне прогноза.
Работа состоит из четырех глав и приложения,
В главе 1 производится краткий обзор существующих методов прогнозирования. Дается классификация процессов с кратким анализом их особенностей. На основе этой классификации выбирается путь решения задачи прогнозирования сложных процессов и ограничивается область применения разработанного метода. Производится постановка задачи.
В главе 2 излагается разработанный математический аппарат для получения экстраполирующих рядов детерминированных процессов по их равноотстоящим точкам. Рассматриваются способы приближенного построения рядов для нелинейных и параметрических процессов. Производится оценка точности прогнозирования и рассматривается влияние метода усреднения исходных точек на получаемый результат.
В главе 3 излагается разработанная методика прогнозирования процессов со случайными погрешностями исходных точек. Рассматриваются временные и амплитудные погрешности и их влияние на точность результата. Излагаются особенности прогнозирования стационарных и нестационарных процессов. На этой основе решается проблема прогнозирования революционных процессов.
В главе 4 Производится сравнение разработанного метода с общеизвестным методом МГУА (метод группового учета аргументов), разработанным Ивахненко А.Г. на примере прогнозирования среднегодового стока воды р. Днепр. Рассматриваются примеры прогнозирования активности солнца, погодных явлений, траекторий баллистических тел и процесса разряда гальванического элемента.
В приложении содержится текст универсальной рабочей программы для прогнозирования различных процессов. Приведено краткое описание программы.
Цель работы. Разработка и практическая реализация эффективного метода прогнозирования и реконструкции сложных процессов детерминированного и случайного характера. Метод ориентирован на применение в различных отраслях науки и техники.
Методы исследований. При выполнении работы использован комплекс математических методов, включающий теорию разностных уравнений, теорию случайных процессов, теорию оптимизации и планирования эксперимента, математическую статистику, матричный анализ и теорию функций комплексного переменного.
Научная новизна работы заключается в следующем:
Показано, что процессы любого типа могут быть точно аппроксимированы рядом, состоящим из степенных и показательных функций.
Аппроксимирующий ряд является решением линейного однородного разностного уравнения с постоянными коэффициентами, полученного по дискретным равноотстоящим точкам процесса.
Прогнозирование и реконструкция линейных и нелинейных процессов, имеющих детерминированную и случайную составляющие, возможны путем экстраполяции предварительно оптимизированного аппроксимирующего ряда.
Получены аналитические выражения для компонент аппроксимирующего ряда из условий минимизации его линейного или среднеквадратического отклонения от исходных точек.
Получены аналитические выражения для расчета влияния малых погрешностей исходных точек на точность прогнозирования.
Разработана расширенная классификация процессов на основе модулей и кратностей корней их характеристических уравнений.
Разработаны методы обработки первичного ряда, позволяющие уменьшить влияние случайных факторов на точность прогнозирования.
Практическая ценность работы:
Разработан и практически исследован ряд численных алгоритмов и методик реализации отдельных этапов прогнозирования.
Разработана универсальная программа прогнозирования и реконструкции различных природных и техногенных процессов.
Проведено прогнозирование ряда сложных процессов, имеющих важное практическое значение.
Обоснованность и достоверность научных положений и выводов подтверждается: соответствием результатов теоретических выводов и их экспериментальных проверок на многочисленных примерах; * эффективностью созданной универсальной программы и хорошими результатами прогнозирования сложных процессов.
На защиту выносятся:
Разработанные аналитические соотношения для получения экстраполирующего ряда по дискретным равноотстоящим точкам процесса;
Разработанные аналитические соотношения для учета влияния погрешностей отдельных точек на точность прогнозирования;
Разработанные методики получения экстраполирующих рядов для нелинейных и параметрических процессов; 4. Разработанные методики прогнозирования процессов при наличии революционных воздействий и погрешностей исходных точек. Реализация результатов работы:
Результаты работы используются в деятельности Республиканского гидрометеоцентра РСО-А при составлении различных долговременных прогнозов.
Результаты работы приняты к применению при создании новых систем управления производственными процессами НПК Югцветметавтоматика.
Программные средства и основные теоретические положения работы используются в СКГМИ(ГТУ) в учебном процессе при подготовке студентов по курсам "Методы анализа и расчета электронных схем" и "Преобразовательная техника".
Апробация работы. Основные результаты работы систематически докладывались на научных конференциях СКГМИ(ГТУ) и семинарах кафедры ИС в период с 2000 по 2004 г.
Публикации. Основное содержание работы опубликовано в шести печатных работах.
Настоящая работа является результатом исследований, выполненных на кафедре информационных систем в экономике Северо-Кавказского горнометаллургического института (государственного технологического университета).
Дифференциалы стохастических процессов
Идея метода. Математическое модель фильтра является дальнейшим развитием теории линейных фильтров Калмана-Бьюси при условии отказа от гауссовости сигнала, что приводит к нелинейным процедурам оценки - нелинейным стохастическим уравнениям К.ИТО записанным в виде дифференциалов. С помощью последних удается составить алгоритмы для задач, в которых сигнально-помеховая обстановка отличается от гауссовской и спектрально-корреляционные методы вообще не работают. Таким образом описание всех процессов является потраекторным. Основоположником данного метода является А.Вальд, дальнейшим развитием является подход на основе уравнений ФПК, но основные законченные и практические результаты получил А.Н. Ширяев.
Модификации метода. Модификации метода в основном заключаются в видоизменении модели базового дифференциала процесса, алгоритма и правила остановки процесса оценивания и схемы численной цифровой технической реализации фильтра. Основными численными схемами являются: метод последовательных приближений Пикара или после симметризации уравнений - метод Рунге-Кутта. Основным правилом остановки процесса является Байесовское решающее правило или модифицированное Байесовское правило.
Применимость метода. Метод отлично себя зарекомендовал на стохастических процессах с цветными нестационарными и несимметричными характеристиками. Радиолокация, гидроакустика, сложная сигнально-помеховая обстановка, трехмерная ЯМР и ЭПР томография в физической химии и медицине. Расшифровка и классификация электро- и магнито-энцефалограмм [85,108]. Ограничения метода. Параметрическая дальность предсказания зависит от правильности выбора базового дифференциала процесса. Частная неустойчивость функционирования правила остановки процесса оценивания. Затрудненность, а порой и невозможность численной и технической реализации оптимальных методов фильтрации. Достоинства метода. Возможность проведения самосогласованного векторного оценивания процесса. Отказ от гауссовости сигнала и помехи. Высокое быстродействие метода. Высокая параметрическая дальность предсказания в частных случаях. Возможна тонкая настройка математической модели процесса под частный случай. Возможность учета влияния "наблюдателя". Возможность отфильтровывания стохастического сигнала от стохастической помехи с близкими значениями параметров, что весьма значительно в положительном аспекте сказывается на качестве оценивания полезного сигнала. Идея метода. Математическая модель процесса формируется на основе фундаментальных законов природы (в случае подхода "ab inito") или на основе замеченных закономерностей (эмпирические и полуэмпирические подходы). Дальнейшим этапом построения модели является ее параметрическая настройка, после чего следует имитационный эксперимент. Модификации метода. Большое количество. Применимость метода. В случае возможности получить адекватную "физике" модель процесса [86,104]. Ограничение метода. Требуется создавать адекватную "физике" модель процесса. Достоинства метода. Прозрачность понимания логики получения результата. Высокая параметрическая дальность и точность предсказания. Предсказание процессов с произвольными характеристиками. Адаптивность. Идея метода. Математическая модель процесса формируется в виде рекурсивного случайного процесса управляемого стохастической матрицей переходов. Построение модели заключается в определении матрицы переходов. Модификации метода. Модификация метода определяется выбором глубины памяти процесса (в частном случае, Марковский процесс имеет один шаг памяти: будущее завит только от настоящего), алгоритмами расчета матрицы переходов. Применимость метода. Нестационарные дельтакоррелированные случайные процессы со сложной структурой плотности вероятности [15, 48,92, 107]. Ограничения метода. Не очень высокая параметрическая дальность предсказания. Сложность настройки под конкретный процесс. Достоинства метода. Работа с дельтакоррелированными случайными процессами. Возможность построения нелинейных и нестационарных моделей. Отказ от гауссовости сигнала и помехи. Высокое быстродействие метода.
Практические возможности различных методов можно попытаться установить при изучении соответствующей литературы. Однако, за редкими исключениями, в литературе отсутствуют примеры прогаозирования сложных процессов, число исходных точек которых составляет 200 и более. Тем не менее, среди вышеперечисленных методов можно выделить методы линейного регрессионного анализа [10], спектральный метод с тригонометрическим рядом некратных частот [89], метод на основе комбинированных рядов [62], метод группового учета аргументов [40]. Примеры прогнозирования процессов достаточной сложности имеются в литературе [10, 40], однако полные исходные данные к примерам приводятся достаточно редко.
Нелинейные и параметрические процессы
Этот ряд является решением линейного однородного разностного уравнения, полученного по равноотстоящим точкам процесса. 2. Аппроксимирующий ряд указанного типа является единственным рядом наименьшей длины, совпадающим со значениями всех исходных точек. 3. В случае линейного вынуждающего воздействия линейное неоднородное разностное уравнение процесса эквивалентно линейному однородному более высокого порядка. 4. Разработана модификация метода Бэрстоу для решения характеристических уравнений порядка р 50 , основанная на случайном выборе начальных приближений и и v выделяемого множителя c uc—v и повторении процедуры при отсутствии признаков сходимости итерационного процесса. 5. Для определения постоянной составляющей процесса «0 достаточно найти только коэффициенты соответствующего разностного уравнения. 6. Погрешность экстраполяции нелинейных и параметрических процессов уменьшается с ростом числа членов ряда и может быть сделана сколь угодно малой. 7. Усреднение исходных данных по соседним точкам (метод скользящего среднего) не приводит к изменению постоянной составляющей и корней характеристического уравнения. При этом полностью сохраняется информация об исходном процессе. На практике, при выполнении измерений или фиксации значений процесса весьма сложно выдержать строго одинаковый интервал времени между точками. В этом случае изложенные в предыдущей главе методы оказываются неприменимыми. Следовательно, предварительно необходимо каким-либо способом перевести исходную последовательность неравноотстоящих точек в другую последовательность с равноотстоящими значениями аргумента. Естественно, в новой последовательности значения точек будут несколько отличаться от исходных при относительном сохранении информации о первоначальном процессе. Среди всего многообразия задач указанного типа следует остановиться на решении проблемы при следующих условиях: 1. Известные временные отклонения исходных точек от принятого ряда равноотстоящих значений не превышают половины периода дискретизации. 2. В исходной последовательности отсутствуют пропуски отдельных точек. Решение поставленной задачи может производиться интерполяционными методами. Хорошие результаты дает метод степенной интерполяции [5]. При этом слишком малые и слишком большие степени интерполирующих многочленов не обеспечивают хорошей точности результата. Согласно рекомендациям в литературе, автором принят метод пятиточечной интерполяции по Лагранжу [5]. При этом по соседним пяти точкам строится интерполяционный многочлен четвертого порядка, с помощью которого может быть получено новое значение одной центральной точки. Далее производится сдвиг исходной пятиточечной последовательности на один шаг вправо или влево и определяется новое значение еще одной точки и т.д.
Для первых двух и последних двух точек исходной последовательности по интерполяционному многочлену определяется не центральная, а соответствующие боковые точки. При этом один и тот же многочлен используется для определения трех крайних точек на концах последовательности. Естественно, точность определения двух крайних точек неизбежно снижается. Эта особенность характерна для всех интерполяционных методов [38].
Амплитудные погрешности задания исходных точек
При решении практических задач погрешности задания исходных точек неизбежны. Установим влияние этих шумов на структуру и компоненты аппроксимирующего ряда.
Изложенный в п. 2.2 критерий выбора величины членов ряда р в данном случае необходимо уточнить. Увеличение р сверх необходимого уже не будет приводить к особенности матрицы X , хотя недостаточное количество исходных точек по прежнему даст неверный прогноз.
С другой стороны, чрезмерно большое число р приведет к ухудшению результата вследствие ошибок обработки больших числовых массивов. Поэтому здесь следует ввести понятие допустимой области изменения величины р , внутри которой будем иметь относительно стабильный прогноз.
Избыточное число р можно использовать так же для дополнительной нейтрализации случайных погрешностей исходных точек по закону больших чисел (см. далее). В результате, проблема выбора оптимального значения величины р усложняется. Будем считать, что это значение должно находиться примерно на середине интервала стабильности прогноза, который можно найти экспериментально. Рассмотрим эту задачу подробнее. Избыточное число исходных точек приводит к появлению в ряде (3.2) компонент с весьма малыми весами а, , которые находятся на уровне введенной погрешности. Если эта погрешность мала, данные компоненты следует просто исключать из рассмотрения, так как они могут иметь нарастающий характер. Для подтверждения изложенного продолжим пример процесса по формуле (3.11) с добавлением небольших шумов величиной 0.001 {ЛЛ / (А:)—0.5) . Зададим р=\5 , т.е. в 2.5 раза больше требуемого в случае отсутствия шумов. Коэффициенты а, полного ряда представлены в таблице 3.2. Там же показаны значения а, процесса без шумов. Звездочками отмечены нарастающие компоненты я, , для которых к, 1 . Вычислим на основе полученных данных отклонения от идеального прогноза для точек х31=2-1232 , 33=1.8092 , яЭ=2.0673 : 4 л=-1.1941 10"3 , 4 33=4.4288 10"" , 4 38=-6.4099 10"4 . Теперь исключим из рассмотрения все компоненты с номерами i 6 и опять найдем отклонения от идеального прогноза: Пример наглядно показывает, что исключение побочных компонент ряда не приводит к ухудшению точности прогноза. Этот факт подтверждается также и другими данными. Далее будем определять точность прогноза тех же точек путем поэтапного исключения первых точек и оставляя только основные компоненты ряда. Результаты этого эксперимента приведены в таблице 3.3. Результаты данного эксперимента указывают на среднестатистическое ухудшение точности прогноза по мере уменьшения числа исходных точек. Это косвенно подтверждает положение о том, что избыточное число точек способствует уменьшению влияния шумов.
Дальнейшее улучшение точности прогноза процесса с шумами может быть достигнуто оптимизацией оставшихся компонент ряда по критерию его минимального отклонения от исходных точек. В качестве функционала минимизации можно принять линейное, среднеквадратическое, среднекубическое и т.д. отклонение. Изменяемыми компонентами будут компоненты а,, с, усеченного ряда. Наилучшие результаты здесь дает метод поэлементной вариации с поэтапным сужением зоны поиска [49]. Все это особенно эффективно при значительных шумах исходных точек, соизмеримых с уровнем самого сигнала (см. далее).
Применение метода оптимизации к предыдущему примеру (см. табл. 3.3) дает хорошие результаты (см. табл. 3.4). При этом для любого исходного значения р оптимизация проводилась для шести первых компонент ряда.
Методика прогнозирования сложных процессов
Достоинство формулы (4.4) состоит в том, что она позволяет определить значения коэффициентов ряда (4.1) и после отбрасывания компонент с малыми весами, т.е. при любом q p . В итоге, после второго этапа выявляется один или несколько типов ряда, соответствующие данному процессу и имеющие хорошую точность пробного прогноза. При окончательном выборе одного из типов должны так же учитываться соображения по поводу физического характера исследуемого процесса.
На третьем этапе определяется наилучшее количество компонент ряда (4.1) и оптимальная точность аппроксимации исходной числовой последовательности. Эта точность прямо связана с уровнем случайных погрешностей задания точек или со степенью влияния неконтролируемых вынуждающих воздействий.
На каждом этапе сокращения длины ряда отбрасываются члены с малыми весами и определяются заново коэффициенты а, оставшихся компонент (см. формулу (4.4)). Затем производится окончательная оптимизация всех элементов ряда по критерию уменьшения отклонения всех исходных точек (см. Главу 3). При достижении наилучшей точности пробного прогноза или стабилизации этой точности, процесс оптимизации ряда заканчивается и фиксируется полученная величина точности аппроксимации Е . Эта величина слабо зависит от числа членов ряда, если в нем остаются все существенные компоненты для данного процесса. Поэтому, в случае заметного ухудшения величины Е при очередном усечении ряда можно делать вывод о том, что дальнейшее сокращение ряда нецелесообразно.
В результате проведения третьего этапа окончательно выбирается число членов ряда и, что особенно важно, точность его приближения к исходным точкам Е . Критерием выбора может служить так же соответствие точности пробного прогноза с величиной отклонения ряда от соседних точек, находящихся перед прогнозируемыми.
Следует отметить, что при выполнении третьего этапа может получиться несколько различных оптимальных сочетаний точности пробного прогноза, точности аппроксимации исходной числовой последовательности и количества членов ряда. При сомнениях в выборе окончательного варианта следует использовать их все на четвертом этапе.
На четвертом этапе полученные результаты применяются для реального прогнозирования. При этом все пробные точки включаются в исходную числовую последовательность, из которой отбрасывается эквивалентное количество начальных точек. Затем производится окончательная оптимизация ряда. Точность этой оптимизации должна соответствовать значениям, полученным на третьем этапе.
Выбранные количества исходных точек, типы процесса, числа членов результирующего ряда и точность прохождения этого ряда через исходные точки используются для получения различных вариантов прогноза по найденному пути. Полученные для каждого варианта результаты сравниваются между собой. В результате должны быть выбраны наиболее близкие значения, из которых вычисляется окончательное среднеарифметическое значение прогноза. Аномальные значения вариантов прогноза отбрасываются как недостоверные.
Оценка точности конечного результата в каждом конкретном варианте расчета основана на величине среднего отклонения конечного ряда от исходных точек. Можно использовать так же найденную ранее точность пробного прогноза. Эти данные дают первую границу точности. Максимальные отклонения ряда от исходных точек, родственных прогнозируемым, могут служить ориентиром второй границы точности прогноза. Однако, для процессов с неконтролируемыми вынуждающими воздействиями, точность результата может быть существенно хуже этих величин ввиду опасности появления таких воздействий в зоне прогноза. В заключение отметим, что по разным причинам некоторые этапы изложенной методики могут исключаться из рассмотрения. Например, тип самого процесса может быть со всей очевидностью установлен из физических соображений. Или недостаточное количество исходных точек не позволяет реализовать первый этап методики. В последнем случае можно использовать дополнительные данные о подобных процессах, родственных рассматриваемому. Например, при прогнозировании среднемесячной температуры за январь в одном процессе можно использовать значения температуры за январь, апрель, июль, ноябрь, т.е. месяцы, равноотстоящие между собой. Дополнительная информация, содержащаяся в родственных процессах позволяет существенно улучшить конечный результат.
