Содержание к диссертации
Введение
1. Анализ подходов к повышению эффективности прогнозирования технологических процессов 10
1.1. Предпосылки создания моделей старения данных 10
1.1.1. Методы экспоненциального сглаживания 13
1.1.2. Структурный анализ рядов данных 17
1.1.3. Модели авторегрессии 20
1.2. Предпосылки использования ретроспективных оценок 23
1.3. Предпосылки создания комбинированных алгоритмов 29
1.4. Основы алгебраического подхода к распознаванию образов как алгоритма комбинирования методов 34
1.5. Постановка цели и задач исследования 37
2. Сравнительный анализ методов и учет старения данных с использованием ретроспективных оценок 39
2.1. Схема сравнительного анализа методов прогнозирования 39
2.2. Модифицированный метод финальной ошибки прогнозирования 45
2.3. Прямое, последовательное и адаптивное прогнозирование 51
2.4. Примеры использования разработанных методов 55
3. Повышение эффективности прогнозирования с использованием комбинированных алгоритмов 63
3.1. Построение линейных комбинаций методов прогнозирования...63
3.2. Использование внутренней характеристики временного ряда при создании комбинированных алгоритмов 69
3.3. Использование векторных внутренних характеристик при создании комбинированных алгоритмов 75
3.4. Особенности поиска условного оптимума при создании комбинированных алгоритмов 80
3.5. Выбор метода поиска оптимальной выпуклой комбинации 83
3.6. Функциональное наполнение программного модуля для прогнозирования временных рядов 87
3.7. Примеры использования разработанных методов 100
4. Применение разработанных методов в задачах прогнозирования . 106
4.1. Особенности временного ряда электропотребления ОАО "Новолипецкий металлургический комбинат" 106
4.2. Повышение эффективности прогнозирования электропотребления комбинированными алгоритмами 111
4.3. Оценка экономического эффекта 123
Заключение 128
Библиографический список 130
- Предпосылки использования ретроспективных оценок
- Модифицированный метод финальной ошибки прогнозирования
- Использование внутренней характеристики временного ряда при создании комбинированных алгоритмов
- Повышение эффективности прогнозирования электропотребления комбинированными алгоритмами
Введение к работе
Актуальность работы. Прогнозирование поведения различных объектов исследования снижает риски принятия ошибочных решений со стороны субъектов управления. В то же время, задача построения моделей прогноза достаточно сложна, так как при ее решении желательно учитывать особенности моделируемого объекта и условия, в которых объект функционирует.
Результаты анализа временных рядов часто используются для прогнозирования. Автоматизация сбора данных, использование информационных технологий позволяют в настоящее время накапливать и обрабатывать массивы данных значительных объемов. Часто временные ряды, рассматриваемые на длительных промежутках времени, допускают разб иение на участки, отличающиеся разной степенью стабильности и характером поведения. Однако нешироко распространены методики, которые позволяют должным образом распорядиться накопленной информацией, в результате исходные данные часто анализируются на основании субъективных соображений и представлений. Исследователю предоставляется доступ к значительному числу моделей, методов и алгоритмов прогнозирования, разрабатывавшихся и исследовавшихся многими отечественными и зарубежными специалистами, в числе которых А.Г. Беляков, В.П. Боровиков, Н.Г. Загоруйко, Г.И. Ивченко, Т.В. Киселева, А.С. Манд ель, М.Г. Матвеев, Ю.Б. Михайлов, А.А. Френкель, Е.М. Четыркин, X. Акаике, Д. Армстронг, Л. Башелье, Д. Бейтс, Д. Бендат, Д. Бокс, Р. Браун, Д. Бриллинджер, Г. Дженкинс, М. Кендалл. Однако процесс выбора конкретной модели редко опирается на объективные показатели. Эффективным является построение новых алгоритмов прогнозирования по наборам уже известных на основе алгебраического подхода академика Ю.И. Журавлева.
Таким образом, актуальность диссертационного исследования определяется необходимостью разработки аппарата прогнозирования временных рядов, основанного на выборе одного либо комбинировании набора методов при систематическом использовании ретроспективных оценок и внутренних особенностей исследуемой зависимости.
Тематика работы соответствует научному направлению Липецкого государственного технического университета «Исследование и разработка методов и алгоритмов прикладной математики для идентификации технологических и сопровождающих процессов».
Цель работы заключается в повышении эффективности прогнозирования временных рядов за счет разработки алгоритмов комбинирования методов с использованием ретроспективных оценок и внутренних характеристик зависимостей.
Для достижения указанной цели были поставлены и решены следующие задачи:
анализ существующих методов прогнозирования временных рядов;
разработка алгоритма сравнительного анализа методов прогнозирования с использованием ретроспективных оценок;
модификация метода, определяющего необходимую для построения прогноза часть выборки с использованием критерия финальной ошибки прогнозирования;
разработка алгоритма комбинирования методов прогнозирования, использующего ретроспективные оценки для определения весовых коэффициентов;
разработка средств повышения эффективности комбинированных методов прогнозирования с использованием векторных внутренних характеристик временного ряда;
апробация предложенных методов применительно к задаче прогнозирования электропотребления и оценка эффективности.
Методы исследования. В работе использованы методы математического моделирования, численные методы вычислительной математики, методы анализа и прогнозирования временных рядов, методы объектно-ориентированного программирования.
Научная новизна. В диссертационной работе получены следующие результаты, характеризующиеся научной новизной:
алгоритм сравнительного анализа методов прогнозирования временных рядов, отличающийся систематическим исследованием и использованием ретроспективных оценок и позволяющий предварительно определить точность прогнозирования;
модифицированный метод финальной ошибки прогнозирования, отличающийся использованием части выборки путем исключения устаревших значений временного ряда;
комбинированные алгоритмы, отличающиеся использованием ретроспективных оценок при определении весовых коэффициентов выпуклых комбинаций методов для повышения точности прогнозирования;
модифицированные комбинированные алгоритмы, использующие векторные внутренние характеристики исследуемой зависимости для дополнительного снижения ошибки прогнозирования;
алгоритм поиска условного оптимума для определения весовых коэффициентов выпуклых комбинаций методов, отличающийся снижением размерности вектора переменных путем замены базиса.
Практическая значимость работы заключается в повышении эффективности принимаемых решений за счёт объективной оценки характеристик временных рядов и последующего прогнозирования. Предложенные алгоритмы построения комбинированных методов применимы для прогнозирования различных аспектов хозяйственной деятельности предприятия в производственных условиях.
Разработанные методы анализа и прогнозирования временных рядов реализованы в виде независимого программного модуля, могут быть использованы для математического и программного обеспечения процесса принятия решений и позволяют проводить исследования широкого спектра
задач, требующих использования технологий прогнозирования временных рядов.
Реализация и внедрение результатов работы. Разработанные в ходе исследования методики и алгоритмы анализа были использованы в производственной деятельности ОАО "Новолипецкий металлургический комбинат" (ОАО "НЛМК") для совершенствования планирования энергопотребления за счет повышения качества и оперативности принимаемых решений в системах управления электропотреблением.
Результаты диссертационной работы используются в учебном процессе ЛІТУ при подготовке инженеров по специальности «Прикладная математика».
Апробация работы. Материалы работы, её основные теоретические и практические результаты докладывались и обсуждались на международных и всероссийских конференциях, в том числе на Международной научно-технической конференции «Современные сложные системы управления» (Липецк, 2002); на Международной открытой научной конференции «Современные проблемы информатизации в технике и технологиях» (Воронеж, 2003); на Международной научно-практической конференции «Теория активных систем» (Москва, 2005); на Международной научно-технической конференции «Современные сложные системы управления» (Воронеж, 2005).
Работа поддержана Российским фондом фундаментальных исследований, проект №05-01-96409.
Публикации. По результатам исследования опубликовано 12 печатных работ, в том числе 1 статья в изданиях, рекомендованных ВАК РФ.
В работах, опубликованных в соавторстве, лично соискателем выполнены: в [2] - программная реализация модифицированного метода финальной ошибки прогнозирования; в [3-4] -расчеты апостериорных оценок для используемых в качестве примеров временных рядов. В работе [5] автором предложены способы использования критерия финальной ошибки прогнозирования для заключительных отрезков рядов, выполнены примеры подобных расчетов. В работе [6] автором сформулированы основные отличия рассматриваемых принципов прогнозирования: прямого, последовательного и адаптивного. В работе [10] автором предложен алгоритм комбинирования методов прогнозирования, выполнена программная реализация разработанного алгоритма.
Структура и объём диссертации. Работа состоит из введения, четырех глав, заключения, библиографического списка из 97 наименований, приложения. Основная часть работы изложена на 139 страницах машинописного текста, содержит 23 рисунка и 15 таблиц.
Предпосылки использования ретроспективных оценок
В данном разделе приведены основные факты, описывающие характерные примеры условий и результатов проводившихся ранее сравнительных ретроспективных исследований. В работах, касающихся сравнительного прогнозирования временных рядов, для сравнения и выявления лучшего из сравниваемых методов обычно проводится оценка точности. Для определения такой оценки используется ретроспективное прогнозирование - прогноз уже реализовавшихся значений временного ряда. Оценки точности методов, получаемые ретроспективным прогнозированием, можно назвать ретроспективными оценками.
Как указано в [11], лучший прогноз биржевых цен акций IBM для всех будущих моментов времени есть текущая цена (этот результат приближенно справедлив, если предположить, что не имеется никакой полезной информации, кроме прошлых значений временного ряда, и что рассматривается прогнозирование на относительно короткий период времени; для больших периодов становятся важными эффекты роста и инфляции). Идея, что биржевые цены ведут себя так, конечно, не нова и восходит к Башелье [12]. Для доказательства этого утверждения в [11] приведены и результаты прямого сравнения на базе ряда цен акций IBM за период с 11 июля 1960 г. по 10 февраля 1961 г. (всего 150 наблюдений), из которых видно, что прогнозы с минимальной среднеквадратичной ошибкой, которые, эквивалентны использованию сегодняшней цены для предсказания цены на 3 дня вперед, значительно лучше, чем полученные с помощью существенно более сложной методики Брауна. Приведены и результаты сравнения ошибок прогноза при разных упреждениях, вычисленные прямым сравнением значений ряда и их прогнозов с упреждениями 1 - 10, из которых видно, что квадратичные прогнозы Брауна имеют значительно большие среднеквадратические ошибки, чем прогнозы, полученные методом минимальной среднеквадратической ошибки.
Таким образом, наилучший с точки зрения методики, то есть простейший, подход к прогнозированию, а именно подход Башелье, когда в качестве прогнозируемых значений временного ряда предлагается использовать его последнее известное значение, охарактеризован как подход, дающий наилучший результат. В [11] отмечено, что эмпирические сравнения подчас могут дать больше ответов на вопросы, чем теоретические.
Обширные сопоставления различных методов адаптивного прогнозирования (Бокса-Дженкинса, Брауна, Хольта-Уинтерса, Харрисона) были предприняты Райдом [27, 89]. Он взял 113 временных рядов, состоящих из годовых, квартальных и месячных данных, описывающих в основном макроэкономические переменные Соединенного Королевства, а также США. В некоторых случаях ряды были короткими, например, ряды квартальных данных с количеством членов менее 60. В [89] приведено множество различных сопоставлений, и не все методы применялись для обработки каждого ряда (так как некоторые из них не содержали сезонных составляющих). Результаты указывают на явное преимущество метода Бокса-Дженкинса и существенное отставание метода Брауна. В качестве критерия «оптимальности» использовался минимум ошибок прогнозирования на 1 шаг вперед. Проводились сопоставления и при более длительных интервалах упреждения; результаты были аналогичными, но методы Брауна и Харрисона дали сравнительно лучшие результаты, хотя и не настолько, чтобы превзойти метод Бокса-Дженкинса. С другой стороны, были и такие типы рядов, для которых отдельные методы «работали» особенно хорошо; например, метод Харрисона наиболее эффективен при прогнозировании численности безработных, которая имеет заметные сезонную и нерегулярную компоненты.
Эмпирическое сравнение методов широко используется и при прогнозировании разнообразных экономических показателей. В [94] приведены результаты сравнения трех подходов к прогнозированию. Для каждого подхода были построены прогнозы трех основных вероятностей финансовых рисков, таких как доля неопределенности в обязательствах лица, вероятность возникновения условий снижения уровня обязательств, вероятность невыплаты обязательств. При прогнозировании для построения прогноза на начало 1995 года использовалась информация с 1982 по 1994 год включительно; для прогноза на начало 1996 года - с 1983 по 1995 год включительно. Результаты проведенного прогнозирования служат основой для выводов о применимости выбранных подходов для предсказания рисков в среднесрочной перспективе.
Модифицированный метод финальной ошибки прогнозирования
Решению проблемы учета старения данных, возникающих при применении структурного анализа данных, может помочь метод финальной ошибки прогнозирования, описанный в 1.1.3. Применение на практике критерия финальной ошибки прогнозирования связано с определенными ограничениями. Для их устранения необходимо воспользоваться следующими замечаниями [42]: a) удобнее использовать не неявные модели временных рядов, к классу которых относится АР-модель, а явные модели вида x = (f)\t,P), где Р = (pl,...fin)eRn - вектор подлежащих идентификации параметров (с помощью итерационных алгоритмов нелинейного МНК). Такой шаг позволяет допустить автоматизацию обработки информации и прогнозирования; b) проще идентифицировать линейные по параметрам модели х = рхфх{і)+..лрпфп{і), где f ;[t), i=l,...,n, - известные базисные функции (с помощью конечных алгоритмов линейного МНК); c) нагляднее ограничиться простейшими линейными моделями х = /?, + P2t (особенно в случаях, когда более содержательные структуры не подсказываются существом решаемой задачи), что позволяет значительно увеличить скорость обработки информации, не снижая, при этом, точности прогнозирования. При этом задача определения порядка АР-модели модифицируется в задачу определения наиболее подходящей для оценки параметров и прогнозирования части временного ряда. Такая задача возникает, например, по той причине, что отдаленные от настоящего момента значения временного ряда могут не оказаться полезными для прогнозирования. В то же время, что при таком подходе не возникает противоречия с общепринятым мнением о том, что имеющиеся данные всегда следует использовать в максимальной 45 степени: именно в результате испытания, в принципе всевозможных, частей всего имеющегося временного ряда определяется наиболее подходящая из них. Критерием же для оценки может служить, например, минимизация ФОГТ. На этом основании предлагаемый ниже подход характеризуется как модифицированный метод финальной ошибки прогнозирования (ММФОП). Метод оценки по минимуму информационного критерия к временным рядам с учетом сделанных выше замечаний а)-с) можно сформулировать следующим образом. Для массива данных М, представляемого в виде М = {Т;Х) = {(t,х,)}, 1 t m, ведется поиск модели вида х = /?, + P2t; стандартная задача состоит в отыскании оценки Методу финальной ошибки прогнозирования соответствует следующий вариант постановки специальной задачи. В качестве проверочного подмассива ЕсМ выделяется последнее (финальное) значение данного временного ряда Е = (т,хт). В качестве совокупности П текущих подмассивов Р М\Е используются подряды P = tyt;xt)\, m-l-p t m-l, для каждого подряда Р найти то есть минимизировать критерий ФОГТ. Обозначения связаны с тем, что все используемые здесь подряды полностью определяются своими длинами. Таким образом, ищется такой «предзаключительный» отрезок исходного временного ряда (возможно, им окажется весь ряд М\Е), при котором минимизируется критерий ФОП. Полученная в результате модель используется далее для прогнозирования последующих значений временного ряда при f m. Аналогично ММФОП может быть сформулирован не только для линейной модели. Если исследователь может определить основную модель для исследуемой выборки, то замечание с) можно не рассматривать. Тогда ММФОП соответствует следующая постановка задачи. Из массива М выделяется последнее (финальное) значение данного временного ряда Е = (т,хт). Совокупность П текущих подмассивов P zM\E формируется из подрядов P = {{t;xt)}, m-\-p t m-\, l p w-2. Задача поиска подмассива, минимизрируещего ФОП, ставится в два этапа: для каждого подряда Р находится которое минимизирует критерий ФОП. Полученная в результате модель x = f{P(p \t) (2.13) используется для прогнозирования.
Использование внутренней характеристики временного ряда при создании комбинированных алгоритмов
Часто построение выпуклых комбинаций методов прогнозирования в простейшем виде неэффективно. Совместное использование методов построения комбинированных методов прогнозирования и моделей реализации исключения из рассмотрения "устаревших" и/или неактуальных элементов временного ряда, основанных на внутренних характеристиках объекта исследования, позволяют повысить эффективность прогнозирования до приемлемого уровня. Таким образом, необходимо усовершенствовать методику построения комбинированного алгоритма, причем коэффициенты выпуклой комбинации не будут постоянными для всего временного ряда, а будут определяться исходя из поведения самого ряда [51]. Определим исходные данные таким же образом, как и в предыдущем разделе: к имеющемуся временному ряду { ,}"1 применяется набор методов прогнозирования 0-го порядка, причем для каждого из них определена его кредитная история: для каждого j = 1 ...п и для каждого і = 1 ...т существует пара значений (у,,/?/), где р\ - апостериорный прогноз на h шагов вперед методом/ Введем для временного ряда простейшую внутреннюю характеристику в каждой точке - знаконезависимое относительное изменение значения временного ряда за период I. Данная величина является дискретным аналогом модуля непрерывности зависимости с шагом I. Последовательность этих значений корректно определена для /= 1+1...п. Дополнительно можно отметить, что ряд А . J является рядом относительных ошибок метода Башелье [76]. Нам необходимо установить зависимость между изменением значений временного ряда и выбором оптимального метода прогнозирования. Относительное изменение введено исходя из тех соображений, что временной ряд может повторять свое поведение, однако уровни колебаний могут быть разными. Введение делителя в определение величины А позволяет корректно сравнивать временные ряды, например, отвечающие условиям модели мультипликативной сезонности. Далее, теперь мы имеем возможность выделения характерных точек и участков временного ряда. Отметим, что поскольку относительные изменения значений временного ряда, в общем случае, могут не повторятся, требуется ввести некоторый дискретный признак, по которому можно при последующих прогнозах определять, какой из методов оптимален при прогнозировании в данной ситуации. Если же введенный признак будет непрерывным, то при прогнозировании с использованием внутренних характеристик ряда велика вероятность, что мы не сможем ссылаться на прецеденты в прошлом, а, значит, прогнозирование будет необоснованным. Для упрощения последующего изложения введем следующие обозначения. Обозначим через(з.п) - некоторую строго возрастающую последовательность, причем //,=0 и I II А ., т.е. для любой точки временного ряда найдется к, такой что juk д. /лк+1. Такую последовательность {juk } j будем называть последовательностью группировки, а отрезок - отрезком группировки. Тогда для каждой из точек временного ряда найдется к такой, что будет \Х- — ДО ВЫПОЛНЯТЬСЯ условие — —е к, т.е. любую точку временного ряда л-,. можно отнести к какому-либо отрезку группировки. Значит, временной ряд может быть сгруппирован согласно последовательности группировки, разделен, ориентируясь на поведение самого временного ряда. Саму последовательность группировки следует выбирать исходя из количества наблюдений, предполагаемой модели поведения временного ряда, необходимости выделения важных отрезков поведения ряда. Заметим, что // ! можно приравнять бесконечности, благодаря чему можно охватить все возможные изменения временного ряда. Далее, для каждой полученной группы точек может быть применен механизм поиска оптимальной выпуклой комбинации. Следует также отметить, что поиск оптимальной выпуклой комбинации не является единственным, существует еще ряд способов определения оптимального метода прогнозирования. Опишем некоторые из них: 1) способ заключается в выборе оптимальным того метода, который чаще других становился лучшим на данном отрезке разделения. Для каждого из методов прогнозирования мы должны составить последовательность { к\т к Xi-Pi\ . - = min Xt-Pt а})._ , где а} - число точек прогнозируемого временного ряда, которые удовлетворяют следующему условию: Таким образом, для каждого метода прогнозирования составляется таблица количества случаев, в которых метод дал наименьшую ошибку прогнозирования по сравнению с остальными исследуемыми методами, в зависимости от отрезка группировки.
Повышение эффективности прогнозирования электропотребления комбинированными алгоритмами
Оценим возможность повышения точности прогнозирования ряда энергопотребления при помощи комбинированных методов. Сначала проверим точность прогнозирования ежедневного электропотребления, поскольку на предприятии в основе прогнозирования электропотребления лежало прогнозирование посуточного потребления и последующего разделения спрогнозированной величины по часам. Полученные при прогнозировании посуточного электропотребления данные могут быть впоследствии применены для планирования почасового потребления ОАО «НЛМК», если воспользоваться имеющимся алгоритмом распределения общей суточной спрогнозированной величины. Для построения прогноза планового потребления электроэнергии воспользуемся предложенным в 3.4 методом, использующим при построении комбинации поведение самой зависимости.
В качестве первичных методов прогнозирования для построения комбинации используем описанные ранее 12 методов экспоненциального сглаживания. В таблице 4.2 приведены средние ошибки использовавшихся методов прогнозирования. Также в таблице приведена средняя ошибка метода Башелье, с которой мы будем сравнивать предложенную методику. Из таблицы видно, что используемые методы прогнозирования дают близкую по уровню среднюю ошибку. Высокую ошибку дает только метод экспоненциального сглаживания с экспоненциальным трендом и без сезонности (en) - средняя ошибка этого метода более чем в два раза превышает ошибку любого из использованных методов и составляет 7,38%. Также стоит отметить, что наименьшую среднюю ошибку дал метод экспоненциального сглаживания, без сезонности (dn). Средняя ошибка 3,04% оказывается также ниже метода используемого метода Башелье, ошибка которого составила 3,13%.
После сравнительного описания комбинируемых методов необходимо определить параметры и характеристики комбинированных алгоритмов, использующих расширенную характеристику временного ряда. Длину вектора g{, характеризующего точку зависимости, примем равной величине упреждения - 3. Остается определить способ определения значений элементов вектора и степень недостоверности - не рассмотренные до этого параметры предложенной методики.
Результаты применения методик к зависимости с использованием разных степеней недостоверности є и характеристик ряда приведены в таблице 4.3.
В таблице 4.3 приведены различные типы разностей предложенные в разделе 3.3: 1) вектор относительной разности с делением на последующий элемент; 2) вектор, построенный как относительные разности с делением на предыдущий элемент; 3) вектор абсолютных разностей.
При рассмотрении прогнозирования величины электропотребления необходимо отметить, что поведение каждого из рассмотренных вариантов построения векторов схоже: при нулевой степени недостоверности средняя ошибка прогнозирования составила от 4,6 до 4,8%. В то же самое время при увеличении степени недостоверности средняя ошибка снижается до 3,1-3,5%. При этом минимум средней ошибки достигается при одном и том же є = 0,0001. Итак, если точность прогнозирования оценивается средней ошибкой прогнозирования, то оптимальными, согласно таблице 4.8, параметрами являются є = 0,0001 и первый способ взятия разности.
Рассмотрим более подробно результаты прогнозирования комбинированным методом. Используя результаты, приведенные в таблице 4.3 в качестве параметров используем = 0,0001; длину вектора, описывающего поведение зависимости, приравняем величине упреждения, или 3. В таблице 4.4 приведены ошибки прогнозирования предложенным методом, а также ошибки метода Башелье и лучшего из использованных первичных методов.
