Содержание к диссертации
Введение
Глава 1. Методы прогнозирования временных рядов 9
1.1. Виды и статистический анализ временных рядов 9
1.2. Классификация методов прогнозирования временных рядов 16
1.3. Статистические методы прогнозирования временных рядов 16
1.4. Нестатистические методы прогнозирования временных рядов 28
1.5. Сравнительный анализ методов прогнозирования временных рядов .. 33
Глава. 2. Прогнозирование временных рядов на основе нейронных сетей
2.1. Общие положения теории нейронных сетей 38
2.2. Классификация нейронных сетей, сравнительный анализ существующих методов и алгоритмов обучения нейронных сетей 41
2.3. Нейросетевые подходы к решению задачи прогнозирования 48
2.4. Способы обеспечения и ускорения сходимости в нейросетевой модели прогнозирования 50
2.5. Система прогнозирования на базе нейронных сетей (СПНС) 62
2.6. Определение архитектуры и структуры нейронной сети для решения задачи прогнозирования 67
2.7. Методы повышения эффективности нейросетевого прогнозирования временных рядов 78
Глава. 3. Разработка алгоритмов для гибридной системы прогнозирова ния на базе нейронных сетей 87
3.1. Повышение качества прогнозирования с использованием предварительной обработки информации в гибридной системе на базе нейронных сетей (ГСПНС) 87
3.2. Алгоритмы предварительной обработки информации
3.3.Сравнительный анализ алгоритмов предварительной обработки информации в ГСПНС 97
3.4. Применение ГСПНС для прогнозирования объёма производства хлопковых тканей на фабрике хлопковых тканей (ФХТ) 106
3.5. Применение ГСПНС для прогнозирования объёма продаж горчичной сушки во владимирском хлебокомбинате 115
Заключение 122
Список использованных источников
- Классификация методов прогнозирования временных рядов
- Сравнительный анализ методов прогнозирования временных рядов
- Нейросетевые подходы к решению задачи прогнозирования
- Алгоритмы предварительной обработки информации
Введение к работе
Актуальность темы Прогнозирование играет важную роль в различных областях народного хозяйства Поскольку технологические процессы и условия ведения бизнеса изменяются во времени, необходимо постоянно отслеживать и предсказывать эти изменения для успешной реализации технических решений или совершения деловых операций
Так, для того чтобы планировать производство семейства продуктов, необходимо прогнозировать продажи каждого продукта и иногда на несколько месяцев вперед Эти прогнозы для конечных продуктов могут быть далее преобразованы в требования к полуфабрикатам, материалам, рабочим и тд Таким образом, на основании прогноза может быть построен график работы целой группы предприятий
Прогнозирование также может быть важной частью систем управления технологическими процессами Наблюдая ключевые переменные процесса и используя их для предсказания будущего поведения процесса, можно определить оптимальное время и длительность управляющего воздействия
Прогнозирование позволяет в значительной степени улучшить управление предприятием за счет обеспечения координации всех факторов производства и реализации, взаимосвязи деятельности всех подразделений и распределения ответственности В условиях современного развития науки и техники многие классические методы прогнозирования исчерпали свои возможности Одним из современных методов, используемых для прогнозирования, являются искусственные нейронные сети (НС) В работе исследуется эффективность применения нейронных сетей для прогнозирования объемов производства промышленного предприятия
Цель и основные задачи исследования. Целью диссертации является повышение качества принятия решений на основе повышения точности нейросетевого прогнозирования в процессах управления предприятием
Для достижения поставленной цели предлагается решить следующие задачи
Исследовать характеристики алгоритмов прогнозирования
Разработать методики повышения качества прогнозирования на базе нейронных сетей с учетом вероятностных характеристик прогнозируемого сигнала с использованием разных алгоритмов фильтрации
Выполнить сравнительный анализ точности полученных методик
4 Построить арсенал средств моделирования случайных процессов
Объект исследования Фабрика хлопковых тканей (ФХТ) — одно из
промышленных предприятий, входящих в состав промышленных групп Министерства промышленности Сирии, и владимирский хлебокомбинат в городе Владимир (Россия)
2 Информационная база исследовании.
Объем производства хлопковых тканей (в тоннах) за период с января 1980 г по декабрь 2004 г (массив значений N=300)
Объем продажи горчичной сушки за январь-июнь 2000 года (массив значений N=178)
Научная новизна результатов работы. В рамках диссертационной работы получены следующие результаты
Предложен и исследован способ повышения точности нейросете-вого прогнозирования с учетом вероятностных характеристик прогнозируемого сигнала с использованием различных алгоритмов предварительной обработки информации
Разработаны и исследованы алгоритмы предварительной обработки информации, повышающие точность нейросетевого прогнозирования, предложена классификация алгоритмов по критерию увеличения точности однофакторного и многофакторного нейросетевого прогнозирования
Предложена гибридная система нейросетевого прогнозирования, в состав которой входят прогнозирующая нейронная сеть и блок предварительной обработки информации, который включает эффективные алгоритмы предварительной обработки информации
Исследовано время выполнения одношагового прогноза в гибридной системе нейросетевого прогнозирования с использованием эффективных алгоритмов предварительной обработки информации
Методы исследования. Исследования проводились на основе методов математического анализа, прикладной статистики, теории вероятности, теории нейронных сетей, цифровой обработки информации
Практическая значимость. На основе созданных моделей и предложенных методов обработки данных разработана система поддержки принятия решения при прогнозе объема производства хлопковых тканей на Фабрике хлопчатых тканей в городе Латакия (Сирия) и объема продажи горчичной сушки в владимирском хлебокомбинате в городе Владимир (Россия) Разработанная гибридная система прогнозирования, в состав которой входят прогнозирующая нейронная сеть и блок предварительной обработки информации, позволяет повысить точность прогноза
Апробация работы. Основные результаты работы были представлены на семинаре «Системный анализ, управление и обработка информации» во Владимирском государственном университете (2005,2006,2007), и на следующих конференциях международной научной конференции «Математические методы в технике и технологиях» (ММТТ 19, г Воронеж, 2006), международной научно-практической конференции «Социально-экономические системы и процессы методы изучения и проблемы развития» (г Владимир,2006), международной научно-технической конференции «Информатизация процессов формирования открытых систем на основе СУБД, САПР, АСНИ, и систем искусственного интеллекта» (г Вологда, 2007)
Публикации Основные положения и результаты работы опубликованы в 9 печатных работах, в числе которых 1 статья в издании из перечня ВАК
Объём работы. Диссертационная работа состоит из введения, трех глав, заключения, списка литературы
Классификация методов прогнозирования временных рядов
В середине прошлого века Хольт предложил усовершенствованный метод экспоненциального сглаживания, впоследствии названный его именем. В предложенном алгоритме значения уровня и тренда сглаживаются с помощью алгоритма экспоненциального сглаживания. Причем параметры сглаживания у тренда и уровня различны. Алгоритм имеет следующий вид:
Здесь первое уравнение описывает сглаженный ряд общего уровня, второе уравнение служит для оценки тренда, третье уравнение определяет прогноз на р отсчетов по времени вперед.
Постоянные сглаживания ОС и /3 в методе Хольта идеологически играют ту же роль, что и постоянная в простом экспоненциальном сглаживании. Подбираются они, например, путем перебора по этим параметрам с каким-то шагом. Можно использовать и менее сложные в смысле количества вычислений алгоритмы. Главное, что всегда можно подобрать такую пару параметров, которая дает наибольшую точность модели на тестовом наборе, и затем использовать эту пару параметров при реальном прогнозировании [78]. Частным случаем метода Хольта является метод Брауна, когда принимается а- р.
Метод Винтерса. Существует расширение метода Хольта до трехпара-метрического экспоненциального сглаживания. Этот алгоритм называется методом Винтерса. Дело в том, что описанный выше метод Хольта (метод двухпараметри-ческого экспоненциального сглаживания) не является очень простым относительно "наивных" моделей и моделей, основанных на простом усреднении, однако он не позволяет учитывать сезонные колебания при прогнозировании, то есть, этот метод не может их "видеть" в предыстории процесса. В связи с этим специально учитываются сезонные составляющие в имеющихся данных. Система уравнений, описывающих метод Винтерса выглядит, следующим образом:
Дробь в первом уравнении служит для исключения сезонности из Y(t). После исключения сезонности алгоритм работает с "чистыми" данными, в которых нет сезонных колебаний. Появляются они вновь уже в самом финальном прогнозе, когда "чистый" прогноз, рассчитанный практически по методу Хольта, умножается на сезонный коэффициент [78].
Модель авторегрессии. В модели авторегрессии порядка р текущий уровень ряда представляется в виде взвешенной суммы р предыдущих наблюдений по выражению X(t) = a,X{t-\) + a2X(t-2) + + apX(l-p) (] ]5) где: \- 5 /? коэффициенты регрессии. Параметры модели оцениваются с помощью метода наименьших квадратов (МНК). Согласно схеме авторегрессии, оценкой текущего уровня является взвешенная сумма р предшествующих уровней (их количество называется порядком модели). Информационная ценность наблюдений определяется не близостью к моделируемому уровню, а теснотой связи между ними.
Существует ряд методик, производных от модели авторегрессии, где параметры модели оцениваются отличным от МНК методом. В качестве примера можно назвать метод Бокса-Дженкинса.
Метод Бокса-Дженкинса. Называемый также авторегрессионной интегрированной моделью скользящего среднего (АРИСС) имеет три сглаживающих параметра а ,а2,аз: au = Xt+a2t_l+{\-a,){aXt_x+a2t_x) + a,{et-et_,) a2,t a2\a\,t a\,t-\) U a2Ja2,t-\ . /j 17ч 1 - ошибка прогнозирования. Методология построения моделей Бокса-Дженкинса включает в себя следующие основные этапы: 1. идентификация модели; 2. оценивание параметров модели; 3. диагностическая проверка адекватности модели; 4. использование модели для прогнозирования. Особое внимание при изучении данной темы необходимо уделить выбору вида модели и оценке ее адекватности с помощью различных статистических характеристик и критериев [18,78].
Сравнительный анализ методов прогнозирования временных рядов
Важнейшим свойством ИНС является возможность их обучения, т.е. адаптации к способности решать конкретную задачу путем подстройки весов между нейронами в ответ на предъявляемые эталонные образцы - обучающие факты. Если обучающие факты состоят из пары входного и выходного векторов, т.е. изначально известен желаемый выход нейросети, то говорят, что используется алгоритм обучения «с учителем». К таковым можно отнести алгоритм обучения персептрона [68], процедуру обратного распространения ошибки [71], некоторые стохастические алгоритмы обучения и др. [63,65].
Когда же отдельные обучающие факты состоят только из входного вектора, а желаемый выход нейросети неизвестен, осуществляется обучение «без учителя». В этом случае ИНС учится самостоятельно распознавать и классифицировать предъявляемые ей факты. При использовании концепции обучения «без учителя» правильнее говорить о самообучении нейросети, наиболее ярким примером которого являются самоорганизующиеся карты Кохонена [67].
С момента появления первой модели искусственного нейрона интерес к нейронным сетям несколько раз угасал и возникал с новой силой. Последний пик интереса к нейросетевым технологиям приходится на 90-е годы прошлого века, он продолжается до настоящего времени.
Сегодня искусственные нейронные сети применяются для решения таких специфических задач, как ассоциативная память, управление сложными процессами, оптимизация функций. Вместе с тем, существует ряд областей, где нейросетевой подход давно зарекомендовал себя наиболее успешно. Большинство этих задач можно отнести к одной из трех категорий: 1) прогнозирование; 2) распознавание; 3) классификация. Эффективность использования искусственных нейронных сетей для решения задач прогнозирования тесно связана с такими их свойствами, как абстрагирование и обобщение [25,51].
Свойство абстрагирования состоит в том, что некоторые из нейронных сетей в определенной степени обладают способностью извлекать сущность из входных сигналов и, как следствие, порождать на выходе то, что сеть никогда «не видела».
Способность нейронных сетей к обобщению состоит в том, что отклик сети после обучения может быть до некоторой степени нечувствителен к небольшим изменениям входных сигналов. Данное свойство имеет особенное значение при прогнозировании временных рядов. В качестве модели временного ряда в самом общем случае принимается сумма двух составляющих (вида 1.1), которые носят различные названия: систематическая и случайная составляющая, «сигнал» и «шум». В этом случае информация о природе временного ряда и его поведении содержится в систематической составляющей.
Для сильно зашумленных временных рядов, т.е. таких, для которых значительно влияние трудноучитываемых или неучитываемых факторов, представленных в классической модели случайной составляющей, свойство способности нейронных сетей к обобщению играет важную роль.
В литературе приводится множество вариантов классификации существующих парадигм нейронных сетей [79,50]. Наиболее общий подход к классификации нейронных сетей, рассматриваемый и в данной работе, включает классификации: по структуре сети (связей между нейронами), особенностям модели нейрона, числу слоев, особенностям обучения сети (алгоритмам обучения). По структуре (рис. 2.6) нейронные сети можно разделить на неполно-связные (или слоистые), полносвязные, со случайными и регулярными связями, с симметричными и несимметричными связями и комбинированные (гибридные) [73,36].
Классификация нейронных сетей по структуре Неполносвязные нейронные сети (описываемые неполносвязным ориентированным графом и обычно называемые перцептронами), подразделяются на однослойные (простейшие перцептроны) и многослойные, с прямыми, перекрестными и обратными связями. В нейронных сетях с прямыми связями нейроны j-oro слоя по входам могут соединяться только с нейронами І-ЬІХ слоев, где j і, т.е. с нейронами нижележащих слоев. В нейронных сетях с перекрестными связями допускаются связи внутри одного слоя, т.е. выше приведенное неравенство заменяется на J 1. В нейронных сетях с обратными связями используются и связи j-oro слоя по входам с i-ым при у /. Кроме того, по виду связей различают перцептроны с регулярными и случайными связями. Классификация НС по другим признакам представлена в таблице 2.1.
Нейросетевые подходы к решению задачи прогнозирования
Для многих временных рядов (финансовые ряды, некоторые технические процессы) интерес представляет в первую очередь знак изменения ряда, а не его абсолютное значение. В то же время, необходимо иметь некоторый критерий оценки степени уверенности нейросети в предсказании.
В таком случае целесообразно строить нейронную сеть с двумя выходами, один из которых принимает бинарные значения, отражающие направление предполагаемого изменения ряда (увеличение, уменьшение), другой принимает значения из диапазона [0;1] и представляет собой вероятность, отражающую уверенность нейронной сети в сделанном предсказании [29,39,76].
При решении задачи прогнозирования показателей производственного предприятия (рис. 2.10) необходимо построить такое отображение X — Y, чтобы на каждый возможный входной сигнал X (например, объем производства) формировалась оценка выходного сигнала Y (например, спрос на продукцию). Для этой целы может использоваться нейронная сеть (НС).
Иллюстрация к постановке задачи В процессе функционирования НС формирует выходной сигнал Y в соответствии с входным сигналом X, реализуя некоторую функцию g: Y=g(X). Если архитектура сети задана, то вид функции g определяется значениями синаптических весов и смещений сети. Обозначим буквой G множество всех возможных функций g, соответствующих заданной архитектуре сети. Задача обучения НС определяется совокупностью пяти элементов:
Решить поставленную задачу с помощью НС заданной архитектуры -это значит синтезировать некоторую функцию g. Обучение состоит в поиске (синтезе) функции g, оптимальной по D и является итеративной процедурой, в результате которой происходит уменьшение функции ошибки. Совокупность всех обучающих примеров носит название обучающей выборки.
В задачах прогнозирования в качестве входных сигналов используются временные ряды, представляющие значения контролируемых переменных на некотором интервале времени. Выходной сигнал - множество переменных, которое является подмножеством переменных входного сигнала.
При использовании многофакторной модели на входы нейросети, кроме предыстории прогнозируемого временного ряда, подаются значения различных внешних факторов. Фактически здесь речь идет об анализе многомерных временных рядов. При этом нет принципиального отличия от однофакторной модели в процессе подготовки исходных данных, их нормализации, обучения нейронной сети и ее функционирования.
Основная сложность, возникающая при использовании многофакторной нейросетевой модели, состоит в трудности выбора внешних факторов.
При описании прогнозирующих моделей решается задача построения, прежде всего, точечного прогноза. Однако иногда требуется получить интервальный прогноз, в который попадает реальное значение с заданной доверительной вероятностью.
Для построения интервального прогноза можно как воспользоваться традиционными методами получения интервального прогноза на основе точечного, который выдает нейросеть, так и организовать саму нейросеть несколько иным образом (см. формулу (1.12)).
В последнем случае выходной вектор ИНС состоит из трех компонент: начального значения интервала, конечного значения (или ширины интервала) и доверительной вероятности.
Схема построения входных и выходных векторов для многофакторной прогнозирующей нейросетевой модели, выдающей интервальный прогноз, иллюстрируется рис. 3.11. Здесь значения внешних факторов обозначены через Г(1) Y(n\
Если требуется глубина прогноза более, чем на один шаг вперед, то прогнозирование повторяется необходимое количество раз, при этом в качестве значений входов нейросети используется уже полученный ранее прогноз. Точность прогнозирования уменьшается с ростом глубины прогноза.
Нужно иметь в виду, что любой алгоритм настройки нейросети является множественно-вероятностным. Поэтому точность решения при использовании достаточно сложных методов классического анализа (многофакторная регрессия, анализ случайных процессов) может оказаться выше, чем при использовании нейронной сети.
Алгоритмы предварительной обработки информации
Сглаживающий фильтр Савицкого—Голея, также называемый полиномиальным сглаживающим фильтрам или сглаживающим фильтром с минимальной квадратической ошибкой, является нерекурсивном фильтром и, как правило, используются для "сглаживания" зашумленных сигналов с широким (без шума) спектром. В данном случае сглаживающие фильтры Савицкого—Голея работают намного лучше обычных усредняющих нерекурсивных фильтров, которые имеют тенденцию вместе с шумом удалять значительную долю высокочастотных составляющих сигнала. Фильтры Савицкого—Голея лучше сохраняют высокочастотные компоненты сигнала, однако обеспечивают худшее подавление шума по сравнению с обычными нерекурсивными фильтрами.
Фильтры Савицкого—Голея осуществляют полиномиальную аппроксимацию отдельных кадров входного сигнала по критерию минимума квадратической ошибки [12,20,43,84,87].
С целью выбора оптимальных степени сглаживающих полиномов (К) и размера кадра (F), выполняется численный эксперимент по схеме ГСПНС, описываемой рис. 3.3, с использованием ФССЗ в качества БПОИ.
В результате эксперимента получено, что оптимальные параметры фильтра: К=3, F=9 независимо от ширины спектра прогнозируемого сигнала в исследуемых пределах.
Медианная фильтрация является простым и эффективным методом удаления импульсных помех практически без искажения плавно изменяющихся последовательностей значений сигнала и представляет собой скользящее окно из N точек, в котором центральный элемент заменяется медианой (средним элементом при упорядочении данных в окне в порядке их возрастания). Медиана последовательности xi значений равна: 4 « (3.7) где фиксированное значение m = 1,2,... определяет апертуру фильтра.
При большом количестве точек в сигнале и в скользящем окне будет производиться значительное количество вычислений, этот процесс может занять продолжительное время. Медианный фильтр, как и другие методы сглаживания, изменяет значения всех точек сигнала [12,20,43,88].
С целью выбора оптимальной ширины окна МФ (W) выполняется такой же численный эксперимент, как для других описываемых выше фильтров, в результате которого подтверждено, что оптимальная ширина окна при различных частотах среза
Адаптивные устройства обработки сигнала действуют по принципу замкнутого контура (обратной связи). Входной сигнал S(n) фильтруется или взвешивается в программируемом фильтре для получения выходного сигнала W, который затем сравнивается с полезным, стандартным или обучающим сигналом Y(n) для нахождения сигнала ошибки е(п). Затем этот сигнал ошибки используется для корректировки весовых параметров процессора (обычно итеративным методом) с целью постепенной минимизации ошибки (т. е. сигнал на выходе обрабатывающего устройства - процессора - приближается к величине обучающего сигнала). Блок схема адаптивного фильтра представлена на рис. 3.5.
Алгоритм адаптации Рис. 3.5. Блок-схема адаптивного фильтра Важнейшей функцией, выполняемой адаптивным фильтром, является моделирование системы. Это иллюстрируется схемой на рис. 3.6. Показано, что для получения оптимальных весовых векторов адаптивного фильтра можно применить два разных подхода, которые приведут к различным результатам.
Неизвестная система Н(п) подключена ко входу Y адаптивного фильтра (рис. 3.6,а). В этом случае оптимальная импульсная характеристика адаптивного фильтра является точной моделью соответствующей характеристики системы Н(п).
Применение АФ для прямого (а) и обратного моделирования (б) 2. Неизвестная система Н(п) подключена ко входу S адаптивного фильтра (рис. 3.6,6). В этом случае оптимальная импульсная характеристика адаптивного фильтра является функцией, обратной соответствующей характеристике неизвестной системы.
На рис. 3.7. показана схема ГСПНС с использованием предварительной обработки с использованием адаптивного фильтра, где использован, адаптивный фильтр по схеме рис. 3.6,а и Н(п) является импульсной характеристикой фильтра скользящего среднего значения [33].
Экспериментально подтверждено, что точность ГСПНС является максимальной, когда ширина окна ФССЗ равна 7; и при этом использованы только следующие адаптивные фильтры из известных алгоритмов адаптивных фильтров N-oro порядка: 1 - адаптивный фильтр с конечной импульсной характеристикой, реализующий метод наименьших средних квадратов 10-ого порядка (АФ-ких-мнк-10); 2 - фильтр Калмана 10-ого порядка (КАФ-10). З.З.Сравнительный анализ алгоритмов предварительной обработки информации в ГСПНС Для сравнения эффективности применения предлагаемых АПОИ для повышения точности прогноза в составе ГСПНС рассмотрим отдельно многофакторную модель и однофакторную модель. 3.3.1. Однофакторная гибридная система прогнозирования временных рядов
Для того чтобы сравнить эффективность применения всех предлагаемых выше АПОИ для повышения точности прогноза ГСПНС, автором проведен объемный численный эксперимент по схеме рис. 3.8, где АПОИ имеют наилучшие параметры (см. рис. 3.3) применительно к условия использования в ГСПНС. Далее сравниваются АСОП всех ГСПНС с разными АПОИ.
