Содержание к диссертации
Введение
1 Прогнозирующие системы в метеорологии: состояние проблемы 11
1.1 Метеорологический прогноз и цели его использования 11
1.2 Основные понятия и определения проблемы прогнозирования 12
1.3 Методы прогнозирования синоптических параметров 16
1.4 Модели временных последовательностей, регрессионный анализ 19
1.5 Традиционные методы краткосрочного прогноза:
оценка точности на примере прогноза температуры... 21
2 Нейронные сети: состояние проблемы 36
2.1 Основные понятия и определения 36
2.2 Модели нейронных сетей 41
2.3 Подготовка исходных данных и обучение нейронных сетей 48
2.4 Задачи, решаемые на основе нейронных сетей 53
2.5 Опыт применения нейронных сетей 56
3 Прогнозирование на основе нейронных сетей 59
3.1 Общий подход к прогнозированию с помощью нейронных сетей 59
3.2 Опыт применения нейронных сетей для анализа временных рядов в финансовой сфере 61
3.3 Сравнительные характеристики современных нейропакетов 64
3.4 Обоснование выбора пакета STATISTICA Neural Networks(SNN), как основы для проведения исследований 66
Прогноз по временным рядам метеовеличин с применением стандартных алгоритмов нейронных сетей (SNN) 69
4.1 Описание использованной базы исходных данных 69
4.2 Методика прогнозирования на основе временных рядов по нескольким синоптическим параметрам 74
4.3 Результаты численных экспериментов по построению нейронных сетей 77
4.4 Результаты метеопрогнозов получаемых по нейросетям 85
4.5 Критический анализ полученных результатов 91
Разработка альтернативной методики для краткосрочного метеопрогноза 92
5.1. Сценарный" подход к интерпретации длинных временных рядов метеорологических величин 92
5.2 Методика близких синоптических ситуаций (БСС): формализация 95
5.3 Методика обработки и анализа временных рядов для дальнейшего использования в нейросетевых алгоритмах БСС 97
5.4 Разработка специализированных программных средств 100
5.5 Особенности процесса обучения и качество работы получаемых нейронных сетей 101
Применение методики БСС для получения краткосрочного метеопрогноза 106
6.1 Отобранные конфигурации нейросетей и методика проведения численных экспериментов 106
6.2 Ансамбли метеопрогнозов и их вероятностная интерпретация 109
6.3 Применение разработанной методики для анализа метеорологической ситуации на 22 июля 2001г 112
6.4 Результаты расчетов, оценка быстродействия методики для оперативного проведения прогнозов 117
6.5 Статистический анализ качества получаемых прогнозов на примере прогноза температуры воздуха 117
6.6 Разработка рекомендаций по использованиго и дальнейшему развитию предложенной методики краткосрочного прогноза 122
Заключение 123
Список использованных источников
- Основные понятия и определения проблемы прогнозирования
- Подготовка исходных данных и обучение нейронных сетей
- Сравнительные характеристики современных нейропакетов
- Методика прогнозирования на основе временных рядов по нескольким синоптическим параметрам
Введение к работе
Повышение эффективности методов прогноза метеорологической обстановки было и остается актуальной задачей науки. Это объясняется как чрезвычайной сложностью проблемы, которая требует привлечения методик развитых в рамках самых различных направлений научного знания, так и постоянным совершенствованием инструментария, который может быть использован в этих целях [1,2].
В настоящее время можно констатировать существование достаточно развитой системы глобального прогноза, которая входит в гидрометеорологическую службу страны [1,3]. Система включает в себя единую, хотя и недостаточно развитую, сеть станций наблюдения за метеорологическими величинами. Метеопрогноз опирается на крупномасштабную интерпретацию синхронных данных имеющихся станций наблюдения и производится на основе методов синоптической и динамической метеорологии [1-7]. Этим и определяется заблаговременность и реальная точность выполняемого прогноза.
Более высокие требования предъявляются к точности краткосрочных (на срок в пределах одних суток) прогнозов, что требует наличия в данном районе локальной станции наблюдений метеорологических величин [7]. В последнее время, в связи с появлением автономных портативных метеостанций [8], проблема локального прогноза вновь становится объектом пристального внимания исследователей.
Интерес к локальному краткосрочному прогнозированию погодных явлений имеет очевидную практическую основу. Это, в первую очередь, существование опасных метеорологических явлений, способных нанести значительный ущерб промышленности, сельскохозяйственным объектам и транспорту. К их числу относятся явления погоды, связанные с ветром (шквалы, смерчи, метели), гололед и гололедица, ограничение видимости из-за туманов и осадков и т.д. [9-10].
Если локальные прогнозы по временным рядам производятся на базе результатов наблюдений на конкретной метеостанции, то на сегодняшний день используются, как правило, традиционные методы одномерной метеорологии' (регрессионный анализ, ARIMA, фильтрация данных, расчет средних многолетних величин и т.д. [11-15]).
В последнее время укрепилось ясное понимание того, что для оптимизации метеопрогноза необходимо предоставление специалистам-синоптикам не одного, а целого ансамбля возможных метеопрогнозов [3]. Достигнут значительный прогресс в развитии систем прогнозирования по ансамблям. Основой прогресса стало не только быстрое развитие вычислительной техники, но и понимание того, что детерминированные прогнозы не являются "научными" в полном смысле этого слова, так как не сопровождают результат прогноза оценкой возможной ошибки [16].
Поэтому вновь актуальными становятся методы одномерной метеорологии, которая в состоянии предложить альтернативный прогноз. Представляется, что эти методы еще далеко не исчерпаны и могут быть существенно дополнены за счет совершенствования используемых алгоритмов и вычислительных средств. При этом одним из перспективных направлений исследований является изучение и анализ алгоритмов искусственных нейронных сетей. Этому кругу вопросов и посвящена данная диссертация.
Целью настоящего диссертационного исследования является решение следующих задач:
анализ эффективности применения стандартных алгоритмов нейронных сетей, разработанных для экстраполяции временных рядов, в целях краткосрочного прогноза метеорологических величин;
поиск возможностей использования для этих целей альтернативных алгоритмов нейронных сетей, предназначенных для целей классификации (алгоритмов экспертных систем).
Для решения этих задач в работе выбраны следующие направления проведения исследований:
Осуществить литературный поиск с целью получения статистически
обоснованных оценок точности традиционных методов
краткосрочного прогноза.
Произвести сравнительный анализ основных существующих нейропакетов - программ построения нейросетей. и выбрать на этой основе пакет наиболее подходящий для целей настоящей работы. На основе сбора материалов зарегистрированных на метеостанциях единой сети создать достаточно объемную базу данных, включающих временные ряды, охватывающие не менее 4- 5 лет регулярных наблюдений.
На конкретных примерах метеорологических величин, выполнить
расчеты с применением стандартных алгоритмов нейронных сетей,
разработанных для экстраполяции временных рядов, в целях
краткосрочного прогноза метеорологических величин. Получить
статистические оценки точности результатов проведенных
численных экспериментов.
Сформулировать новый подход к интерпретации метеорологических наблюдений, опирающийся на наличие достаточно длинных рядов значимых метеовеличин. Это позволило бы свести задачу локального прогноза к экспертной оценке степени соответствия текущей метеорологической ситуации и некоторой ситуации, имевшей место в прошлом и зарегистрированной в базе данных. Разработать соответствующее программное обеспечение. По результатам численных экспериментов получить статистические оценки точности предлагаемой методики при краткосрочном прогнозе.
Методы исследования
При решении задач, связанных с формированием нейросетевых алгоритмов, использовался нейропакет STATISTICA Neural Networks (SNN) или его отдельные DLL-библиотеки. Специализированное программное обеспечение разрабатывалось на языке Visual Basic5 с дополнительным использованием библиотек пакета STATISTICA 5.0 (Visual Basic). В разделах работы, посвященных обработке результатов расчетов, а также оценке погрешностей измерений, применялись методы математической статистики. Широко использовались методы графического анализа и обобщения расчетных данных.
Обоснованность и достоверность результатов исследований Научная обоснованность и достоверность положений и выводов работы подтверждается результатами подробного статистического анализа многочисленных рядов данных, а также совпадением на достаточно высоком уровне статистической значимости прогнозируемых и зарегистрированных метеорологических величин.
Исходные данные зарегистрированы на метеопостах единой наблюдательной сети (Санкт-Петербург, Омск) и являются официальными. Кроме того, они были подвергнуты тщательному анализу и цензурированию на специально созданном программном комплексе. Использованное базовое программное обеспечение является лицензионным и многократно тестировалось.
Научная новизна.
На примерах реальных временных рядов метеорологических величин, выполнен анализ эффективности применения стандартных алгоритмов нейронных сетей в целях получения метеопрогноза. Даны статистические оценки точности получаемых при этом результатов.
Предложен новый подход к интерпретации рядов метеорологических наблюдений, сводящий задачу метеопрогноза к экспертной оценке локальной метеорологической ситуации. Разработано специализированное программное обеспечение. По результатам
численных экспериментов получены статистические оценки точности предлагаемой методики при краткосрочном прогнозе. 3. Разработана методика вероятностной интерпретации прогноза метеорологических величии.
Научная и практическая ценность.
Показана работоспособность и дана оценка эффективности предложенной методики краткосрочного прогноза с использованием искусственных нейронных сетей. На примерах рядов метеорологических величин зарегистрированных на двух станциях единой метеорологической сети, в районах с различными климатическими условиями, показана ее устойчивость и перспективность.
Предложенная методика краткосрочного прогноза не требует значительных материальных затрат при внедрении, проста и удобна в применении, скорость обработки данных определяется возможностями вычислительных средств, которые постоянно возрастают. Она может быть использована при построении автономных локальных систем краткосрочного прогнозирования на базе стандартной или портативной метеостанции.
Вероятностная интерпретация предложенной методики дает специалистам дополнительный инструмент для получения ансамбля прогнозов погоды с указанием вероятности реализации каждого из его представителей.
Реализация результатов
Реализация результатов работы планируется в учебном и научно-исследовательском процессе на кафедре Экспериментальной физики атмосферы Российского государственного гидрометеорологического университета. Результаты работы могут быть использованы при разработке систем автоматизации процесса получения прогноза погоды.
Апробация работы
Результаты диссертационного исследования докладывались на научном семинаре кафедры ЭФА в 2005г, на итоговой сессии Ученого совета РГТМУ
в январе 2005г, а также на международной школе - конференции молодых ученых "Изменение климата и окружающая среда" в декабре 2005г. Тезисы докладов опубликованы в соответствующих сборниках тезисов и информационных материалов. На защиту выносятся:
Результаты исследования эффективности применения стандартных алгоритмов искусственных нейронных сетей, разработанных для анализа временных рядов, в целях краткосрочного прогноза метеорологических величин.
Методика экспертной оценки (с помощью ПЭВМ) метеорологической ситуации, позволяющая оперативно предоставить в руки специалистов вероятностный ансамбль прогнозов для осуществления локального предсказания погоды.
Структура и объем диссертации
Диссертация состоит из введения, шести глав, заключения, списка литературы и приложения. Общий объем работы без приложения составляет 130 страниц машинописного текста, включая 64 рисунка и 12 таблиц. Список литературы содержит 73 наименования.
В заключение автор хотел бы выразить свою благодарность научному руководителю работы, доктору физико-математических наук профессору Кузнецову Анатолию Дмитриевичу за постановку интересной задачи и помощь на всех этапах проведения исследований, заведующему учебным бюро прогнозов погоды Мошиашвили Владимиру Исааковичу за помощь в подборе исходных данных по рядам метеорологических наблюдений и всему коллективу кафедры Экспериментальной физики атмосферы РГГМУ за чуткость и внимание к работе.
Основные понятия и определения проблемы прогнозирования
Методы прогнозирования можно разделить на два класса: квалитативные и квантитативные, в зависимости от того, какие математические методы используются [13].
Квалитативные процедуры производят субъективную оценку, основанную на мнении экспертов. Обычно, это формальная процедура для получения обобщенного предсказывания, на основе ранжирования и обобщения мнения экспертов (например, на основе методов Делфи[14]). Эти процедуры основываются на опросах, тестах, оценке эффективности прогнозов и исторических данных, но процесс, с помощью которого получается прогноз остается субъективным.
С другой стороны, квантиативные процедуры прогнозирования явно объявляют - каким образом получен прогноз [7]. Четко видна логика и понятны математические операции. Эти методы производят исследование исторических данных для того, чтобы определить глубинный процесс, генерирующий прогнозируемые переменные и, предположив, что процесс стабилен, использовать знания о нем для того, чтобы экстраполировать процесс в будущее. К квантитативным процедурам прогнозирования относятся методы основанные на статистическом анализе, анализе временных последовательностей, байесовском прогнозировании, наборе фрактальных методов, нейронных сетях[15].
Сейчас используется два основных типа моделей: модели временных последовательностей и причинные модели.
Временная последовательность - это упорядоченная во времени последовательность наблюдений (реализаций) переменной. Анализ временных последовательностей использует для прогнозирования переменной только исторические данные об ее изменении. Таким образом, если исследование данных в каком либо процессе, показывает, что его характеристики линейно возрастают - для представления данного процесса может быть выбрана линейная модель тренда. Наклон и смещение этой прямой могут быть оценены на основе исторических данных. Прогнозирование может быть осуществлено путем экстраполяции подходящей модели [15].
Причинные модели используют связь между интересующей нас временной последовательностью и одной или более другими временными последовательностями. Если эти другие переменные коррелируют с интересующей нас переменной и если существуют причины для этой корреляции, модели прогнозирования, описывающие эти отношения, могут быть очень полезными. В этом случае, зная значение коррелирующих переменных, можно построить модель прогноза зависимой переменной. Например, анализ может указать четкую корреляцию между текущем уровнем температуры воздуха и ее уровнем через суточный интервал. В таком случае эта информация будет полезной для того, чтобы предсказывать погоду в последующие сутки [7].
Серьезным ограничением использования причинных моделей является требование того, чтобы независимая переменная была известна ко времени, когда делается прогноз. Другое ограничение причинных методов - большое количество вычислений и данных, которое необходимо сравнивать.
Практически, прогнозирующие системы часто используют комбинацию квантитативных и квалитативных методов [10]. Квантитативные методы используются для последовательного анализа исторических данных и формирования прогноза. Это придает системе объективность и позволяет эффективно организовать обработку исторических данных. Данные прогноза далее становятся входными данными для субъективной оценки опытными специалистами, которые могут модифицировать прогноз в соответствии с их взглядами на информацию и их восприятие будущего.
На выбор соответствующего метода прогнозирования, влияют следующие факторы [17]: - требуемая форма прогноза; - горизонт, период и интервал прогнозирования; - доступность данных; - требуемая точность; - поведение прогнозируемого процесса; - стоимость разработки, установки и работы с системой; -простота работы с системой;
Модели временных последовательностей, используемые для целей прогноза весьма многообразны. Временные последовательности представляют собой последовательность наблюдений за интересующей переменной. Переменная наблюдается через дискретные промежутки времени. Анализ временных последовательностей включает описание процесса или феномена, который генерирует последовательность. Для предсказания временных рядов необходимо представить поведение процесса в виде математической модели, которая может быть распространена в будущее. Для этого необходимо, чтобы модель хорошо представляла наблюдения в любом локальном сегменте времени, близком к настоящему. Обычно нет необходимости иметь модель, которая представляла бы очень старые наблюдения, так как они скорее всего не характеризуют настоящий момент. Также нет необходимости представлять наблюдения в далеком будущем, т.е. через промежуток времени больший чем горизонт прогнозирования. После того, как будет сформирована корректная модель для обработки временной последовательности, можно приступать к исследованию ее эффективности
Подготовка исходных данных и обучение нейронных сетей
Сеть типа радиальной базисной функции (RBF) имеет промежуточный слой из радиальных элементов (нейронов), каждый из которых воспроизводит гауссову поверхность отклика (2.6) - (2.7). Поскольку обе эти функции нелинейны, для моделирования произвольной функции нет необходимости брать более одного промежуточного слоя. Для моделирования любой функции необходимо лишь взять достаточное число радиальных элементов. Остается решить вопрос о том, как следует скомбинировать выходы скрытых радиальных элементов, чтобы получить из них выход сети. Оказывается, что достаточно взять их линейную комбинацию (т.е. взвешенную сумму гауссовых функций). Сеть RBF имеет выходной слой, состоящий из элементов с линейными функциями активации [30-31]. Сеты Кохонена.
Сеть Кохонена [30 —31, 41,71] имеет всего два слоя: входной и выходной, составленный из радиальных элементов (выходной слой называют также слоем топологической карты). Элементы топологической карты располагаются в некотором пространстве, как правило двумерном.
Этот тип нейросети принципиально отличается от всех других типов сетей. Сеть Кохонена способна понимать саму структуру данных, в то время как все остальные сети предназначены для задач с управляемым обучением, сеть Кохонена, главным образом, рассчитана на неуправляемое обучение [25,73].
Вероятностные нейронные сети (PNN, GRNN).
Метод аппроксимации плотности вероятности с помощью ядерных функций [25, 29,72] во многом похож на метод радиальных базисных функций. Таким образом естественно появились понятия, - вероятностная нейронная сеть (PNN) и обобщенно-регрессионная нейронная сеть (GRNN).
PNN-сети предназначены для задач классификации, a GRNN - для задач регрессии. Сети этих двух типов представляют собой реализацию методов ядерной аппроксимации, оформленных в виде нейронной сети.
Сеть PNN имеет по меньшей мере три слоя: входной, радиальный и выходной. Радиальные элементы берутся по одному на каждое обучающее наблюдение. Каждый из них представляет гауссову функцию с центром в этом наблюдении. Каждому классу соответствует один выходной элемент.
Первый промежуточный слой сети GRNN также состоит из радиальных элементов. Второй промежуточный слой содержит элементы, которые помогают оценить взвешенное среднее. Число элементов во втором промежуточном слое на единицу больше, чем в выходном слое. Как правило, в задачах регрессии требуется оценить одно выходное значение, и, соответственно, второй промежуточный слой содержит два элемента.
Одно из важнейших свойств нейроподобной сети - способность к самоорганизации и самоадаптации с целью улучшения качества функционирования. Это достигается обучением сети, алгоритм которого задается набором обучающих правил.
Кроме того, что нейронные сети различаются между собой моделями нейрона, топологией и весами связей, они отличаются также же и правилами обучения. Для обучения нейронных сетей применяются алгоритмы двух типов: управляемое ("обучение с учителем") и не управляемое ("без учителя").
Чаще всего применяется обучение с учителем. Для управляемого обучения сети пользователь должен подготовить набор обучающих данных. Эти данные представляют собой примеры входных данных и соответствующих им выходов. Сеть учится устанавливать связь между первыми и вторыми. Обычно обучающие данные берутся из исторических сведений.
Вопрос о том, сколько наблюдений нужно иметь для обучения сети, часто оказывается непростым. Известен ряд эвристических правил, увязывающих число необходимых наблюдений с размерами сети (простейшее из них гласит, что число наблюдений должно быть в десять раз больше числа связей в сети). На самом деле это число зависит также от (заранее неизвестной) сложности того отображения, которое нейронная сеть стремится воспроизвести. С ростом количества переменных количество требуемых наблюдений растет нелинейно, так что уже при довольно небольшом (например, пятьдесят) числе переменных может потребоваться огромное число наблюдений. Эта трудность известна как "проклятие размерности" [25].
Для большинства реальных задач бывает достаточно нескольких сотен или тысяч наблюдений. Для особо сложных задач может потребоваться еще большее количество, однако очень редко может встретиться (даже тривиальная) задача, где хватило бы менее сотни наблюдений [31].
Если сеть обучена хорошо, она приобретает способность моделировать неизвестную функцию, связывающую значения входных и выходных переменных, и впоследствии такую сеть можно использовать для прогнозирования в ситуации, когда выходные значения неизвестны.
В настоящее время существует множество разнообразных обучающих правил (алгоритмов обучения). Некоторые из них приведены ниже. Алгоритм обучения выглядит следующим образом: 1) системе предъявляется эталонный образ; 2) если выходы системы срабатывают правильно, весовые коэффициенты связей не изменяются; 3) если выходы срабатывают неправильно, весовым коэффициентам дается небольшое приращение в сторону повышения качества распознавания. Один алгоритм, исторически более ранний, используемый для многослойных сетей, состоит в постепенной модификации весовых коэффициентов в процессе обучения. Алгоритм усиления часто используемых связей. На основе набора примеров "входное состояние - выходное состояние" постепенно подбираются веса всех связей так, чтобы каждое входное состояние вызывало соответствующее выходное. Обучающие алгоритмы представляют собой итерационные процедуры с медленным приближением к окончательным значениям весов связей. Обучающие правила определяют каким образом изменяются связи в ответ на входное воздействие. Обучение основано на увеличении силы связи (веса синапса) между одновременно активными нейронами. Таким образом, часто используемые связи усиливаются, что объясняет феномен обучения путем повторения и привыкания.
Сравнительные характеристики современных нейропакетов
Программу обучения нейросетей обычно называют нейропакетом, понимая под этим оболочку, эмулирующую для пользователя среду нейрокомпьютера на обычном компьютере. В настоящее время на рынке программного обеспечения имеется множество разнообразных программ для моделирования нейронных сетей.
Можно выделить несколько основных функций реализованных во всех этих пакетах. Основной из них является формирование нейронной сети. Как правило, это многослойные нейронные сети.
Перед тем как данные будут введены в сеть, они должны быть определенным образом подготовлены. Столь же важно, чтобы выходные данные можно было легко интерпретировать.
После того как данные подготовлены, предстоит решить, какие переменные следует использовать при работе с нейронной сетью. Чем больше число переменных, тем сложнее будет сеть, и, следовательно, потребуется больше памяти и времени на обучение, а также большее количество обучающих примеров (наблюдений).
При недостаточном объеме данных или значительных корреляциях между переменными исключительную важность во многих неиросетевых приложениях приобретают вопросы отбора значимых входных переменных и сжатия информации.
Значительное время при построении нейронной сети тратится на выбор значимых переменных и оптимизацию архитектуры сети методом проб и ошибок. Специальные алгоритмы, реализованные в пакетах способны автоматически решить эту нетривиальную задачу поиска решения.
Успех экспериментов по поиску наилучшего типа и архитектуры сети существеннейшим образом зависит от качества и скорости алгоритмов обучения.
Возможна такая ситуация, когда необходимо встроить созданные приложения в уже имеющуюся систему, например, сделать их частью более широкой вычислительной среды (это могут быть процедуры, разработанные отдельно и встроенные в компьютерную сеть). Такую задачу позволяет решить интерфейс прикладного программирования. Простой и удобный интерфейс пакета дает возможность пользователю быстро создавать нейросетевые приложения для решения своих задач.
Все эти возможности в той или иной степени реализованы в различных программных продуктов.
Существуют коммерческие и свободно распространяемые программные пакеты нейронных сетей, которые могут использоваться для разработок и построения нейронных сетей при использовании в различных приложениях. Однако эти пакеты часто зависят от графического интерфейса пользователя и не могут проводить всю основную предварительную обработку при практическом использовании нейронных сетей. Они могут выступать чем-то вроде чёрного ящика с ограниченными возможностями изменения способа их работы или диагноза дефектов. Основной принцип работы нейронной сети на основе многослойного восприятия достаточно прост и может быть запрограммирован на большинстве языков программирования в течение небольшого промежутка времени. В дополнение, самостоятельное программирование позволяет разработчику хорошо понять, как они развиваются и используются; методика диагноза дефектов много проще. Поэтому правильный подход к исследованию собственной задачи состоит в разумном сочетании возможностей фирменных пакетов и самостоятельного программирования.
В Приложении Б приведены сравнительные характеристики 10 популярных нейропакетов, которые дают достаточно полное представление о разнообразии современного рынка программного обеспечения и уровня имеющихся программных разработок [42,43,62-63].
Нейропакет STATISTICA Neural Networks (SNN) является модулем системы STATISTICA, это универсальный пакет фирмы StatSoft, разработанный для построения и исследования нейросетевых моделей [15,64].
Программа SNN - современная по технологии и одна из лучших по рабочим характеристикам среди нейросетевых пакетов, представленных сейчас на рынке программного обеспечения. Вот некоторые из отличительных особенностей пакета:
1. Современные мощные алгоритмы обучения сети; возможность создавать сложные, практически не ограниченные в размерах комбинации из сетей различных архитектур; полный контроль над выбором функций активации;
2. Простота в использовании. Так, например, Мастер решения задач — Intelligent Problem Solver помогает пользователю найти наилучшую архитектуру сети (выбор подходящей структуры сети - это трудный процесс проб и ошибок).
3. Мощные методы анализа, в том числе Генетический алгоритм отбора входных данных - Genetic Input Feature Selection (выбор нужных входных переменных при разведочном анализе данных, как правило, занимает много времени; модуль SNN способен выполнять эту работу за пользователя).
4. SNN может работать и в среде STATISTICA и как самостоятельное приложение; имеется возможность ввода файлов данных системы STATISTICA и передачи матриц выходных данных и графиков обратно в систему STATISTICA.
5. SNN полностью поддерживает интерфейс прикладного программирования (API), так что опытные пользователи и разработчики специализированных систем «поиска знаний» и «добычи данных» могут использовать мощные вычислительные возможности этой программы в своих собственных приложениях.
Методика прогнозирования на основе временных рядов по нескольким синоптическим параметрам
При использовании данного подхода обычно опираются на целый ряд факторов совпадающих на протяжении определенного промежутка времени в прошлом и настоящем. Правомочность такого сопоставления обычно решает консилиум специалистов - экспертов. С появлением аппарата искусственных нейронных сетей это решение стало возможно доверить искусственному интеллекту.
Такой подход может быть использован и в метеорологии, которая как никакая из наук тщательно следит за сохранением своих баз экспериментально накопленных данных. При этом ключевую роль здесь играет как раз учет всего комплекса наблюдаемых величин. Истории развития какой либо одной из них явно недостаточно для описания развития конкретной метеорологической ситуации.
Это положение может быть проиллюстрировано следующим примером. На рис 5.1 представлены специально подобранные графики температуры воздуха, зарегистрированной в одно и тоже время суток в различные периоды наблюдений. При практически полном соответствии между собой до определенной точки (предположим, что это и есть точка проведения прогноза) они резко расходятся вследствие различного поведения до этого момента ряда других метеорологических величин. Поэтому "сценарный" подход в метеорологии должен учитывать предысторию развития всех наиболее значимых величин метеовеличин.
Предлагаемая ниже методика опирается на наличие большого объема данных, накопленных за значительный период наблюдений на локальной метеостанции данного района.
Суть предлагаемого подхода состоит в сведении задачи прогноза поведения временных рядов различных метеопараметров к задаче экспертной оценки степени "близости" текущей локальной метеорологической ситуации к одной из ранее реализовавшихся в данном районе. Далее для проведения указанной экспертной оценки используются алгоритмы нейронных сетей, предназначенные для решения задач классификации или распознавания образов.
Вводится понятие "близости" двух локальных метеорологических ситуаций. Степень такой "близости" предлагается оценивать по совокупности отклонений рядов отдельных метеопараметров, при этом каждое из отклонений может характеризоваться одним числом. Этим числом может быть, например, величина 5 среднеквадратичного отклонения q предыдущих членов текущего ряда наблюдений данного параметра от q аналогичных членов в ряду, который был зарегистрирован ранее (в предыдущие периоды наблюдений) в аналогичное время суток. При этом для экономии времени, могут анализироваться лишь отрезки рядов, соответствующие по сезону текущему временному периоду (например, текущий день года плюс- минус месяц).
Критерием выбора "наиболее близкой" метеорологической ситуации, который будет использован для обучения нейронной сети, может быть, например, ситуация в которой реализуется наилучший прогноз по наиболее интересующему параметру (например, температуре). Альтернативной возможностью является попадание всех прогнозируемых величин в требуемые интервалы точности.
Определив, с помощью метеорологической базы данных дату реализации "наиболее близкой" метеорологической ситуации, логично предположить, что и в последующий период времени эта ситуация окажется "достаточно близкой". Таким образом, получается краткосрочный прогноз по всем имеющимся в базе метеорологическим величинам.
Несмотря на интуитивный характер предлагаемой методики, который впрочем соответствует специфике нейросетевых алгоритмов, можно привести достаточно серьезные аргументы в ее защиту: - в качестве прогноза используются реальные, а не расчетные отрезки временных рядов метеорологических величин, выбранные с учетом наличия суточной и сезонной цикличности. Таким образом, в полной мере учитывается специфика решаемой задачи; - основой предлагаемой методики является наличие связей между различными метеорологическими величинами и изменением значений этих величин во времени. Все эти связи естественны. Основой для такого утверждения являются пространственно - временные зависимости, накладываемые уравнениями динамической метеорологии, все они заранее, а не с помощью каких либо рассуждений, уже присутствуют в используемых временных рядах; - в оценках "близости" может быть использован достаточно длинный временной ряд данных, что позволяет учесть пространственную неоднородность и трехмерный, синоптический характер рассматриваемых процессов; - аналогичным образом "скрытно" методика учитывает и наличие метеорологических величин не нашедших отражение в исходных данных. Формально, если бы они были представлены в базе данных, по ним также мог быть бы выдан краткосрочный прогноз; - по мере накопления информации в базе данных по интересующему району точность предложенной методики возрастает.
Ниже представлены материалы по формализации предлагаемого подхода, а именно - методика близких синоптических ситуаций (БСС), предназначенная для предварительной обработки временных рядов метеоэлементов с целью дальнейшего их использования в нейросетевых алгоритмах классификации и распознавания.
