Содержание к диссертации
Введение
1. ПРОГНОЗИРОВАНИЕ СХОДА СНЕЖНОЙ ЛАВИНЫ И
1.1. Необходимые сведения о сходе снежной лавины 11
1.2. Использующиеся методы прогнозирования схода лавин 13
1.3. Использующиеся информационные системы для прогнозирования схода лавин 15
2. ПОСТРОЕНИЕ МАТЕМАТИЧЕСКОЙ МОДЕЛИ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ НА ОСНОВЕ АРПСС 17
2.1. Операторы прогнозирования и подбора параметров 17
2.2. Адекватность 19
2.3. Метрическое пространство временных рядов 20
2.4. Модель АРПСС 22
2.5. Алгоритм Марквардта для нелинейного метода наименьших квадратов, модифицированный Г. Вилсоном 37
2.6. Точность прогнозов модели прогнозирования временного ряда на основе модели АРПСС 40
3. ПОДБОР ПАРАМЕТРОВ АРПСС НЕЙРОННОЙ СЕТЬЮ ДЛЯ ПРОГНОЗИРОВАНИЯ СХОДА СНЕЖНЫХ ЛАВИН 43
3.1. Управляющие параметры АРПСС 43
3.2. Применение нейронной сети для подбора параметров АРПСС 48
3.3. Выбор входных параметров нейронной сети 51
3.4. Оптимизация нейронной сети, управляемой категориальными параметрами 55
3.5. Определение структуры слоисто-полносвязной нейронной сети, используемой для подбора параметров АРПСС 61
3.6. Определение принципа функционирования слоисто-полносвязной нейронной сети, используемой для подбора параметров АРПСС 62
3.7. Определение способа обучения слоисто-полносвязной нейронной сети, используемой для подбора параметров АРПСС 63
3.8. Оценка эффективности алгоритмов автоматизированного подбора параметров нейронной сетью для математической модели прогнозирования 70
4. СОЗДАНИЕ ИНФОРМАЦИОННОЙ СИСТЕМЫ 77
4.1. Проектирование информационной статистической системы AVALANCHE, использующейся для исследования практических результатов 77
4.2. Сравнение свойств нейронных сетей с различной структурой и реализацией 99
4.3. Информационная статистическая система "Avalanche 2003й 106
ЗАКЛЮЧЕНИЕ ИЗ
СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ 116
- Использующиеся методы прогнозирования схода лавин
- Алгоритм Марквардта для нелинейного метода наименьших квадратов, модифицированный Г. Вилсоном
- Оптимизация нейронной сети, управляемой категориальными параметрами
Введение к работе
Решение многих задач экологии, экономики, медицины, метеорологии, геофизики и других областей связано с составлением прогнозов, точность и своевременность которых всегда являются решающими факторами. Получение прогнозов необходимой точности невозможно без использования эффективных математических методов и алгоритмов, а также высокопроизводительных и надежных средств вычислительной техники. Все это ставит перед исследователями новые проблемы, связанные с поиском новых методов прогнозирования, новых подходов и их модификации для повышения эффективности, ужесточением требований к производительности вычислительных средств.
Некоторые методы прогнозирования основаны на применении нейротехнологий [18, 32, 45, 95, 98, 100, 104, 106]. Также активно используются статистические методы [14, 24, 33, 63, 67, 68, 78, 103]. Общей фундаментальной стратегией теоретических исследований существующих на данный момент, как у нас, так и за рубежом, является доработка методов, базирующихся на использовании нейронных сетей или статистических методов. Существуют подходы, основанные на объединении вышеописанных методологий. Например, Кристофом и Пьером Кувре было показано, что нейросетевые классификаторы оценивают апостериорную Байесовскую вероятность и поэтому аппроксимируют оптимальный статистический классификатор с минимальной ошибкой [95].
Вместе с тем существующие методы и алгоритмы для решения задач прогнозирования часто не удовлетворяют практическим потребностям в точности или быстродействии или вообще не могут
быть реализованы. Отмеченное обстоятельство стимулирует поиски перспективных подходов в згой области.
Многочисленные исследования отечественных и зарубежных ученых показали, что при отсутствии априорной информации о данных выгодней использовать нейротехнологии [18, 32, 45, 95, 98, 100, 104, 106]. Использование статистических методов требует тщательного изучения экспериментальных данных [14,24, 33, 63, 67,78,103]. Таким образом, нейросетевые технологии могут использоваться для подготовки данных, которые затем могли бы быть использованы в статистических методах [32]. К тому же статистические методы отображают изменчивость, характерную для экологических систем [43].
Целью диссертационной работы является создание на основе модели авторегрессии - проинтегрированного скользящего среднего (АРПСС) нового подхода, в котором выбор управляющих параметров, подбор априорной информации и оптимизация генерирования прогнозов ведется с использованием нейросетевых технологий.
Повышение качества прогнозирования стихийных бедствий представляет как самостоятельный научный интерес, так и служит ключом к уменьшению количества бедствий в горной местности, где находится большое число курортных зон, где велика вероятность схода снежных лавин. Их своевременное предупреждение позволит избежать человеческих жертв, уменьшить материальные потери, увеличить приток как российских, так и зарубежных гостей и отдыхающих в эти живописные места, что благоприятно повлияет на общее состояние данных районов.
Научная задача исследований состоит в развитии существующих и создании новых методов и алгоритмов подбора параметров модели АРПСС при помощи нейронной сети, обеспечивающих высокую производительность и точность.
Общая задача может быть разбита на ряд частных задач:
Разработка математической модели прогнозирования на основе модели АРПСС и нейронной сети.
Выбор управляющих параметров для прогнозирования лавиноопасности на основе разработанной модели.
Разработка способа кодирования категориальных параметров.
Выбор наиболее подходящей структуры нейронной сети.
Исследование алгоритмов функционирования и обучения для выбранного типа нейронной сети.
Оценка эффективности математической модели прогнозирования на основе модели АРПСС и сети.
Проектирование и программная реализация информационной статистической системы.
Для решения поставленных в работе задач были использованы методы теории вероятностей, статистики, нейронных сетей [1, 5, 15, 23, 27,28,30,34-36,46, 52, 59-61, 88,91, 94,101,107].
На защиту выносятся следующие основные положения:
Выбор параметров, влияющих на лавиноопасную ситуацию, на основе критерия статистической значимости.
Модель прогнозирования вероятности схода лавин, основанной на модели АРПСС, параметры которой подбираются нейронной сетью.
Новый способ кодирования категориальных параметров.
Новый способ частично управляемого обучения слоисто-полносвязной нейронной сети.
Информационная статистическая система «Avalanche 2003» -программная реализации математической модели прогнозирования на основе модели АРПСС и слоисто-полносвязной нейронной сети.
Научная новизна полученных в диссертации результатов состоит в следующем:
Реализация и апробирование нового подхода к построению моделей прогнозирования, который основан на модели АРПСС, параметры которой подбираются нейронной сетью.
Предложен новый способ кодирования категориальных параметров.
Разработан новый способ частично управляемого обучения слоисто-полносвязной нейронной сети.
Спроектирована и реализована информационная статистическая система «Avalanche 2003».
Объединение статистических моделей и нейросетевых
технологий, эффективный способ кодирования категориальных
переменных обрабатываемых нейронной сетью, позволяет строить
принципиально новые по структурной организации,
производительности, точности и отказоустойчивости методы прогнозирования. Предложенный подход обеспечивает возможность выполнения распределенных вычислений [17, 32]. Указанные преимущества позволяют также использовать разработанные средства и методы в решении других задач экологии, экономики, медицины, метеорологии, геофизики и других областях науки и производства, связанных с составлением прогнозов, точность и своевременность которых являются решающими факторами.
Результаты исследования реализованы в информационной статистической системе «Avalanche 2003» и используются в деятельности главного управления по делам гражданской обороны и чрезвычайных ситуаций по Краснодарскому краю (Приложение 4). Так же эта программа зарегестрирована в Российском агенстве по патентам и товарным знакам (Приложение 5).
Основные результаты работы докладывались на следующих конференциях:
Международная научно-практическая конференция "Состояние биосферы и здоровье людей", Пенза, 2001.
Международная научно-практическая конференция "Человек и окружающая природная среда - проблема взаимодействия", Пенза, 2001.
Ш объединенная научная студенческая конференция факультета прикладной математики «Прикладная математика XXI века», Краснодар, 2003.
4. II региональная школа семинар «Математическое моделирование,
вычислительная механика и геофизика», Краснодар, 2003.
Основные результаты диссертационных исследований опубликованы в следующих работах:
Кольцов Ю.В., Гарнага В.В., Разработка распределенной информационной статистической системы Avalanche и определение управляющих параметров. Сборник материалов "Состояние биосферы и здоровье людей. Материалы международной научно-практической конференции.". Стр. 105-107-Пенза 2001.
Кольцов Ю.В., Гарнага В.В., Распределенная информационная статистическая система Avalanche. Сборник материалов "Человек и окружающая природная среда - проблема взаимодействия. Материалы IV Международной научно-практической конференции". Приложение. Стр. 106-110. - Пенза 2001.
Гарнага В.В., Категориальные параметры. Сборник «Прикладная математика XXI века», Краснодар, 2003.
Кольцов Ю.В., Гарнага В.В., Об оптимизации нейронной сети, управляемой категориальными параметрами. «Экологический
вестник научных центров Черноморского Экономического Сотрудничества», Стр. 61-63. - Краснодар, 2003.
Гарнага В.В., Об агоритме автоматизированного подбора параметров нейронной сетью для математической модели прогнозирования. "Экологический вестник научных центров Черноморского Экономического Сотрудничества". Приложение. Стр. 100-102. - Краснодар, 2004.
Кольцов Ю.В., Гарнага В.В., Подбор параметров АРПСС слоисто-полносвязной нейронной сетью. "Известия высших учебных заведений. Северо-Кавказский регион", серия "Естественные науки" Стр. 12-17. -Ростов-на-Дону, 2004.
Результаты исследования использованы при выполнении НИР по гранту РФФИ, проект "р2003юг" 03-01-96649.
Диссертация состоит из введения, 4 глав, заключения, списка используемой литературы, содержащего 117 наименований и 5 приложений. Содержание работы изложено на 126 страницах. Диссертация содержит 3 таблицы, 2 схемы и 9 рисунков.
В первой главе диссертации описаны основные сведения о сходах снежных лавин. Отображена общая статистика, собранная из различных источников. Так же проведен анализ используемых методов прогнозирования схода снежных лавин, а так же информационных систем используемых для сбора информации и построения прогнозов.
Вторая глава посвящена описанию построения математической модели прогнозирования схода снежных лавин. В ней описан способ построения математической модели прогнозирования временного ряда на основе модели АРПСС.
В третьей главе производится выбор управляющих параметров АРПСС. Обосновывается применение нейронной сети для подбора параметров АРПСС. Выбираются входные параметры нейронной сети.
Описывается способ оптимизации нейронной сети, управляемой категориальными параметрами. Определяется структура слоисто-полносвязной нейронной сети. Описывается способ функционирования слоисто-полносвязной нейронной сети. Так же описывается способ обучения слоисто-полносвязной нейронной сети, используемой для подбора параметров АРПСС. Оценивается эффективность созданной модели прогнозирования схода снежных лавин.
Экспериментальные исследования, описанные в четвертой главе совместно с теоретическими, приведенными в третьей главе, обосновывают целесообразность выбранного подхода к прогнозированию лавиноопасности в горной местности.
Для проведения экспериментальных исследований была спроектирована и реализована информационная система. Были произведены сравнения свойств нейронных сетей с различной структурой и реализацией, в результате которых выявлена подходящая структура сети, алгоритм обучения и реализация. После завершения этих исследований был доработан интерфейс взаимодействия системы с пользователем. В результате, реализован программный продукт -информационная статистическая система «Avalanche 2003».
Автор выражает глубокую благодарность своему научному руководителю, декану факультета прикладной математики, кандидату физико-математических наук Кольцову Юрию Владимировичу за постоянную помощь и поддержку в процессе выполнения работы и за обсуждение текста диссертации. Так же, в качестве благодарности, хочется отметить постоянную помощь и поддержку коллективами кафедр информационных технологий, математического моделирования и прикладной математики факультета прикладной математики Кубанского государственного университета.
Использующиеся методы прогнозирования схода лавин
В лавинном прогнозировании можно выделить две основные группы методов [57, 58], основанные на:
1) Изучении стратиграфического разреза и оценке устойчивости снежной толщи на склонах (их целесообразно применять при прогнозе лавин, образующихся вследствие сублимационной перекристаллизации).
2) Анализе метеорологических процессов, приводящих к сходу лавин (применимы главным образом для прогноза лавин, возникающих от явно выраженного действия метеорологических факторов).
Эти методы обычно используются параллельно, так как дополняют друг друга. Прогноз, основанный на изучении строения и развития снежного покрова, учитывает всю сумму погодных воздействий на снег и внутренние процессы в снежной толще, но он требует систематических наблюдений с начала сезона в зонах лавинообразования. Прогноз должен выражать все многообразие реологических, термодинамических и других процессов приводящих к лавинообразованию. Трудности прогнозирования заключаются в сильной изменчивости свойств снега.
Возможно использование методов прогноза, основанных на установлении статистических критериев времени схода лавин в различных метеорологических условиях, учитывающих характер изменений прочности и устойчивости снежной толщи [76, 79]. Простейшим показателем устойчивости снежного пласта на склоне является отношение прочности снега в опасном горизонте (выраженной через сцепление, твердость, сопротивление резанью и т.д.) к снеговой нагрузке на опасный горизонт. Фактически, только при отношении равном двум-четырем, снег залегает абсолютно устойчиво, когда лавины не образуются даже от взрыва, поэтому в расчет вводят дополнительные коэффициенты, определяемые условиями погоды, развития снежного покрова и т.д.
Другой ряд методов [57, 58] предлагает устанавливать наступление лавиноопасного периода, основываясь на статистической связи между временем наступления лавинной опасности и изменением снего-метеорологических элементов, определяющих сход лавин. Недостатком этих методов является, прежде всего, их локальный характер. Их применение возможно только после нескольких лет наблюдений, на основании которых могут быть выявлены основные лавинообразующие факторы и численные их значения для данной местности.
Прогноз, основанный на одних лишь метеорологических данных, не всегда бывает достаточно определенным. Лавины, обусловленные перекристаллизацией снежного покрова, при этом плохо прогнозируются, так как их обрушение слабо связано с текущей метеорологической обстановкой.
Незаслуженно меньше внимания уделяется анализу синоптических процессов. Между тем проблема прогноза этих процессов более изучена по сравнению с проблемой лавинных ситуаций. Анализ синоптических процессов располагает методами прогноза с заблаговременностью до 24 часов и более.
Методы, основанные на учете процессов атмосферной циркуляции, целесообразно использовать только для фонового мелкомасштабного прогноза. Установлено, что лавинообразование происходит при самых разнообразных синоптических процессах.
Наличие той или иной синоптической обстановки еще не может определенно указать на возможность лавинообразования по району исследований. Однако учет синоптического фона, предшествующего сходу лавин, в принципе, позволяет составлять прогноз определенной синоптической ситуации, которая может рассматриваться как основа прогноза лавинной опасности. Конкретизация его осуществляется на основе анализа условий погоды, состояния снежного покрова и особенностей рельефа, с учетом характера физических процессов, определяющих механическую устойчивость снега на склоне. Подробная классификация лавинных условий описана в Приложении 2. Условия образования лавин в Приэльбрусье описаны в Приложении 3.
Алгоритм Марквардта для нелинейного метода наименьших квадратов, модифицированный Г. Вилсоном
Данный метод описан в [10, 102]. Из-за его важности для построения математической модели прогнозирования схода снежных лавин, в этом пункте дается его краткое описание.
Допустим, что параметры модели обозначаются как /? = (Д,&,...,&) Таким образом, используя параметры, определенные в предыдущем пункте Обозначим как /?0 начальные значения /?. Определим параметры я, є и F2 позволяющие ограничить поиск, а так же зададим их начальные значения.
Данный алгоритм является итерационным, поэтому нам необходимо знать на какой итерации необходимо его заканчивать, поэтому понадобятся следующие значения:
В этой главе выбираются управляющие параметры модели АРПСС. Обосновывается целесообразность применения нейронной сети. Выбираются входные параметры нейронной сети. Описывается способ оптимизации нейронной сети, управляемой категориальными параметрами. Определяется структура слоисто-полносвязной нейронной сети, используемой для подбора параметров АРПСС. Предлагается способ обучения слоисто-полносвязной нейронной сети. Далее ставится задача оптимизации алгоритмов прогнозирования и показывается, что она эффективно решается при помощи алгоритмов, параметры которых подбираются нейронными сетями.
Подбор параметров АРПСС является медленным и трудоемким процессом, требующим привлечения экспертов в соответствующей области. В диссертационной работе рассматривается подход, позволяющий автоматизировать процесс подбора параметров, что позволяет сократить время и материальные затраты на решение этой задачи.
Предлагается использовать искусственную нейронную сеть с выходами, отвечающими за идентификацию стохастической модели, предварительное оценивание стохастической модели, число параметров авторегрессии, оценивание стохастической модели.
Опишем более подробно выходы нейронной сети, соответствующие параметрам модели АРПСС: Параметр d - порядок взятия несезонных разностей, d не меньше нуля.
Для модели АРПСС необходимо, чтобы ряд был стационарным. Это означает, что его среднее постоянно, а выборочные дисперсия и автокорреляция не меняются во времени. Поэтому необходимо брать разности ряда до тех пор, пока он не станет стационарным (применяют также логарифмическое преобразование для стабилизации дисперсии) [10]. Число разностей, которые были взяты, чтобы достичь стационарности, определяются параметром d. Для того чтобы определить необходимый порядок разности, необходимо тщательно исследовать график ряда и автокоррелограмму. Сильные изменения уровня (сильные скачки вверх или вниз) обычно требуют взятия несезонной разности первого порядка. Сильные изменения наклона требуют взятия разности второго порядка.
Параметр D - порядок взятия сезонных разностей, D не меньше нуля.
Сезонная составляющая требует взятия соответствующей сезонной разности. Если имеется медленное убывание выборочных коэффициентов автокорреляции в зависимости от лага (период сезонности, сдвиг, запаздывание), обычно берут разность первого порядка. Для некоторых временных рядов нужно брать разности небольшого порядка или вовсе не брать их. Заметим, что чрезмерное количество взятых разностей приводит к менее стабильным оценкам коэффициентов.
Оптимизация нейронной сети, управляемой категориальными параметрами
О сложностях представления категориальных параметров нейронными сетями докладывалось на Ш объединенной научной студенческой конференции факультета прикладной математики "Прикладная математика XXI века", а так же публиковалось в [19].
При решении задач, связанных с проектированием и реализацией информационной системы прогнозирования схода снежных лавин возникла задача повышения эффективности кодирования категориальных параметров. А именно, некоторые параметры нейронной сети управляющей параметрами АРПСС, являются нечисловыми, например:
1. форма верхней облачности
2. форма облачности среднего яруса
3. форма облачности нижнего яруса и вертикального развития
4. направление ветра
Так как сеть может работать только с числовыми значениями, то описанные параметры должны быть переведены в числовую форму, так как они являются категориальными. Следует отметить, что количество значений категориальной переменной конечно. На практике часто применяют два способа кодирования категориальных переменных [32]: 1) Двоичное кодирование типа "п - п". В этом способе кодирования категориальных переменных каждому из п значений переменной ставится в соответствие набор входных значений для п бинарных нейронов. Для каждой такой переменной первое значение кодируется как {1,0,0,...,0}, второе - {0,1,0,...,0} и далее, вплоть до n-ной {0,0,0,...,1}. Недостаток этого кодирования состоит в том, что резко увеличивается количество нейронов во входном слое нейросети.
Обычно при обучении нейронной сети различные значения категориальной переменной представлены существенно различающимся числом примеров. При этом снижается информативность нейронов отвечающих за значения категориальной переменной, которые представлены сравнительно небольшим числом примеров. То есть нейронная сеть плохо обучается при воздействии тех значений категориальной переменной, количество которых было сравнительно мало в обучающей выборке. Это является еще одним недостатком рассмотренного способа [61]. 2) Двоичное кодирование типа "n - т".
В этом способе кодирования категориальных переменных каждому из п значений категориальной переменной ставится в соответствие m входных значений бинарных нейронов, при этом число m выбирается таким образом, чтобы при обучении нейронной сети распределение активаций нейронов кодирующих различные значения категориальной переменной было в наибольшей степени равномерно. Одним из условий достижения последнего требования является неравенство m меньше п, при этом одно категориальное значение может кодироваться входными значениями нескольких бинарных нейронов. Например, первое значение кодируется как {1,1,0,...,0), второе - {0,1,1,...,1} и так далее. Для этого строится одномерное распределение значений категориальной переменной в обучающей выборке. С его помощью мы можем получить ответ на вопрос, как часто в выборке встречаются те или иные значения. Затем, распределяем редко встречающиеся категориальные значения по нейронам, которые отвечают за более часто встречающиеся категориальные значения. Например, рассмотрим категориальную переменную, состоящую из трех значений. Пусть в обучающей выборке первое значение встречается десять раз, второе один раз, третье пять раз. Тогда их можно закодировать двумя нейронами, причем первое значение кодируется как (1, 0), второе как (1,1), а третье как (0,1).
Этот способ гарантирует приблизительно одинаковую информативность всем m нейронам, кодирующим значения категориальной переменной. Недостаток этого способа заключается в добавлении нежелательной упорядоченности значениям категориальной переменной при m существенно меньше п [61]. В данной работе предлагается способ, который позволяет сократить число входных нейронов отвечающих за тот или иной категориальный параметр, при этом, не добавляя нежелательной упорядоченности значениям категориальной переменной.
Опишем предлагаемый способ:
Пусть существуют п категориальных переменных
Xl9 Х2, ..., Хп у область определения каждой из которых, является подмножеством конечного множества
Е = {сг,,сг2 ,...стк}
Расширим область определения каждой переменной Хх, Х2, ..., Хп до Е.
Под соотношением значимостей на каждом категориальном значении множества Е для переменных Хх, Х2, ..., Хп у будем понимать следующую матрицу:
Примем во внимание тот факт, что в бинарных входных значениях нейронов 0 и 1 есть асимметрия: нулевые значения не дают никакого вклада в градиент ошибки нейронной сети, таким образом, негативно влияя на процесс обучения нейронной сети [32]. В силу логической равноправности обоих значений входов, установим бинарную кодировку нейронов в виде двух значений -1 и 1, сохраняющую равноправие в процессе обучения.
Тогда на 1-й нейрон входного слоя нейросети, который кодирует описанные выше категориальные переменные, должно поступать значение:
0rj - соответствующий элемент матрицы А, которая заполняется согласно описанному выше способу;
mPtS - соответствующий элемент матрицы М.
Следует отметить, что матрица А заполняется заново на каждой обучающей выборке, поступающей на вход нейронной сети. Учитывая, что каждый категориальный параметр характеризуется тринадцатью значениями, очевидно, что выигрыш в производительности оказывается существенным.
Предложенный выше способ позволяет оптимизировать структуру нейронной сети, управляемой категориальными параметрами, так как позволяет представлять значения категориальных переменных примерно одинаковым числом примеров, по сравнению со способом двоичного кодирования типа "п - п", тем не менее, не прибавляя нежелательной упорядоченности категориям, как в способе двоичного кодирования типа "n - т".
