Содержание к диссертации
Введение
Глава 1. Технология нейронной сети и её применение 10
1.1. Технология нейронной сети 10
1.1.1. Биологические нейроны и их математические модели 10
1.1.2. Основные характеристики (решенные задачи, передаточные функции, обучение нейронной сети) 12
1.2. Нейронные сети и задачи прогноза землетрясений 35
1.2.1. Нейронные сети в области науки о земле 35
1.2.2. Прогноза землетрясений по магнитудам и времени 37
1.3. Сейсмическая характеристика Вьетнама и научные результаты по задаче прогноза землетрясений 42
1.3.1. Основные характеристики сейсмологии Вьетнама 42
1.3.2. Результаты прогноза землетрясений для северо-западного района Вьетнама 45
Выводы по главе 1 53
Глава 2. Методика выбора нейронных сетей и алгоритм обработки данных в задаче прогноза землетрясений 54
2.1. Методология выбора нейронных сетей 54
2.1.1. Характеристика выбора нейронных сетей 54
2.1.2. Методика выбора нейронных сетей 56
2.2. Алгоритм обработки данных (каталога землетрясений) 60
2.2.1. Алгоритм обработки каталога землетрясений 60
2.2.2. Результаты обработки данных по северо-западному району Вьетнама 63
Выводы по главе 2 65
Глава 3. Прогноз землетрясений по мощности и времени для северо-западного района Вьетнама 67
3.1. Прогноз землетрясений по магнитудам 67
3.1.1. Входные данные и нейронная сеть 67
3.1.2. Результаты прогноза по максимальным магнитудам 71
3.2. Прогноз землетрясений по магнитудам и времени 80
3.2.1. Нейронная сеть и входные данные 80
3.2.2. Результаты прогноза по магнитудам и времени 81
Выводы по главе 3 85
Глава 4. Вероятность появления сильных землетрясений северо-западного района Вьетнама и разработанная программа прогноза землетрясений методом нейронной сети 86
4.1. Вероятность появления землетрясений 86
4.1.1. Метод оценки вероятности 86
4.1.2. Вероятность появления сильного землетрясения в северо-западном районе Вьетнама 88
4.2. Интерфейсы и структура использования разработанной программы 90
прогноза землетрясений методом нейронной сети 90
4.2.2. Интерфейсы программы 92
Выводы по главе 4 98
Общие выводы и заключение 99
Список литературы 101
Приложения 111
Приложение 1 111
Приложение 2 127
Приложение 3 132
Приложение 4 135
Приложение 5 137
Приложение 6 139
Приложение 7 143
Приложение 8 143
Приложение 9 145
Приложение 10 153
Приложение 11 161
АКТ о внедрении результатов диссертации в учебный процесс (РУДН) 165
Письмо от Института геофизики Вьетнамаской Академии Наук и Технологий о внедрении результатов диссертации 166
- Основные характеристики (решенные задачи, передаточные функции, обучение нейронной сети)
- Методика выбора нейронных сетей
- Результаты прогноза по максимальным магнитудам
- Интерфейсы программы
Введение к работе
Актуальность темы. Работа посвящена применению нейросетевых технологий в задаче прогнозирования землетрясений.
В последние годы увеличивается число катастрофических землетрясений, приводящих к колоссальным жертвам и разрушениям, в том числе землетрясение в Италии (2009 г. с магнитудой 6.7), землетрясение в Гаити (2010 г. с магнитудой 7), и землетрясение в Японии (2011 г. с магнитудой 8.9). Поэтому прогнозирование места, времени и мощности землетрясений ещё остаётся одной из наиболее актуальных проблем. Для решения этой проблемы в индустриально развитых странах проводятся различные исследования для совершенствования методов прогноза сейсмических опасностей. Такие методы можно, в принципе, подразделить на инструментальные и интеллектуальные (или аналитические). В диссертации рассмотрена возможность использования одного из методов второй группы.
В таких странах, как Россия, США, Япония или Китай, где сейсмическая характеристика высока, научным исследованиям по прогнозу землетрясений уделяется большое внимание. Появление новых методов прогноза землетрясений у этих стран, как КОЗ у России, М8; КН принадлежат США, научных достижений в сейсмологии очагов у Китая, или новых структур зданий в Японии показывают важность этого научного направления.
Во Вьетнаме в силу экономических и ранее военно-политических обстоятельств долгое время прогнозу землетрясений уделялось относительно малое внимание, хотя здесь происходили землетрясения с магнитудой более 6,5, например, Диен Биен в 1935 г. с 6,8 магнитудой, Туан Зао 1983 года с магнитудой 6,7 и ряд крупных древних землетрясений. Число землетрясений с магнитудой больше 4 особенно увеличилось в Северо-Западном районе Вьетнама в последние годы. Последнее может являться признаком, возможно, крупных землетрясений в ближайшем будущем, вызывает особую тревогу в связи со строящимися гидроэлектростанциями и обсуждаемым вопросом о строительстве атомной электростанции.
Поэтому проблема получения в достаточной мере точных прогнозов землетрясений по времени, месту и мощности является весьма актуальной. Такие современные методы прогноза землетрясений как КН или М8также применены для районов Вьетнама. Получены некоторые новые результаты, но они являются только начальными. Кроме новых методов прогнозирования, важным является исследование входных данных (каталога землетрясений), что является одной из главных задач по прогнозу землетрясений. Применение новых мировых методов прогноза землетрясений, возможно для стран с достаточно высокой сейсмической активностью, имеющих полные каталоги землетрясений, таких как Россия или США. Для районов Вьетнама, где каталог землетрясений является не полным и не достаточным, эти методы дают неточные научные знания и прогнозы.
Одним из направлений улучшения результатов прогноза землетрясений является применение нейросетевых технологий. Поэтому в работе ставится задача исследования и применения таких технологий при использовании каталожных сейсмологических данных для обучения нейронных сетей и прогноза времени, места и мощности события.
Предметом диссертационного исследования является разработка и применение метода прогноза землетрясений, основанного на использовании нейронных сетей, обученных с помощью сейсмических данных каталога землетрясений Вьетнама.
Целью диссертационной работы является применение нейросетевых технологий в задаче прогноза землетрясений и оценка эффективности прогноза.
Для достижения поставленной цели были решены следующие задачи:
-
анализ состояния проблемы прогноза землетрясений во Вьетнаме;
-
сравнительный анализ методов прогноза землетрясений и оценка их эффективности;
-
анализ каталога землетрясений во Вьетнаме, выбор достоверного интервала времени и магнитуды для использования в задаче прогноза;
-
разработка и выбор нейронной сети для прогнозирования землетрясений на базе сейсмических данных, полученных из каталога землетрясений для обучения сети;
-
определение с помощью выбранного метода зависимости силы землетрясений от временных интервалов между их проявлениями;
-
использование нейронной сети для прогноза землетрясения и оценка вероятности его появления;
-
рекомендация по предлагаемому методу.
Методы исследования, используемые в диссертации, основываются на системном анализе исходных данных, математической статистике, компьютерных, нейросетевых технологиях, и методах программирования.
Новизна научных результатов, полученных в диссертации, заключается в 1) системном анализе многофакторных данных (геологических, сейсмических), позволяющем на основе функции Гуттенберга-Рихтера определить сейсмическую активность района, 2) разработке алгоритма обработки данных каталога землетрясений, автоматизации процесса обработки данных, программной реализации алгоритма, 3) сравнительном анализе различных типов нейронных сетей и обоснованном выборе наиболее эффективной сети для располагаемого каталога землетрясений, 4) обучении нейронной сети, 5) среднесрочном прогнозе землетрясений (на примере северо-западного района Вьетнама) и оценке вероятности происхождения событий.
Практическая значимость результатов работы заключается в 1) применении метода нейронной сети для прогноза сильных землетрясений во Вьетнаме, 2) сейсмическом районировании территории страны на основе полученных результатов, 3) разработке программы обработки входных данных для метода нейронной сети в задаче прогноза землетрясений и результаты прогноза.
Использование результатов работы. Результаты работы переданы Институту геофизики Вьетнамской Академии Наук и Технологий и органам, ответственным за сейсмическую безопасность во Вьетнаме, а также внедрены в учебный процесс РУДН по дисциплине “Искусственные нейронные сети в управлении”.
Апробация результатов, результаты диссертации подтверждаются докладами на следующих международных научных конференциях и симпозиумах: XXXIV научно-технической конференции преподавателей, сотрудников и аспирантов инженерного факультета РУДН (Москва, 2010), XXXV научно-технической конференции преподавателей, сотрудников и аспирантов инженерного факультета, РУДН (Москва, 2011), VМеждународной научно-практической конференции «Инженерные системы» (Москва, 2012), Международном симпозиуме «Интеллектуальные системы» (INTELS'2012) (Вологда, 2012), Международной конференции «9th General Assembly of Asian Seismological Commission» (Улан-Батор, Монголия, 2012).
Основные положения, выносимые на защиту:
-
Системный анализ многофакторных данных (геологических, сейсмических), позволяющий на основе функции Гуттенберга-Рихтера определить сейсмическую активность района;
-
Алгоритм обработки данных каталога землетрясений, его автоматизация и программная реализация;
-
Выбор и обоснование на основе сравнительного анализа различных типов нейронных сетей наиболее эффективной сети для располагаемого каталога землетрясений;
-
Методика обучения нейронной сети в задаче прогноза землетрясений;
-
Среднесрочный прогноз землетрясений и оценка вероятности происхождения события (на примере северо-западного района Вьетнама).
Результаты диссертации опубликованы в 12 научных трудах.
Структура диссертации. Диссертация состоит из введения, четырёх глав, заключения, списка литературы и приложений. Объем работы – 167 страниц, включая 40 рисунков и 23 таблиц. Список литературы содержит 105 наименований.
Основные характеристики (решенные задачи, передаточные функции, обучение нейронной сети)
Нейронные сети применяются для решения широкого класса задач, среди которых распознавание образов [11,19,35,97,101], сжатие данных [7,12,36,76], моделирование ассоциативной памяти [29,39,60] и поиск информации [25], классификация данных [21,41], построение адаптивных систем [8,18,30], высокое вычисление (нейрокомпьютеры) [6,17]. Такие решенные задачи нейронным методом основаны на их классе передаточных функций и способности к обучению.
Среди наиболее широко применяемых функций активации для нейронных сетей можно отметить линейную, релейную, сигмоидальную (несколько видов) и гауссовскую функции [3,49,50].
Способность к обучению является основным свойством мозга. Для искусственных нейронных сетей под обучением понимается процесс настройки архитектуры сети (структуры связей между нейронами) и весов синаптических связей (влияющих на сигналы коэффициентов) для эффективного решения поставленной задачи [4]. Обычно обучение нейронной сети осуществляется на некоторой выборке [10]. По мере процесса обучения, который происходит по некоторому алгоритму, сеть должна все лучше и правильнее реагировать на входные сигналы.
У нейронных сетей существуют однослойные и многослойные сети [102].
Хотя один нейрон и способен выполнять простейшие процедуры распознавания, сила нейронных вычислений проистекает от соединений нейронов в сетях. Простейшая сеть состоит из группы нейронов, образующих слой, как показано в правой части рис. 1.8. Вершины-круги слева служат лишь для распределения входных сигналов. Они не выполняют каких-либо вычислений, и поэтому не будут считаться слоем. По этой причине они обозначены кругами, чтобы отличать их от вычисляющих нейронов, обозначенных квадратами. Каждый элемент из множества входов X отдельным весом соединен с каждым искусственным нейроном, а каждый нейрон выдает взвешенную сумму входов в сеть. В искусственных и биологических сетях многие соединения могут отсутствовать, все соединения показаны в целях общности. Могут иметь место также соединения между выходами и входами элементов в слое.
Веса всех элементов матрицы можно обозначить через W. Матрица имеет m строк и п столбцов, где m - число входов, an- число нейронов. Например, w2,3 - это вес, связывающий третий вход со вторым нейроном. Таким образом, вычисление выходноговектора N, компонентами которого являются выходы ку и і нейронов, сводится к матричному умножению N — XW, где N и X - векторы-строки.
Более крупные и сложные нейронные сети обладают, как правило, и большими вычислительными возможностями [70,17]. Хотя созданью сети всех конфигураций, какие только можно себе представить, послойная организация нейронов копирует слоистые структуры определенных отделов мозга. Такие многослойные сети обладают большими возможностями, чем однослойные. Многослойные сети могут образовываться каскадами слоев. Выход одного слоя является входом для последующего слоя. Подобная сеть показана на рис. 1.9 и снова изображена со всеми соединениями. Многослойные сети не могут привести к увеличению вычислительной мощности по сравнению с однослойной сетью лишь в том случае, если активационная функция между слоями будет нелинейной. Вычисление выхода слоя заключается в умножении входного вектора на первую весовую матрицу с последующим умножением (если отсутствует нелинейная активационная функция) результирующего вектора на вторую весовую матрицу (XW1)W2.
Так как умножение матриц ассоциативно, то X(W1)W2. Это показывает, что двухслойная линейная сеть эквивалентна одному слою с весовой матрицей, равной произведению двух весовых матриц. Следовательно, любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью, однако, однослойные сети весьма ограничены по своим вычислительным возможностям. Таким образом, для расширения возможностей сетей по сравнению с однослойной сетью необходима нелинейная активационная функция.
Обучение - одно из основных свойств нейронной сети.
Выделяют три парадигмы обучения: с учителем, самообучение и смешанное. В первом способе известны правильные ответы к каждому входному примеру, а весы подстраиваются так, чтобы минимизировать ошибку [68]. Обучение без учителя позволяет распределить образцы по категориям за счет раскрытия внутренней структуры и природы данных. При смешанном обучении комбинируются два вышеизложенных подхода. Существует большое число алгоритмов обучения, ориентированных на решение разных задач [96]. Среди них выделяет алгоритм обратного распространения ошибки, который является одним из наиболее успешных современных алгоритмов. Его основная идея заключается в том, что изменение весов синапсов происходит с учетом локального градиента функции ошибки. Разница между реальными и правильными ответами нейронной сети, определяемыми на выходном слое, распространяется в обратном направлении - навстречу потоку сигналов. В итоге каждый нейрон способен определить вклад каждого своего веса в суммарную ошибку сети. Простейшее правило обучения соответствует метолу наискорейшего спуска, то есть изменения синаптических весов пропорционально их вкладу в общую ошибку. Конечно, при таком обучении нейронной сети нет уверенности, что она обучилась наилучшим образом, поскольку всегда существует возможность попадания алгоритма в локальный минимум. Для этого используются специальные приемы, позволяющие «выбить» найденное решение из локального экстремума. Если после нескольких таких действий нейронная сеть сходится к тому же решению, то можно сделать вывод о том, что найденное решение, скорее всего, оптимально.
Рассмотрим более подробно технологию настройки НС на решение прикладной задачи (рис. 1.11) [17].
Методика выбора нейронных сетей
У каждого района имеет различные характеристики активности землетрясений, поэтому результаты прогноза землетрясений, полученные по методу нейронной сети, по каждой конкретной сети, не всегда одинаковы. Поэтому нахождение подходящей нейронной сети для каждого района является важной задачей.
Процесс выбора сети, предлагаемый автором для задачи прогноза землетрясений, включают следующие шаги [24]:
В задаче прогноза землетрясений по нейронной технологии используется возможность прогноза по нейронным сетям, и:
Шаг 1: найти возможные нейронные сети по решению задачи прогноза землетрясений конкретного района;
Шаг 2: для каждой сети, полученной по шагу 1, найти самую лучшую структуру для решения этой задачи по ошибке обучения для сетей по одному из параметров: R (Regression), MSE (Mean squared error) или RMSE (Root mean squared error);
Шаг 3: сравнить полученные сети по шагу 2 по одному из двух принципов (процесс тестирования):
3.1. Если данных для обучения сети мало, то используются параметры максимальной и средней ошибки обучения [61,73];
3.2. Используются такие параметры, как Rscore или Frequency Bias (FB) [33].
У каждой нейронной сети есть своя область решенных типов задач. Поэтому на первом шаге потребуется найти сети, с помощью которых решаются поставленные задачи (шаг 1). Если поставленная задача является задачей распознавания образов, то можно рассмотреть FBP сеть с обратным распространением ошибки. Если входные данные задачи связаны с временным процессом, то возможность использования RNN сеть, где существуют временная память.
До сих пор не известно, каким методом можно определить число нейронов в скрытном слое. Это число вычисляется для конкретной задачи и выводится по ошибкам обучения сети. По этому процессу можно сделать некоторые замечания. Если число нейронов велико, то процесс обучения замедляется и время обучения также велико. Нахождение структуры нейронной сети является важной задачей. В этой методике шаг 2 и 3 отличается к этой задаче.
Процесс выбора основан на двух периодах: ошибки обучения (шаг 2) и ошибки прогноза (тестирования) (шаг 3).Для обучения нейронной сети есть набор примеров, и эти примеры поступают в сеть по двум процессам: процессу обучения и процессу тестирования. Поэтому можно оценивать или выбирать нейронную сеть по этим процессам.
Каждая нейронная сеть имеет свои преимущества и недостатки, поэтому ошибки обучения нейронной сети также являются показателями эффективного выбора сети. Если сеть хорошо обучена, это значит, что сеть нашла закономерность между входными и выходными данными. В нейронные сети по процессу обучения поступают входные данные, и выходные значения вычисляется сетями. На основе различия между этими выходными данными и выходными данными примеров оценивается качество обученной сети. Эти данные можно оценивать многими методами с разными показателями (шаг 2), но в этой методике используется линейная регрессия с качеством показателей R, MSE или RMSE [91].
1. Коэффициент детерминации рассчитывается по следующей формуле:
Данный коэффициент характеризует в процентном отношении вариацию зависимой переменной, вызванной вариацией независимых переменных;
2. Среднеквадратическая ошибка модели регрессии (Mean square error -MSE):
Если показатель среднеквадратической ошибки окажется меньше показателя среднеквадратического отклонения (RMSE) наблюдаемых значений зависимой переменной от модельных значений регрессии, то модель регрессии можно считать качественной.
3. Среднеквадратичное Отклонение (Root Mean Squared Error - RMSE). Данный показатель является более эффективным, так как придает большее значение более сильным отклонениям прогноза от истинного значения переменной:
После процесса обучения начинается процесс тестирования, и на основе этого процесса можно оценивать и выбирать нейронные сети. Одна часть данных (примеров) берется для этого процесса (шаг 3). Выбор между пунктами 3.1 или 3.2 зависит от количества примеров тестирования для сети. Если число примеров мало, то используется 3.1, а если много, то 3.2. В шаге 3.1 выходные сети предлагаются графически сравнить с примерами (реальными выходными значениями) или в виде таблиц различий, и конечно это получится тогда, когда количество данных мало. Если это количество велико, то используется статистические параметры, такие как Rscore или Frequency bias (FB).
Значение Rscore принадлежит интервалу (-1, 1) и является различием между выходными данными сети и реальными значениями обучения. Чем ближе Rscore к 1, тем точнее результаты прогноза. Значение FB принадлежит интервалу (0,оо) и тоже является различием между числом правильного прогноза и числом прогноза в реальности.
Однако каталог землетрясений тоже является главными входными данными для нейронной сети, и требуется их обработка. Процесс обработки каталога землетрясений в задаче прогноза землетрясений описан в следующем разделе. И этот же процесс для западного района Вьетнама проводится также в следующей главе.
Результаты прогноза по максимальным магнитудам
Сеть FBP с 5 нейронами у скрытного слоя используется для 2 каталогов землетрясений. Полученные результаты сравнены с сейсмическими характеристиками этого района для проверки точности метода. Результаты применения метода нейронной сети для каталога землетрясений с 1900 года:
Количество данных состоит из 64 примеров, и после обучения сеть используется для прогноза. Результаты показаны в табл. 6.
Результаты прогноза показаны на рис. 3.2. Они совпадают с положениями очагов этого района (рис. 1.3). Результаты показывают: Пять очагов северо-западного района Вьетнама (Мыонг Те; Лай Чау - Диен биен; Сонг Ма; Сон Ла - Сонг Да; Сонг Хонг и Сонг Ка) имеют возможность происхождения землетрясения с магнитудами больше 6.0. Кроме подрайонов, у которых были сильные землетрясения (больше 6.0), таких как Тхан Хоа (1635г. М6,7); Диен Биен (1935г. М6,8); Туан Зао (1983г. М6,7), остальные подрайоны, как по Сон Ла очагу, подрайон Мыонг Те - Лай Чау-Диен Биен очагов, по Сонг Хонг очагу с Ханой до Хай Фонг, и по Сонг Ма, кроме Сонг Ка, очагами имеют возможность происхождения землетрясения с магнитудами больше 6.0. Очаг Сонг Ка имеет максимальные землетрясения меньше 6.
Результаты применения метода нейронной сети для полного каталога землетрясений (с историческими землетрясениями), показаны в табл. 7.
Количество данных состоит из 66 примеров, и после обучения сеть используется для прогноза.
Результаты показывают, что они похожи на результаты, полученные для каталога землетрясений с 1900 года (рис. 3.3). Различием является возможно максимальное землетрясение у очага Сонг Ка, где по этому вычислению это значение будет более 6.
Сравним с результатами, полученными автором работы [80], и результаты прогноза Мтах подтверждаются (рис. 3.4).
Интерфейсы программы
Для решения задачи прогноза землетрясений методом нейронной сети построена программа обработки данных. Эта программа написана на языке программирования С# [104], одним из простых современных языков программирования. При помощи программы решены 3 типа задач: обработки входных данных для двух написанных выше задач прогноза землетрясений и нахождение доверенного интервала и магнитуды. Интерфейсы и функции программы представлены на рис. 4.1 - 4.4:
1. Главный интерфейс.
На этом интерфейсе пользователи могут выбрать типы необходимых задач. Основные функции представлены в табл. 15.
2. Интерфейс по обработкам данных для прогноза возможно максимальных землетрясений
В этом интерфейсе пользователи должны вводить данные о геометрическом расположении по каталогу, размеры сетки, минимальную магнитуду, и могут также скопировать данные в файлах (табл. 16) (см. прил. 9).
Для задачи прогноза возможно максимальных землетрясений потребуются два каталога, каталог землетрясений и каталог данных. Данные каталогов представляются в файлах и в виде таблицы с ";" разделением. По каталогу землетрясений 2 первые столбцы, это есть долгота и широта землетрясений, и последний есть магнитуды землетрясений. По каталогу данных 2 первых столбца также являются расположением землетрясений.
Пользователем представлены расположения пространства и также размер сетки исследования. Но основе сеток вычисляются входные данные нейронной сети. Сначала два каталога соединяются по сеткам и после этого вычисляются параметры. Магнитуды по сеткам являются максимальным значением, которые были в этих сетках, и остальные параметры вычисляются по средним значениям.
Данные для обучения и тестирования также выбираются по минимальной магнитуде, представленной пользователем. Данные с магнитудами для минимального значения считаются примерами для распознавания образов, и остальные используются для прогноза. В окне Showing можно посмотреть все полученные данные, каталоги и результаты, и сохраняются в требуемых файлах. Данные (результаты) также представлены в виде таблицы с пробелом разделения, и значения по столбцам являются примерами.
3. Интерфейс по обработкам данных для прогноза времени и магнитуд землетрясений
В этом интерфейсе пользователи должны выбрать входные текстовые файлы, вводить интервал времени по каталогу, и могут скопировать данные в файлах (табл. 17) (см. прил. 10).
Для задачи прогноза времени и магнитуд землетрясений потребуется только один каталога, каталог землетрясений. Но в этом каталоге, в отличие от предыдущего каталога, кроме широты, долготы и магнитуды, (точно до дня самого события) присутствует время появления землетрясений. Данные каталога тоже представляются в файле и в виде таблицы с ";" разделением.
Требуется интервал времени исследования (Tmin, Ттах)и также шаг времени исследования. По каждому интервалу вычисляются сейсмические параметры по временному интервалу.
В окне Showing можно посмотреть все полученные данные, каталог землетрясений и результаты, и сохраняются в требуемых файлах. Данные (результаты) также представлены в виде таблицы с пробелом разделения по интервалам времени.
4. Интерфейс по алгоритму нахождения доверенного времени и магнитуды каталога землетрясений
В этом интерфейсе пользователи должны выбрать входные текстовые файлы, вводить интервал времени и магнитуды по исследованию (табл. 18) (см. прил. 11).
