Содержание к диссертации
Введение
ГЛАВА 1. Исторический экскурс и современное состояние проблемы. Постановка задачи 17
1.1. Распознавание аномальных событий на временных рядах 17
1.1.1. Краткий очерк истории развития методов поиска аномалий физических полей 17
1.1.2. Действующие системы обнаружения аномалий в сейсмологии 18
1.1.3. Статистические методы выделения аномалий на временных рядах 20
1.1.4. Распознавание аномалий временных рядов на основе вейвлет-анализа 25
1.1.5. Нейросетевой подход к анализу временных рядов 29
1.2. Современная система наблюдений магнитного поля Земли ИНТЕРМАГНЕТ 31
1.2.1. Общее описание 31
1.2.2. Принципы работы и взаимодействия геомагнитного оборудования 36
1.2.3. Подготовительные работы по созданию геомагнитной обсерватории 38
1.2.4. Абсолютные измерения офсетным методом 40
1.2.5. Расчет базовой линии и временная привязка 42
1.2.6. Квазиокончательные данные 45
1.2.7. Регистрация секундных данных 49
1.3. Источники и методы оценки геомагнитной активности 51
1.3.1. Воздействие солнечного ветра на геомагнитное поле 51
1.3.2. Магнитосферные явления 54
1.3.3. Солнечносуточная вариация 59
1.3.4. Индексы геомагнитной активности 61
1.4. Наблюдения и исследование цунами 65
1.4.1. Общее описание 65
1.4.2. Механизмы образования цунами 66
1.4.3. Наблюдения цунами. Российская служба предупреждения о цунами 70
1.4.4. Система DART 78
1.4.5. Прогноз цунами 82
1.5. Обоснование и постановка задачи диссертации 84
ГЛАВА 2. Метод и алгоритмы дискретного математического анализа геофизических данных 89
2.1. Базовые элементы теории нечетких множеств 89
2.1.1. Основные определения 89
2.1.2. Операции над нечеткими множествами 93
2.1.3. Нечеткие бинарные отношения 95
2.2. Общие принципы дискретного математического анализа 97
2.2.1. Алгоритмический подход ДМА 97
2.2.2. Выпрямления и их примеры 104
2.2.3. Нечеткие сравнения 106
2.3. Алгоритм распознавания выбросов на минутных данных SP (SPIKE) 110
2.4. Алгоритм распознавания выбросов на секундных данных SPs (SPIKEsecond) 117
2.5. Алгоритм распознавания скачков JM (JUMP) 125
2.5.1. Неформальная логика 125
2.5.2. Нечеткие грани 126
2.5.3. Нечеткая мера скачкообразности 128
2.6. Мера аномальности 131
2.7. Алгоритм распознавания событий на данных о цунами RTFL (Recognition of Tsunamis Based on Fuzzy Logic) 133
2.8. Выводы 137
ГЛАВА 3. Распознавание на магнитограммах аномальных событий техногенного происхождения алгоритмами дискретного математического анализа 139
3.1. Техногенные сбои на магнитограммах 139
3.2. Автоматизированное распознавание выбросов на минутных магнитограммах 141
3.2.1. Постановка задачи распознавания выбросов на минутных магнитограммах (1/60 Гц) ИНТЕРМАГНЕТ 141
3.2.2. Обучение алгоритма SP. Формальная схема 142
3.2.3. Обучение алгоритма SP в период пониженной магнитной активности 145
3.2.4. Контрольные эксперименты для оценки достоверности полученных результатов (внутренний экзамен) 149
3.2.5. Обсуждение результатов обучения 157
3.2.6. Экзамен алгоритма SP в период пониженной магнитной активности (внешний экзамен) 158
3.2.7. Экзамен алгоритма SP в период повышенной магнитной активности 160
3.2.8. Обсуждение результатов экзаменов 163
3.3. Автоматизированное распознавание выбросов на секундных магнитограммах 165
3.3.1. Постановка задачи распознавания выбросов на секундных магнитограммах (1 Гц) ИНТЕРМАГНЕТ 165
3.3.2. Магнитная обсерватория на острове Пасхи. Исходные данные для распознавания 168
3.3.3. Обучение алгоритма SPs 169
3.3.4. Устойчивость обучения относительно выбора свободных параметров 173
3.3.5. Оценка результатов обучения 174
3.3.6. Экзамен алгоритма SPs 178
3.3.7. Контрольный тест обученного алгоритма SPs для оценки достоверности распознавания 180
3.3.8. Анализ ложных тревог 182
3.3.9. Сравнение алгоритма SPs со статистическими алгоритмами выделения выбросов 183
3.4. Автоматизированное распознавание скачков на полусекундных магнитограммах 184
3.4.1. Описание магнитных данных спутника GOES (2 Гц) и постановка задачи 184
3.4.2. Распознавание скачков базовой линии на спутниковых магнитограммах 187
3.5. Выводы 188
ГЛАВА 4. Автоматизированная алгоритмическая система предварительной обработки и контроля качества магнитных данных. Российско-украинский центр магнитных данных 190
4.1. Обоснование и постановка задачи 190
4.2. Общее описание работы российско-украинского центра геомагнитных данных 191
4.3. База геомагнитных данных 195
4.4. Веб-приложения для удаленной работы с геомагнитными данными 200
4.4.1. Ввод абсолютных измерений 202
4.4.2. Веб-сервисы для интерактивного доступа к данным 204
4.5. Доступ к данным и их визуализация 207
4.5.1. Веб-портал центра геомагнитных данных 207
4.5.2. Видео-стенд для отображения геомагнитных данных 211
4.6. Сравнение распознавания выбросов методом AF и алгоритмической системой, внедренной в центре 213
4.7. Моделирование полной напряженности магнитного поля на территории России в режиме квазиреального времени 215
4.8. Выводы 218
ГЛАВА 5. Распознавание магнитной активности методами дискретного математического анализа 220
5.1. Постановка задачи и ее обоснование 220
5.2. Апробация меры Ц(t) оценки геомагнитной активности в реальном времени 223
5.3. Глобальный мониторинг геомагнитной активности в период магнитных бурь 23-го солнечного цикла 225
5.3.1. Анализ бури 8-11 ноября 2004 г 226
5.3.2. Анализ бури 15 мая 2005 г 234
5.3.3. Обсуждение результатов анализа 239
5.4. Сравнение с онлайн-мониторингом геомагнитной активности ИНТЕРМАГНЕТ 240
5.5. Выводы 241
ГЛАВА 6. Применение метода дискретного математического анализа к
распознаванию аномалий на данных о цунами 243
6.1. Обоснование и постановка задачи 243
6.2. Автоматизированное распознавание алгоритмом RTFL сигналов Р-волн и волн цунами на данных системы DART-2 246
6.3. Выводы 248
Заключение 250
Благодарности 252
Приложения 253
Приложение 1. Магнитометрические измерения 253
Приложение 2. Индексы ретроспективной оценки геомагнитной активности 260
Приложение 3. Моделирование и картографирование магнитного поля земли 280
Приложение 4. Основные публикации и доклады автора по теме диссертации 289
Список литературы 298
- Статистические методы выделения аномалий на временных рядах
- Общие принципы дискретного математического анализа
- Экзамен алгоритма SP в период пониженной магнитной активности (внешний экзамен)
- Веб-приложения для удаленной работы с геомагнитными данными
Введение к работе
Актуальность темы исследования
Последние десятилетия в геофизике и смежных науках наблюдается стремительный рост объема получаемой информации о процессах, происходящих на Земле и в околоземном пространстве. Наземные сети геофизических наблюдений не только непрерывно растут, но и осуществляют переход на более высокочастотную регистрацию данных с целью удовлетворения потребностей более широкого круга научных и практических интересов. Так, переход с минутной на секундную регистрацию геомагнитных данных является одной из актуальных, трудных и обсуждаемых задач в геомагнитном сообществе. Объемы информации о Солнце, регулярно передаваемые с искусственных спутников Земли, также непрерывно растут, позволяя изучать более детально солнечную активность. Например, спутник SDO (Solar Dynamics Observatory) передает ежедневно на Землю порядка 1.5 терабайт данных о солнечной атмосфере на малых пространственно-временных масштабах и во многих длинах волн единовременно. Кроме того, происходит переход от накопленных ранее аналоговых представлений результатов измерений к цифровым. Вследствие этого возросла роль автоматизации сбора и анализа данных и математических методов их обработки.
Статистика показывает, что не менее стремительно растет и количество запросов к цифровым данным. При небольших объемах данных опытному эксперту не составляет труда извлечь из них полезную информацию. Но для эффективного использования объемных массивов данных и получения на этой основе качественно новых результатов актуальной является задача создания адекватных автоматизированных методов комплексного анализа и обработки данных. В этом случае автоматизированное извлечение полезной информации должно быть формализовано, происходить единообразно и объективно.
Одной из важнейших проблем современной геофизики является распознавание, изучение, классификация аномальных событий на длинных одномерных и многомерных временных рядах геофизических наблюдений. Несмотря на огромное многообразие и разнородность типов наблюдаемых рядов геофизических наблюдений эта проблема может рассматриваться в общей постановке, достаточно инвариантной к выбору того или иного типа информации. Тем самым, возникает необходимость создания общей теории и методов распознавания аномалий на рядах геофизических наблюдений различной природы. Этот общий метод должен адаптироваться к конкретному выбору типа геофизических данных в виде нетривиальной самостоятельной реализации.
Актуальной является задача распознавания и классификации различных форм сигнала на временных рядах. Эта непростая задача требует соответствующих алгоритмов детального анализа исходных данных и большого числа свободных параметров, подгоняемых в процессе настройки. Например, проблема выделения таких аномалий на временных рядах, как «спайки» (выбросы), до сих пор остается нерешенной. Помимо
геофизики, эта проблема актуальна в целом ряде других дисциплин, включая медицину, радиофизику и др. При этом, выбросы могут носить как техногенный, так и природный характер.
Вероятностно-статистические методы выделения возмущений, частотно-временной анализ, вейвлет-анализ и нейронные сети являются эффективными при наличии априорной информации. Во многих случаях априорная информация об искомых возмущениях весьма ограничена и касается только общих представлений об их форме. Форма аномалии является достаточно нечетким понятием, а корреляционные свойства ее неизвестны. Поскольку природа явлений, отраженных в регистрируемых данных, априори не известна и изменчива во времени, то и методы должны быть в большой степени адаптивными. Требуются такие методы анализа временных рядов, которые бы позволяли решать задачи распознавания аномальных событий в самом общем случае. Обеспечить подобную гибкость при автоматизации распознавания аномальных событий способен эффективный учет в соответствующем методе знаний экспертов, осуществляющих анализ данных вручную. Моделирование деятельности и логики интерпретатора (эксперта) может быть достигнуто путем применения методов на базе нечеткой логики, которые были разработаны в последнее время.
Одной из актуальных проблем анализа геофизических данных является распознавание физических и техногенных аномалий на рядах геомагнитных наблюдений и обнаружение всплесков магнитной активности. В то же время, крайне актуальной задачей является развитие сетей наблюдения магнитного поля Земли. Изучение состояния геомагнитного поля позволяет предотвратить такие чрезвычайные ситуации национального масштаба, как сбои в авиационной и космической навигации и радиосвязи, перегрузка линий электропередач, повреждение трубопроводов, сбои в работе ж/д-автоматики и др., вызванные магнитными бурями. Непрерывная регистрация характеристик магнитного поля лежит в основе высокотехнологичных процессов освоения природных ресурсов (напр., наклонное бурение скважин), где точность данных достаточно критична. Результаты измерения магнитных аномалий в земной коре являются важной информацией, используемой при поиске полезных ископаемых и уточнении геологической истории планеты Земля. При решении всех вышеперечисленных задач необходимым условием является наличие геомагнитных данных, предварительно очищенных от техногенных аномалий. Причинами таких аномалий на магнитограммах могут быть близость аэродромов, железных дорог, линий электропередач или других техногенных элементов, воздействующих на магнитную обстановку, резкие перепады температуры, нарушения калибровки измерительных приборов и др. Актуальной задачей является различение естественных аномалий, обусловленных физическими процессами, и техногенных аномалий. Например, разделение магнитосферных возмущений (пульсаций) от промышленных помех (электропоезда, самолеты) на магнитограммах. В обсерваторской практике такая деятельность до сих пор осуществляется вручную, что служит серьезным
препятствием для адекватного использования данных и развития систем геомагнитных наблюдений.
Кроме того, при стремительном росте объема данных использование единичных мер для описания характеристик наблюдаемых процессов представляется устаревшим и неэффективным. В геомагнетизме такими единичными мерами являются геомагнитные планетарные индексы. Они предназначены для оценки общей интенсивности магнитных бурь и рассчитываются по данным фиксированного набора станций. Современный этап развития сетей наблюдений требует перехода к новой парадигме в анализе геомагнитных данных, подразумевающей обработку целиком массива наблюдений на многих станциях, как единого целого. В геомагнитных исследованиях требуется введение меры комплексного анализа данных, позволяющей в единой шкале оценивать относительную магнитную активность в разных регионах Земли. Такая мера позволила бы получать мгновенные «снимки» распределения магнитной бури в каждый момент времени для изучения динамики распространения возмущений по земному шару. Методы, предлагаемые в данной работе, служат решению этой задачи. Их использование автоматизирует и существенным образом ускоряет обработку и анализ данных.
Создание общей формализованной методологии обеспечивает независимость результатов обработки от субъективных факторов (напр., отличия в подходах различных экспертов к анализу данных). В то же время решается актуальная задача значительного сокращения задержки в получении обработанных данных мировым научным сообществом. Математическая формализация распознавания временных возмущений будет способствовать значительному повышению качества обработки данных геомагнитных измерений, что внесет существенный вклад в расширение и углубление знаний о магнитном поле Земли.
В настоящее время главными задачами по преодолению отставания российской сети магнитных наблюдений от мирового уровня являются:
1. развитие пунктов геомагнитных наблюдений в России;
2. создание национального центра геомагнитных данных, который будет служить
ядром российского сегмента ИНТЕРМАГНЕТ;
3. преобразование результатов наблюдений российских обсерваторий в
окончательные данные, предоставляемые научной общественности, вместо передачи
«сырых» данных в различные зарубежные центры.
Диссертационная работа направлена на решение этих актуальных задач.
Целью работы является развитие математических методов автоматизированной обработки данных и их применение к анализу дискретных временных рядов геомагнитных и других геофизических наблюдений. В рамках диссертации анализ временных рядов направлен на распознавание таких природных явлений, как магнитные бури, землетрясения и цунами, а также явлений, носящих техногенный характер. Кроме того, в работе решаются задачи разработки систем сбора геомагнитных данных.
Методология работы основана на новом подходе, заключающемся в моделировании дискретных аналогов фундаментальных понятий математического анализа, таких как связность и монотонность, экстремум, перегиб, выпуклость и т.д. Этот подход носит название «Дискретный математический анализ» (ДМА). Диссертационная работа направлена на его применение к распознаванию и изучению аномалий на временных рядах геофизических наблюдений. Математической базой для этого являются элементы ДМА. Диссертация продолжает цикл работ школы исследователей, возглавляемой академиком А. Д. Гвишиани, к которой причисляет себя и автор.
Отправной точкой такого математического моделирования служит достаточно «мягкий», в смысле создателя «нечеткой» математики Л. Заде, характер восприятия человеком свойств дискретности. Действительно, опытный исследователь, как правило, интуитивно и эффективно кластеризует, выделяет сгущения, трассирует, находит аномалии в двух- и трехмерных массивах и на временных рядах небольших объемов. Использование ДМА позволяет перенести это умение на большие размерности и большие объемы обрабатываемых данных.
Основные задачи исследования
1. Создание на базе ДМА алгоритмической системы автоматизированного,
адаптивного распознавания аномальных событий произвольной природы на длительных
временных рядах различных геофизических наблюдений.
-
Системно-математическая и алгоритмическая реализация разработанного общего метода для распознавания аномальных событий на временных рядах минутных, секундных и полусекундных магнитограмм, зарегистрированных наземными обсерваториями и искусственными спутниками Земли. Оптимизация системы обучения и математическая формализация критериев эффективности разработанного метода. Создание формализованного метода оценки эффективности работы алгоритмов в задаче распознавания аномальных событий техногенной природы на магнитограммах в периоды спокойного магнитного поля и повышенной активности.
-
Программно-алгоритмическая реализация метода ДМА для автоматизированного, формализованного и единообразного распознавания аномальных событий техногенной природы на магнитограммах наземных сетей наблюдений; доведение качества распознавания до уровня, сравнимого с работой эксперта вручную; сравнение созданного метода с классическими статистическими методами распознавания.
4. Разработка модели и технологической схемы функционирования
межрегионального центра геомагнитных данных по обслуживанию российско-украинского
сегмента сети ИНТЕРМАГНЕТ.
5. Создание нового метода распознавания и мониторинга геомагнитной активности
на основе данных всей глобальной сети наземных наблюдений с использованием ДМА и
ГИС-технологий для возможности изучения динамики распространения магнитных бурь
по земному шару в режиме реального времени; разработка меры, дающей оценку
геомагнитной активности в различных регионах Земли в единой шкале, и ее сравнение с классическими индексами геомагнитной активности. Оценка эффективности разработанного метода в задаче внутреннего анализа сильных геомагнитных бурь, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ.
6. Реализация метода ДМА для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане; применение реализованной алгоритмической системы для решения задачи распознавания на записях наблюдений системы DART-2 (глубоководная система обнаружения волн цунами) временных участков, соответствующих сигналам от подводных землетрясений (Р-волн) и волн цунами; оценка работы системы с работой эксперта.
Научная новизна
1. Разработан новый подход к распознаванию и изучению аномальных событий на
больших временных рядах различных геофизических данных. Подход отличается
универсальностью, позволяя решать широкий спектр геофизических задач. В отличие от
существующих методов распознавания аномальных событий, в его основе лежит
моделирование естественных рассуждений и действий человека при поиске аномалий.
2. Впервые создана автоматизированная алгоритмическая система для
распознавания техногенных аномальных событий в геомагнитных измерениях с
применением аппарата нечеткой логики и распознавания образов. Система по
эффективности и точности превосходит соответствующие методы, которые применяются в
рамках программы ИНТЕРМАГНЕТ.
3. Впервые при помощи разработанной алгоритмической системы проведено
автоматизированное распознавание техногенных аномалий на секундных магнитных
данных и выработаны критерии качества, применимые к секундным и полусекундным
данным.
4. Применение разработанной алгоритмической системы распознавания
техногенных аномалий в непрерывном режиме впервые позволяет получать окончательные
данные в режиме, близком к реальному времени, вместо задержки более года.
5. Разработанные алгоритмы впервые позволяют распознавать и изучать
низкоамплитудные магнитные пульсации диапазона 5-45 секунд (РсЗ) по совокупности
секундных данных, зарегистрированных целым кластером обсерваторий на
приэкваториальных широтах.
6. На базе ГЦ РАН впервые в России создан межрегиональный центр геомагнитных
данных. Центр является ядром российско-украинского сегмента сети ИНТЕРМАГНЕТ, в
котором развернута единая система магнитных наблюдений формата ИНТЕРМАГНЕТ.
Отличительной особенностью центра является внедрение автоматизированной системы
распознавания техногенных аномалий на поступающих магнитограммах. Распознавание
возмущений формализовано и выполняется единообразно, что позволяет повысить достоверность очищенных магнитограмм даже по сравнению с зарубежными официальными узлами магнитных данных ИНТЕРМАГНЕТ. Подход к хранению данных при помощи реляционной системы управления базами данных (СУБД), реализованный в центре, также является его отличительной чертой, поскольку обеспечивает широкие возможности поиска данных, гибкость запросов любой сложности и быстроту их выполнения. Геомагнитная БД предназначена для хранения как минутных, так и секундных данных. Создание геомагнитного центра имеет фундаментальное значение, т.к. открывает возможность решения задач на большом объеме данных с большим территориальным охватом в режиме реального времени.
7. Впервые разработан метод распознавания и мониторинга геомагнитной
активности на основе всей совокупности наземных наблюдений магнитного поля Земли с
использованием ДМА и ГИС-технологий. Метод, осуществляя распознавание, позволяет
следить за динамикой распространения магнитных бурь в режиме реального времени.
Оценка геомагнитной активности в различных регионах Земли дается в единой шкале.
8. На базе ДМА разработана новая мера аномальности, которая дает возможность
более детального и наглядного изучения развития геомагнитной активности по сравнению
с геомагнитными индексами. Мера позволяет анализировать внутреннюю тонкую
структуру магнитных бурь, динамику их развития, как по всему земному шару, так и в
пределах отдельных регионов. На высоких широтах, где измеряемое магнитное поле
намного более изменчиво в силу воздействия внешнего магнитного поля, такое
региональное изучение динамики активности становится еще более интересным.
9. Разработанный алгоритмический метод ДМА реализован для распознавания
аномальных событий на временных рядах вариаций придонного давления воды,
регистрируемых мировой сетью придонных датчиков гидростатического давления в
открытом океане. Созданная система впервые позволяет обнаруживать в накопленных
данных события, не отраженные в имеющихся мировых каталогах землетрясений и цунами
в силу их небольшой магнитуды.
10. Впервые создан и опубликован в электронном виде Атлас магнитного поля
Земли (МПЗ) за 1500-2010 гг. Атлас представляет собой унифицированный набор
физических, общегеографических, тематических, в том числе исторических карт МПЗ, а
также справочных (текстовых и табличных) материалов, позволяющих детально и
разносторонне изучать МПЗ с 1500 по 2010 гг. Он представляет собой фундаментальный
картографический продукт с наиболее полными и научно обоснованными
характеристиками картографируемого явления - геомагнетизма. Он содержит научные
результаты как исторического, так и современного состояния изучения МПЗ. Атлас не
имеет ни отечественных, ни зарубежных аналогов.
Основные защищаемые положения
-
Разработанное на основе математической теории ДМА новое направление в распознавании и изучении аномалий на временных рядах геофизических наблюдений позволяет создать инструментарий для решения широкого круга задач анализа геофизических временных рядов. Достоверность этого нового направления подтверждается апробацией методов на данных наблюдений магнитного поля Земли и цунами.
-
Разработанная на базе конструкции нечетких сравнений строгая формализация понятий, необходимых для анализа временных рядов: нечеткая мера аномальности, нечеткие грани и нечеткая мера скачкообразности.
-
Развитие и реализация метода ДМА для распознавания и анализа аномальных событий на наземных и спутниковых магнитных данных, формализованные критерии его эффективности и оценка достоверности результатов распознавания.
-
Новый метод определения и мониторинга геомагнитной активности на основе всей совокупности наземных наблюдений магнитного поля Земли. Метод базируется на ДМА и ГИС-технологиях. Он позволяет осуществлять распознавание и следить за динамикой распространения магнитных бурь в режиме реального времени. При этом оценка геомагнитной активности в различных регионах Земли дается в единой шкале.
-
Развитие и реализация метода ДМА для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане.
Научная и практическая значимость полученных результатов
В рамках алгоритмического подхода ДМА построена конструкция нечетких сравнений, позволяющая сравнивать различные характеристики объектов с учетом их относительных шкал изменений, тем самым, формализуя экспертную оценку. Такая конструкция дает нормированное представление сравнений, что позволяет в дальнейшем агрегировать их в единой шкале при помощи аппарата нечеткой логики. Иными словами, в нормированном виде появляется возможность соединять методами нечеткой логики разные точки зрения экспертов в единую, агрегированную точку зрения. На базе конструкции нечетких сравнений в рамках диссертации строго формализованы понятия, необходимые для анализа временных рядов: нечеткая мера аномальности, оценивающая в шкале от -1 до 1 степень аномальности того или иного фрагмента временного ряда на общем фоне, нечеткие грани, позволяющие выявлять наиболее характерные диапазоны изменения значений на фрагментах временных рядов, и нечеткая мера скачкообразности, оценивающая степень значительности перепада базового уровня.
Созданные алгоритмы обладают существенной адаптивностью и универсальностью в силу наличия свободных параметров. Используя конкретный набор значений параметров, алгоритмы осуществляют единообразное формализованное распознавание аномальных событий на временных рядах произвольной природы. Специфика и морфология данных
при этом отражены в результатах обучения (значениях свободных параметров). Все это делает алгоритмы универсальным инструментарием, позволяющим решать широкий круг задач, связанных с анализом временных рядов и распознаванием отраженных на них аномальных событий.
Разработанная алгоритмическая система распознавания аномалий техногенной природы позволяет повысить достоверность очищенных от техногенных аномалий магнитограмм, в частности, сети ИНТЕРМАГНЕТ и получать их из предварительных минутных, секундных и полусекундных записей практически без участия человека. Система дает также возможность проведения единообразного формализованного ретроспективного анализа огромных архивов цифровых и оцифрованных магнитограмм, накопленных в Мировой системе данных Международного совета по науке (ICSU). Таким образом, улучшая качество и повышая достоверность как вновь поступающих, так и исторических исходных данных, она вносит вклад в развитие геомагнитных исследований.
Применение созданной системы в непрерывном режиме для контроля качества магнитных данных позволяет сократить время подготовки окончательных данных с года до месяца. Основные задачи, которые требуют наличия таких данных, включают в себя краткосрочное моделирование геомагнитного поля, расчет оперативных версий индексов геомагнитной активности, оперативная оценка геомагнитной обстановки, краткосрочный прогноз магнитных бурь и др.
На базе ГЦ РАН создан межрегиональный геомагнитный информационный центр по обслуживанию российско-украинского сегмента сети ИНТЕРМАГНЕТ, налажена передача данных из 14 пунктов наблюдений магнитного поля Земли. В центре внедрена автоматизированная система, предназначенная для формализованного и единообразного распознавания техногенных аномалий на магнитограммах по мере их поступления. В центре реализовано хранение данных в реляционной СУБД, обеспечивающее широкие возможности поиска данных, гибкость и быстрое выполнение запросов любой сложности.
Внедрение автоматизированной системы распознавания техногенных возмущений в непрерывном режиме в российско-украинском центре магнитных данных дает возможность доступа к очищенным магнитным данным с минимальной задержкой, по мере их поступления в центр. Наряду с обработкой наземных наблюдений, созданный алгоритмический комплекс в настоящий момент также внедряется в систему спутниковых геофизических наблюдений, которую разрабатывает Институт прикладной геофизики имени академика Е. К. Федорова РОСГИДРОМЕТ.
На базе поступающих в центр данных решена задача непрерывной интерполяции полной напряженности магнитного поля Земли на территории России в режиме квазиреального времени. Следует ожидать, что с ростом числа российских пунктов наблюдений магнитного поля Земли построенная модель будет существенным образом уточняться, предоставляя более достоверные значения напряженности поля.
Разработанная система оценки магнитной активности в приложении к поступающим в российско-украинский центр магнитным данным, которые проходят процедуру автоматизированного контроля качества и привязки к базовой линии, открывает возможность для достоверного изучения и оценки распределения магнитных возмущений по территории России и Украины в режиме, близком к реальному времени. В отличие от существующих индексов магнитной активности, предложенный метод осуществляет оценку геомагнитной возмущенности на основе всей совокупности наземных наблюдений магнитного поля Земли. При этом оценка геомагнитной активности в различных регионах Земли дается в единой шкале.
Разработанные алгоритмы, примененные к секундным магнитным данным, открывают новые возможности по решению научных задач космической физики. К ним относятся оперативное распознавание и оценка солнечной активности, распознавание и изучение магнитных пульсаций в диапазоне от нескольких секунд до нескольких минут.
Разработанный на базе ДМА алгоритмический комплекс RTFL (Recognition of Tsunamis based on Fuzzy Logic) успешно применен для решения задачи распознавания на записях наблюдений системы DART-2 временных участков, соответствующих сигналам от подводных землетрясений (Р-волн) и волн цунами. Тем самым комплекс может быть использован для мониторинга цунами, обнаружения в накопленных данных событий, не отраженных в имеющихся мировых каталогах землетрясений и цунами и моделирования систем предупреждения о цунами. Кроме того, его компоненты в значительной степени гибки и адаптивны к другим задачам распознавания аномальных событий на временных рядах.
Созданный Атлас магнитного поля Земли, включающий обширный материал, предназначен для широкого круга пользователей, представляющих различные научные и прикладные области знания. Атлас представляет собой оригинальный фундаментальный картографический продукт с наиболее полными и научно обоснованными характеристиками МПЗ за период с 1500 по 2010 гг. Его преимуществом является картографическое представление материалов по геомагнетизму.
Научная и практическая значимость выполненных автором исследований подтверждается тем, что часть работ, вошедших в диссертацию, проводилась при поддержке Программы фундаментальных исследований ОНЗ РАН № 7, РФФИ (гранты 12-05-90428-Укр_а, 12-05-00583-а, 11-05-06000-г, 11-05-05024-6, 10-05-90441-Укра, 09-07-91051-НЦНИа, 09-05-00789-а), Программы сотрудничества между ИФЗ РАН и Парижским институтом физики Земли, Программы сотрудничества между NOAA, NESDIS, NGDC, ИФЗ РАН, ГЦ РАН и ИКИ РАН под эгидой GEOSS и Благотворительного Кауффман-Фонда.
Личный вклад
Все результаты, представленные в диссертации, получены автором самостоятельно или при его непосредственном участии в коллективе соавторов. В большинстве
публикаций, относящихся к теме диссертации, автору принадлежала ведущая роль в постановке задачи, поиске путей решения, выполнении соответствующих расчетов и интерпретации результатов.
Апробация работы
Результаты работы докладывались и обсуждались на научных семинарах ГЦ РАН, ИФЗ РАН, ИЗМИРАН, ИПГ им. академика Е.К. Федорова, ААНИИ, Парижского института физики Земли (Франция), Национального центра геофизических данных НОАА (США). Основные положения работы были также доложены на отечественных и международных семинарах и конференциях (более 30 докладов). Автор являлся приглашенным докладчиком на конференции POLAR-2011 в ИЗМИРАН (г. Троицк) и Генеральной Ассамблее Международного Союза Геодезии и Геофизики (IUGG) 2011 г. в г. Мельбурне (Австралия). Автор был награжден за лучший стендовый доклад на международной конференции CODATA Международного совета по науке (ICSU) 2012 г. в г. Тайбэе (Тайвань). Полный список семинаров и конференций включает: 9-я международная конференция INFOBALT "Информационное общество: инновационные технологии для бизнеса и образования" октября 2007 г. (Вильнюс, Литва); Всероссийский съезд геологов 2008 г. (Москва, Россия); Международная конференция «Итоги Электронного Геофизического Года» 2009 г. (Переславль-Залесский, Россия); IAGA 11th Scientific Assembly 2009 (Sopron, Hungary); IV Фестиваль науки 2009 г. (Москва, Россия); Всероссийский семинар «Современные информационные технологии для фундаментальных научных исследований РАН в области наук о Земле» 2010 г. (Владивосток, Россия); International Workshop "Artificial Intelligence in the Earth's Magnetic Field Study. INTERMAGNET Russian Segment" 2011 (Uglich, Russia); Первая и Вторая научные конференции «Базы данных, инструменты и информационные основы полярных геофизических исследований» (POLAR-2011, POLAR-2012) 2011-2012 гг. (Троицк, Россия); XXV IUGG General Assembly "Earth on the Edge: Science for a Sustainable Planet" 2011 (Melbourne, Australia); The 1st ICSU World Data System Conference "Global Data for Global Science" 2011 (Kyoto, Japan); European Seismological Commission 33-rd General Assembly 2012 (Moscow, Russia); 23rd CODATA International Conference "Open Data and Information for a Changing Planet" 2012 (Taipei, Taiwan); IAGA 12th Scientific Assembly 2013 (Merida, Yucatan, Mexico); Partnership Conference "Geophysical observatories, multifunctional GIS and data mining" 2013 (Kaluga, Russia).
В ходе подготовки диссертации были получены следующие свидетельства о государственной регистрации программ для ЭВМ: (1) Агаян СМ., Соловьев А.А. «Кристалл». Свидетельство № 2010616341 от 24.9.2010; (2) Гвишиани А.Д., Агаян СМ., Богоутдинов Ш.Р., Соловьев А.А. «SP». Свидетельство № 2011616021, от 3.8.2011; (3) Гвишиани А.Д., Агаян СМ., Богоутдинов Ш.Р., Соловьев А.А. «SPs». Свидетельство № 2012619415 от 18.10.2012.
Публикации
По теме диссертации опубликованы 30 научных работ, из которых 20 статей в изданиях, рекомендованных ВАК РФ для публикации материалов докторских и кандидатских диссертаций, а также получены 3 свидетельства о государственной регистрации программ для ЭВМ.
Структура и объем работы
Статистические методы выделения аномалий на временных рядах
В разведочной геофизике [Никитин, 1979; Никитин, 1986] зачастую процесс поиска аномалий на данных имеет место уже после предварительных процедур обработки, позволяющих их выделение. Наиболее успешно выделяются аномалии, отличающиеся от фонового значения поля по частотным или корреляционным свойствам.
Так, например, в достаточно часто встречающейся задаче выделения локальных составляющих поля используется фильтрация. Методы поиска аномалий в рамках вероятностно-статистического подхода, основанные на фильтрации, обычно реализуются при наличии априорной информации о форме самих аномалий и об их корреляционных характеристиках (закон распределения поля, дисперсия).
К концу 60-х годов прошлого века была разработана компьютерная технология извлечения дисперсионных кривых и других характеристик поверхностных волн из цифровых сейсмограмм, получившая название Многоканальная фильтрация. Но эта методика грешила систематическими ошибками в измерениях дисперсии в условиях, когда амплитудный спектр сигнала быстро изменялся с частотой. В работах А.В. Ландера, А.Л. Левшина и В.Ф. Писаренко [Ландер и др., 1973; Levshin et al., 1972] были предложены методы преодоления этих недостатков и создана новая процедура – Спектрально-временной анализ (СВАН). Различные варианты методов СВАН успешно применяются в геофизике, например, [Dzienovski, 1969; Ландер и др., 1973; Кедров и др., 1998; Кедров и Кедров, 2006].
С целью выделения скрытых периодичностей из наблюдений сейсмичности и других геофизических полей В.Ф. Писаренко предложил регулярный метод оценки параметров гармоник (амплитуды, фазы, частоты), не связанный с поиском минимума в многомерном пространстве [Писаренко, 1973, 1974; Pisarenko, 1972]. Методика спектрального анализа высокой разрешающей способности, предложенная в этих работах, была в дальнейшем обобщена и усовершенствована и способствовала появлению новых методов высокой разрешающей способности. Одним из наиболее простых методов выделения аномалий на основе фильтрации является осреднение сигнала и последующий вычет осредненного поля из исходного. Данный метод требует сведений о частотном составе выделяемых аномалий.
Применение сглаживающего фильтра Колмогорова-Винера связано с представлением аномалий в виде случайных процессов. Реализация этого фильтра требует задания автокорреляционной функции аномалии и помехи или их энергетических спектров [Аронов, 1970; Никитин, 1979]. Весовая функция такого сглаживающего фильтра определяется либо путем решения системы линейных уравнений YJh,Rf(m-i)=Rqf(m) где /г. - весовая функция фильтра; Rf(m-i)— корреляционная матрица исходных значений поля, построенная для соответствующей автокорреляционной функции; Rqf(m)— функция взаимной корреляции желаемого сигнала, описываемого случайным процессом, с исходным полем [Никитин, 1979], либо путем преобразования Фурье частотной характеристики фильтра, равной отношению энергетических спектров и имеющей вид: Ws(co) + Wn(co) где Ws(co) и Wn{co) - соответственно, энергетические спектры сигнала и помехи.
Выбор автокорреляционных функций аномалии и помехи зависит от конкретного типа данных и общей формы аномалий. Так, в гравиразведке в качестве автокорреляционных функций использовались кривые гауссова типа. Оценка качества фильтра Колмогорова-Винера характеризуется величиной среднеквадратической погрешности, вычисляемой либо через автокорреляционные функции аномалии и исходного поля, либо через энергетические спектры аномалии и помехи.
Фильтрация эффективна при выделении сильных аномалий (т.е., таких, наличие которых не вызывает сомнений), однако широко распространённым явлением является трудность визуального обнаружения аномалии (в этом случае аномалию можно называть слабой). Наиболее эффективно задача выделения слабых аномалий может быть решена на базе математического аппарата теории статистических решений, обеспечивающей максимальное извлечение полезной информации путем вычисления апостериорных вероятностей наличия аномалии. Результаты наблюдений некоторого физического поля вдоль профиля (либо на временной оси) F = (Дхі),…, /х„)} представляют сумму аномалии а(х) и помехи п(х). Помеху считаем эргодическим, стационарным процессом нормального типа с нулевым средним и дисперсией о . Требуется установить наличие аномалии, т.е. определить, является ли поле суммой аномалии и помехи, т.е. f{x) = а(х) + п(х), или нет, т.е. /х) = п(х). Таким образом, сравниваются две статистические гипотезы Н1 иН0: при наличии аномалии выполняется гипотеза
Я15 при ее отсутствии — гипотеза #0. Задача обнаружения аномалии в указанной формулировке состоит в нахождении функции правдоподобия наблюдаемых значений поля соответственно при наличии (гипотеза#1) и отсутствии (гипотеза #0) аномалий. Функции правдоподобия (условные плотности вероятностей [Вентцель Е.С., 1969]) имеют вид, соответственно, p(F/H1)иp(F/H0). Далее по ним находится коэффициент правдоподобия А=р(/Ю P(F/H0) ЕслиЛ 1, принимается решение о наличии аномалии, если Л 1, то об отсутствии аномалии, т. е. порог принятия решения Л0=1. По формуле Бейеса от коэффициента правдоподобия можно перейти к вычислению вероятности гипотезы о наличии аномалии. При равных априорных вероятностях гипотез Н1 и Н0 р1 = р0 = 0,5 имеем p(H1/F) = Л/(Л + 1), и правило принятия решения будет таковым: при p(H1/F) 0,5 есть аномалия, в противоположном случае — нет.
В случае некоррелированной помехи нормального типа с нулевым средним и дисперсией а2 коэффициент правдоподобия будет представлять собой сумму энергетического отношения сигнал/помеха и свёртки, обеспечивающей фильтрацию исходных данных. При вычислении коэффициента правдоподобия для каждого наблюденного значения поля можно получить его распределение на временной оси или на линии наблюдений. Так строится алгоритм обнаружения, описанный А.Г. Тарховым и проанализированный в [Никитин, 1979]. В этом алгоритме обнаружения аномалии, полученном на основе применения теории статистических решений, с одной стороны, обеспечивается оптимальная фильтрация исходных данных, т. е. процесс выделения аномалии, с другой стороны — возможность вычисления апостериорной вероятности наличия аномалии, т. е. извлечение максимума информации. Однако следует иметь в виду, что при этом требуется наличие априорной информации как о форме и параметрах аномалии, так и о дисперсии помех. Форма и протяженность аномалии, подлежащей обнаружению, могут быть выбраны либо исходя из теоретических представлений об аномальном объекте, либо по расчетным данным. Таким образом, алгоритм обнаружения работает на детерминированных аномалиях.
Общие принципы дискретного математического анализа
Ионосфера – ближайший к поверхности Земли слой, проводящий электричество. Она лежит на изоляторе – нейтральной атмосфере. В отличие, например, от солнечного ветра, ионосфера «умеет» проводить ток поперек силовых линий магнитного поля. Эту способность создают частые соударения ионов и электронов с нейтральными атомами, в большом количестве присутствующими на таких высотах. Сталкиваясь, заряженные частицы меняют направление движения и переходят от одной силовой линии к другой, разрушая их изоляцию. Магнитосферные токи имеют пространственную (3D) структуру, а ионосферные проистекают в 2D проводящей оболочке Земли, т.е. они горизонтальны по отношению к Земле [Брюнелли и Намгаладзе, 1988].
В первом приближении магнитосфера недоступна для внешней плазмы солнечного ветра, который может лишь изменить форму магнитопаузы в соответствии с условием баланса давлений на ней. Однако в действительности ситуация оказывается более сложной. Когда межпланетное магнитное поле (ММП) обладает компонентой, параллельной земному магнитному диполю (южная компонента ММП), в области соприкосновения противоположно направленных ММП и земного поля происходят нарушение условия идеальной проводимости плазмы и эрозия магнитного поля. В магнитосферу попадают плазма солнечного ветра и переносимая им энергия. Этот процесс называется пороговым (триггерным) механизмом. В зависимости от темпа поступления энергии возможны три сценария реакции магнитосферы.
1. Когда скорость поступления энергии меньше или равна скорости стационарной диссипации энергии внутри магнитосферы, она не изменяет своей формы – в магнитосфере не наблюдается каких-либо существенных изменений, т.е. она остается невозмущенной.
2. В случае, когда скорость поступления энергии превышает скорость стационарной диссипации, часть энергии уходит из магнитосферы по «квазистационарному каналу», что приводит к восстановлению ее состояния. Роль такого канала играют магнитные суббури [Ермолаев, Ермолаев, 2009].
Когда направление межпланетного магнитного поля становится противоположным направлению геомагнитного поля на дневной стороне, начинается процесс так называемого пересоединения. При сближении противоположно направленных силовых линий магнитное поле обращается в нуль и принцип вмороженности нарушается. Из «замкнутой» геомагнитной линии и «свободной» линии межпланетного поля образуются две «открытые» силовые линии, которые одним концом начинаются на Земле в полярной шапке, а другим – уходят в межпланетное пространство (рис. 1.17а). Пересоединение «выгодно» с энергетической точки зрения, так как суммарная длина силовых линий уменьшается. Поток солнечного ветра сносит «открытые» линии на ночную сторону. Здесь противоположно направленные линии снова сближаются, и процесс ночного пересоединения воссоздает линии солнечного ветра и замкнутые геомагнитные линии, которые постепенно возвращаются на дневную сторону. При этом магнитосфера и ионосфера оказываются вовлеченными в круговорот – глобальную конвекцию. Скорость пересоединения на ночной стороне обычно меньше, чем на дневной, поэтому в хвосте магнитосферы происходит накопление открытых силовых линий и, следовательно, магнитной энергии. Размер полярной шапки растет, и зона аврорального овала сдвигается ближе к экватору на несколько градусов. Через некоторое время (1 - 2 часа) магнитный хвост, «переполненный» магнитным полем, теряет устойчивость, процесс пересоединения на ночной стороне принимает взрывной характер, и за несколько минут избыточные силовые линии сбрасываются. Этот циклический процесс называется магнитосферной суббурей и сопровождается значительным возмущением всей внешней магнитосферы Земли. Фактически происходит обрыв части магнитного хвоста, а его остаток поджимается к Земле (рис. 1.17б). В этот момент часть плазмы внешней магнитосферы становится «лишней» и сбрасывается по силовым линиям в авроральную зону ионосферы. (а) (б) Рис. 1.17. Механизм пересоединения, к которому приводит взаимодействие ММП и геомагнитного поля. Происходит возникновение «открытых» силовых линий, которые начинаются в полярной шапке Земли и уходят в пространство [Петрукович и Зеленый, 2001] (а); Эволюция отдельной силовой линии и обрыв магнитного хвоста [Харгривс, 1982] (б).
При «отрыве» магнитного хвоста электрический (хвостовой) ток, в нормальных условиях текущий поперек хвоста (рис. 1.18а), вынужден обойти этот разрыв через ближайший проводник – ионосферу, используя «резервную цепь»: вдоль силовых линий к Земле, затем через ионосферу в области ночной части полярного овала и обратно в хвост [Петрукович и Зеленый, 2001]. Вновь образуемый ток называется «электроджет» (рис. 1.18б). Сила такого ионосферного тока порой превышает миллион ампер, а магнитное поле, наводимое им на поверхности Земли в авроральной зоне, вносит существенные вариации в геомагнитное поле. Наиболее впечатляющее проявление суббурь – полярное сияние, возникающее в результате бомбардировки нейтральных атомов атмосферы потоками плазмы хвоста магнитосферы, ускоренной вдоль магнитных силовых линий. Нейтральные атомы при столкновении с энергичными ионами и электронами испускают фотоны. Магнитосфера может долгое время сбрасывать излишки энергии в полярные области обоих полушарий Земли в виде суббурь с периодичностью около 3 ч. [Ермолаев, Ермолаев, 2009]. (а) (б)
Рис. 1.18. (а) – Токовая система магнитосферы Земли. По магнитопаузе течет ток Чепмена-Ферраро. Показаны также хвостовой и кольцевой токи; (б) – Схема образования электроджета во время магнитной суббури, при которой электрический ток начинает течь через ионосферу Земли [Петрукович и Зеленый, 2001].
3. Когда скорость поступления энергии существенно превышает скорость стационарной и квазистационарной диссипации, происходит глобальная перестройка токовой системы магнитосферы и ионосферы, сопровождаемая сильными возмущениями магнитного поля на Земле, что по существу и называется магнитной бурей. Интенсивность магнитного пересоединения на дневной стороне возрастает на порядок, приводя к разрастанию области, занимаемой полярной шапкой. Во время сильной бури мощнейшие магнитные суббури следуют одна за другой, а авроральная зона расширяется вплоть до умеренных широт. Основной вклад в изменение магнитного поля вносит кольцевой ток, создаваемый в области геомагнитного экватора [Ермолаев, Ермолаев, 2009] (рис. 1.18а). Кольцевой ток течет вокруг Земли на расстояниях 10000-60000 км в виде тора, лежащего вблизи плоскости экватора. Ионы, являющиеся переносчиком заряда, захвачены магнитным полем Земли и дрейфуют в западном направлении [Daglis et al., 1999]. У поверхности Земли ток создает магнитное поле, направленное противоположно основному геомагнитному. В отличие от магнитных суббурь, при которых возмущения магнитного поля наблюдаются в полярных областях, во время магнитных бурь поле изменяется и на низких широтах вблизи экватора. При сильных бурях полярные сияния могут опускаться на 20–30 к экватору от полярных областей и наблюдаться на низких широтах, как это происходило, например, 30 октября 2003 г.
Экзамен алгоритма SP в период пониженной магнитной активности (внешний экзамен)
Одно из направлений развития дискретной математики связано с моделированием умения человека анализировать данные. Действительно, опытный исследователь прекрасно выделяет аномалии в двух- и трёхмерных физических полях, умеет перейти от их локального уровня к глобальному для целостной интерпретации, находит сигналы нужной формы на записях небольшой длины и делает многое другое. Объясняется это более естественным и устойчивым по сравнению с математическим характером восприятием им формы, дискретности и стохастичности. Приведём три примера.
1. Гладкая в математическом смысле функция f на отрезке [a, b] после даже достаточно тщательной дискретизации [a, b] либо под воздействием небольшого стохастического возмущения потеряет это свойство, но по-прежнему останется гладкой для человека.
2. Математическую монотонность f на [a, b] может нарушить любое сингулярное возмущение, в то время как человеческое восприятие тренда более устойчиво к нему. Лишь достаточно «большое» возмущение заставит человека изменить своё решение о монотонности f на [a, b].
3. В многомерном конечном массиве X любой, в частности, геолого-геофизической природы особую роль реперных точек играют наиболее «плотные» из них, сильнее всего концентрирующие X вокруг себя. Они важны для анализа X, например, при кластеризации или трассировании в нём. Нетривиальное формальное выражение плотности в X не может быть построено в рамках классической математики, потому что для неё X – дискретное пространство, все точки которого одинаково изолированы и не интересны.
Но человек бессилен в больших размерностях и перед большими объёмами, поэтому особую актуальность приобретает задача передачи компьютеру путём моделирования умения человека анализировать данные для работы в реальных условиях. Наш коллектив занялся таким моделированием более 10 лет тому назад, сразу учитывая то обстоятельство, что человек мыслит и оперирует не числами, а нечёткими понятиями. Ещё Норберт Винер в своей работе «Творец и робот» отмечал: «По-видимому, главное преимущество человека перед компьютером – это его способность оперировать с нечётко очерченными понятиями» [Винер, 1966].
Именно в этой связи в 1965 году американский математик Лотфи Заде создал теорию нечётких множеств [Zadeh, 1965; Заде, 2001]. Основная идея Заде заключалась в том, что человеческий способ рассуждений, опирающийся на естественный язык, не может быть описан в рамках традиционных математических формализмов. Этим формализмам присуща строгая однозначность интерпретации, а всё, что связано с использованием естественного языка, имеет многозначную интерпретацию. Программа Заде состояла в построении новой математической дисциплины, в основе которой лежала бы не классическая теория множеств, а теория нечётких множеств. Последовательно проводя идею нечёткости, по мнению Заде, можно было построить нечёткие аналоги всех основных математических понятий и создать необходимый формальный аппарат для моделирования человеческих рассуждений и человеческого способа решения задач.
Программа построения нечёткой математики быстро нашла отклик среди исследователей из разных стран мира. Часть исследователей устремилась «вширь», вводя в рассмотрение нечёткие расширения таких фундаментальных понятий математики, как функция, отношение, предикат. Появились нечёткие уравнения и нечёткие интегралы, нечёткая логика и нечёткая топология и т.д. Другие исследователи устремились «вглубь». Их целью было выявление самой природы нечёткости. В потоке чисто математических работ начал возникать поток работ прикладных. Идеи Заде и его последователей нашли и находят применение при создании систем, понимающих тексты на естественном языке, при создании планирующих систем, опирающихся на неполную информацию, при обработке зрительных сигналов, в управлении техническими, социальными и экономическими системами, в системах искусственного интеллекта и робототехнике.
Всё это доказало, что нечёткая математика и нечёткая логика обладают достаточно большими возможностями для моделирования человеческих представлений и рассуждений по сравнению с обычными множествами и булевой логикой. Булевы признаки внутренне дизъюнктны (жестки), что приводит в реальности к выхолащиванию. Содержательные признаки должны быть непрерывными (мягкими), а потому нечёткими. Нечёткая математика и нечеткая логика позволили дать строгое математическое описание в действительности расплывчатых экспертных утверждений и преодолеть лингвистический барьер между человеком, суждения и оценки которого являются приближенными, качественными и нечёткими, и компьютером, который может выполнять только чёткие инструкции.
Таким образом, с помощью нечёткой математики становится возможной формализация эксперта при анализе геолого-геофизической информации. Но имеется ещё одно обстоятельство, делающее нечёткую математику привлекательной для геологии и геофизики. Нечёткая математика является формальным аппаратом, способным наиболее адекватно учесть не только мнение экспертов, но и нечёткость данных. Действительно, в геологии и геофизике мы часто имеем дело с приближенными величинами, да и модели сложных природных процессов не всегда точны из-за излишней их идеализации, в частности, линеаризации, дискретизации и т.п. Это свидетельствует о естественности нечёткого подхода к геологии и геофизике, которым изначально присущ нечёткий характер в силу неполноты и расплывчатости наших знаний о Земле. В этой связи процитируем Заде: «Образно говоря, теории о природе должны отражать то, что природа «пишет» скорее произвольными мазками, чем шариковой ручкой» [Нечеткие множества и теория возможностей. Последние достижения, 1986].
Итак, стремление решать сегодня геологические и геофизические задачи наиболее адекватно реальности требует перехода от жёстких, чётких формальных методов к мягким, нечётким. И, в первую очередь, это касается математики, использующейся в геологии и геофизике.
Упомянутое выше проникновение нечёткости в математику происходило в основном в её дискретные области (логику, графы, автоматы, группы, алгоритмы), за исключением имеющей скорее теоретический характер нечёткой топологии. Программа Заде остановилась на пороге «непрерывной» математики, составляющей основу анализа и обработки данных (математический и функциональный анализ, спектральные методы, дифференциальные уравнения и т.д.). Причина – большая сложность нечёткой арифметики: она тесно связана с интервальным анализом, который, в свою очередь, недистрибутивен и крайне ограничен в своих применениях.
Теперь можно сформулировать основную цель и задачи наших исследований – продолжить программу Заде проникновения нечётких множеств в непрерывную математику, разработать мягкие, нечёткие методы анализа данных и применить их в изучении физических полей Земли.
Как было сказано выше, работа в этом направлении началась в 1999 году и привела к новому методу анализа данных. Называется он «Дискретный математический анализ» (в дальнейшем ДМА). Для его понимания необходимо обратиться к стандартному дискретному анализу: «Дискретный анализ – область математики, занимающаяся изучением свойств структур конечного характера. Дискретный анализ представляет собой важное направление в математике, имеющее характерные для него предмет исследования, методы и задачи, специфика которых обусловлена, в первую очередь, необходимостью отказа в дискретном анализе от основополагающих понятий классический математики – предела и непрерывности — и (в связи с этим) тем, что для многих задач дискретного анализа сильные средства классической математики оказываются, как правило, мало приемлемыми» [Математическая энциклопедия, 1979].
Веб-приложения для удаленной работы с геомагнитными данными
Вначале мы разбиваем область задания на смежные отрезки длиной 30000 точек. Для первого выпрямления R1 на каждом отрезке решаем уравнение и05(1тДг) = 0.9.
Все точки отрезка, в которых значение г (вертикальный уровень аномальности), мы будем считать аномальными. Фактически это означает, что в точках, где значение выпрямления г, вертикальная мера аномальности 0.9. На втором выпрямлении R2 сценарий тот же самый, но с другими параметрами. На каждом из отрезков длиной 30000 точек мы решаем уравнение n05(lmR2,r) = 0.8 и определяем аномальные зоны на втором
выпрямлении, т.е. точки, в которых вертикальная мера аномальности 0.8. На рис. 2.25 красной линией отмечены рассчитанные вертикальные уровни аномальности. Значения выпрямлений, лежащие выше соответствующего уровня, соответствуют аномальным значениям на исходной записи.
Нетрудно заметить, что сегменты аномальности, особенно в случае Выпрямления 2 (R2) (рис. 2.25), образуют разрывные отрезки. Для объединения подобных сегментов и уточнения границ начала и конца аномалии служит третий этап алгоритма. Понятие близких аномалий вводится следующим образом. Для этого в случае первого выпрямления RI задается параметр Ах = 50 и считается, что две аномалии должны быть объединены в одну, если расстояние между ними меньше Aj. Все полученные отрезки 136 считаются P -волнами. В случае второго выпрямления R2 полученные аномалии объединяются с параметром близости А2 =1000. Они предполагаются волнами цунами.
1. Создана новая алгоритмическая система автоматизированного распознавания и изучения аномальных событий на больших временных рядах различных геофизических данных. Алгоритмы отличаются универсальностью, позволяя решать широкий спектр геофизических задач. В отличие от существующих методов распознавания аномальных событий, в их основе лежит моделирование естественных рассуждений и действий человека при поиске аномалий. Этот метод базируется на алгоритмическом подходе дискретного математического анализа (ДМА) к распознаванию аномалий на временных рядах регистрации геофизических полей.
2. На базе конструкции нечетких сравнений строго формализованы понятия, необходимые для анализа временных рядов: нечеткая мера аномальности, оценивающая в шкале от -1 до 1 степень аномальности того или иного фрагмента временного ряда на общем фоне, нечеткие грани, позволяющие выявлять наиболее характерные диапазоны изменения значений на фрагментах временных рядов, и нечеткая мера скачкообразности, оценивающая в шкале от -1 до 1 степень значительности перепада базового уровня. Эти формализации позволяют эффективно решать поставленные в рамках диссертации задачи методом ДМА.
3. Описанные в главе алгоритмы обладают существенной адаптивностью и универсальностью в силу наличия свободных параметров. Используя конкретный набор значений параметров, алгоритмы осуществляют единообразное формализованное распознавание аномальных событий на временных рядах произвольной природы. Специфика и морфология данных при этом отражены в результатах обучения (значениях свободных параметров).
. Разработанные алгоритмы связаны общей математической основой с использованием нечеткой логики и базируются на единой математической теории дискретном математическом анализе. Это делает соответствующую алгоритмическую систему эффективным и универсальным инструментарием, позволяющим решать широкий круг задач, связанных с анализом временных рядов и распознаванием отраженных на них аномальных событий. 5. Разработанный алгоритмический метод ДМА адаптирован для распознавания аномальных событий на временных рядах магнитограмм, зарегистрированных на наземных обсерваториях и искусственных спутниках Земли. 6. Разработанный метод адаптирован для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане.
