Содержание к диссертации
Введение
Глава 1. Анализ и исследование методов и проблем, связанных с определением информативных признаков 12
1.1. Описание задачи выбора признаков 12
1.2. Описание и характерные черты сейсмических атрибутов 13
1.3. Анализ существующих статистических методов определения информативныхпризнаков 15
1.3.1. Метод факторного анализа 15
1.3.2. Метод главных компонент 17
1.3.3. Метод независимых компонент 18
1.3.4. Краткое сравнение рассмотренных статистических методов понижения размерности 20
1.4. Исследование нейросетевых методов для отбора информативных признаков.. 21
1.4.1. Структура и свойства искусственных нейронных сетей 21
1.4.2. Обучение искусственных нейронных сетей 24
1.4.3. Геофизические предпосылки использования нейронных сетей 25
1.5. Общая характеристика методов и средств экспертных систем 26
1.5.1. Определение экспертных систем и задачи решаемые ими 26
1.5.2. Классификация экспертных систем 27
1.5.3. Приобретение знаний в экспертных системах 29
1.5.4. Построение базы знаний в экспертных системах 31
1.5.4.1. Способ классификации знаний 31
1.5.4.2. Модели представления знаний 32
1.6. Общее описание гибридных интеллектуальных систем 34
1.7. Постановка задачи исследования 37
1.7.1. Недостатки статистических методов 37
1.7.2. Недостатки нейронных сетей 38
1.7.3. Недостатки экспертных систем 38
1.7.4. Модель системы для определения информативных сейсмических атрибутов 39
1.7.5. Цель и задачи исследования 41
1.8. Выводы по главе 1 42
Глава 2. Теоретические вопросы разработки моделей и методов определения информативных признаков 43
2.1. Математическая постановка задачи 43
2.2. Структурная модель нейро-экспертной системы определения информативного набора сейсмических атрибутов 46
2.3. Структура экспертной системы 49
2.4. Алгоритм обучения многослойной нейронной сети 52
2.5. Алгоритм оптимальной структуры многослойной нейронной сети 56
2.6. Алгоритм извлечения знаний из нейронной сети 60
2.7. Алгоритм оценки значимости сейсмических атрибутов на основе многослойной нейронной сети 64
2.7.1. Эвристический алгоритм оценки значимости 64
2.7.2. Алгоритм оценки значимости с фиксацией значений признаков 65
2.7.3. Комбинированный алгоритм отбора признаков 66
2.8. Критерии оценки мнения псевдо-экспертов 68
2.9. Выводы по главе 2 70
Глава 3. Программная реализация нейро-экспертной системы выбора информативных сейсмических атрибутов ... 71
3.1. Требования к разрабатываемым программным средствам 71
3.2. Выбор языков программирования и инструментальных средств разработки ... 71
3.3. Проектирование общей архитектуры нейро-экспертной системы 74
3.4. Описание подсистем разрабатываемой нейро-экспертной системы 75
3.4.1. Модуль обработки и анализа данных и результатов 75
3.4.2. Модуль статистического анализа 77
3.4.3. Модуль нейронной сети 77
3.4.4. Модуль передачи знаний 78
3.4.5. Модуль экспертной системы 79
3.4.6. Общая архитектура системы 80
3.5. Описание функциональных возможностей нейро-экспертной системы 81
3.5.1. Описание функций, обеспечивающих работу нейронной сети 81
3.5.2. Описание функций, обеспечивающих выбор атрибутов статистическими методами 82
3.5.3. Описание функций, обеспечивающих формирование набора сейсмических атрибутов 83
3.5.4. Описание основных классов системы 83
3.6. Описание работы нейро-экспертной системы 86
3.6.1. Общее описание интерфейсных возможностей и сценариев работы пользователя 86
3.6.2. Практические рекомендации пользователю 90
3.7. Выводы по главе 3 92
Глава 4. Исследование разработанных алгоритмов и программного обеспечения и оценка их эффективности при решении практических задач 94
4.1. Анализ эффективности алгоритма определения оптимальной структуры нейронной сети 94
4.2. Результаты применения и анализа эффективности алгоритма оценки значимости сейсмических атрибутов на основе многослойной нейронной сети 99
4.2.1. Описание методики применения алгоритма оценки значимости 99
4.2.2. Результаты применения алгоритма оценки значимости 101
4.3. Результаты применения статистических методов для определения информативного набора сейсмических атрибутов 105
4.3.1. Описание методики применения статистических методов 105
4.3.2. Результаты применения статистических методов 106
4.3.2.1. Метод главных компонент 107
4.3.2.2. Факторный анализ 111
4.3.2.3. Метод независимых компонент 114
4.3.2.4. Сравнение используемых статистических методов между собой 117
4.4. Результаты оценки мнений псевдо-экспертов 120
4.5. Результаты работы всей системы 124
4.6. Выводы по главе 4 128
Заключение 130
Список литературы 132
Приложение 140
- Анализ существующих статистических методов определения информативныхпризнаков
- Структурная модель нейро-экспертной системы определения информативного набора сейсмических атрибутов
- Выбор языков программирования и инструментальных средств разработки
- Результаты применения статистических методов для определения информативного набора сейсмических атрибутов
Введение к работе
Актуальность темы исследования. При поисках, разведке, и разработке месторождений нефти и газа основным методом ведения геолого-геофизических исследований является сейсмическая разведка. При этом перед сейсмической разведкой всегда ставится большое число самых разнообразных задач, связанных с изучением геологического строения объектов исследований. Одной из таких задач является изучение характера распределения различных физических и фильтрационно-емкостных свойств в некоторой области среды (резервуара), где предполагается наличие залежей углеводородов. Для эффективного выполнения такой задачи принято выполнять целый ряд подготовительных расчетов. Эти расчеты преследуют цель получения некоторых количественных и качественных характеристик волнового поля, на базе которых возможно определение физических и фильтрационно-емкостных свойств изученной части геологической среды. Такими характеристиками являются сейсмические атрибуты.
Актуальность темы диссертационного исследования обусловлена тем, что при решении задач классификации и регрессии, поиске функциональных многомерных зависимостей прогнозных петрофизических параметров от сейсмических атрибутов задача выбора информативного набора признаков (сейсмических атрибутов) представляется чрезвычайно важной. В практике атрибутного анализа геофизику приходится выбирать из множества признаков различной природы (мгновенные атрибуты, амплитудные и производные атрибуты и т.д.), имеющих теоретическую взаимозависимость с прогнозными параметрами, причем сложность выбора затрудняется тем, что каждый атрибут может быть рассчитан вдоль сейсмического горизонта во временных окнах различного размера и с различными смещениями.
Сложность задачи выбора усугубляется большим количеством возможных преобразований (сейсмических атрибутов), нечеткостью условий их применимости для данного региона, наличием нескольких потенциальных зависимостей от различных физических и иных факторов для отдельных сейсмических атрибутов, наличием перекрестных взаимосвязей между отдельными сейсмическими атрибутами, а также геологическими особенностями изучаемых площадей и регионов. Для осмысленного выбора становится необходимым использование методики, позволяющей определить, какие из атрибутов действительно важны, а какие несут мало полезной информации или дублируют друг друга в рамках применения выбранной модели и могут быть отброшены без существенных искажений прогноза (аппроксимации).
Решение задачи выбора минимального количества сейсмических атрибутов позволит снизить вычислительные (и, соответственно, временные) затраты на расчет
самих атрибутов, а также время расчета окончательного прогноза и возможно будет способствовать нахождению новых зависимостей сейсмических атрибутов с петрофизическими параметрами, которые не учитывались ранее.
Актуальность темы исследования так же обусловлена тем, что в настоящее время наблюдается быстрый прогресс в практическом применении современных интеллектуальных информационных технологий, к которым относятся проектирование, разработка и эксплуатация моделей и методов экспертных систем и нейронных сетей. Это связано в первую очередь с тем, что, ЭС предназначены, главным образом, для решения практических задач символического характера, возникающих в слабо структурированной и трудно формализуемой предметной области (например, обработка и интерпретация сейсмических данных). Экспертные системы были первыми системами, которые привлекли внимание потенциальных потребителей продукции искусственного интеллекта. Достоинство применения экспертных систем заключается в возможности принятия высококачественных решений в типовых ситуациях, для которых алгоритм заранее не известен и формируется из исходных данных и правил принятия решений из базы знаний. Причем решение необходимо найти в условиях неполноты, недостоверности, многозначности интерпретации исходной информации и качественного характера оценок.
Искусственные нейронные сети в свою очередь так же являются эффективным средством решения сложных плохо формализуемых задач, но со стороны численных данных. К этому классу традиционно относятся задачи классификации, кластеризации, аппроксимации многомерных отображений, распознавания образов, нелинейной фильтрации, управления сложными технологическими объектами и др.
Однако, несмотря на очевидную полезность и широкое использование, экспертные системы и нейросетевые технологии, как и любые системы, не совершенны и имеют ряд недостатков. Например, один из главных недостатков ЭС состоит в сложности распознавания границ возможностей ЭС и демонстрации ненадежного функционирования вблизи границ применимости. Следует также сказать, что определенные трудности и ограничения вызывает и проектирование ЭС. Они слабо приспособлены к обучению на уровне новых концепций и новых правил, оказываются не эффективны и мало пригодны в тех случаях, когда надо учитывать всю сложность реальных и нештатных задач.
Основным недостатком нейронных сетей являются трудности в интерпретации результатов, что приводит к снижению ценности полученных результатов работы сети. Обученная НС представляет собой «умный черный ящик», работу которого трудно объяснить обычными средствами. Если говорить о конкретных моделях НС, то недостатком, например, многослойных нейронных сетей являются невозможность
гарантировать наилучшее обучение за конкретный временной интервал. Также трудно реализовать разумный выбор параметров сети, а именно количество скрытых слоев и количество нейронов в этих слоях, и подбор весовых коэффициентов.
Таким образом, учитывая все перечисленные выше недостатки, можно предложить совместное использование данных технологий, некоторую гибридігую модель. Так как сети способны указывать доверительный уровень каждого решения, то сеть «знает, что она не знает» и передает данный случай для разрешения экспертной системе. Решения, принимаемые на этом более высоком уровне, были бы конкретными и логичными, но они могут нуждаться в сборе дополнительных фактов для получения окончательного заключения. Для этого можно добавить различные (известные) методы и алгоритмы связанных с определением информативных признаков. Тем самым, можно построить комбинацию систем, которая была бы более мощной, чем каждая из систем в отдельности.
Цель и задачи исследования. Целью диссертации является решение научной задачи по созданию гибридной нейро-экспертной системы выбора информативного набора сейсмических атрибутов для аппроксимации и прогноза петрофизических параметров. В соответствии с данной целью поставлены следующие задачи-.
S Провести анализ существующих методов определения информативных
признаков объекта; S Провести исследование нейросетевых моделей и методов; S Провести анализ основных подходов и методов в области построения
экспертных и гибридных систем; / Изучить и реализовать методы и алгоритмы анализа структуры многомерных
данных; S Разработать структуру нейронной сети, входными данными которой являются
количественные характеристики объекта; S Определить методы получения знаний из нейронной сети; S Разработать модель взаимодействия нейронной сети и экспертной системы,
включающую в себя априорные знания об объекте; S Создать программное обеспечение; / Провести апробацию модели в производственном процессе, а именно для
выбора информативного набора сейсмических атрибутов.
Теоретическая її информационная база исследования. При проведении исследования были использованы труды отечественных и зарубежный специалистов, внесших огромный вклад в области геофизики, в изучение технологий экспертных систем и нейросетевых подходов.
К трудам в области геофизики, в частности касающихся сейсмических атрибутов, можно отнести работы таких авторов: Танер М., Сидни С, Чен К., Бондарев В.И. и др.
Из трудов посвященных нейросетевым методам были рассмотрены работы следующих авторов: Горбань А.Н., Тархов Д.А., Заенцев И.В., Осовский С, Уоссермен Ф., Свинглер К., Калан P., Bishop С. М. и др.
Среди трудов, связанных с экспертными и гибридными системами, следует выделить работы таких отечественных авторов как: Попов Э.В., Гаврилов А.В., Гаврилова Т.А., Хорошевский В.Ф., Ярушкина Н.Г. Среди зарубежных авторов следует отметить таких как: Джексон П., Стюарт Дж. Рассел, Питер Норвиг, Вильям Силер, Джеймс Дж. Бакли и др.
Из трудов посвященных задачи выбора информативных признаков объекта и различным методам ее решения следует вьщелить работы зарубежных авторов: Piramuthu S., Hyvarinen A., Oja Е., Иберла К., Лоули Д. Среди отечественных авторов следует отметить таких как: Айвазян С.А., Сошникова Л.А., Тамашевич В.Н.
Информационной базой исследования по проблематике настоящей работы являлись ресурсы сети Интернет (публикации и рабочие материалы ученых-исследователей).
Объект и предмет исследования. Объектом исследования является модель гибридной нейро-экспертной системы. Предмет исследования - набор сейсмических атрибутов.
Методологическая основа исследования. Методологическую основу работы составляют современные методы математического анализа, статистического оценивания, теории вероятностей и математической статистики, вычислительные методы, нейросетевые методы, методы искусственного интеллекта и системного программирования.
Научная новизна диссертации состоит в следующем:
Разработан алгоритм определения оптимальной структуры многослойной нейронной сети.
Разработана модель гибридной нейро-экспертной системы для определения информативного набора сейсмических атрибутов.
Разработана методика сравнения эффективности и применимости различных методов определения информативного набора сейсмических атрибутов.
4. Получено решение задачи выбора информативного набора сейсмических
атрибутов с применением многослойной нейронной сети.
Защищаемые положения. На защиту выносятся:
Разработанный алгоритм определения оптимальной структуры многослойной нейронной сети позволяет решать задачу эффективного обучения многослойной нейронной сети.
Разработанная модель гибридной нейро-экспертной системы выбора множества наиболее информативных сейсмических атрибутов обеспечивает решение прогнозных задач при поисках углеводородов.
Предложена технология совместного использования нейросетевых методов и экспертных систем, позволяющая эффективно решать задачи прогнозирования, классификации и регрессии.
Практическая ценность диссертации. Практическая ценность работы заключается в создании программной системы, реализующей предлагаемые в диссертации методы и алгоритмы, и которая повышает эффективность и расширяет интеллектуальные возможности выбора информативного набора сейсмических атрибутов с целью оценки прогнозных параметров коллекторов. Все предлагаемые в диссертации методы и алгоритмы реализованы в программном комплексе SeisProN. На программу SeisProN получено авторское свидетельство.
Полученные результаты, основные выводы и рекомендации приняты к использованию в практической деятельности ОАО «Центральная Геофизическая Экспедиция» в процессе выполнения работ, связанных с обработкой и интерпретацией данных по месторождениям нефти и газа.
Апробация результатов исследования. Основные результаты проводимых исследований, изложенные в работе, докладывались на 3-ей международной конференции и выставки «Геонауки - от новых идей к новым открытиям» (Санкт-Петербург, 2008), 10-й международной научно-практической конференции и выставке «Геомодель-2008» (Геленджик, 2008). По теме диссертации опубликовано 7 работ.
Структура и объем диссертации. Структура настоящей работы отражает логику исследования, которая предопределена взаимосвязью перечисленных выше задач диссертации. Диссертация состоит из введения, четырех глав, заключения и двух приложений. Общий объем диссертации составляет 142 страницы машинописного текста, в том числе 65 рисунков и 22 таблицы. Список литературы включает 127 наименований.
Анализ существующих статистических методов определения информативныхпризнаков
Под факторным анализом понимается совокупность методов, которые на основе реально существующих связей признаков (или объектов) позволяют выявлять обобщающие характеристики организационной структуры и механизма развития изучаемых явлений и процессов (факторы) [3,30,32,46,56,123].
Факторный анализ использует предположение о том, что исходные наблюдаемые переменные (распределенные по нормальному закону) х, могут быть представлены в виде линейной комбинации факторов, также распределенных нормально:
В этой модели присутствуют две категории факторов: общие факторы (common factors) Fk и специфические факторы (unique factors) и,. Фактор называется общим, если он оказывает влияние на две и более наблюдаемые переменные (математически это выражается в наличии как минимум двух существенно отличающихся от нуля коэффициентов а,к для данного фактора Fk). Каждый из специфических факторов и, несет информацию только об одной переменной х,. Матрица а,к называется матрицей факторных нагрузок (factor loadings) и задает влияние общих факторов на наблюдаемые переменные.
Содержательно, специфические факторы соответствуют необъясненной общими факторами изменчивости набора наблюдаемых переменных. Таким образом, их можно рассматривать как случайную ошибку наблюдения или шум, не являющийся ценной информацией для выявления скрытых закономерностей и зависимостей. Важным предположением является независимость и, между собой. Обычно, однако не всегда, общие факторы Fk предполагаются некоррелированными (ортогональными).
Дисперсия элементарных признаков в методах факторного анализа объясняется не в полном объеме, признается, что часть дисперсии остается нераспознанной как характерность. Факторы обычно выделяются последовательно: первый, объясняющий наибольшую долю вариации элементарных признаков, затем второй, объясняющий меньшую, вторую после первого латентного фактора часть дисперсии, третий и т.д. Процесс выделения факторов может быть прерван на любом шаге, если принято решение о достаточности доли объясненной дисперсии элементарных признаков или с учетом интерпретируемости общих (латентных) факторов.
Методы факторного анализа можно разделить на два класса [56]: упрощенные и современные аппроксимирующие. Упрощенные методы в основном связаны с начальными теоретическими разработками (например, однофакторная модель Ч. Спирмена, выделяющая только один генеральный латентный и один характерный факторы, бифакторная модель Г. Хользингера, допускающая влияние двух латентных и одного характерного факторов, и центроидный метод Л. Тэрстоуна). Они имеют ограниченные возможности в выделении латентных факторов и аппроксимации факторных решений. Современные аппроксимирующие методы часто предполагают, что первое приближенное решение уже найдено каким-либо из способов и последующими шагами это решение оптимизируется (групповой метод Л. Гуттмана и П. Хорста, метод главных факторов Г. Томпсона, метод максимального правдоподобия, а-факторного анализа и проч.).
Основной задачей, которую решают разнообразными методами факторного анализа, является сжатие информации, переход от множества значений т элементарных признаков с объемом информации п хт, к ограниченному множеству элементов матрицы факторного отображения (in /) или матрицы значений латентных факторов для каждого наблюдаемого объекта размерностью п г, причем обычно г т.
Методы факторного анализа позволяют также визуализировать структуру изучаемых явлений и процессов, а это значит определять их состояние и прогнозировать развитие.
Факторный анализ часто применяется при решении задач классификации, а также при построении многомерных градуировочных моделей.
Строго говоря, его не относят к факторному анализу, хотя он имеет с ним много общего. Специфическим является, во-первых, то, что в ходе вычислительных процедур одновременно получают все главные компоненты и их число первоначально равно числу элементарных признаков; во-вторых, постулируется возможность полного разложения дисперсии элементарных признаков, то есть её полное объяснение через латентные факторы (обобщённые признаки).
Математическая модель метода главных компонент основывается на логическом допущении, что значения множества взаимосвязанных признаков порождают некоторый общий результат. Она состоит в линейном ортогональном преобразовании входного вектора X размерности N в выходной вектор Y размерности М, N M. При этом компоненты вектора Y являются некоррелированными и общая дисперсия после преобразования остаётся неизменной. Матрица X состоит из всех примеров изображений обучающего набора. Решив уравнение Л = Ф ЕФ , получаетя матрица собственных векторов Ф, S - ковариационная матрица для X, Л — диагональная матрица собственных чисел. Выбрав из Ф подматрицу Фм, соответствующую М наибольшим собственным числам, получим, что преобразование у = ФЛ/х, где Х = Х-Х -нормализованный вектор с нулевым математическим ожиданием, характеризует большую часть общей дисперсии и отражает наиболее существенные изменения X.
Структурная модель нейро-экспертной системы определения информативного набора сейсмических атрибутов
Результаты сейсмических исследований используются для прогноза петрофизических параметров целевых горизонтов. Этот прогноз основан на нахождении количественных и качественных связей между петрофизическими параметрами, определенными по материалам геофизических исследований скважин, и сейсмическими атрибутами, рассчитанными по отражающим и продуктивным горизонтам. Соответственно входными данными для построения прогноза являются набор сейсмических атрибутов, рассчитанных вдоль выделенного горизонта, и значения прогнозируемых петрофизических параметров в скважинах. Этот набор входных данных подается на вход так называемых псевдо-экспертов. Псевдо-эксперш - это некоторый метод (алгоритм) выбора значимых признаков, основанный на рассмотрении поля исследования с различных точек зрения. В предлагаемой системе в качестве псевдоэкспертов выступают статистические знания, реализованные методом главных компонент, методом независимых компонент и методом факторного анализа. Также в роли псевдоэкспертов выступают многослойные нейронные сети. В дальнейшем развитии предложенной системы предполагается вводить новых псевдо-экспертов. Например, генетические алгоритмы [9,54], информационные критерии (в частности, кросс-энтропийные методы [97]), которые позволяют использовать знания об оценке полезной информации и выборе признаков на этой основе, а также методы машин опорных векторов (support vector machines, SVM) и нелинейные трансформации для снижения размерности.
Поскольку, априори неизвестно, какой из методов является оптимальным для выбранной области, необходимо, чтобы каждый из псевдо-экспертов высказал свое мнение, то есть обработал исходные признаки и предложил свой вариант оптимального подмножества признаков {Mi,..., MN} Мнения различных псевдо-экспертов изначально считаются равноправными. Для усиления мнений различных псевдо-экспертов при получении совпадающих признаков предложена следующая рейтинговая система. Чем больше псевдо-экспертов предложили конкретный признак, тем больший вес присваивается такому признаку рейтинговой системой. Такой взвешенный и обобщенный набор признаков {Ма} отражает мнение всех выбранных псевдо-экспертов и может быть передан на вход специальной нейронной сети для поиска оптимального решения с учетом заранее подготовленной обучающей выборки. На выходе нейронной сети будет получен набор признаков {Мої}, учитывающий и мнения псевдо-экспертов и выбор нейронной сети.
Наряду с этим должен быть рассмотрен набор признаков {Мо2}, предложенный независимым экспертом в выбранной области знаний. Далее экспертная система формирует окончательный набор признаков, который будет использоваться для прогноза петрофизических параметров, а также выдает рекомендации по каждому методу в отдельности.
При таком подходе модель системы (рис. 2.2) остается открытой и дает возможность подключать новые методы, то есть псевдо-экспертов. Такой подход имитирует следующую двухшаговую методику решения задач выбора: сначала расширить пространство поиска, а потом произвести отбор.
В общем виде структура экспертной системы представлена на рисунке 2.4. В состав экспертной системы входят следующие компоненты [43]:
Модуль извлечения знаний. Его основное, назначение - предоставление экспертных знаний, их структурирование в виде пригодном для использования в компьютерной системе. В задачу модуля входит приведение правила к виду, позволяющему применить это правило в процессе работы.
База знаний — ядро ЭС, совокупность знаний предметной области, записанная на машинный носитель в форме, понятной эксперту и пользователю. Хранит знания в виде продукционной модели. Механизм вывода — общие знания о процессе нахождения решения. Механизм вывода выполняет две основные функции: 1. Дополнение, изменение БЗ на основе анализа БЗ и исходной информации; 2. Управление порядком обработки правил в БЗ. Механизм логического вывода функционирует циклически. Каждый цикл начинается с последовательного просмотра всех правил и сопоставления их условных частей с исходными данными и фактами в БЗ. Если возникает несколько правил, у которых условные части и факты совпадают, то возникает конфликтное множество правил. На основе каких-либо критериев выбирается одно правило, которое считается сработавшим, и выполняется действие. Модуль объяснения решений - программа, моделирующая ход рассуждений на основании знаний, имеющихся в БЗ. Она предназначена для показа пользователю всего процесса рассуждений, в результате которого было найдено или не найдено решение. Интеллектуальный редактор БЗ — программа, дающая возможность создавать (вносить изменения) БЗ в диалоговом режиме. Интерфейс пользователя — комплекс программ, реализующий диалог пользователя с экспертной системой как на стадии ввода информации, так и при получении результатов. Блок сохранения результатов — предназначен для сохранения полученных результатов для последующей их передачи в другие программные комплексы. Эксперт - Специалист, который определяет знания (данные и правила), характеризующие предметную область, обеспечивает полноту и правильность введенных в ЭС знаний.
Выбор языков программирования и инструментальных средств разработки
Проанализировав все требования выдвинутые в предыдущем разделе и учитывая, что программный комплекс SeisProN реализован с помощью языков программирования C++ и Python, будем использовать для реализации данной системы именно эти языки программирования. В качестве основного языка программирования выбран язык Python. Это выбор обусловлен тем, что Python - это объектно-ориентированный, интерпретируемый, переносимый язык сверхвысокого уровня. Python, в отличие, например от Java, не требует исключительной объектной ориентированности (где все принадлежит классам). Однако классы в языке настолько просты, что изучить их может даже неискушенный пользователь [4]. Правильную работу программы осуществляет гибкая система перехвата ошибок. Встроенные механизмы позволяют опрашивать интерфейсы объектов во время выполнения программы. К примеру, можно узнать количество и параметры функции во время выполнения программы. Из современных языков программирования Python можно сравнить с Java и Perl. Python так же хорошо переносим, как и эти языки. Существует реализация как для основных платформ — UNIX, Linux, Windows, так и для менее распространенных — Mac, Amiga, Palm, RiscOS, AS/400. Следующая немаловажная черта - расширяемость языка, этому придается большое значение. Это означает, что имеется возможность совершенствования языка всеми заинтересованными программистами.
Интерпретатор написан на С и исходный код доступен для любых манипуляций. В случае необходимости, можно вставить его в свою программу и использовать как встроенную оболочку. Или же, написав на С свои дополнения к Python и скомпилировав программу, получить "расширенный" интерпретатор с новыми возможностями. Следующее достоинство - наличие большого числа подключаемых к программе модулей, обеспечивающих различные дополнительные возможности [68]. Такие модули пишутся на С и на самом Python и могут быть разработаны всеми достаточно квалифицированными программистами. В качестве примера можно привести следующие модули: Numerical Python - расширенные математические возможности, такие как манипуляции с целыми векторами и матрицами [69,90]; Tkinter - построение приложений с использованием графического пользовательского интерфейса на основе широко распространенного на X-Windows Tk-интерфейса [108,112]; OpenGL - использование обширной библиотеки графического моделирования двух- и трехмерных объектов. Интерпретатор Python и большая стандартная библиотека доступны бесплатно в виде исходных и исполняемых кодов для всех основных платформ и могут свободно распространяться. Подводя итог, можно считать, что Python - это целая технология для создания программных продуктов (и их прототипов). Она доступна почти на всех современных платформах (как 32-битных, так и на 64-битных) с компилятором С и на платформе Java. Единственным недостатком языка Python является сравнительно невысокая скорость выполнения Python-программы, что обусловлено ее интерпретируемостью. В связи с этим, алгоритмы, которые требовали больших объемов вычислений были реализованы на языке программирования C++ с использованием среды wxDev-C++. Для разработки экспертной системы было выбрано инструментальное средство CLIPS - язык С, итерированный с продукционными системами. CLIPS является одним из распространенных инструментальных средств разработки экспертных систем. Выбор CLIPS обусловлен двумя причинами: во-первых, эта ЭС, разработанная NASA, доказала свою эффективность и свободно распространяется через Internet; во-вторых, реализация CLIPS на языке C++ (принципиальное отличие данной системы от аналогов) позволяет переносить конкретные ЭС на различные типы операционных систем [84]. CLIPS представляет собой логически полную среду, содержащую встроенный редактор и средства отладки. CLIPS использует продукционную модель представления знаний и поэтому содержит три основных элемента: 1. Список фактов 2. Базу знаний 3. Блок вывода В CLIPS используется оригинальный LIPS-подобный язык программирования, ориентированный на разработку ЭС. Кроме того, CLIPS поддерживает еще две парадигмы программирования: объектно-ориентированную и процедурную. Веб-ориентированные средства на базе Java (системы Exsys Corvid, JESS) являются более медленными, чем, например, CLIPS или OPS-2000. Поэтому CLIPS - лучший на сегодня выбор для работы среди свободно распространяемых оболочек ЭС. Выбор инструментальных средств разработки осуществлен еще по одной причине: эти языки программирования могут легко взаимодействовать между собой (рис. 3.1). Языки Python и C++ взаимодействуют посредством инструмента SWIG [72,73,127]. SWIG — свободный инструмент для связи программ и библиотек написанных на C/C++ со скриптовыми языками, такими как Python, Perl и другие.
Основная цель - достигнуть связи с минимальными усилиями: в файлы заголовка программы добавляется небольшое количество указаний, по которым SWIG генерирует исходный код для склеивания C/C++ и Python. Преобразования данных между C++ и Python осуществляется с помощью двух функций: Языки Python и CLIPS взаимодействуют посредством модуля PyCLIPS [84,126]. Этот модуль позволяет создать функциональные возможности CLIPS в среде Python, таким образом, обеспечивая доступ к экспертной системе с точки зрения программы. PyCLIPS также способен генерировать текст и бинарные файлы из CLIPS: это дает пользователю возможность взаимодействовать с системой CLIPS. Важно знать, что PyCLIPS воспринимает CLIPS как отдельное средство: модуль в CLIPS "живет" в своем собственном пространстве памяти, выделяет свои собственные объекты. PyCLIPS обеспечивает лишь способ отправки информации и команд для CLIPS и получает результаты от него. PyCLIPS организован как пакет с классами и функциями. Модуль позволяет давать доступ к некоторым внутренним функциям и структурам CLIPS.
Результаты применения статистических методов для определения информативного набора сейсмических атрибутов
В рамках представленной выше модели системы многослойные нейронные сети будут использоваться в трех случаях: 1. В качестве псевдо-эксперта. Для оценки значимости сейсмических атрибутов. 2. В качестве метода для поиска набора информативных сейсмических атрибутов с учетом мнения выбранных псевдо-экспертов и получения знаний для экспертной системы по использованию того или иного псевдо-эксперта в данном случае. 3. В качестве метода для получения окончательного прогноза петрофизических параметров (например, эффективная мощность) [52]. Т.е. для расчета карт (кубов) прогнозных параметров.
Архитектура многослойной нейронной сети (рис. 2.6) состоит из последовательно соединённых слоев, где нейрон каждого слоя своими входами связан со всеми нейронами предьщущего слоя, а выходами - следующего [31,47,57,116]. Первый слой называется сенсорным или входным, внутренние слои называются скрытыми или ассоциативными, последний - выходным или результативным. Количество нейронов и слоев может быть произвольным и нет строго определенной процедуры для выбора их количества в сети. Чем больше количество нейронов и слоев, тем шире возможности сети, но тем медленнее она обучается и работает, и тем более нелинейной может быть зависимость вход-выход. Количество нейронов в сети связанно со сложностью задачи, с количеством данных для обучения, с требуемым количеством входов и выходов сети, с имеющимися ресурсами: памятью и быстродействием машины, на которой моделируется сеть.
Каждых слой рассчитывает нелинейное преобразование от линейной комбинации сигналов предыдущего слоя. Из этого следует, что линейная функция активации может применяться только для тех моделей сетей, где не требуется последовательное соединение слоев друг за другом. Для многослойных сетей функция активации должна быть нелинейной, иначе можно построить эквивалентную однослойную сеть, и многослойность оказывается ненужной.
Многослойная сеть может формировать на выходе произвольную многомерную функцию при соответствующем выборе количества слоев, диапазона изменения сигналов и параметров нейронов. Как и ряды, многослойные сети оказываются универсальным инструментом аппроксимаций функций.
Многослойные нейронные сети перед использованием должны быть обучены. Они обучаются как с помощью алгоритмов с учителем, так и без. Если обучение происходит с помощью алгоритма с учителем, то в процессе обучения сеть меняет свои параметры и учится давать нужное отображение X— Y. Сеть учится давать результаты, которые нам
уже известны. Если обучение происходит с помощью алгоритма без учителя (известны только входные вектора), то на их основе сеть учится давать наилучшие значения выходов. Что понимается под «наилучшими» - определяется алгоритмом обучения и решаемой задачей.
Для обучения многослойных нейронный сетей реализован алгоритм обратного распространение ошибки [31,35,57], который в свою очередь является методом градиентного спуска в пространстве весов с целью минимизации суммарной ошибки выходов сети и корректировки значений весовых коэффициентов.
Алгоритм обратного распространения определяет два потока в сети: прямой поток от входного слоя к выходному и обратный поток - от выходного слоя к входному. Прямой поток продвигает входные вектора через сеть, в результате чего в выходном слое получаются выходные значения сети. Обратный поток подобен прямому, но он продвигает назад по сети значения ошибок, в результате чего определяются величины, в соответствии с которыми следует корректировать весовые коэффициенты в процессе обучения.
В реализации данного алгоритма каждый слой (кроме выходного) был наделен обучаемым смещением. Это позволяет сдвигать начало отсчета логистической функции, что приводит к ускорению процесса обучения. Эта возможность может быть легко введена в обучающий алгоритм с помощью добавляемого к каждому слою нейрона, значение которого всегда равно +1 и связан он весовыми коэффициентами только с нейронами следующего слоя, кроме такого же смещения в этом следующем слое.
В общем виде алгоритм обучения MLP по методу обратного распространения ошибки выглядит следующим образом: вектор выходных значений сети каждого образца, - вектор целевых значений. Рассмотренный алгоритм имеет несколько проблем. Во-первых, в процессе обучения может возникнуть ситуация, когда большие положительные или отрицательные значения весовых коэффициентов сместят рабочую точку на сигмоидах многих нейронов в область насыщения. Малые величины производной от логистической функции приведут к остановке обучения, что парализует нейронную сеть. Во-вторых, применение данного алгоритма метода градиентного спуска не гарантирует, что будет найден глобальный, а не локальный минимум целевой функции. Доказательство сходимости обучения в процессе обратного распространения основано на производных, то есть приращения весов и, следовательно, скорость обучения должна быть бесконечно малым, однако в этом случае обучение будет происходить неприемлемо медленно. С другой стороны, слишком большие коррекции весов могут привести к постоянной неустойчивости процесса обучения.
Эти проблемы связаны с выбором величины нормы обучения т]. Поэтому для решения этих проблем в качестве rj выбирается число меньше 1, но не очень маленькое, и оно постепенно уменьшается в процессе обучения. Кроме того, для исключения случайных попаданий в локальные минимумы, после того как значения весовых коэффициентов стабилизируются, г/ кратковременно сильно увеличивается, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приводит алгоритм в одно и то же состояние нейронной сети, можно более или менее уверенно сказать, что найден глобальный максимум, а не какой-то другой.
