Содержание к диссертации
Введение
1. Методы и алгоритмы создания моделей сложных систем в условиях неполных данных 16
1.1. Проблема формализации сложных систем 17
1.2. Основные подходы к исследованию сложных систем в условиях неопределенности 21
1.3. Модели временных рядов, цели и методы их анализа 26
1.3.1. Виды моделей временных рядов 27
1.3.2. Модели трендов и сглаживание 33
1.3.3. Адаптивные методы прогнозирования временных рядов . 40
1.4. Обработка нестационарных ВР 43
1.4.1. Анализ на нестационарность 45
1.4.2. Проверка гипотезы о стационарности случайной составляющей 48
1.5. Концепция адаптивной реконструкции моделей сложных систем 51
Выводы к главе 1 59
2. Реконструкция сложных систем на основе методов нелинейной динамики 60
2.1. Постановка задачи реконструкции систем по экспериментальным данным 60
2.1.1. Реконструкция аттрактора 64
2.1.2. Определение размерности вложения 69
2.2. Построение модели исследуемой системы 73
2.3. Анализ алгоритмов реконструкции ДС 77
Выводы к главе 2 90
3. Разработка модельных уравнений систем с учетом принципов их функционирования 91
3.1. Разработка модельных уравнений слолшых систем, работающих в периодическом режиме 91
3.1.1. Аппроксимация нелинейной функции модельного уравнения на основе априорной информации 95
3.1.2. Нейросетевая аппроксимация нелинейной функции модельного уравнения 98
3.2. Разработка модельных уравнений систем на основе волнового описания регистрируемых сигналов 100
3.2.1. Волновое описание сигнала 101
3.2.2. Разработка модельных уравнений ... 106
3.2.3. Модели состояния для сигналов волновой структуры 109
3.2.4. Анализ полученных результатов 112
3.3. Пример разработки модельного уравнения пульсового механизма 117
Выводы к главе 3 121
4. Нейросетевая реконструкция систем 122
4.1. Особенности нейросетевой обработки данных и практического использования ИНС 123
4.2. Проблемы обучения сети 126
4.3. Постановка задачи реконструкции на нейронных сетях 130
4.4. Анализ реконструкции систем на нейронных сетях 138
4.5. Пример нейросетевой реконструкции 144
Выводы к главе 4 150
5. Разработка принципов и алгоритмов оценок адекватности и избыточности реконструированных моделей 151
5.1. Постановка задачи определения областей адекватности 152
5.2. Виды аппроксимированных областей адекватности 154
5.3. Оценка избыточности моделей по формам Пфаффа 162
5.4. Разработка критерия адекватности моделей при моделировании на нейросетях 167
5.4.1. Энтропия - мера относительной упорядоченности систем . 168
5.4.2. Энтропийный критерий адекватности моделей 170
Выводы к главе 5 173
6. Методы реконструкции в задачах прогнозирования и медицинской диагностики 174
6.1. Анализ задач прогнозирования и медицинской диагностики . 175
6.1.1. Обзор существующих методов прогнозирования в медицине 175
6.1.2. Примеры нейросетевого прогнозирования и идентификации в медицине 177
6.1.3. Разработка подходов к нейросетевой идентификации пульсограмм 181
6.2. Выявление групп риска и прогнозирование с помощью нейронных сетей 191
6.2.1. Выбор архитектуры классифицирующей нейросети 197
6.2.2. Разработка алгоритмов обучения сети 198
6.2.3. Расчет выходных значений сети 201
6.2.4. Описание разработанной информационно-аналитической системы прогнозирования развития язвенной болезни 202
6.3. Принципы построения и возможности разработанной медицинской системы мониторинга здоровья и выявления групп >". риска «Медицинская система БАРС» 204
6.3.1. Описание базы данных БАРС 206
6.3.2. Алгоритмы предварительной обработки сигналов 209
6.3.3. Возможности системы 215
Выводы к главе 6 224
7. Применение разработанных методов, моделей и алгоритмов для оценки состояния промышленных предприятий 225
7,1. Необходимость аналитической обработки производственной информации 226
7.2. Роль и функции промышленных информационно-аналитических систем 231
7.3. Разработка информационно-аналитической системы управления снабжением и производством ТОиИ 231
7.3.1. Принципы построения и возмоншости информационно-аналитической системы 234
7.3.2. Разработка алгоритмов нейросетевой реконструкции в инструментальном производстве 237
7.3.2.1. Прогноз загрузки оборудования 239
7.3.2.2. Прогноз брака и потребления энергии 242
7.3.2.3. Прогноз потребности материалов 245
7.3.3. Реализация в системе японских «семи инструментов
качества» 251
7.3.4. Программная реализация системы 255
Выводы к главе 7 263
Заключение 264
Список использованных источников
- Основные подходы к исследованию сложных систем в условиях неопределенности
- Определение размерности вложения
- Нейросетевая аппроксимация нелинейной функции модельного уравнения
- Постановка задачи реконструкции на нейронных сетях
Введение к работе
Важной задачей при решении проблем в различных областях науки является математическая формализация объекта или системы. Наличие адекватной модели расширяет возможности изучения реальных процессов и явлений, позволяет реализовать эффективное управление системой любой природы. Поэтому проблема разработки адекватных моделей всегда была междисциплинарной и актуальной.
Исследование сложных систем имеет свои особенности. Следует подчеркнуть, что само понятие «сложная система» в настоящее время недостаточно формализовано, предлагаются различные подходы к классификации сложных систем. В последнее время наиболее часто используется классификация по уровням сложности, введенная К. Боулингом.
В настоящее время разработан математический аппарат моделирования весьма сложных технических систем, на их основе созданы и широко используются в промышленности системы автоматизированного проектирования (И.П. Норенков, В.Б. Маничев, Б.В. Баталов, В.Н. Ильин, Г.Г. Казеннов, А.И. Петренко и др.). При этом следует отметить, что хотя моделируемые сложные системы состоят из большого числа связанных элементов, они допускают декомпозицию на простые составляющие, модели которых известны. В соответствии с классификацией К. Боулинга, эти системы имеют уровень сложности не выше третьего.
Для систем, сложность которых обусловливается нс количеством известных элементов с детерминированными связями, а невозможностью их декомпозиции, не удается использовать известные автоматизированные методы при построении моделей. Поэтому в классической теории моделирования систем при исследовании объектов неизвестной структуры используется метод «черного ящика», когда модель строят, зная реакцию на известные входные воздействия. Однако такой метод позволяет создавать макромодели только тех объектов, которые допускают проведение экспериментов.
В настоящее время разрабатываются подходы к формализации систем четвертого уровня сложности. Для этих систем характерны эволюционное развитие, синергизм действия, доступность только по результатам косвенных измерений и наблюдений. Принципиальным отличием систем этого уровня сложности является невозможность нахождения для них строгого математического описания на базе известных законов физики, химии, биологии и других естественных наук.
Особенности, присущие системам этого уровня сложности, требуют использования других подходов к их формализации. Эти подходы должны позволять строить модели в условиях неполных данных, отражать поведенческие особенности системы, учитывать цели исследования систем, определять соответствующие критерии адекватности описания основных характеристик системы.
В случае, когда детальные сведения о сложной системе отсутствуют или их явно недостаточно для создания модели, возникает проблема ее разработки (реконструкции) на основе неполной информации о внутренней динамике. Зачастую единственная информация о сложной системе содержится лишь в регистрируемых сигналах.
Поэтому одним из основных методов исследования сложных систем был и остается анализ временных рядов. В классическом представлении метод позволяет определить статистические характеристики и построить модели неизвестных процессов. При этом в качестве исходной информации используется временной ряд, отражающий динамику доступных для измерения фазовых переменных. Исследованиям в области анализа временных рядов посвящено много публикаций отечественных и зарубежных ученых (Т. Андерсон, Дж. Бокс, Г. Дженкинс, Х.Д. Льюис, 3. Брандт, Н. Джонсон, Ф. Лион, Дж. Бендат, А. Пирсол, В.Я. Катковник, А.В. Катычев, Ю.П. Лукашин, Л.Н. Ковалева, Ю.В. Сажин, Ю.В. Сарайкин, К.М. Четыркин и др.). Однако существующие методы анализа временных рядов позволяют прогнозировать изменение только регистрируемых фазовых переменных и не позволяют получить формализованное описание свойств самой системы.
Поэтому более предпочтительным для создания моделей сложных систем при наличии априорно неполных данных является использование принципов информационного кибернетического моделирования (Н. Винер, А.Н. Горбань, В.Л. Заковоротный, Д.А. Россиев, Ю.Н. Минаев и др.). В противоположность аналитическому подходу, при котором моделируется внутренняя структура системы на основе полных данных об ее динамике, информационная модель имитирует поведенческие особенности сложной системы. Функционирование системы в рамках такой модели описывается чисто информационно, на основе данных измерений или наблюдений над реальной системой.
В настоящее время такие информационные модели создаются методами реконструкции, развиваемыми в нелинейной динамике. Последние достижения в этой области сформировали концептуальную основу для понимания базовых принципов функционирования сложных систем. Теоретическое обоснование получили методы реконструкции систем в виде универсальных моделей заданной структуры. Такие методы и алгоритмы в достаточной степени освещены в отечественных и зарубежных источниках (B.C. Анищенко, Т.Е. Вадивасова, В.В. Астахов, А.Н. Павлов, Б.П. Безручко, Г.Г. Малинецкий, А.Б. Потапов, СП. Курдюмов, О.Л. Аносов, О.Я. Бутковский, Д.А. Грибков, В.В. Грибкова, Ю.Л. Кравцов, Ю.И. Кузнецов, А.Г. Ржанов, М. CasdagH, J.F. Gibson, J.P Crutchfield, J.D. Farmer, A.M. Fraser, F. Takens, N.H. Packard, H.L. Swinney и др.).
Вместе с тем стало очевидно, что предложенные и теоретически обоснованные универсальные методы реконструкции сложных систем в практическом плане оказались недостаточными. Основной проблемой является отсутствие механизма математической формализации исходной информации о системе. Поэтому требуется разработка альтернативных подходов к реконструкции сложных систем, учитывающих характер функционирования систем или особенности структуры регистрируемых сигналов.
Особое место занимает класс систем, функционирующих в режиме предельного цикла, поскольку такие системы наиболее часто встречаются в различных областях (в технике, медицине, экономике). Исходя из принципов синергетики, переменные, характеризующие подобные сложные системы, можно разделить на две группы: параметры порядка, определяющие динамику системы, и подчиненные моды. Информация об этих переменных содержится как в регистрируемых сигналах, так и в априорных сведениях о структуре системы.
Эффективным методом создания адаптивных моделей с учетом целей исследования систем является применение нейросетевых технологий. Созданию новых архитектур и алгоритмов обучения нейронных сетей способствовали работы зарубежных ученых: W.S. McCulloch, W.H. Pitts, D. Hebb, К. Fukushima, R. Hecht-Nielsen, J. Hopfield, D. Tank, D. Goldberg, T. Kohonen, B. Kosko, F. Rosenblatt, S. Osowski, M. Minsky, S. Papert. Большой вклад в развитие теории и практики нейронных сетей внесли отечественные ученые А.И. Галушкин, В.А. Головко, А.Н. Горбань, В.Л. Дунин-Барковский, В.В. Круглов, Л.Г Комарцова, Ю.Г. Антомонов, А.В. Максимов и ряд других известных ученых.
Повышенный интерес к искусственным нейронным сетям объясняется их способностью относительно легко адаптироваться к задачам в различных отраслях знаний. Они позволяют работать с неполной информацией и выявлять скрытые взаимосвязи между исследуемыми переменными. Однако общая методология решения практических задач с помощью нейросетевых технологий находится в процессе становления. Перспективным направлением создания информационных моделей сложных систем является их реконструкция на нейронных сетях.
Кроме того, методы и алгоритмы адаптивной реконструкции необходимо реализовать в информационной системе, в которой происходят сбор, хранение и обработка данных, полученных по результатам наблюдений или измерений. Особенностью такой системы должно быть использование алгоритмов дообучения и настройки нейросетей по мере получения дополнительной информации.
Целью диссертационной работы является решение важной научно-технической проблемы - разработка методологии адаптивной реконструкции моделей сложных систем с учетом принципов синергетики и создание на ее основе новых методов и алгоритмов получения информационных моделей, позволяющих осуществлять идентификацию, диагностику и прогнозирование исследуемых систем.
Достижение поставленной цели подразумевает решение следующих основных задач:
1. Анализ методов и алгоритмов реконструкции моделей сложных систем по неполной информации об их внутренней динамике, в том числе по регистрируемым временным рядам, с целью их практического применения для решения прикладных задач.
2. Разработка метода и алгоритма адаптивной реконструкции модельных уравнений, учитывающих особенности функционирования сложных систем.
3. Разработка метода реконструкции на нейронных сетях, позволяющего получить адаптивную модель сложной системы для выявления скрытых взаимосвязей и закономерностей.
4. Разработка методов и алгоритмов для оценки адекватности и избыточности реконструированных моделей. 5. Разработка программного обеспечения для реализации адаптивных методов и алгоритмов реконструкции моделей сложных систем в информационно-аналитических комплексах.
6. Разработка методики для решения практических задач по моделированию и прогнозированию состояния сложных систем по неполной или косвенной информации об их свойствах.
Научная новизна работы:
1. Впервые выполнена классификация задач реконструкции моделей сложных систем, сформулированы признаки классификации. Предложены структуры моделей для каждого класса задач. Поставлена и решена задача адаптивной реконструкции на основе неполной информации о внутренней динамике систем, которая получена по результатам наблюдений или измерений, с учетом фундаментальных принципов синергетики.
2. Впервые разработан метод и алгоритм реконструкции модельных уравнений сложных систем, функционирующих в режиме предельного цикла. Алгоритм отличается учетом априорной и текущей информации о свойствах системы и позволяет на основе волнового описания регистрируемых сигналов формировать адаптивную модель. Доказана эффективность метода при реконструкции моделей биосистем по регистрируемым биосигналам.
3. Теоретически обоснован метод нейросетевой реконструкции для систем четвертого уровня сложности, разработаны критерии по выбору архитектуры сети и алгоритмов обучения для задач реконструкции. Разработанный алгоритм нейросетевой реконструкции на динамических нейронных сетях позволяет строить адаптивную модельную систему, выявляющую скрытые взаимосвязи между параметрами. Показано, что нейросетевая реконструкция более эффективна в задачах распознавания образов, диагностики и прогнозирования, чем методы реконструкции, развиваемые в нелинейной динамике.
4. Разработаны оригинальные алгоритмы оценки адекватности и избыточности реконструированных моделей. В отличие от известных, предложенные алгоритмы позволяют оценить адекватность моделей при нейросетевой реконструкции и устранить их избыточность при волновом описании сигналов.
5. Разработана методика решения прикладных задач исследования биологических и производственных систем на основе реконструированных моделей, проведены анализ предложенных методов и алгоритмов адаптивной реконструкции.
6. Создана медицинская информационно-аналитическая система, в которой реализованы разработанные методы адаптивной реконструкции информационных моделей состояния организма человека. Особенностью системы является выявление скрытых взаимосвязей и закономерностей при нейросетевом анализе данных с целью мониторинга здоровья и выявления групп риска.
7. Разработана информационно-управляющая система для инструментального производства. Исследованы возможности адаптивной реконструкции его моделей при решении задач нейросетевого прогнозирования по накопленной в базе данных производственной информации.
Практическая значимость работы заключается в расширении возможностей и повышении эффективности процесса реконструкции моделей сложных систем на основе его адаптации к структурным особенностям систем или регистрируемых сигналов:
1) разработанная концепция и созданная на ее базе методология адаптивной реконструкции позволяют создавать информационные модели сложных систем различной физической природы;
2) на основе разработанных в диссертации методов, моделей и алгоритмов адаптивной реконструкции созданы программные комплексы, предназначенные для решения задач прогнозирования, идентификации, диагностики слолшых систем, демонстрирующих коллективное поведение (биологических и производственных);
3) показано, что реализация методов адаптивной реконструкции моделей в информационно-аналитических комплексах позволяет выявлять скрытые закономерности и взаимосвязи меледу данными и повышает достоверность прогнозов;
4) диссертационные исследования связаны с выполнением по заданию Министерства образования и науки Российской Федерации следующих НИР, в которых автор была ответственным исполнителем: «Разработка теоретических основ построения робастных автоматизированных систем» (1996 г.), «Разработка теоретических основ построения интеллектуальных информационно-измерительных систем» (1997 г.), «Интеллектуальные технологии диагностики и анализа сложных систем» (2001 г.), «Разработка теории идентификации сложных систем естественного происхождения» (2002 г.), «Исследование принципов идентификации функциональных взаимосвязей сложных биосистем» (2003 г.), «Разработка и исследование нейросетевых методов идентификации с целью диагностики сложных систем (в медицине)» (2004 г.);
5) разработанные методы и алгоритмы применялись в двух хоздоговорах с ОАО «Саратовский подшипниковый завод»:
- «Разработка новой технологии интеллектуальной обработки информации для системы управления снаблсением и производством технологической оснастки и инструмента» (2001-2002 гг.);
- «Разработка новой технологии идентификации состояния, прогнозирования отказов и управления шлифовальным оборудованием и ее реализация на станке модели SWaAGL-50» (2002-2004 гг.);
6) разработанная информационно-аналитическая система используется в медицинской практике в Медицинском отделе ГУВД Саратовской области и на кафедре внутренних болезней и интернатуры Саратовского государственного медицинского университета для прогноза заболеваний и планирования оздоровительных мероприятий, а также для проведения социально - гигиенического мониторинга, так как позволяет оперативно анализировать взаимодействия различных биопараметров;
7) материалы диссертации внедрены в учебный процесс и используются в курсах «Интегрированные системы», «Разработка программно-методических комплексов автоматизированных систем», «Интеллектуальные системы», «Технологии и алгоритмы анализа данных», «Информационные системы», читаемых студентам факультета электронной техники и приборостроения Саратовского государственного технического университета и студентам специальности «Прикладная информатика (в управлении)» Поволжской академии государственной службы имени П.А. Столыпина.
Иа защиту выносятся:
1. Концепция адаптивной реконструкции информационных моделей сложных систем по неполным данным об их внутренней динамике, основанная на принципах синергетики.
2. Методология адаптивной реконструкции сложных систем, которая базируется на положении о масштабной инвариантности процессов и использует базовые модельные уравнения.
3. Метод адаптивной реконструкции моделей сложных систем, функционирующих в режиме предельного цикла, на основе синергетических принципов подчиненности и ведущей роли параметров порядка; подходы к построению модельных уравнений, использующие априорную информацию о структуре исходной системы либо о структуре регистрируемого сигнала; алгоритм на основе волнового описания регистрируемых сигналов, который позволяет реконструировать модели, учитывающие особенности нестационарных систем, функционирующих в квазипериодическом режиме. 4. Метод нейросетевой реконструкции сложных систем на основе базовых моделей нейронных сетей, критерии выбора архитектуры сети и алгоритмов обучения, позволяющие эффективно решать задачи прогнозирования состояния и развития сложных систем по неполной информации о свойствах системы на основе выявления скрытых взаимосвязей между данными.
5. Разработанные критерии и алгоритмы оценки адекватности реконструированных моделей, реализующие многокритериальную параметрическую оптимизацию допусков на выходные параметры и позволяющие строить аппроксимированные области адекватности в виде гиперфигур - гиперпараллелепипеда или гиперсферы; критерий адекватности нейросетевых моделей на основе энтропийного показателя относительной упорядоченности реальной и модельной систем; критерий оценки избыточности моделей при волновом описании регистрируемых сигналов по интегральным формам Пфаффа.
6. Разработанный медицинский информационно-аналитический комплекс, реализующий предложенные методы и алгоритмы и позволяющий на основе выявления скрытых взаимосвязей и закономерностей протекания биопроцессов прогнозировать состояние и развитие систем по регистрируемым биосигналам или косвенной информации о свойствах биосистемы.
7. Разработанная информационно-управляющая система, реализующая предложенные методы и алгоритмы и позволяющая решать задачи нейросетевого прогнозирования в инструментальном производстве на основе выявления скрытых функциональных связей параметров и производственных факторов, учета кластеров, периодической составляющей временных рядов.
Структура и объем диссертации. Диссертация состоит из введения, семи глав, заключения, списка использованной литературы и приложения. Работа изложена на 294 страницах машинописного текста, содержит 63 рисунка и 9 таблиц, список литературы включает 243 наименования.
Основные подходы к исследованию сложных систем в условиях неопределенности
Пусть X - вектор, компоненты которого соответствуют количественным свойствам системы S, О - вектор количественных свойств внешних воздействий. Отклик системы может быть описан некоторой (неизвестной) вектор-функцией F\ Y — F(X, Q), где Y - вектор отклика. Задачей моделирования является идентификация системы, которая состоит в определении существования функционального отношения, алгоритма или системы правил в общей форме Z — G(X, О), которая ассоциирует (связывает) каждую пару векторов (X, О) с вектором ZTaKHM образом, что Z и Y близки в некоторой метрике, отражающей цели моделирования. Отношение Z — G(X, Q), воспроизводящее в указанном смысле функционирование системы 5 , называют информационной моделью системы S.
При разработке информационных моделей важным является выбор информационного базиса. В работах [61, 114] в качестве такого базиса предлагается использовать искусственные нейронные сети. В работах [6, 7] такие модели строят на основе временного ряда, регистрируемого в процессе наблюдений за системой.
При моделировании реальных сложных систем значения системной функции F получаются на основе экспериментов или наблюдений, которые проводятся лишь для конечного числа параметров X. При этом значения как Y, так и X измеряются приближенно, и подвержены ошибкам различной природы (т.н. «мягкие вычисления»). Целью моделирования является получение значений системных откликов при произвольном изменении X.
В этой ситуации в условиях определенности (например, статистической) может быть успешно применена информационная (статистическая) модель G исследуемой системы S. Такие информационные модели могут строиться на основе традиционных методов непараметрической статистики [135, 153]. Эта наука позволяет строить обоснованные модели систем в случае большого набора экспериментальных данных (достаточного для доказательства статистических гипотез о характере распределения) и при относительно равномерном их распределении в пространстве параметров. Однако при высокой стоимости экспериментальных данных, или невозможности получения достаточного их количества, их высокой зашумленности, неполноте и противоречивости такие модели являются неработоспособными [102].
В работах [61, 71, 92] показано, что в таких условиях более предпочтительными оказываются нейронные модели. Нейронная сеть оказывается избирательно чувствительной в областях скопления данных, и дает гладкую интерполяцию в остальных областях.
Отметим, что информационные модели по своей природе всегда являются неполными. Отличия в поведении системы и ее информационной модели возникают вследствие свойств экспериментальных данных, в которых всегда присутствуют ошибки разной природы, шумы, а также противоречия отдельных измерений друг другу. Кроме того, зачастую объем экспериментальных данных является неполным для построения модели системы. Экспериментальные данные могут содержать пропущенные значения (например, вследствие потери информации, отказа измеряющих датчиков, невозможности проведения полного набора анализов и т.п.).
Поэтому при информационном подходе в случае неполных данных о системе S ее модель G не может быть целиком построена на явных правилах и формальных законах. Процесс получения G по имеющимся отрывочным экспериментальным сведениям о системе S может рассматриваться как обучение модели G обращению S в соответствии с заданным критерием = G-S настолько близко, насколько возможно. Алгоритмы обучения означают подстройку (адаптацию) внутренних параметров модели (в случае применения нейронных сетей - весов синаптических связей) с целью минимизации ошибки модели. Оценка ошибки производится в соответствии с выражением я = 1М-:ИІ, где суммирование по х є X проводится по некоторому конечному набору значений параметров X, который называется обучающей выборкой.
Рассматривают ошибку обучения модели с помощью обучающей выборки и ошибку обобщения модели, оцениваемую по множеству примеров из тестовой выборки [114]. Основной целью при построении информационной модели является уменьшение именно ошибки обобщения, поскольку малая ошибка обучения гарантирует адекватность модели лишь в заранее выбранных точках. Поэтому ошибка обобщения определяет предсказательные (прогнозные) свойства модели.
Для моделирования (идентификации) сложных систем в условиях неопределенности традиционно используют ряды Вольтерра [153]. В теории математического моделирования нелинейных динамических систем известен универсальный аппарат функциональных рядов
Определение размерности вложения
Размерность пространства вложения п определяется на основании формулы Манэ (2.2), то есть требует предварительного вычисления величины d. Практически вычисление этой размерности сводится к следующему алгоритму [129]. Вычисляется функция/ , как среднее число точек в сфере радиуса R: f(R) = уЛц-х х \ (2.5) где N - общее число точек, Xj = x(i,At). Значение функции О оценивается в соответствии с выражением v{z) = 1, если z 0, О - в остальных случаях.
Для определения размерности d строится график, по оси абсцисс которого откладывается In R, а по оси ординат \nJ{R). Тангенс угла наклона линейного участка определяет искомое значение размерности.
Описанные в литературе различные методики определения размерности d являются вариациями этого подхода. Например, может меняться форма зондирующей ячейки. Но суть остается прежней: зондирование ячейками все увеличивающегося размера и сопоставление логарифма количества непустых ячеек с логарифмом размера ячеек.
Заметим, что существуют ограничения на величину R в (2.5), то есть должно выполняться условие Rmia R Rmax- Если R больше размеров аттрактора, то расстояния между всеми точками на аттракторе меньше, чем R. Начиная ей = йшах, f(R) = 1 и /л f(R) = 0. С другой стороны, для R Rmin структура аттрактора остается неразрешимой.
Алгоритмы такого типа получили название «подсчет ячеек». К примеру, первые численные оценки странных аттракторов были сделаны именно с их помощью. Однако алгоритм обладает серьезными недостатками [111]. Во-первых, оказалось, что даже в случае простейших аттракторов, вроде аттрактора Хенона, получение хорошего результата требует очень длинных выборок - миллионы точек. Для более коротких выборок часто не получается хорошего линейного участка. Во-вторых, величину_Д/?) не всегда удается хорошо оценить, поскольку в ряде случаев весьма заметный вклад вносят редко посещаемые области аттрактора. Поэтому оценка для J{R) может быть заниженной. Исходя из этого, в [214] был сделан вывод о «непрактичности» алгоритмов типа «подсчет ячеек».
Важным практическим алгоритмом определения фрактальной размерности, особенно для темпоральных процессов [129], является следующий. Определяется спектр мощности M(N) временного отрезка исследуемого сигнала. Затем строится двухпараметрическая модель огибающей этого спектра: M(N) = k-N-p. где N - номер гармоники в спектре мощности, к и р - параметры, подлежащие оцениванию. Показатель /? связан с размерностью d следующим соотношением [170]:
Практика показывает, что вычисление размерности п по формуле Манэ оказывается завышенным. Для правильного вложения данных можно ограничиться фазовым пространством меньшей размерности, когда соблюдается условие [9] где [ ] обозначает целую часть числа.
Интересный подход к выбору размерности реконструкции предложен в [111]. Основная идея состоит в следующем. Если реконструируется траектория ДС, то через каждую точку должна проходить только одна траектория, то есть удовлетворительная реконструкция не должна содержать самопересечений траектории. Разумеется, что самопересечений в массиве дискретных точек X/, скорее всего, никогда не будет. Поэтому ищут так называемых «ложных близких соседей» - пары векторов, которые оказались близкими в реконструкции, но их прообразы находились далеко. Для поиска таких пар предлагалась следующая идея.
Пусть ЛІ и Лу - два близких соседа в реконструкции размерности Х(я+0 Х(н+0 ( 4-П п, а ЛІ и лj соответствуют им в реконструкции размерности (/2+1).
Если это действительно истинно близкие соседи, то они чаще всего будут близкими в обеих реконструкциях. В то же время «ложные близкие соседи» в реконструкции размерности п, как правило, превращаются в отдаленных с ростом п. Пары, для которых х " - xf мало, а x("+l) _ ("+1) - нет, и получили название «ложных ближайших соседей». Если же увеличивать размерность реконструкции и оценивать их количество, то при достижении нужной размерности, при которой достигается правильная реконструкции, это количество резко уменьшается. По уменьшению можно найти и минимальное п.
При всей своей интуитивной очевидности в данной методике не допускается практически полезная строгая формулировка, поскольку используются нестрогие понятия «близкие» и «не близкие» пары. Поэтому при численной реализации метода приходится опираться на интуицию и здравый смысл.
Иногда отсутствие «ложных соседей» в реконструкции можно обнаруживать и по косвенным признакам, измеряя некоторую величину для различных размерностей п и определяя значение, при котором результат почти перестает зависеть от п.
Нейросетевая аппроксимация нелинейной функции модельного уравнения
Рассмотренный подход к созданию моделей систем реализуется далеко не всегда. Поэтому используют приближенные методы реконструкции, основанные, например, на теореме Такенса [6, 7, 242]. В этом случае реконструированные модели являются нелинейными, содержат большое количество параметров и сложны для исследования. Кроме того, наибольшие проблемы возникают в связи с тем, что теорема Такенса справедлива для стационарных систем, а большинство систем естественного происхождения являются нестационарными.
Для получения модельных уравнений системы в виде линейных дифференциальных уравнений можно воспользоваться подходом, предложенным в [173] для проектирования регуляторов, приспосабливающихся к реальным возмущениям. Рассмотрим указанный подход применительно к задаче реконструкции.
В общем случае регистрируемый в эксперименте сигнал содержит две составляющие: возмущение типа шума и составляющую волновой структуры.
Шумовая составляющая обычно имеет хаотический характер и резкие изломы. Ей не свойственна какая-либо сглаженность или регулярность. Шумовые сигналы наилучшим образом могут быть описаны в статистических терминах («белый шум», «цветной шум» и т.д.). При этом используются такие статистические свойства, как математическое ожидание, дисперсия, корреляционная функция и т.д. [135]. Шумовые возмущения можно математически моделировать посредством классической теории случайных процессов [109]. В данном исследовании подобные составляющие не рассматриваются.
. У сигналов, обладающих волновой структурой, видны различные волнообразные формы, по крайней мере, на коротких интервалах времени (рис. 3.4).
В общем случае волнообразные сигналы могут быть математически представлены с помощью полудетерминированных аналитических выражений вида 0= {/i(0,/2(4.-.X(0;q,-..,,} (3.6) гдеfi(t), і — і, 2, ..., т (т, как правило, конечная величина), - известные функции, a Q, к — 1, ...,/, - неизвестные параметры, которые время от времени скачкообразно изменяются. Величина и время появления параметров ( случайны, а изменяются они кусочно-постоянным образом.
Необходимо отметить, что представление (3.6) принципиально не является разложением сигнала w(t) в ортогональные ряды. Уравнение (3.6) является неопределенным, поскольку неизвестны величина и время появления параметров (.
Набор известных функций ft{() в уравнении (3.6) должен отражать все волновые формы, которые можно обнаружить в экспериментальном сигнале w(t) визуально или в результате численного анализа. Однако наиболее эффективно эту процедуру можно реализовать с помощью нейронной сети, функционирующей по принципу зрительной системы человека [41, 92, 184].
Такая нейронная сеть анализирует вид сигнала и распознает все волновые формы, присутствующие в нем. Это обеспечивает получение дополнительной априорной информации о регистрируемом сигнале и, следовательно, позволяет повысить достоверность разрабатываемой математической модели.
С практической точки зрения наиболее важным является линейный случай уравнения (3.6): 40 = ci/i (0 + с2/2 (0 +... + cjm (/). (3.7)
Линейное волновое описание (3.7) - это представление сигнала w(f) в функциональном пространстве, в котором базисом является конечный набор функцийУ /), і — 1, ..., т. Тогда с,- - это кусочно-постоянные весовые коэффициенты.
Таким образом, сигнал w(f), согласно уравнению (3.7), может быть представлен в момент времени t некоторой взвешенной линейной комбинацией известных базисных функций fi(t), имеющих неизвестные весовые коэффициенты Cj. Причем коэффициенты Cj могут время от времени скачком изменять свои значения случайным кусочно-постоянным образом.
Постановка задачи реконструкции на нейронных сетях
Типичным применением ИНС является прогнозирование временных рядов. В этом случае роль нейронной сети состоит в предсказании будущей реакции системы по ее предшествующему поведению. На основе информации о значениях переменной х в моменты, предшествующие прогнозированию Хук 1J5 хук — 2J,..., хук N ) у сеть вырабатывает решение, каким будет наиболее вероятное значение последовательности Х\к) в текущий момент к. Для адаптации весовых коэффициентов сети используются фактическая погрешность прогнозирования — х\к) хук) и значения этой погрешности в предшествующие моменты времени.
В задаче прогноза временного ряда необходимо определить, сколько использовать предыдущих значений переменной х и как далеко вперед прогнозировать значение выходной переменной. Обычно обучение ИНС в задаче прогнозирования временных рядов осуществляется «с учителем». В простейшем случае формирование пары обучающих примеров осуществляется по принципу «скользящего окна».
Прогнозирование временных рядов с помощью нейронных сетей реализуется при решении многих прикладных задач. Примеры таких задач приведены, например, в [125]. Однако подобный упрощенный подход далеко не полностью реализует возможности нейросетей. В ряде случаев необходимо сочетать возможности нейронных сетей по выявлению скрытых закономерностей с прогнозированием временных рядов. Различные подходы к решению этих задач предложены, например, в работах [32-34]. Фактически эти подходы реализуют реконструкцию систем на нейронных сетях.
Под реконструкцией на нейронных сетях будем понимать процесс создания (восстановления) на основе априорно неполной информации о внутренней динамике сложной системы ее неиросетевои модели, которая позволяет моделировать ее состояние и/или поведение с учетом целей исследования системы.
Рассмотрим задачу реконструкции временных рядов на основе нейронной сети прямого распространения, которая широко применяется для решения многих прикладных задач. Предположим, что архитектура ИНС состоит из трех слоев: входного, скрытого и выходного. Динамику системы будем учитывать за счет рекуррентного воздействия на вход сети. Это означает, что на входе сети имеются элементы единичной задержки, которые создают запаздывание входных сигналов. В более общем случае в таких рекуррентных сетях входной вектор сети может объединять запаздывание входных и выходных сигналов. Тогда такая система реализует отображение у(к +1) = f(x{k), х(к -1) x(k-(N-і)), у(к -1), у{к -2) у(к- Р)), где N -1 - количество задержек входного сигнала, а Р - количество задержек выходного сигнала. Такая сеть является развитием сетей пер се тройного типа.и называется рекуррентным многослойным персептроном RMLP [125].
Такие сети выступают в качестве моделей при решении задачи идентификации динамических объектов (рис. 4.2). В результате сравнения выходного сигнала этой модели У\П) с заданным сигналом d\n) рассчитывается значение погрешности \м): s{n) = y{n)-d{n), управляющей процессом уточнения параметров нейронной сети. 131 x(k) Динамический объект d(k) h - г х RMLP + ( J e(k)=y(k)-d(k) Рис. 4.2. Схема включения сети liMLP при решении задачи идентификации Отметим, что в подобных задачах известны возмущения, действующие на входе идентифицируемой системы, и ее реакция на эти возмущения. В задачах реконструкции входные возмущения могут быть неизвестны. Далее рассмотрим следующую хаотическую систему: Y,„=g(Y,). Y.sR", (4.1) где g: Rm Rm - непрерывная гладкая функция. Предположим, что функция g неизвестна и что доступной является другая функция h : Rm — Rp, р т . Поэтому реально наблюдают Далее предположим, что р— 1 и Xt =\Xt xt-z — - xt-(dr-i)i), где Х{ - вектор состояния в пространстве размерностью dt. Теорема Такенса утверждает, что существует d( - мерное детерминированное отображение, полученное, по крайней мере, по последним dt измерениям временного ряда со случайной временной задержкой т. Это позволяет предсказать его будущее значение настолько хорошо, как если бы оно было получено при исследовании сложной системы со всеми своими степенями свободы.
