Нейросетевые и нечеткие методы оценивания стохастических систем Амосов Олег Семенович

Содержание к диссертации

Введение

1. Современное состояние проблемы оптимального оценивания и фильтрации 27

1.1. Традиционные методы стохастического оценивания 27

1.2. Постановка и решение задачи оценивания на основе байесовского подхода 29

1.3. Постановка и решение задачи оценивания на основе небайесовского подхода 33

1.4. Постановка и решение задачи оценивания на основе метода наименьших квадратов 36

1.5. Постановка и решение задачи фильтрации марковских последовательностей 38

1.6. Основные проблемы и недостатки традиционных методов оценивания 45

1.7. Аналитический обзор и классификация работ по использованию нейронных сетей и нечетких систем для оценивания 49

1.8. Обсуждение современного состояния проблемы оптимального оценивания на основе нейронных сетей и нечетких систем 68

1.9. Выводы и постановка задач исследования 72

2. Байесовское оценивание с использованием нейронной сети 75

2.1. Постановка и решение традиционной задачи байесовского оценивания 75

2.2. Постановка задачи «байесовского» оценивания при наличии обучающей выборки 79

2.3. Решение задачи оценивания с использованием линейной нейронной сети 83

2.4. Постановка и решение задачи оценивания с идентификацией матрицы и шумов измерения 88

2.5. Примеры решения задач оценивания 93

2.6. Выводы 106

Оптимальная рекуррентная фильтрация с использованием нейронной сети 109

3.1. Традиционный рекуррентный алгоритм фильтрации 109

3.2. Нейросетевой рекуррентный алгоритм фильтрации 113

3.3. Доказательство эквивалентности ФК и «обученного с учителем» нейросетевого алгоритма 119

3.4. Сопоставление нейросетевого алгоритма и фильтра Калмана 131

3.5. Пример оценивания марковского процесса второго порядка 134

3.6. Традиционный рекуррентный алгоритм нелинейной фильтрации - расширенный фильтр Калмана 139

3.7. Нейросетевой рекуррентный алгоритм нелинейной фильтрации 144

3.8. Доказательство эквивалентности расширенного ФК и «обученного с учителем» нейросетевого алгоритма 148

3.9. Выводы 158

Оценивание с помощью метода монте-карло и нейронной сети с радиальными базисными функциями 160

4.1. Постановка и решение традиционной задачи оценивания с помощью метода Монте-Карло 160

4.2. Постановка и решение задачи оценивания при наличии обучающей выборки 163

4.3. Сопоставление неиросетевого алгоритма и алгоритма на основе метода Монте-Карло 168

4.4. Обобщенные нейронные сети с РБФ 171

4.5. Обучение нейронной сети с РБФ 177

4.6. Иллюстрирующие примеры 181

4.7. Выводы 184

Оценивание на основе нейронной сети при ее обучении в режиме реального времени 187

5.1. Постановка и решение традиционной задачи оценивания на основе метода наименьших квадратов 187

5.2. Постановка задачи «неиросетевого» оценивания при отсутствии обучающей выборки 191

5.3. Решение задачи оценивания с использованием линейной нейронной сети 194

5.4. Примеры решения задач оценивания 195

5.5. Сопоставление неиросетевого алгоритма и алгоритма на основе метода наименьших квадратов 200

5.6. Выводы 206

6. Оценивание случайных последовательностей на основе систем нечеткой логики и нейронечетких сетей 209

6.1. Решение задачи байесовского оценивания при наличии обучающей выборки с использованием нечеткой системы 209

6.2. Генерация нечеткой системы на основе алгоритма Sugeno с проведением кластеризации данных 216

6.3. Настройка нейронечеткой системы с учителем при использовании обучающей выборки 218

6.4. Использование нечеткой системы для рекуррентного оценивания и оценивания в режиме реального времени 221

6.5. Примеры оценивания случайных последовательностей с использованием нечетких систем на основе алгоритма Sugeno 223

6.6. Основная концепция построения структурных схем систем оценивания на основе нейронных сетей и нечетких систем 228

6.7. Выводы 238

7. Применение байесовского, нейросетевого подходов и систем нечеткой логики для оценивания марковских последовательностей 240

7.1. Постановка и решение задачи адаптивной нелинейной фильтрации случайных последовательностей для параметрической неопределенности 240

7.2. Синтез оптимальных и адаптивных нелинейных фильтров для оценки параметров движения объектов на основе байесовского подхода 252

7.3. Фильтрация марковских последовательностей на основе байесовского, нейросетевого подходов и систем нечеткой логики при оценке параметров движущихся объектов 268

7.4. Синтез оптимальных фильтров для систем управления электромеханических преобразователей 282

7.5. Выводы 300

Заключение 304

Библиографический список использованной

Литературы

• Постановка и решение задачи оценивания на основе небайесовского подхода
• Решение задачи оценивания с использованием линейной нейронной сети
• Нейросетевой рекуррентный алгоритм фильтрации
• Постановка и решение задачи оценивания при наличии обучающей выборки

Введение к работе

В диссертационной работе поставлена актуальная научная задача, состоящая в теоретическом сопоставлении традиционных методов оценивания с методами на основе нейронных сетей, нечеткой логики, неиронечетких систем, выявления преимуществ и недостатков последних и синтеза на их основе адаптивных систем оценивания.

Методы оценивания, область использования, актуальность проблемы. Методы теории оптимального оценивания и фильтрации широко используются при оценивании состояния стохастических систем, случайных процессов и последовательностей [1, 7, 21, 23, 24, 36, 38, 54, 73-78, 80-83, 88-90, 93, 94, 102, 182, 193-195, 211]. Среди традиционных методов оценивания и фильтрации особо выделяется байесовский подход, который лежит в основе теории фильтрации. Достоинством байесовского подхода является то, что он обеспечивает решение задачи оценивания при: 1) нелинейности уравнений динамики и/или измерений; 2) наличии неточно известных параметров в этих уравнениях; 3) негауссовском характере функции плотности распределения вероятности (ф.п.р.в.) для ошибок измерений или начального вектора состояния.

При решении задачи оценивания в рамках классического (небайесовского) подхода широкое распространение получила процедура, основанная на максимизации функции правдоподобия.

В случае, когда не привлекается какая-либо априорная статистическая информация, задача оценивания решается с помощью метода наименьших квадратов (МНК).

Повышение точности оценивания в режиме реального времени состояний и параметров динамических систем по зашумленным измерениям выходных переменных по-прежнему во многих инженерных приложениях представляет актуальную проблему оценки состояния, которая включает в себя решение задач сглаживания, фильтрации и прогноза. Среди таких приложений можно назвать управление состоянием системы, прогноз случайных последовательностей, слежение за подвижными объектами. В полной мере это относится и к навигационным системам, основное назначение которых заключается в определении местоположения объекта в пространстве, его ориентации и характера передвижения [17,23, 24, 26, 31, 33, 46, 47, 51, 53, 55, 57, 58, 66, 73, 77, 81, 90, 97, 103, 184].

Современное состояние проблемы оценивания на основе традиционных методов. В рамках байесовского подхода наибольшее применение на практике нашли быстродействующие алгоритмы калмановского типа, которые опираются на хорошо разработанную теорию линейной фильтрации марковских последовательностей и процессов [24, 54, 81,74-76,78,193-196]. Простота получаемых здесь оптимальных алгоритмов, в частности, линейная зависимость вычисляемых оценок вектора состояния от измерений, является следствием гауссовского характера апостериорной (условной к измерениям) плотности вероятности (АПВ) для этого вектора.

Используют различные приближенные процедуры нахождения параметров гауссовской аппроксимации апостериорной плотности. Существует широкое разнообразие алгоритмов такого рода. Здесь необходимо выделить алгоритмы нелинейной фильтрации марковских последовательностей, основанные на гауссовской аппроксимации апостериорной вероятности: обобщенный фильтр Калмана (ОФК), итерационный ОФК, называемый иногда также фильтром с локальными итерациями. В случаях, когда апостериорная плотность многоэкстремальна, применяются другие методы ее аппроксимации: ряды Грамма-Шарлье, ряды Эджворта, сплайн-аппроксимации. Однако получающиеся при этом алгоритмы мало пригодны для реализации на ЭВМ. Один из заслуживающих специального рассмотрения методов аппроксимации АПВ - метод сеток, основан на ее представлении с помощью набора дельта-функций. Одно из наиболее удобных описаний, обеспечивающих учет локального поведения АПВ, основано на ее полигауссовской аппроксимации.

Недостатки традиционных методов фильтрации. Один из основных недостатков методов фильтрации при байесовском подходе заключается в том, что для построения оптимальных алгоритмов требуется исчерпывающая априорная информация о свойствах оцениваемых процессов и ошибок их измерений. При решении нелинейных задач, кроме того, возникает проблема построения реализуемых алгоритмов, поскольку для нахождения апостериорной плотности, необходимой для отыскания оценок, требуется в непрерывном случае решать интегро-дифференциальное уравнение Фоккера-Планка-Колмогорова, а в дискретном - вычислять громоздкие многократные интегралы [24, 81, 104, 193].

Реализация метода наименьших квадратов характеризуется низкой скоростью сходимости.

Указанные недостатки заставляют исследователей искать новые подходы к построению алгоритмов. Один из таких подходов может быть основан на использовании нейронных сетей, нечеткой логики и нейронечетких систем.

Нерешенные проблемы использования нейронных и нечетких систем. При попытке использования нейронных сетей для решения задач фильтрации весьма важным является вопрос взаимосвязи и отличий предлагаемых алгоритмов с теми, которые применяются традиционно для решения этих задач. Установив эти отличия и взаимосвязи, можно более обоснованно рассуждать о преимуществах или недостатках нейросетевого подхода по сравнению с традиционным. К сожалению, как показал обзор отечественных и зарубежных публикаций, этот вопрос должным образом не обсуждается. Как правило, сопоставление предлагаемых и традиционных алгоритмов опирается на результаты моделирования частных примеров [3,26,67,70,180,192,197,203] . Из работ теоретического толка следует выделить работу [197], в которой показано, что рассматриваемые там рекуррентные нейронные сети при определенных условиях сходятся по точности к фильтру с минимальной дисперсией. Однако связь между самими алгоритмами в ней также должным образом не обсуждается.

Работ, посвященных применению нечетких систем для решения задач оценивания, значительно меньше, чем с применением нейронных сетей [185, 187, 205]. В то же время наибольший эффект ожидается именно от их совместного использования в виде нейронечетких систем.

Предлагаемая работа направлена на установление взаимосвязи традиционных алгоритмов и алгоритмов на основе нейронных сетей и нечетких систем.

Цель диссертационной работы - разработка теоретических положений и научно обоснованных технических решений, обеспечивающих эффективность и повышение качества оценивания состояния стохастических систем за счет применения нейросетевых и нечетких методов.

Формулировка научной проблемы. Исходя из вышеизложенного, научная проблема диссертационного исследования формулируется следующим образом: теоретическое установление взаимосвязи и сопоставление с традиционными методами оценивания и фильтрации с целью выявления преимуществ и недостатков нейросетевых, нечетких и нейронечетких систем.

Направления исследований:

- систематизация и классификация работ отечественных и зарубежных авторов по использованию нейронных, нечетких и нейронечетких систем;

— разработка теоретических положений для оценивания и идентификации на основе нейронных, нечетких и нейронечетких систем, устанавливающих взаимосвязи и отличия между традиционными алгоритмами и алгоритмами на основе нейронных сетей и нечетких систем, и позволяющих выявить преимущества и дополнительные возможности синтезируемых систем оценивания;

- разработка концепции построения систем оценивания и фильтрации на основе нейронных сетей, нечетких систем и нейронечетких сетей, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям.

- разработка нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов;

- решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем.

В соответствии с целью поставлены следующие задачи исследования:

- развитие теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма оценивания в рамках байесовской постановки и нейросетевого алгоритма;

- разработка теоретических положений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма рекуррентного оценивания - линейного и расширенного фильтра Калмана и нейросетевого алгоритма;

- доказательство возможности идентификации моделей динамики и измерения в рамках байесовской постановки задачи оценивания с использованием методов нейросетевого и нечеткого анализа и синтеза;

- формирование теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма на основе метода Монте-Карло и нейросетевого алгоритма;

- уточнение теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма на основе метода наименьших квадратов и нейросетевого алгоритма при отсутствии априорной информации;

— сопоставление алгоритмов оценивания на основе систем нечеткой логики и традиционных алгоритмов;

— обоснование и разработка концепции построения систем оценивания на основе нейронных сетей и систем нечеткой логики;

— разработка моделей и алгоритмов нейросетевого и нечеткого оценивания с ориентацией на приложения в теории управления движущихся объектов и электромеханических преобразователей;

— создание комплекса программ для оценивания динамических процессов и последовательностей на основе традиционных методов, нейронных сетей, нечетких систем и нейронечетких систем.

Методы исследований. При выполнении диссертационной работы использовались методы современной теории оптимального управления, теории оптимальных процессов, теории идентификации, теории дифференциальных и разностных стохастических уравнений, вычислительной математики, теории вероятностей и математической статистики, теории нейронных сетей, теории нечеткой логики, а также методы математического моделирования.

Достоверность и обоснованность полученных результатов. Разработанные теоретические положения и новые технические решения проверялись путем моделирования на ЭВМ, результаты исследований точности оценивания сопоставлялись с потенциальной точностью при решении задач оценивания марковских последовательностей, и с известными экспериментальными данными других исследователей.

Научная новизна работы состоит в том, что:

— проведен системный анализ отечественных и зарубежных работ, на основе которого создана и представлена с использованием предложенных признаков классификация применений нейронных и нечетких систем для оценивания, позволяющая наглядно и обозримо провести систематизацию алгоритмов оценивания данного класса;

- в развитие теории байесовского оценивания доказана теорема, позволяющая трактовать традиционный оптимальный байесовский алгоритм оценивания как нейронную сеть, обученную с учителем по набору согласованных реализаций процесса и измерений;

- в развитие теории рекуррентного оценивания доказаны теоремы, позволяющие трактовать линейный и расширенный фильтры Калмана как нейронные сети, обученные с учителем по набору согласованных реализаций процесса и измерений;

- доказано, что может быть получен нейросетевой алгоритм, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок без привлечения уравнений динамики и измерения путем идентификации входящих в них матриц;

- в развитие теории нелинейного оценивания получен результат, позволяющий трактовать традиционный алгоритм на основе метода Монте-Карло как нейронную сеть с радиальными базисными функциями, обученную с учителем по набору согласованных реализаций процесса и измерений;

- в дополнение к сложившимся теоретическим представлениям получен результат, позволяющий трактовать традиционный алгоритм оценивания на основе метода наименьших квадратов как нейронную сеть, обучаемую в режиме реального времени по поступающим измерениям;

- показано, что с использованием нечетких систем может быть получен алгоритм оценивания, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок на основе традиционных алгоритмов;

- предложена концепция построения структурных схем систем нелинейного оценивания и фильтрации на основе нейронных, нечетких и нейронечетких систем, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям;

— получено новое решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем;

— предложен класс нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов;

— создан комплекс программ для оценивания состояния динамических процессов и последовательностей на основе традиционных методов, нейронных сетей, нечетких систем и нейронечетких систем;

— разработаны алгоритмы и программы оценивания состояния электромеханических преобразователей с использованием нейросетевых, нечетких и нейронечетких систем, в том числе и в технических решениях, защищенных 2 свидетельствами и 3 патентами на полезные модели.

Содержание работы по главам.

В первой главе дан анализ современного состояния проблемы оптимального оценивания и фильтрации случайных процессов и последовательностей, как с помощью традиционных методов, так и с помощью получивших обсуждение лишь в последнее десятилетие нейронных сетей и систем нечеткой логики. Указаны проблемы и недостатки традиционных методов: байесовского, классического (небайесовского) и метода наименьших квадратов. Проведен системный анализ полученных теоретических и практических результатов и подходов по использованию нейронных сетей и нечетких систем в оценивании. Приведена по предложенным признакам классификация работ отечественных и зарубежных авторов в этой области. Проведено обсуждение современного состояния проблемы оптимального оценивания на основе нейронных сетей, нечетких систем и нейронечетких систем. Названы основные вопросы, которые остались нерешенными в этой области - отсутствие теоретического сопоставления традиционных подходов и подходов на основе нейронных сетей и нечетких систем. Основными причинами, которые заставили обратиться к этой проблеме, являются следующие.

Не существует однозначного ответа относительно преимуществ и недостатков нейросетевого подхода в сравнении с традиционным.

Взаимосвязи и различия нейросетевых алгоритмов с традиционными не установлены.

Нет ответа на вопрос:

можно ли трактовать традиционный алгоритм как специального вида нейронную сеть?

На основе проведенного анализа современного состояния проблемы оценивания сформулирована цель и поставлены задачи диссертационного исследования.

Во второй главе применительно к задаче оценивания, решаемой в рамках байесовской постановки, исследуется связь традиционного (оптимального в среднеквадратическом смысле) алгоритма и алгоритма, основанного на использовании нейронных сетей. Рассматривается нелинейное оценивание, для которого задача линейного оценивания является частным случаем.

Сформулированы и доказаны две теоремы.

Показано, что линейная нейронная сеть при соответствующем выборе критерия, используемого для ее предварительного обучения, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью байесовского алгоритма, оптимального в классе линейных алгоритмов. Это позволяет в принципе трактовать оптимальный в линейном классе алгоритм как нейронную сеть простейшего вида, обучаемую в соответствии с приведенным критерием.

Показано, что при наличии уравнения измерений входящие в него матрица измерений и шумы измерения могут быть идентифицированы.

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

В третьей главе применительно к задаче фильтрации случайных последовательностей исследуется связь алгоритмов оптимальной рекуррентной фильтрации - линейного и расширенного фильтров Калмана и алгоритмов, основанных на использовании нейронных сетей.

Основные результаты главы сформулированы и доказаны в виде леммы и двух теорем.

Показано, что рассматриваемые в главе алгоритмы, в которых использованы рекуррентные нейронные сети, при соответствующем выборе критерия обучения обеспечивают получение оценок, близких по своим свойствам к оценкам, вырабатываемым линейным и расширенным фильтрами Калмана. Это позволяет трактовать линейный и расширенный фильтры Калмана как нейронные сети, обученные с учителем по набору согласованных реализаций процесса и измерений.

Проводится обсуждение полученных результатов, и рассматривается иллюстрирующие примеры.

В четвертой главе применительно к задаче оценивания, решаемой с применением метода Монте-Карло, исследуется связь традиционного (оптимального в среднеквадратическом смысле) алгоритма и алгоритма, основанного на использовании нейронных сетей. В частности, показано, что нейронная сеть с радиальными базисными функциями при соответствующем выборе критерия, используемого для ее предварительного обучения, и радиальных базисных функций, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью оптимального алгоритма на основе метода Монте-Карло. Показано, что НС с РБФ по точности сходится к фильтру с минимальной дисперсией. Это позволяет трактовать традиционный алгоритм на основе метода Монте-Карло как нейронную сеть с радиальными базисными функциями, обученную с учителем по набору согласованных реализаций процесса и измерений.

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

В пятой главе применительно к задаче оценивания, решаемой в рамках метода наименьших квадратов, исследуется связь традиционного алгоритма и алгоритма, основанного на использовании нейронных сетей. В частности, показано, что нейронная сеть при соответствующем выборе критерия, используемого для ее обучения в режиме реального времени, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью метода наименьших квадратов. Это позволяет трактовать традиционный алгоритм на основе метода наименьших квадратов как нейронную сеть, обучаемую в режиме реального времени по поступающим измерениям;

Проводится обсуждение полученных результатов, и рассматривается иллюстрирующий пример.

В шестой главе применительно к задачам оценивания случайных последовательностей показано, что системы нечеткой логики и нейронечеткие системы при соответствующем выборе критерия, используемого для их предварительного обучения и обучения в режиме реального времени, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью традиционных алгоритмов. Показано, что при наличии уравнений динамики и измерений, входящие в них матрицы динамики и измерений, а также порождающие шумы и шумы измерения могут быть идентифицированы с помощью нечетких систем.

Предложена концепция построения структурных схем систем нелинейного оценивания и фильтрации на основе нейронных, нечетких и нейронечетких систем, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям;

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

В седьмой главе рассмотрено применение алгоритмов оценивания на основе нелинейных байесовских фильтров, нейронных сетей и на основе нечетких систем для оценивания координат и параметров движущихся объектов и для оценивания состояния электромеханических преобразователей.

На основе байесовского подхода дано решение задачи адаптивной нелинейной фильтрации случайных последовательностей для случая параметрической неопределенности.

Для решения нелинейной задачи слежения за координатами и параметрами движущихся объектов синтезируются нелинейные байесовские фильтры, нейросетевые фильтры и фильтры на основе нечеткой логики для трех моделей движения объектов: в среднем неподвижной цели со случайной скоростью, равномерного прямолинейного движения со случайным ускорением, маневрирующей цели на основе модели Зингера и на основе модели с представлением неопределенного ускорения для маневрирующей цели в виде полумарковского процесса.

Рассмотрены возможности понижения порядка кратных интегралов для синтезированных фильтров. Приводится сравнение точности фильтров: нелинейных байесовских, Калмана, нейросетевых и на основе систем нечеткой логики.

Рассмотрено применение алгоритмов оценивания на основе нелинейных байесовских фильтров, нейронных и на основе нечетких систем при построении электромеханических преобразователей.

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

На защиту выносятся.

1. Системный анализ отечественных и зарубежных работ, на основе которого создана и представлена с использованием предложенных признаков классификация применений нейронных и нечетких систем для оценивания, позволяющая наглядно и обозримо провести систематизацию алгоритмов оценивания данного класса;

2. Разработка теоретических положений для оценивания и идентификации на основе нейронных, нечетких и нейронечетких систем, устанавливающих взаимосвязи и отличия между традиционными алгоритмами и алгоритмами на основе нейронных сетей и нечетких систем, позволяющая выявить преимущества и дополнительные возможности синтезируемых систем оценивания.

3. Концепция построения систем оценивания и фильтрации на основе нейронных сетей, нечетких систем и нейронечетких сетей, обучение которых производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям.

4. Решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем.

5. Класс нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов.

6. Комплекс программ для оценивания динамических процессов и последовательностей на основе традиционных методов, нейронных сетей, нечетких систем и нейронечетких систем, защищенных 4 свидетельствами об официальной регистрации программы для ЭВМ.

7. Алгоритмы и программы оценивания состояния электромеханических преобразователей с использованием нейросетевых, нечетких и нейронечетких систем, в том числе и в технических решениях, защищенных 2 свидетельствами и 3 патентами на полезные модели.

Основные результаты диссертационного исследования опубликованы автором в работах [105-177].

Завершая введение, хотелось бы выразить искреннюю благодарность за внимание к моей работе Степанова О.А., д.т.н., действительного члена Академии навигации и управления движением, начальника отдела Государственного научного центра России — Центрального научно-исследовательского института «Электроприбор», г. Санкт-Петербург.

Автор признателен за поддержку при работе над диссертацией научному консультанту Девятисильному А.С., д.т.н., начальнику лаборатории управления и навигации Института автоматики и процессов управления ДВО РАН, г. Владивосток.

Автор считает своим приятным долгом высказать благодарность д.т.н., профессору Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» Терехову В.А. за ценные замечания и полезные советы, сделанные при обсуждении статьи [108].

Постановка и решение задачи оценивания на основе небайесовского подхода

В рамках этого подхода, как уже отмечалось выше, вводится предположение о случайном характере ошибок измерения в то время, как неизвестный оцениваемый вектор считается неслучайным -детерминированным вектором [9,48, 80, 81].

В этом случае рассматриваемая задача формулируется следующим образом. Необходимо оценить неизвестный детерминированный вектор х по измерениям (1.1.1), в которых v- m-мерный случайный вектор ошибок измерения у с заданными с помощью ф.п.р.в. f(v) статистическими свойствами.

Пусть введена некоторая функция х(у), задающая правило вычисления оценки искомого вектора х по измерениям у. Если зафиксировать значение неизвестного параметра х, то оценка х(у) и соответствующая ей ошибка e = x-x(y), (1.3.1) I будут представлять собой случайные векторы или величины, свойства которых определяются функцией плотности распределения вероятностей измерений /(у / х), условной К X.

В качестве минимизируемого критерия в небайесовском подходе используется величина гх(х), характеризующая условные потери при фиксированном значении оцениваемого вектора х. При функции потерь L(x - х(у)), задаваемой в виде (1.2.8), гх(х) определяется как гх (х) = Му/х {(х - х(у)т (х - х(у)} = J(х - х(у))т (х - х(у))Ду / x)dy. (1.3.2)

Величина г (х), вычисленная при заданном значении оцениваемого вектора, получила название условных небайесовских потерь. В рамках небайесовского подхода оценку можно отыскивать исходя из минимизации условных потерь, т.е. находить такую функцию х(у), при которой условные потери (1.3.2) минимальны. Критерий (1.3.2) характеризует меру рассеяния ошибки оценки. Ясно, что наряду с минимизацией (1.3.2) желательно обеспечить другие полезные свойства оценки, например, ее несмещенность. Оценку х(у), минимизирующую в рамках небайесовского подхода потери (1.3.2) при условии Му/Х{х(у)}= \x(y)f(y/x)dy = x, (1.3.3) называют несмещенной оценкой с минимальной дисперсией (minimum variance estimate).

К сожалению, в рамках небайесовского не существует общего правила, которое задавало бы процедуру нахождения несмещенных оценок с минимальной дисперсией, т.е. несмещенных оценок, минимизирующих ,. условные квадратические потери. В связи с этим при решении задач стремятся использовать такие процедуры, которые обеспечивали бы нахождение оценок, близких по своим свойствам к несмещенным оценкам с минимальной дисперсией. В наибольшей степени этим требованиям удовлетворяет получившая широкое распространение процедура, основанная на максимизации Ду/х) как функции х при фиксированных значениях измерений у. Эта функция в теории оценивания получила название функции правдоподобия, а метод, основанный на ее максимизации - метод максимума функции правдоподобия (МФП) [9,48,80,81]. Смысл процедуры максимизации заключается в том, чтобы при фиксированных значениях измерений выбрать такое значение искомого вектора, при котором достигается наибольшее правдоподобие между измеряемыми и вычисляемыми величинами. Часто вместо функции правдоподобия имеют дело с ее логарифмом или логарифмической функцией правдоподобия 1п/(у/х).

Для обеспечения максимума функции правдоподобия требуется, чтобы соответствующая оценка удовлетворяла необходимому условию максимума = 0. (1.3.5) -МФП/ \ X (У) Эти уравнения получили наименования уравнений правдоподобия. Максимально правдоподобная оценка, т.е. оценка хмфп(у) = агВтахДу/х), (1.3.6) х максимизирующая функцию правдоподобия Ду/х), обладает следующими основными свойствами: она состоятельна; в асимптотике, при увеличении числа измерений к- х — не смещена и нормальна (имеет гауссовское распределение) [9,75,81]. Такие свойства оценки, соответствующей максимуму функции правдоподобия, и объясняют факт ее широкого использования в рамках небайесовского подхода.

Однако следует иметь в виду, что оценка (1.3.6) не является общим решением задачи нахождения несмещенных оценок с минимальной дисперсией и даже не всегда при ограниченном объеме измерений является просто несмещенной [48, 81].

Поскольку в рамках небайесовского подхода нельзя указать общее правило нахождения несмещенных оценок с минимальной дисперсией, не удается также и определить и соответствующую им матрицу ковариаций, характеризующую потенциальную точность небайесовской оценки.

Решение задачи оценивания с использованием линейной нейронной сети

Итак, будем решать задачу оценивания с использованием линейной НС, полагая, что задана обучающая выборка (2.2.1). Учитывая размерность оцениваемого вектора, линейную НС НС х (у, W) запишем в виде xHC(y,W) = w0 + Wy, (2.3.1) где W = [WQ W]- пх{т + \)-мерная матрица, включающая «-мерный вектор смещений wo=[wio ... wnQ]T и пхт-мерную матрицу весовых коэффициентов W = [wj ... w/ ... ww]T, в которой w/=[w/l — wlm]T т -мерные векторы, 1 = 1.п. Эта НС имеет единственный слой нейронов, число которых совпадает с размерностью оцениваемого вектора х, а их функция активации, зависящая от скалярного аргумента s, представляет собой тождественное преобразование, т.е. y/(s) = s, -оо 5 оо [35]. Такую функцию называют также линейной активационной функцией [43]. Нетрудно заметить, что при оценивании скаляра, т.е. при я = 1, эта схема вырождается в линейный нейрон, так называемую адалину (adaptive line element - adaline). Поэтому в общем случае при п 1 ее иногда называют мадалиной [57].

Блок-схема, соответствующая такой НС, приведена на рис. 2.1. Здесь для удобства представления введен одинаковый для всех нейронов вход инициализации Ь. Обычно Ь =+1, что и принято при дальнейшем изложении. Скалярные выходы sj сумматоров / определяются как SI=[WIQ wn ... wim]x[b0 ух ... ym]T,l = l.n. Рис. 2.1. Линейная однослойная НС (мадалина) Теорема 2.1. Если имеется набор данных (обучающая выборка) {(у(У),х )Ь ]=йъ. в котором пары y J\ nSJ ,j = \.n0, согласованы, в том смысле, что они представляют независимые между собой реализации случайного составного вектора z = [xT ут]т с функцией плотности распределения вероятностей Дх,у), то линейная нейронная сеть xHC(y,W) = w0 + Wy, при выборе для ее обучения с учителем в качестве критерия обучения функции r(w)=i-SxO-)-xHCo-)(yO-),w)2 обеспечивает при увеличении числа используемых для обучения реализаций п0 получение оценок, близких по своим свойствам к оценкам, получаемым с помощью байесовского алгоритма, оптимального в классе линейных алгоритмов: xHC(y,W) = x +Pxy(PyyJ [у-у ], _ где х =mx;y =my; Pyy, Pxy представляют собой выборочные значения математических ожиданий и соответствующих матриц ковариаций. Это позволяет в принципе трактовать оптимальный в линейном классе алгоритм как нейронную сеть простейшего вида, обучаемую в соответствии с приведенным критерием.

Доказательство. Из материалов предыдущего раздела следует, что при увеличении выборки п0 и использовании при обучении критерия вида (2.2.7) J (W) = — х Я -хНС (у , W) 2 по J=i оценка, отыскиваемая с помощью обученной таким образом НС, будет по своим свойствам близка к оптимальной байесовской оценке, отыскиваемой в классе линейных оценок. Это означает, что отыскиваемое для такой оценки значение критерия (2.1.2), будет меньше или равно значению критерия, соответствующему любой другой оценке, линейным образом зависящей от измерений [54]. Из теории оценивания известно, что такая оценка определяется с помощью соотношения (2.1.9). Отсюда следует, что линейный нейросетевой алгоритм (2.3.1), обученный в соответствии с критерием (2.2.7), должен быть близок к алгоритму (2.1.9). Убедиться в этом достаточно просто.

Нейросетевой рекуррентный алгоритм фильтрации

В целях выявления связи между приведенным выше традиционным алгоритмом и алгоритмами, основанными на использовании нейронных сетей, попытаемся построить такой нейросетевой алгоритм, который обеспечивает получение оценок, близких по своим свойствам к оценкам, вырабатываемым алгоритмом (3.1.6). При этом будем полагать, что обучение проводится «с учителем», т.е. считаем, что имеются согласованные пары входных (значения измерений) и эталонных (значения оцениваемого процесса) данных.

При построении алгоритмов, основанных на применении нейронных сетей, можно выделить следующие основные этапы.

Сначала выбирается структура алгоритма и определяется топология предполагаемых к использованию в нем нейронных сетей (число слоев, число нейронов в каждом слое, связи между ними).

Затем конкретизируется процедура обучения, которую предлагается использовать при определении настраиваемых параметров НС — весов и смещений.

После этого проводится непосредственное обучение нейросетевого алгоритма и его тестирование. Только после этого алгоритм может быть использован для решения задачи в штатном режиме.

В наибольшей степени для достижения поставленной цели подходит структура алгоритма, предложенного в работе [203]. Она в значительной степени аналогична той, которая описана в предыдущем разделе. Здесь также выделяется шаг прогноза и обновления. При этом прогноз вычисляется согласно (3.1.1) а оценка на шаге обновления определяется как -не =кнс(інс_])нсд.)( {322) не л нс не где К/ (Х / рЕ,- , W,-)- нейронная сеть с массивом смещений и весовых НС коэффициентов W/; / - невязка, определяемая как НС .. тт -НС = у/-Н/ж _1. (3.2.3) На первом шаге, как и в традиционном алгоритме полагаем, что НС XQ = 0. В отличие от [203] в рассматриваемом здесь алгоритме предполагается, что на вход НС может поступать только текущее измерение, а не набор их значений с предыдущих шагов. Таким образом, на очередном шаге на вход НС поступает прогноз (3.2.1), определенный с использованием -НС с оценок х:_р выработанных на предыдущем шаге и невязка измерении (3.2.3). Из сказанного следует, что здесь уравнения (3.1.1), (3.1.2) также как и в случае с ФК предполагаются известными. Структурная схема такого нейросетевого алгоритма фильтрации представлена на рис. 3.2. Определим саму НС, т.е. конкретизируем вид функции K X E W,-).

С учетом сформулированной цели ясно, что в качестве К; (Z;,W/) целесообразно выбрать линейную однослойную НС, число нейронов которой совпадает с размерностью оцениваемого вектора Xj, а их функция активации, зависящая от скалярного аргумента s, представляет собой функцию вида y/(s) = s, -оо 5 оо. Такую функцию называют линейной активационной функцией [27]. Тогда выражение для оценки, отыскиваемой с помощью нейронной сети, может быть записано как Заметим, что при оценивании скаляра, т.е. при п - 1, эта схема вырождается в линейный нейрон, так называемую адалину (adaptive line element-adaline). Поэтому в общем случае при п 1 ее иногда называют мадалиной [84].

Определим теперь процедуру обучения НС. Как отмечалось выше, считаем, что обучение проводится «с учителем». Применяя тот или иной алгоритм обучения, например, алгоритм обратного распространения ошибки, или его частный случай - алгоритм Уидроу-Хоффа [35], в результате обучения сформируем массив значений W\. Используя Wj и выражение (3.2.9), вычислим необходимый для последующего обучения набор оценок х1 ЧУ] Wj), т.е. набор оценок на первом шаге, рассчитанных с помощью обученной НС, для каждого измерения уУ- , j = \.п0 . В качестве критерия обучения на втором шаге выберем функцию « 2( 2) виДа: по ,,ч ТТ„,Л ,..ч. _ 2(W2) = — S х ) -xf (z(/ W2) "о у=1 (3.2.11) где z =[(x (y))T,(ef0-))T]T, причем І Фгі? , ), а НС(У)=уО-)_Н2ІНСа)і Еще раз подчеркнем что -.НССу) (у О") v x), у = 1 л0 представляют собой оценки для первого шага, рассчитанные уже с помощью обученной НС. Опять, привлекая алгоритм Уидроу-Хоффа, проводим обучение, т.е. определение W2- После чего, используя W2, V выражение (3.2.6) и измерения уSp, j = \.п0, снова вычисляем необходимый для последующего обучения набор оценок х2 (у 2 5W2) для второго шага. В дальнейшем при обучении НС поступаем аналогично. Таким образом, структура и процедура обучения рекуррентного нейросетевого алгоритма фильтрации определены. Можно показать, что определяемая с помощью обученной в соответствии с описанным выше алгоритмом оценка (3.2.6) при увеличении числа используемых для обучения реализаций п0 будет стремиться к оптимальной оценке (3.1.6).

Постановка и решение задачи оценивания при наличии обучающей выборки

Применительно к рассматриваемой задаче оценивания предполагается, что имеется в наличии обучающая выборка {(y(J\x )},j = uT0, (4.2.1) в котором пары у , х ,j = l.n0, согласованы, в том смысле, что они представляют независимые между собой реализации случайного составного вектора z = [xT ут]т с функцией плотности распределения вероятностей Дх,у). Приведем здесь возможную постановку задачи оценивания в случае, когда в качестве априорной информации выступает набор данных (4.2.1).

Сделаем это пока в общем виде, не оговаривая возможный класс функций, используемых для вычисления оценок. Итак, пусть априорная информация задана в виде (4.2.1) и требуется, располагая таким набором данных и измерением у, найти оценку х(у), минимизирующую критерий вида 1 по (4.2.2) : -Я-ж(у Л) Поскольку М х-х (у) = J jx-x(y) f(x,y)dxdy, то в соответствии с методом Монте-Карло можно записать [24, 81]: 1 по xU)-x(yU)) =Mx-x(yf 1ІШ -І-2 и0- иоу=1 (4.2.3) т.е. при увеличении выборки п0 критерий (4.2.2) стремится к (4.1.2)

Очевидно, что и алгоритм оценивания, оптимальный в смысле критерия (4.2.2), в этих условиях будет близок по своим свойствам к традиционному байесовскому алгоритму (4.1.3), оптимальному в среднеквадратическом смысле.

Итак, пусть априорная информация задана в виде (4.2.1) и требуется, располагая таким набором данных и измерением у, найти оценку х(у), минимизирующую критерий (4.2.2).

Эту задачу в соответствии с предложенной в п. 2.2 терминологией называем задачей «байесовского» оценивания при наличии обучающей выборки.

Приближенное решение этой задачи может быть найдено, если ввести класс зависящих от параметров функций F: х(у, W)) = F(y, W), используемых для вычисления оценки. Тогда критерий (4.2.2) может быть записан как , (4.2.4) где W - вектор или матрица, определяющая набор параметров, конкретизирующих функцию F(y, W) в выбранном классе.

Для стабилизации решения будем использовать метод регуляризации для решения некорректно поставленных задач [85, 86, 189].

В контексте проблемы нелинейного оценивания с использованием введенного класса функций F(y,W) основная идея регуляризации состоит в стабилизации решения посредством некоторого вспомогательного неотрицательного функционала, который содержит априорную информацию, например, гладкость ограничений для преобразований вход/выход, и таким образом, переводит некорректно поставленные задачи в корректно поставленные [189, 192].

Далее для упрощения выводов без потери общности предполагается случай скалярного выходного сигнала системы оценивания 5с(у) = х(у). При этом х ш х, х (у) = х(у), F(y, W) ш F(y, W). Согласно теории регуляризации [85] функционал стоимости J(F,W), который должен быть минимизирован, содержит две составляющие [189] I "о /(F,WW,(F,W) + A/r(F,W) = - 2У=1 ХЛ F(yV\w) 1 +-Я PF(yc/; ,w 9 (4.2.5) где Л,-параметр регуляризации.

Первая составляющая J5(F,W) содержит стандартную ошибку между U) и действительным откликом системы целевым откликом системы X х(у ,W) для обучающих примеров j = \.n0 . Вторая составляющая Jr{F,VI) зависит от геометрических свойств функции приближения F(y,W). Она использует линейный дифференциальный оператор Р. Априорная информация о форме решения, т.е. функции F(y, W) учитывается в операторе Р. Решение для задачи регуляризации. Для функционала стоимости (4.2.5) справедливо следующее уравнение Эйлера-Лагранжа [189]: P PF(y, W) = і ±[ / - F(yU), ЩЩу - у W ), (4.2.6) Яу=1 где Р — дополнение оператора Р; S(y - уKJJ) — дельта-функция.

В окончательном виде решение для задачи регуляризации дается следующим выражением [189]: (y,W)= ZwjGiyiyV)), (4.2.7) J=l где G(y;y )- функции Грина для дифференциального оператора Р Р и W,— j -й элемент вектора весов w = W. В свою очередь, w = (G + /lE)-1x3, (4.2.8) ,(0.vO где G = {G(y ;yUJ)\i,j = l.n0}- квадратная матрица, составленная из функций Грина G(y;yW), i,j = l.n0; w = (wbw2,..., w„o)T; хэ_г (1) (2) (л0)хт Уравнение (4.2.7) имеет следующие особенности: подход регуляризации эквивалентен разложению решения по функциям Грина, чьи характеристики зависят только от формы стабилизирующего члена Р; число функций Грина, используемых в разложении, равно числу примеров обучающей реализации.