Содержание к диссертации
Введение
Глава 1. Анализ существующих методов построения адаптивных эквалайзеров для приёма сигналов 15
1.1. Адаптивный эквалайзер 16
1.1.1. Адаптивный линейный эквалайзер 16
1.1.1.1. Алгоритм сведения к нулю 17
1.1.1.2. Алгоритм наименьших квадратов 19
1.1.2. Адаптивный эквалайзер с обратной связью по решению 21
1.1.3. Слепой эквалайзер 23
1.1.3.1. Стохастический градиентный алгоритм 24
1.1.3.2. Алгоритмы слепого эквалайзера, основанные на статистике сигнала второго и более высокого порядка.. 26
1.2.Адаптивный эквалайзер канала с использованием нейронной сети.. 27
1.2.1. Эквалайзер с использованием многослойного персептрона . 28
1.2.2. Эквалайзер с использованием радиальной базисной сети 33
1.2.3. Эквалайзер с использованием рекуррентной нейронной сети... 39
1.2.4. Слепой нейросетевой эквалайзер 43
1.3. Выводы по главе 1 46
Глава 2. Комплексные нейронные сети как базис построения перспективных эквалайзеров 48
2.1. Структура комплексной нейронной сети 48
2.1.1. Комплексный нейрон 48
2.1.2.Однослойная комплексная нейронная сеть 50
2.1.3. Двухслойная комплексная нейронная сеть 52
2.2. Функция активации комплексной нейронной сети 54
2.3. Алгоритмы настройки комплексных нейронных сетей 57
2.4. Общий алгоритм настройки нейронной сети 64
2.5. Скорость обучения комплексной нейронной сети 64
2.6. Выводы по главе 2 66
Глава 3. Решение задачи построения эквалайзера в нелинейных каналах для обработки сигналов с различной квадратурной амплитудной модуляцией 62
3.1. Разработка эквалайзера с использованием комплексных нейронных сетей 67
3.1.1. Входной сигнал нейронной сети 67
3.1.2. Выходной сигнал нейронной сети 67
3.1.3. Желаемый выходной сигнал нейронной сети 68
3.1.4. Функция активации , 68
3.1.5. Описание структуры нейросетевого эквалайзера 70
3.1.6. Функционал оптимизации 72
3.1.7. Метод поиска экстремума функционала оптимизации 72
3.1.7.1. Алгоритм градиентного спуска 72
3.1.7.2. Методов второго порядка 73
3.1.8. Выбор начальных условий для настройки нейронной сети 77
3.2. Разработка эквалайзера с использованием комплексной радиальной базисной сети 77
3.2.1. Структура эквалайзера с использованием комплексной радиальной базисной сети 77
3.2.2. Алгоритмы настройки эквалайзеров с использованием радиальной базисной сети 80
3.3. Разработка эквалайзера с использованием комплексной рекуррентной нейронной сети 88
3.3.1, Комплексная рекуррентная нейронная сеть 88
3.3.1.1.Структура нейронной сети 88
3.3.1.2. Алгоритм настройки коэффициентов нейронной сети 90
А. Алгоритм обратного распространения 90
Б. Алгоритм с использованием расширенного фильтра Калмаиа 97
3.3.2. Комплексная нейронная сеть с полными обратными связями 99
3.3.2.1.Структура нейронной сети 99
3.3.2.2. Алгоритм настройки коэффициентов нейронной сети 100
А. Комплексный рекуррентный алгоритм настройки
коэффициентов нейронной сети в реальном времени (РАРВ),, 100
Б. Рекуррентный алгоритм настройки коэффгщиентов
нейронной сети в реальном времени с применением
расширенного фильтра Калмана (РАРВ-РФК) 103
3.4. Разработка эквалайзера с использованием самоорганизующейся комплексной вейвлет-нейронной сети (СОКВНС) 105
3.4.1. Структура эквалайзера с самоорганизующейся комплексной вейвлет нейронной сетью 105
3.4.2. Алгоритм обучения самоорганизующейся комплексной вейвлет нейронной сети 107
3.4.2.1. Самоорганизующийся алгоритм 107
3.4.2.2. Алгоритм настройки параметров 108
3.5. Разработка комплексного гибридного нейросетевого эквалайзера.. 111
3.5.1. Структура комплексного гибридного нейросетевого эквалайзера 111
3.5.2. Алгоритм настройки коэффициентов нейронной сети 113
3.5.2.1. Самоорганизующийся алгоритм 113
3.5.2.2. Алгоритм настройки параметров 114
3.6. Выводы по главе 3 116
Глава 4. Моделирование и экспериментальное исследование ненросстсвых эквалайзеров для обработки сигналов с квадратурной амплитудной модуляцией 117
4.1. Математическое моделирование каналов связи 117
4.1.1. Модель канала с аддитивным шумом 117
4.1.2. Модель линейного фильтрового канала 118
4.1.3. Модель нелинейного канала 119
4.2. Квадратурная Амплитудная Модуляция 120
4.3. Построение моделей нейросетевых эквалайзеров в пакете программ MATLAB/SIMULINK 122
4.4. Моделирование и исследование эквалайзера для обработки сигналов с модуляцией 4-КАМ -. 124
4.4.1. Моделирование и исследование эквалайзера с использованием комплексной нейронной сети 124
4.4.1.1. Исследование зависимости качества от числа нейронов,.. 124
4.4.1.2. Исследование зависимости качества от степени нелинейности канала 126
4.4.1.3. Исследование скорости обучения с использованием алгоритма второго порядка 127
4.4.2. Моделирование и исследование эквалайзера с использованием комплексной рекуррентной нейронной сети.. 129
4.4.2.1. Исследование зависимости качества от числа нейронов... 129
4.4.2.2. Исследование зависимости качества от степени нелинейности канала 130
4.4.2.3. Исследование скорости обучения с использованием алгоритма второго порядка 132
4.4.3. Моделирование и исследование эквалайзера с использованием комплексной сети с полными обратными связями для рекуррентного алгоритма настройки коэффициентов сети в реальном времени 134
4.4.3.1. Исследование зависимости качества от степени нелинейности канала 134
4.4.3.2. Исследование скорости обучения с использованием алгоритма второго порядка 135
4.4.4. Моделирование и исследование эквалайзера с использованием комплексной радиальной базисной сети 137
4.4.4.1. Исследование зависимости качества от числа нейронов 137
4.4.4.2. Исследование зависимости качества от степени нелинейности канала 138
4.4.5. Моделирование и исследование эквалайзера с использованием самоорганизующейся комплексной вейвлет-нейронной сети 139
4.4.6. Сравнение качества работы эквалайзеров различного вида... 141
4.4.7. Моделирование и исследование эквалайзера с обратной связью по решению 144
4.5. Разработка и исследование эквалайзера для сигналов с многоуровневой квадратурной амплитудной модуляцией (КАМ).. 147 4.5.1. Разработка и исследование эквалайзера для сигналов с модуляцией 16-КАМ 147
4.5.1.1. Разработка и исследование эквалайзера с использованием комплексных нейронных сетей 147
4.5.1.2. Разработка и исследование эквалайзера с использованием комплексной гибридной нейронной
сети 150
4.5.2. Разработка и исследование эквалайзера для сигналов с модуляцией 32-КАМ 153
4.5.3. Разработка и исследование эквалайзера для сигналов с модуляцией 64-КАМ 158
4.6. Выводы по главе 4 162
Заключение 164
Библиография работ по нейросетевым эквалайзерам
- Алгоритмы слепого эквалайзера, основанные на статистике сигнала второго и более высокого порядка..
- Двухслойная комплексная нейронная сеть
- Желаемый выходной сигнал нейронной сети
- Построение моделей нейросетевых эквалайзеров в пакете программ MATLAB/SIMULINK
Введение к работе
Актуальность темы. В системах телекоммуникации явление временной дисперсии появляется тогда, когда импульсная характеристика канала отклоняется от идеальной характеристики. В результате временной дисперсии влияние переданного символа простирается на много символов. Данное явление известно как межсимвольная интерференция (МСИ). Решение проблемы МСИ можно свести к синтезу приемника, который использует способ компенсации или сокращения МСИ в принимаемом сигнале. Компенсатор МСИ назван эквалайзером или выравнивателем.
Непрерывное развитие рынка телекоммуникаций требует повышения эффективности использования полосы пропускания канала. Одним из методов повышения скорости передачи данных без расширения полосы пропускания канала является использование сигналов с квадратичной амплитудной модуляцией (КАМ). Однако использование т-КАМ модуляции приводит к повышению чувствительности эквалайзера к помехам канала, особенно к нелинейности канала. Данная проблема порождает необходимость создания более эффективного эквалайзера для компенсации искажения сигнал в канале.
Обычные эквалайзеры, использующие адаптивный линейный фильтр на основе алгоритма наименьших квадратов (НК) или алгоритма сведения к нулю (СН) показывают плохое качество работы в сильно нелинейных каналах. Недавно был предложен новый класс эквалайзеров с использованием нейронной сети, который быстро заменил классические эквалайзеры. Нейросетевые эквалайзеры обеспечивают хорошее качество работы, особенно в сильно нелинейных каналах.
Под качеством эквалайзера понимается качество работы системы связи, использующей данный эквалайзер. Одной из его составляющих является
вероятность ошибки на бит при передаче сигналов. Далее под термином «качество эквалайзера» будем понимать именно эту характеристику.
Сильно нелинейным каналом обычно называют такой канал, в котором обычные эквалайзеры не работают, или показывают очень плохое качество. Для некоторой определенности, под термином «степень нелинейности» капала в данной работе будем понимать некоторое число NL, описывающее тип нелинейности канала. Конкретный вид нелинейности и понятие «сильно нелинейный канал» определяется в экспериментах (Глава 4), например, под сильно нелинейным каналом при модуляции 4-КАМ понимается канал с NL>2, поскольку эксперименты показали, что уже при такой степени нелинейности обычные эквалайзеры не работают. С возрастанием степени модуляции, нелинейность канала оказывает все большее отрицательное воздействие на качество работы эквалайзера.
Существует три типа нейронных сетей, которые наиболее часто используются для построения эквалайзера: многослойный персептрон, радиальная базисная сеть, рекуррентная нейронная сеть.
Несмотря на то, что нейросетевые эквалайзеры лучше по качеству, они обладают намного более сложными структурами и алгоритмами обучения по сравнению с традиционными эквалайзерами. Тем не менее, существует несколько структур, которые обладают примерно такой же степенью сложности, что и традиционные эквалайзеры, но значительно превосходят их по качеству.
Другим достоинством нейронных сетей является возможность эффективного распараллеливания на многие процессорные элементы, поскольку сам по себе нейросетевой алгоритм является более параллельным, чем любая его мыслимая реализация. Появляется возможность компромисса между аппаратной реализацией нейросетевого алгоритма (и в конечном итоге стоимостью системы связи) и временем реакции эквалайзера, что важно для систем связи, работающих в реальном времени на высоких частотах.
Указанные выше замечания служит мотивацией для продолжения исследований архитектур нейронных сетей и алгоритмов обучения с целью разработки быстрого и эффективного эквалайзера канала. Цель работы состоит в повышении качества работы комплексных нейросетевых эквалайзеров для сигналов с модуляцией т-КАМ в сильно нелинейных каналах.
Задачи исследования. Конкретными задачами, решенными в данной работе, являются:
синтез структур и алгоритмов обучения комплексных нейросетевых эквалайзеров для сигналов с модуляцией т-КАМ.
разработка новых методов комплексных эквалайзеров для сигналов с модуляцией т-КАМ в нелинейных каналах,
определение зависимости качества работы эквалайзера от сложности нейронной сети и параметров канала.
Методы исследования. В процессе работы были использованы методы теории нейронных сетей, теории адаптивного фильтра, теории оптимального фильтра, теории вейвлет-преобразования, теории цифровой связи, моделирование на ЭВМ.
Научная новизна работы. В результате выполнения работы был получен ряд новых научных результатов, позволяющих создавать эффективные эквалайзеры нелинейных каналов связи.
Проведен синтез структур и алгоритмов обучения комплексных эквалайзеров для сигналов с т-КАМ модуляцией с использованием многослойного персептрона, радиальной базисной сети и нейронной сети с обратными связями.
Предложена комплексная вейвлетная сеть с самоорганизующимся алгоритмом для системы с сигналами с 4-КАМ модуляцией в сильно нелинейных каналах.
Разработаны комплексные алгоритмы второго порядка для ускорения процесса обучения нейронной сети.
Предложена комплексная гибридная нейронная сеть для построения эквалайзера для сигналов с модуляцией 16-КАМ в нелинейных каналах,
Исследована зависимость качества эквалайзеров от структуры нейронной сети и нелинейности канала связи.
Составлены пакеты прикладных программ комплексных нейросетевых эквалайзеров на системе MATLAB версии 6 и SIMULINK версии 5.
Соответствие специальности. Содержание диссертации соответствует паспорту специальности 05.13.17 — «Теоретические основы информатики», в части п.1) исследование, в том числе с помощью средств вычислительной техники, информационных процессов, информационных потребностей коллективных и индивидуальных пользователей; п.2) исследование информационных структур, разработка и анализ моделей информационных процессов и структур; п.П) разработка методов обеспечения высоконадежной обработки информации и обеспечения помехоустойчивости информационных коммуникаций для целей передачи, хранения и защиты информации; п.13) применение бионических принципов, методов и моделей в информационных технологиях; п,14) разработка теоретических основ создания программных систем для новых информационных технологий; п. 15) исследования и разработка требований к программно-техническим средствам современных телекоммуникационных систем на базе вычислительной техники; п.16) общие принципы организации телекоммуникационных систем и оценки их эффективности. Практическая ценность диссертации. Предложенные нейросетевые эквалайзеры могут быть применены в системах цифровой радиорелейной
станции с m-KAM модуляцией сигналов, спутниковой связи в сильно нелинейных каналах.
Научные положения, выносимые на защиту. На защиту выносятся следующие положения, разработанные и исследованные в данной работе.
1. Структура эквалайзера с использованием самоорганизующейся
комплексной вейвлет-нейронной сети для сигналов 4-КАМ:
самоорганизующийся алгоритм,
алгоритм настройки коэффициентов нейронной сети.
2. Структура комплексного гибридного нейросетевого эквалайзера для
сигналов 16-КАМ:
самоорганизующийся алгоритм,
алгоритм настройки коэффициентов нейронной сети.
3. Алгоритмы второго порядка для ускорения процесса обучения
комплексной нейронной сети с последовательными и обратными
связями.
Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на XLVIII научной конференции Московского физико-технического института (Москва, 2005 г.), VIII всероссийской научно-технической конференции «Нейроинформатика -2006» (Москва, 2006 г.).
Структура и краткое содержание работы. Диссертационная работа содержит введение, четыре главы, заключение, приложение, библиографию работ по нейросетевым эквалайзерам. Диссертация содержит 68 рисунков и 2 таблицы. Общий объем диссертации составляет 186 страниц. Содержание работы распределено по отдельным разделам следующим образом.
В первой главе рассмотрены существующие методы построения эквалайзеров для приема сигналов. Проанализированы структуры и алгоритмы традиционных эквалайзеров. В развитие этого, разработаны
эквалайзеры с использованием различных видов нейронной сети. Показаны их преимущества и недостатки, а также области применений.
Во второй главе разработана комплексная нейронная сеть, использующаяся как базис для построения комплексных эквалайзеров для сигналов с квадратичной амплитудной модуляцией (КАМ).
В третьей главе проводится разработка комплексных эквалайзеров в нелинейном канале. Исследован эквалайзер с использованием различных структур комплексных нейронных сетей: комплексной нейронной сети с последовательными связями, комплексной радиальной базисной сети, комплексной нейронной сети с обратными связями. Разработаны алгоритмы обучения второго порядка для увеличения скорости сходимости процесса обучения.
Предложен эквалайзер с использованием самоорганизующейся комплексной вейвлет-нейронной сети для сигналов с модуляцией 4-КАМ. Построены самоорганизующийся алгоритм для определения и построения слоя произведения и алгоритм обратного распространения для настройки коэффициентов такой нейронной сети.
Предложен эквалайзер с использованием комплексной гибридной нейронной сети для сигналов с модуляцией 16-КАМ. Построены самоорганизующийся алгоритм для определения и построения слоя Кохонена и алгоритм обратного распространения для настройки коэффициентов такой нейронной сети.
В четвертой главе построена модель системы связи в системе MATLAB/SIMULINK. В пакете прикладных программ MATLAB/«Neural Network Toolbox» нет поддержки комплексной нейронной сети. Поэтому нейросетевые эквалайзеры разработаны на языке «Си» и работают в системе MATLAB/SIMULINK в виде динамически подключаемых библиотек (dynamic-link library, см. Приложение).
Исследована зависимость качества эквалайзеров с использованием различных видов нейронных сетей от структуры сети и алгоритмов обучения.
Исследована зависимость качества системы от степени нелинейности канала связи.
Исследовано качество системы связи с использованием различных степеней квадратичной амплитудной модуляции.
В заключении приведены основные научные результаты работы.
В приложении приведены программы нейросетевых эквалайзеров с различными алгоритмами на языке «Си».
Автор выражает свою глубокую благодарность д.т.н., проф. А.И. Галушкину за постоянное внимание и поддержку в работе, коллегам по работе в «Научном Центре Нейрокомпьютеров» за помощь в проведении исследования.
Алгоритмы слепого эквалайзера, основанные на статистике сигнала второго и более высокого порядка..
Хорошо известно, что статистики второго порядка (автокорреляция) принимаемой сигнальной последовательности дают информацию об амплитудно-частотной характеристике, но не о фазочастотпой характеристике. Однако это утверждение неверно, если автокорреляционная функция принимаемого сигнала периодическая, что является случаем цифрового модулированного сигнала, В таком случае возможно получить измерение АЧХ и ФЧХ капала по принимаемому сигналу- Такое свойство циклостационарности принимаемого сигнала образует базу для алгоритмов оценки канала, предложенных Тонгом и др. (1991) [147].
Также возможно оценить характеристики канала по принимаемому сигналу, используя методы статистики более высокого порядка- В частности, импульсную характеристику линейной не меняющейся во времени системы с дискретным временем молено получить полностью по кумулянтам принимаемого сигнала, при условии, что вход канала не гауссовский- Мы опишем простой метод оценки импульсной характеристики канала при помощи кумулянтов четвертого порядка принимаемой сигнальной последовательности. Кумулянт четвертого порядка определяется так: c(x(k)tx(k + m%x(k + n)tx{k + l)) cr(m9nJ) E(x{k)x(k -Е(х(к)х(к + т))Е(х(к + п)х{к + /)) - Е{х{к)х{к + п))Е(х(к + m)x{k 4- /)) -Е{х{к)х{к + 1))Е(х(к + т)х(к + п)) (1-12) (кумулянт четвертого порядка для гауссовского сигнала равен нулю). Как следствие, получаем ,(111,11,/)- ), +111), + +/))2:/,/ / / . (1-й) Для статистически независимой и одинаково распределенной входной последовательности {s } канала константа c(s(k),s(k+m),s(k+n),s(k+l))=k3 называется куртосисом. Если память канала равна L+1, мы можем положить т = п = l=-Lf так что cy(-LrLrL)-Wo (1.14) Аналогично, если положим т 0, п = L, I р, получим Cr{0,L,p) = Wo% (1.15) Если скомбинируем (1.14) и (1.15), мы получим отсчеты импульсной характеристики канала с точностью до скалярного множителя /,-/. c;{u:LflV P=I,2,..,L. (ив) cr(-L,-L-L) Кумулянты cr{m,nrl) оцениваются усреднением по отсчетам принимаемой сигнальной последовательности {х(к)}.
Главный недостаток этого класса алгоритмов - большое количество данных и свойственная им вычислительная сложность, включая оценивание моментов высоких порядков (кумулянтов) принимаемого сигнала- Далее рассмотрим новый класс эквалайзеров с использованием нейронной сети,
Адаптивный эквалайзер канала с использованием нейронной сети
Нейронные сети являются параллельными системами обработки данных, в которых многие элементы с простыми связями (нейроны) одновременно обрабатывают информацию, приспосабливаются и обучаются на образцах- Хотя нейроны сами по себе способны только к выполнению простых действий, но будучи организованы в слои, все нейроны вместе способны выполнять очень сложные задачи. Привлекательным свойством нейронных сетей, относящихся к проблеме эквалайзера, является адаптивная обработка, самоорганизация, приближение, эффективная реализация на аппаратных средствах ЭВМ, и, что наиболее важно, способность к решению сильно нелинейных задач. Обычные эквалайзеры, использующие адаптивный линейный фильтр на основе алгоритма наименьших квадратов (НК) или алгоритма сведения к нулю (СН) показывают плохое качество работы в сильно нелинейных каналах. Недавно, был предложен новый класс эквалайзеров с использованием нейронной сети, который быстро заменил классические эквалайзеры. Нейросетевые эквалайзеры дают хорошие результаты особенно в сильно нелинейных каналах. Существует три вида нейронных сетей, которые наиболее часто используются для построения эквалайзера: - многослойный персептрон (МСП), - радиальная базисная сеть (РБС), - рекуррентная нейронная сеть.
Эквалайзер с использованием многослойного персептрона (МСП) представляет собой развитие линейного эквалайзера НК, Другими словами, линейный эквалайзер НК является частным случаем нейросетевого эквалайзера с использованием линейного однослойного персептрона. Эквалайзеры с использованием МСП предложены Гибсоном и Сованом [136], [77], [135] в 1989-ом году.
Предложенный эквалайзер является трехслойной сетью (2 скрытых слоя, 1 выходной слой) с функцией активации типа «сигмоида» и алгоритмом обратного распространения. Структура предложенного нейросетевого эквалайзера показана на рис, 1.7. Несмотря на то, что предложенный эквалайзер дает хорошие результаты, его применение ограничено линейным каналом и только для двухполюсного сигнала {-1,1}
Двухслойная комплексная нейронная сеть
Второй слой нейронов - это выходной слой. Количество нейронов в этом слое равно удвоенному количеству комплексных выходных сигналов. Весовые коэффициенты этого слоя равны W/f 9 нижние индексы относятся к выходному слою, верхние - к распределительному. Индексы і я] обозначают номер комплексного нейрона в слое, т.е. номер двух нейронов соединенных прямоугольной рамкой, смотри рис. 2.2. Индексы аир обозначают номер вещественного нейрона в паре нейронов соединенных рамкой. Если а или р равны «R», то это означает что вес относится к нейрону в соответствующем слое дающему вещественное значение выхода, если а или fi равны «I», то вес относится к нейрону в соответствующем слое дающему мнимое значение выхода.
Из рассмотрения модели комплексного нейрона, показанной выше, мы можем написать соответствующие уравнения для весов: гаг ля -WW W -R --Wj- Т.е. у нас получается не Ахпхт различных весов, а 2хпхт, Введем следующие обозначения: ЛГ/— количество нейронов входного слоя, No - количество нейронов выходного слоя, Wji - веса связи от /-ого нейрона входного слоя к 7-ому нейрону выходного слоя, Yj - пороговые значения нейронов выходного слоя, 1пО} - выходы 1-ого нейрона входного слоя,у-ого нейрона выходного слоя, Аналогично однослойной сети W/f = W/J, Wff = -W/f 9 VtJJ = V/j , V.J — V(JJ . Отсюда количество различных нейронов не 4xnxl + 4x1 хи, где / количество нейронов во втором слое, а 2xnxi + 2xlxm. Введем следующие обозначения: wji - веса между i -ым нейроном входного слоя и j-ът нейроном скрытого слоя, vkj- - веса между j-ым нейроном скрытого слоя и к-ът нейроном выходного слоя, в - пороговые значения нейронов скрытого слоя, уj - пороговые значения нейронов выходного слоя, 1пН Ок - выходы /-го нейрона входного слоя3у-го нейрона скрытого слоя, к-го нейрона выходного слоя. Выходы к-го нейрона выходного слоя вычисляется по формуле O ffinetOn + ifUnetHt). (2.9) По аналогии мы легко можем построить комплексную нейронную сеть с более чем двумя слоями.
В этом разделе мы подробно рассмотрим необходимые свойства функции активации, которыми она должна обладать в комплексной нейронной сети.
Теорема дифференцируемости комплексной функции: Функция f(z) = и(х, у) + /v(x, у) дифференцируема в точке z = х + Іу если \. функции u(xfy) и v(x,y) дифференцируемы б точке (х-,у), 2. в точке (х9 у) выполняются условия Коши-Римана ди _dv ди _ dv дх ду ду дх \ - J Это ограничение требует от нас метод градиентного спуска, который применялся для вывода алгоритма настройки коэффициентов. Определение: Функцию f(z) = u{x,y) + iv(x,y) называют ограниченной в области Dc:Ct если и(х9у) и v(x9y) ограничены е этой области.
Функция активации должна быть ограничена, иначе могут возникнуть бесконечные значения, что может привести к затруднениям при аппаратной реализации сети. Исключением из этого правила является неограниченная линейная функция активации f(z) = z, которая часто применяется на выходе нейронной сети. Условие ограниченности на функцию активации убирает из рассмотрения многие функции, использующиеся до этого в вещественных сетях. Например, сигмоидная функция f(z) = 1/(1 + e"z) ограничена в вещественной области, в комплексной же области она не ограничена в точках {0±i(2n + \)x:neN}. Т.е. в этих точках [ f(z) — со. Гиперболический тангенс также неограничен tanh(z) — оо в точках {0 ± i(2n 4- ї)тг: п є N). Аналогично с - со при z = О + iy где у - оо .
Понятно, что функция активации должна быть однозначной, т.е. исключаем функции типа lnzn za,or 0,a giV, Воспользоваться какой ни будь одной регулярной ветвью многозначной функции нельзя, т.к. для этого нужно удалить точки ветвления. Но эти точки могут быть сгенерированны каким-нибудь нейроном, т.к. взвешенная сумма входов нейрона в процессе обучения может принимать любые значения.
Для исследования необходимых свойств функции активации в комплексной нейронной сети воспользуемся некоторыми результатами комплексного анализа.
Определение: Функцию f(z) называют целой, если она регулярно (т.е. дифференцируема) на всей комплексной плоскости. Теорема (Лиувилля): если г\елая функг$ия ограничена на всей комплексной плоскости, то она есть постоянная: f(z) = const.
Поскольку /(г)должна быть ограниченной, то она не должна быть дифференцируема в комплексном смысле, иначе вследствие теоремы Лиувилля она будет константой, которая не самая лучшая функция активации.
Желаемый выходной сигнал нейронной сети
Входным сигналом нейронной сети в дискретный момент времени t-kT является вектор x=[x{k)y..tIx(k Nt+iy\ , где х(к) — принимаемый сигнал на входе приемника x(k)= )+r(k)=fh(s(k)Xk-i),. -K+mm- (3-і) Комплексная информационная последовательность {s(k)} передается через дисперсионный комплексный канал, и выход канала искажается комплексным аддитивным шумом- Здесь введены обозначения: fh(.) - комплексная функция (может быть либо линейной, либо нелинейной), А _ - длина канала с конечной импульсной характеристикой (КИХ), Nf - «размер» эквалайзера, т.е. размерность входного вектора нейронной сети, Задача эквалайзера состоит в восстановлении переданных символов sty-rid) на основе вектора последовательности символов x=[x(k)9:.fx(k-Nj+l)] , где rid- задержка решения эквалайзера Выходным сигналом нейронной сети в момент времени t=kT является комплексное значение y(k-nd), соответствующее оценке переданного сигнала s(k-nd).
Желаемым выходным сигналом нейронной сети в момент времени t-kT является переданный сигнал s(k-nd).
Вообще, функция активации очень важна, потому что нейронная сеть отличается от обычной линейной системы именно нелинейностью функции активации. Выбор этих функций зависит от того, как мы хотим представить выходные значения. В этой работе комплексная функция активации предложена следующим образом: F{Z)=AZK)+JAZI), (3.2) гДеЛ-) " реальная функция, определенная по формуле: f{x) = m-arctg(x). (3.3) /г Производная функции имеет вид: f(x) = m— г, 7ГЇ+Х2 где т — коэффициент нелинейности функции активации. На рис.3 Л показаны функции активации Д.) с различной степенью нелинейности при различных т. Рис, 3.2 показаны графики производной функции активации/ .) при различных т.
Видно, что такая функция F(Z) удовлетворяет всем свойствам 1-6 (см. Главу 2).
Рассмотрим двухслойную комплексную нейронную сеть, показанную на рис, 3.3- В этом случае мы будем рассматривать не модель комплексной сети для физической реализации, у которой веса, пороговые значения и функции активации вещественные, а комплексную сеть в явном виде, у которой веса, пороговые значения и функции активации комплексные величины.
Здесь введены обозначения; - количество нейронов входного слоя N[9 - количество нейронов скрытого СЛОЯЛ //, - количество нейронов выходного слоя NQ=1. Активация у-ого нейрона скрытого слоя вычисляется по формуле: Net }= Net +jNetj, (3.4) : . (3-5) rjjx=xi +jXi - это /-ый входной сигнал; wji=Wji +jWji —это вес связи от /-ого нейрона входного слоя к/-ому нейрону скрытого слоя; 0, = 0 + /#J - это смещение/-ого нейрона. Выход/-ого нейрона скрытого слоя вычисляется следующим образом Н/=Я/4уї (3.6) Активация выходного нейрона вычисляется по формуле: Neto=Net«+jNet!B, (3.7) где Vj-vf+iv/ - это вес связи от &-ого нейрона второго скрытого слоя к выходному нейрону; /? = /?;f + //? -это смещение выходного нейрона. Выход эквалайзера имеет вид y-yR+jyrWetf) jf0{NetJ\ (3.9) Ошибка решения
Ошибка решения определяется как разность между желаемым и действительным выходным сигналом нейронной сети в дискретный момент времени t—kT то есть ошибка решения показывает расстояние до правильного значения. В нашем случае, ошибка решения для текущего момента времени t=kT определяется по формуле № = уё{к)-у{к), (3.10) гдед () -желаемый сигнал в момент времени l=kTt
Для решения задачи разработки эквалайзера используется функционал оптимизации, минимизирующий среднеквадратичную ошибку. Для -ой обучающей итерации функционал выглядит следующим образом т=у2[Ь кь)-уЧь))г+Ш)-у (Ф=У21(е1!У+{е1Уъ (3-ю где yd(k) yj{k)-\-jyld{k) = sR{k-nd) + jsI(k-nd) - желаемый сигнал в момент времени t=kT.
Поиск экстремума (минимума) функционала оптимизации ведется градиентным методом со случайным выбором начальных условий (значений весов). Суть градиентного метода заключается в том, что вычисляется ошибка, и вес веса сети настраиваются следующим образом
Построение моделей нейросетевых эквалайзеров в пакете программ MATLAB/SIMULINK
Поведение нейронной сети описывается следующей нелинейной дискретной системой [63]: w(k + 1) = w(k) + со{к) , (ЗЛ57) y(k) = hk(w(k%x(kly{k-1)) + (к). (3.158)
Уравнение процесса (3.157) показывает, что состояние нейронной сети описывается как стационарный процесс, искажающийся процессом шума о)(к)9 где состояние системы характеризуется весами нейронной сети w(k). Уравнение наблюдения (3.158) представляет желаемый выход нейронной сети как нелинейную функцию от входного вектора х(к), весового вектора w(k\ и рекуррентного векторау{к-\). К этой функции добавляется случайный шум наблюдения, являющийся белым шумом с нулевым средним и ковариацией Е[)] = 81}Щк). Процесс со{к) так же характеризуется как белый шум с нулевым средним и ковариацией E[o)lcoT] = SiQ(k).
Обучение нейронной сети с использованием теории фильтра Калмана можно рассматриваться как поиск наименьшей среднеквадратичной ошибки (СКО) состояния w на основе всех наблюденных данных.
Матрица Якоби нейронной сети вычисляется по формуле: 6Y д дУ (3.159) G(k) = VJ = дв dw dwm где в - это вектор смешения нейронной сети в=к о; ... е;я 9 J, (3.160) w - это вектор весов связи от входного слоя к скрытному слою w = [w ... wf„ wf]N/ wj w 2] ... wR W NMNJ, (3.161) w - вектор весов связи от рекуррентного слоя к скрытному слою w = fe ц\ ... щ Нн щ ъ щ К ... ъ;иКи w J, (3.162) Весовой вектор нейронной сети wt имеет такой вид w(k) = [eT wT wT]\ (3.163) Выходной вектор нейронной сети задается так У=ЬЯ /]Г. (ЗЛ64) д д дУ Производные —, —-, —z: определяются по формулам (3.149), дв c\v ow (3.150), (3.152), (3.153), (3.155), (3.156). Алгоритм расширенного фильтра Калмана представляется следующим образом [63] A(k) = [R(k) + G(k)P(k)GT(k)Y , (3.165) K{k) = P{k)GT(k)A{k) , (3.166) w(k + l) = w(k) + K(k)e(k) , (3.167) P(k + l) = P(k)-K(k)G(k)P(k) + Q(k) , (3.168) где вектор w (k) представляет оценку состояния системы в момент t=kT. Эта оценка является функцией от матрицы усиления Калмана К(к) и вектора ошибки е(к) = [eR(k) e (k)J. Матрица усиления Калмана является функцией от ковариационной матрицы приближенной ошибки Р(к), матрицы Лкоби G(k) и матрицы А(к). Матрица Лкоби вычисляется по формуле (3.159). Наконец маїрица А(к) является функцией от ковариационной матрицы шума наблюдения R(k)9 матрицы Р(к) и G{k).
Матрицы шумов наблюдения и процесса R(k) , Q(k) и ковариационная матрица приближенной ошибки Р(к) устанавливаются в исходное состояние обучения следующим образом:
Входной слой состоит из Nj комплексных нейронов, соответствующих Nj входным сигналам. Через входной слой входная последовательность т1 х=[х{к\„.,х{к- N/ +1)] передается на веивлет слой.
Для дискретного веивлет преобразования, материнский веивлет ("mother wavelet") фЛх,) описан как; ФМ) = ь х-Ъ» а. г\ ехр -0.5. ,- , & 2\ (3.172) где Ф;,{ХІ)- материнский веивлет между /-ым входом иу-ым веивлетом слоя произведения, аг- вещественное значение; Ь;і - комплексное значение, - Евклидово расстояние между двумя комплексными векторами ,-ь, 2 x,-bj, Н ,-К (3.173) Каждый веивлет в слое произведения обозначается "П \ т.е. выходу-ого вейвлета слоя произведения задается как (3.174) Выходной слой имеет два нейрона. Один — вещественная часть сигнала, другой - мнимая часть сигнала. Значения выхода имеет такой вид =/+//, (3.175) у =±у. (3.176) і у1 =ЕУХ 7=1 (3.177) где y/j -[ ь у/2, - /] рассматривается как нелинейная функция преобразования скрытых нейронов, Wj = [wj W2 ..wj\ - веса выходных нейронов.
Алгоритм обучения для СОКВНС состоит из двух алгоритмов. Первый - самоорганизующийся алгоритм обучения для структуры сети. Второй — алгоритм обратного распространения для настройки параметров вейвлета и весов сети,
Самоорганизующийся алгоритм создан на основе критериев скользящего окна для увеличения/уменьшения количества материнских вейвлетов ("mother wavelet") и числа нейронов скрытого слоя.
Критерии для увеличения числа нейронов скрытого слоя В процессе обучения новый нейрон добавляется тогда, когда выполняются сразу три следующих условия:
