Содержание к диссертации
Введение
ГЛАВА 1. Современный подход к решению задач нелинейной компенсации и фильтрации с использованием нелинейных операторов 11
1.1. Постановка задач нелинейной компенсации и фильтрации 13
1.2. Математические модели нелинейных операторов 16
1.2.1. Функциональный ряд и полином Вольтерры 16
1.2.2. Многочлен расщепленных сигналов 18
1.2.3. Нелинейная авторегрессионная модель 22
1.2.4. Нейронные сети 23
1.3. Сравнительный анализ моделей нелинейных операторов 32
1.4. Основные результаты зз
ГЛАВА 2. Математическое моделирование компенсаторов нелинейных искажений сигналов в канале связи методом расщепления 35
2.1. Постановка задачи построения модели нелинейного компенсатора 35
2.2. Модель вольтерры канала связи при амплитудно-фазовом модулированном воздействии 37
2.3. Применение метода расщепления для математического моделирования нк 39
2.4. Построение математической модели нк методом расщепления 40
2.5. Компенсация нелинейных искажений сигналов в цифровом кс 45
2.5.1. Нелинейная компенсация при PSK-воздействии в КС 47
2.5.2. Нелинейная компенсация при QAM-воздействии в КС 50
2.5.3. Нелинейная компенсация при действии гауссовского шума в КС 52
2.6. Основные результаты 57
ГЛАВА 3. Математическое моделирование цифровых фильтров импульсных помех на классе речевых сигналов методом расщепления во временной и частотной областях 58
3.1. Постановка задачи построения моделей цифровых фильтров импульсных помех 58
3.2. Применение метода расщепления для математического моделирования цифрового фильтра импульсных помех во временной области 60
3.3. Построение моделей нелинейных нерекурсивных цифровых фильтров импульсных помех на классе речевых сигналов во временной области 62
3.3.1. Формирование обучающих сигналов 62
3.3.2. Исследование модели ННЦФ 63
3.3.3. Каскадное соединение МФ и ННЦФ 65
3.3.4. Сравнение результатов работы ННЦФ, МФ, фильтра Вольтерры 66
3.4. Применение метода расщепления для математического моделирования цифровых фильтров импульсных помех в частотной области.68
3.5. Построение моделей нелинейных нерекурсивных фильтров импульсных помех на классе речевых сигналов в частотной области 74
3.5.1. Исследование модели ЧННЦФ при фильтрации импульсных помех речевого сигнала 74
3.5.2. Сравнение результатов работы ЧННЦФ, МФ, фильтра Вольтерры 76
3.6. Основные результаты 79
ГЛАВА 4. Математическое моделирование компенсатора нелинейных искажений сигналов на основе нейронной сети гаммерштейна для цифрового канала связи 82
4.1. Постановка задачи построения модели нелинейного компенсатора 82
4.2. Полиномиальная и нейронные модели компенсаторов 84
4.3. Компенсация нелинейных искажений сигналов для модели винера цифрового канала связи 89
4.4. Основные результаты 94
Заключение 95
Список литературы 98
- Функциональный ряд и полином Вольтерры
- Построение математической модели нк методом расщепления
- Формирование обучающих сигналов
- Компенсация нелинейных искажений сигналов для модели винера цифрового канала связи
Функциональный ряд и полином Вольтерры
В XXI веке высокий темп развития техники, в частности, электронных и цифровых устройств ведет к повышению технических требований к производимым приборам и системам. Электро-, радио- и телекоммуникационные системы часто являются нелинейными, т.е. содержат нелинейные элементы (биполярные и полевые транзисторы, диоды, тиристоры и пр.).
В некоторых ситуациях нелинейность системы искажает сигнал [6]. Например, если амплитуда входного сигнала превышает зону насыщения усилителя мощности (УМ), что случается в режиме работы с максимальным КПД, то в выходном сигнале УМ присутствуют нелинейные искажения.
Среди нежелательных эффектов, вызываемых нелинейными искажениями, можно указать следующие [23]: - появление интермодуляционных и комбинационных помех; - подавление сигналов; - снижение помехозащищенности и пропускной способности в телекоммуникационных системах; - ухудшение качества звучания электроакустической аппаратуры; - усложнение решения проблем обеспечения электромагнитной совместимости в приборостроении [40, 44, 64, 67, 68].
Применение классических методов борьбы с нелинейными искажениями, таких как линейная инверсия и линеаризация характеристик отдельных нелинейных элементов, не всегда оказывается эффективным.
Эффективным способом борьбы с нелинейными искажениями является их нелинейная компенсация, позволяющая повысить качество проектируемых устройств при заданном уровне развития технологии их производства [29, 30, 32, 46, 59, 76, 93].
Помимо нежелательных нелинейных искажений сигналов, вносимых электронными приборами, существуют помехи (шумы) аддитивно влияющие на преобразуемые сигналы. Указанные помехи имеют разную природу и подразделяются на два класса: гауссовские и негауссовские шумы. Шум может быть привнесен в сигнал на различных стадиях его преобразования. Причинами появления шума служат, например, различные тепловые и атмосферные явления, коммутация электротехнических устройств, повреждение объектов хранения информации и т.д. Наличие шумовых составляющих в сигналах приводит к таким негативным последствиям, как снижение пропускной способности каналов связи, снижение эффективности работы алгоритмов компрессии видео- и аудиоданных, ухудшение качества воспроизведения аудиовизуальных программ и т.д.
Методы борьбы с гауссовским шумом реализуются на базе линейной обработки сигналов. Методы подавления негауссовского шума, например с помощью нелинейной фильтрации, можно реализовать в рамках теории нелинейных операторов [13, 33-35, 66].
Задачи нелинейной компенсации и фильтрации целесообразно формулировать в рамках операторного подхода, когда нелинейная система (компенсатор, фильтр или исходное искажающее устройство) описывается нелинейным оператором, однозначно отображающим множество входных сигналов во множество выходных сигналов. Указанный подход позволяет моделировать процессы различной физической природы, протекающие в реальных устройствах [16].
В первой главе рассматриваются операторные методы нелинейной компенсации и фильтрации, отмечаются их достоинства и недостатки, формулируются задачи, решаемые в диссертационной работе. Сформулируем задачу нелинейной компенсации в рамках операторного подхода. Пусть X - множество входных сигналов х(п) исходного нелинейного устройства, Y - множество его выходных сигналов у (ті). Исходное нелинейное устройство описывается нелинейным оператором Н, устанавливающим однозначное соответствие между множеством входных сигналов X и множеством выходных сигналов Y:
На рисунке 1.1 изображены схемы каскадного соединения компенсатора и исходного нелинейного устройства. Наиболее распространены два способа подключения компенсатора: предкомпенсатор (рисунок 1.1, а) и посткомпенсатор (рисунок 1.1, б) [46, 58, 93]. В некоторых случаях, когда выход нелинейной системы недоступен (например, при линеаризации модели электродинамического громкоговорителя, выходным сигналом которого является звуковое давление), компенсатор может быть подключен только по схеме, изображенной на рисунке Уравнение (1.1) соответствует синтезу посткомпенсатора, уравнение (1.2) -синтезу предкомпенсатора.
Методы нелинейной компенсации можно разделить на два класса: слепые методы, выполняемые без «обучения» компенсатора [13, 16, 18, 29, 42, 47, 50, 74], и методы, основанные на «обучении» компенсатора [17, 60 - 62, 98, 102].
Построение математической модели нк методом расщепления
Фильтрация импульсных помех является важной задачей в обработке сигналов в таких областях, как электротехника, радиотехника, электроника, электромагнитная совместимость. Импульсные помехи - это выбросы малой длительности с большими положительными или отрицательными значениями, существенно искажающие исходный сигнал. Импульсные помехи возникают при коммутации различных электротехнических и электронных устройств, при механических повреждениях поверхности устройств хранения информации, при работе двигателей внутреннего сгорания, под влиянием различных атмосферных явлений и т.д. Для улучшения качества восстановления и распознаваемости сигналов применяются методы борьбы с импульсными помехами.
Классический метод подавления импульсных помех - медианная фильтрация. Медиана является робастной (устойчивой к распределению) оценкой среднего значения выборки [3, 41]. Однако, медианные фильтры (МФ) обладают недостатком: они вносят существенные искажения на некоторых участках сигнала, не пораженных импульсной помехой. МФ - неоптимальны, поскольку не используют информацию о статистических свойствах сигналов и помех. В результате разработка методов фильтрации импульсных помех, обеспечивающих высокое качество восстановления сигналов, является актуальной задачей. В данной главе синтезированы полиномиальные фильтры импульсных помех во временной и частотной областях в рамках принципа «черного ящика» на основе метода расщепления сигналов [21, 29, 35, 51, 55], приведены результаты подавления импульсных помех в речевых сигналах.
Сформулируем задачу аппроксимации нелинейного оператора цифрового фильтра импульсных помех на основе операторного подхода. Пусть имеется сигнал у (п,а), где п - нормированное дискретное время, а = \аъа2,---а -вектор параметров сигнала. В главе 3 данный сигнал является речевым. Сигнал у (п,а) искажается аддитивным импульсным шумом z,(n) (рисунок 3.1). Необходимо построить модель оператора Fs цифрового фильтра, очищающего сигнал от импульсных помех. Нелинейный оператор Fs цифрового фильтра входит в операторное уравнение вида блок-схема подключения нелинейного фильтра импульсного шума 3.2. применение метода расщепления для математического моделирования цифрового фильтра импульсных помех во временной области Задача синтеза цифровых фильтров импульсных помех решается в рамках принципа "черного ящика" на основе теории расщепления сигналов. Согласно этой теории оператор Fs нелинейного фильтра описывается композицией двух операторов: оператора Fp расщепителя и оператора Р нелинейного безынерционного преобразователя [12, 29].
Расщепление реализуют линейные, нелинейные, стационарные и нестационарные преобразователи сигналов [29]. Оператор Р нелинейного безынерционного преобразователя отображает векторный сигнал хр (п, а) в скалярный сигнал у(п, а). Обычно такие операторы описываются многомерными многочленами
Многомерный полином (3.1) степени / (p = Ji+J2+... + Jm) для всех пєІп, аєСа удовлетворяет условию
Блок-схема ННЦФ Следует отметить, что количество коэффициентов СІ і і в элементов по / элементов. При большом числе т каналов расщепления в многочлене (3.1) задача аппроксимации оператора Fs имеет высокую размерность, порождает плохую обусловленность ее решения и требует существенных вычислительных затрат.
Синтезируем нелинейный нерекурсивный цифровой фильтр (ННЦФ), выделяющий речевой сигнал из смеси сигнала с импульсной помехой, на основе метода расщепления.
Речевой сигнал, используемый для „обучения" ННЦФ в рассматриваемом примере, имел длительность 35 секунд (280 000 отсчетов) и частоту дискретизации 8 кГц. Он состоял из разных фраз четырех дикторов (двух мужчин и двух женщин). Фразы отличались уровнями громкости, задаваемыми как 1, 0.75, 0.5, 0.25 (пропорционально указанным значениям нормировались мгновенные значения каждой дикторской речи, причем уровню 1 соответствовал диапазон речевого сигнала [-0.5; 0.5]).
Для исследования свойств синтезированного фильтра применялся речевой сигнал длительностью 20 секунд (160 000 отсчетов), отличающийся от "обучаемого" и содержащий разные фразы мужской и женской дикторской речи с уровнями 0.8 и 0.4 соответственно.
Значения импульсной помехи формировались как случайные числа, распределенные равномерно в диапазоне [-0.5; 0.5]. Моменты появления помехи выбирались согласно следующему правилу [3, 65]. Если в момент времени п генератор случайных чисел с равномерным законом распределения в диапазоне [0;l] дает число меньшее, заданного порога а (в нашем случае а = 0.01), то в этот момент времени действует импульсная помеха, в противном случае она отсутствует. Таким образом, вероятность появления помехи в текущий момент времени п равна а; вероятность ее отсутствия - (1-а); вероятность того, что импульсная помеха появится через J] временных отсчетов, равна а (1 - а) (геометрическая функция распределения для переменной г/). Действовало также дополнительное ограничение: расстояние между соседними помехами - не менее 5 отсчетов речевого сигнала.
Расщепитель ННЦФ следует строить с минимальным числом каналов расщепления, поскольку в этом случае упрощается оператор синтезируемого устройства [35]. Исследования показали, что данному свойству удовлетворяет вектор расщепленных сигналов
Применение МФ [3,41] и двусторонних предсказателей [104], использующих для получения выходного сигнала в текущий момент времени п предыдущие и последующие отсчеты воздействия, породило гипотезу о возможном учете данного свойства при расщеплении искаженного импульсной помехой речевого сигнала. Результаты проверки гипотезы представлены на рисунке 3.3.
Формирование обучающих сигналов
Доказано, что адаптированный к классам QAM- и PSK-сигналов расщепитель можно построить в виде линии задержки, длина которой больше или равна длине памяти модели КС. На основе данного свойства можно построить модель нелинейного компенсатора в виде многочлена расщепленных сигналов минимальной размерности.
С применением разработанной математической модели НК исследована эффективность компенсации нелинейных искажений QAM- и PSK-сигналов в цифровом КС, описанном отрезком ряда Вольтерры, при отсутствии и действии в КС гауссовского шума.
На основе метода расщепления в спектральной области синтезирована модель частотного нелинейного нерекурсивного цифрового фильтра для подавления импульсного шума в речевых сигналах. При синтезе ЧННЦФ общая задача аппроксимации оператора фильтра разбивается на несколько подзадач существенно меньших размерностей, решаемых в частотной области, что позволяет снять проблему плохой обусловленности, характерную для полиномиальных моделей устройств.
При фильтрации импульсных помех в речевых сигналах с помощью ЧННЦФ установлено: - для удобства ДПФ следует выбирать 6 (четное число) каналов расщепления; - наименьшая среднеквадратичная погрешность фильтрации достигается, если расщепленные сигналы (временные фрагменты речи, обрабатываемые ДПФ) содержат равное количество предыдущих и последующих отсчетов по отношению к текущему моменту времени; - для повышения точности фильтрации следует учитывать эффект наложения в спектрах степенных составляющих выходного сигнала ЧННЦФ; - блочный (фрагментарный) способ формирования выходного сигнала частотного фильтра уступает по точности обработки последовательному способу; - ЧННЦФ дает наименьшую среднеквадратичную погрешность фильтрации по сравнению с медианным фильтром и фильтром Вольтерры.
Прослушивание выходных сигналов фильтров показало, что речевой сигнал на выходе медианного фильтра не содержит импульсных помех, но при этом речь становиться глухой с неестественным звучанием. После фильтрации Вольтерры и обработки ЧННЦФ в речевом сигнале присутствуют редкие остаточные импульсные помехи малой амплитуды, которые воспринимаются как шорох или потрескивание, при этом выходной речевой сигнал имеет естественное звучание. ЧННЦФ формирует значительно меньше остаточных помех по сравнению с фильтром Вольтерры.
Разработан метод построения моделей компенсаторов нелинейных искажений сигналов в цифровых каналах связи на основе нейронных моделей Винера и Гаммерштейна. В указанных моделях линейные динамические цепи представлены рекурсивными системами, безынерционные нелинейности -персептронными нейронными сетями.
Параллельная обработка сигналов в нейронных моделях при аппроксимации операторов нелинейных устройств позволяет избежать появления проблемы плохой обусловленности, характерной для полиномиальных моделей.
В диссертационной работе для построения нейронных моделей реализован алгоритм обратного распространения ошибки, работающий с комплексными PSK-и QAM-сигналами. Для компенсации нелинейных искажений сигналов в канале связи, описанном моделью Винера, построены следующие модели компенсаторов: нейронная модель Гаммерштейна (НМГ), многомерный полином, двухслойный персептрон и рекуррентная нейронная сеть Элмана. В результате сравнительного анализа нелинейных моделей компенсаторов установлено: - НМГ обеспечивает наименьшие погрешности компенсации в равномерной и среднеквадратичной метриках; - НМГ более проста в реализации, так как содержит меньшее число параметров, вычисляемых при решении задачи аппроксимации, по сравнению с моделями-аналогами; - достоинства НМГ сохраняются при действии в КС гауссовского шума.
Созданы программные средства, образующие комплекс программ, предназначенный для моделирования нелинейных компенсаторов на основе многочленов расщепленных сигналов и нейронных сетей со структурой Винера-Гаммерштейна. Программный комплекс использован для борьбы с нелинейными искажения в системе радиорелейной связи на объекте «Комсомольское линейно-производственное управление магистральных трубопроводов» (Ханты-Мансийский автономный округ, г. Югорск), а также при выполнении НИР с ОАО "НИИ Радиосвязь" (г. Красноярск).
Программное средство «NLequQAM64» зарегистрировано в федеральной службе по интеллектуальной собственности (Свидетельство №2013615958), программное средство «HNM» - в ГосФАП (Инв. №50201351097). Оба программных средства зарегистрированы в рамках программы стратегического развития СПбГЭТУ «ЛЭТИ» проекта 2.1.3. «Проведение НИР и решение комплексных проблем по приоритетному направлению «Технологии новых и возобновляемых источников энергии и энергосбережения» на базе профильной научно-образовательной платформы».
Компенсация нелинейных искажений сигналов для модели винера цифрового канала связи
Особенностями искусственных нейронных сетей являются следующие [10, 66,70,71,85,105]: - реализация параллельной обработки сигналов [19]; - реализация нелинейной обработки и способность к аппроксимации нелинейной функции; - способность к обобщению (после тренировки на ограниченном множестве обучающих выборок искусственная нейронная сеть способна вырабатывать ожидаемую реакцию на воздействие, не используемое в процессе обучения); - способность к адаптации весовых коэффициентов при изменении свойств сигналов или условий внешней среды.
Основной проблемой при работе с нейронными сетями является трудность нахождения глобально оптимального решения задачи аппроксимации (1.3) из-за наличия в модели сети нелинейно-входящих параметров. В процессе обучения трудно оценить: достигнуто ли оптимальное решение, или поиск остановился на локальном минимуме. персептрон, содержащий в скрытом слое два и более нейронов с сигмоидальными функциями активации, описанными усеченным рядом Тейлора, при двух и более входных сигналах эквивалентен полиномиальному персептрону степени выше третьей [10, 66]. Выходной слой
В качестве многочлена Р [х(п)\ используется усеченный функциональный ряд или полином Вольтерры, где х1(и)=х(и), х2(п) = х(п -1), ..., w,,-многомерная импульсная характеристика фильтра, w0 - константа, описывающая ненулевые начальные условия устройства.
Рекуррентные нейронные сети представляют собой развитие однонаправленных сетей за счет добавления в них соответствующих обратных связей. Обратная связь может исходить либо из выходного, либо из скрытого слоя нейронов. В каждом контуре такой связи присутствует элемент единичной задержки, благодаря которому поток сигналов может считаться однонаправленным (выходной сигнал предыдущего временного цикла рассматривается как априори заданный, который просто увеличивает размерность входного вектора сети). Благодаря наличию обратных связей рекуррентная нейронная сеть может содержать меньшее количество весовых коэффициентов по сравнению с однонаправленной сетью, выполняющей ту же задачу. Однако, алгоритм обучения такой сети, адаптирующий значения синаптических весов, является более сложным вследствие зависимости сигналов в текущий момент времени от их значений в предыдущие моменты и соответственно ввиду более громоздкой формулы для расчета вектора градиента. Кроме того, из-за наличия обратных связей необходимо рассматривать вопрос устойчивости сетей [107, 109].
Наиболее известными моделями рекуррентных нейронных сетей являются: сеть Элмана, сеть Гаммерштейна, сеть Винера и рекуррентный многослойный персептрон [46].
Для иллюстрации рекуррентной сети рассмотрим сеть Элмана, структура которой изображена на рисунке 1.9.
Данная сеть характеризуется частичной рекуррентностью в виде обратной связи между скрытым и входным слоем. Выходной слой состоит из нейронов, од-нонаправленно связанных с нейронами скрытого слоя. Показанная на рисунке 1.9 структура соответствует следующей математической модели:
В отличие от многослойных сетей, в которых преобразование значения функции в произвольной точке пространства выполняется объединенными усилиями многих нейронов, радиально-базисные нейронные сети образуют особое семейство сетей с локальной аппроксимацией, в которых отображение входного множества в выходное заключается в преобразовании путем адаптации нескольких одиночных аппроксимирующих функций к ожидаемым значениям, причем эта адаптация производится только в ограниченной области многомерного пространства. Нейроны радиально-базисных сетей реализуют функции вида ф(х) = р(рс-с), радиально изменяющиеся вокруг выбранного центра и принимающие ненулевые значения только в окрестности этого центра. Обобщенная структурная схема радиально-базисной сети приведена на рисунке 1.10. Структура типичной радиальной сети включает входной слой, на который подаются сигналы, описываемые входным вектором, скрытый слой с нейронами радиального типа и выходной слой, состоящий, как правило, из одного или нескольких линейных нейронов. Функция выходного нейрона сводится исключительно к взвешенному суммированию сигналов, генерируемых скрытыми нейронами.
Обучение радиально-базисной сети может быть выполнено на основе процесса самоорганизации, гибридного алгоритма, метода обратного распространения ошибки.
Основным достоинством радиально-базисных сетей является легко выявляемая зависимость между параметрами базисных функций и размещением обучающих данных в многомерном пространстве. Вследствие этого для таких сетей удается относительно просто найти удовлетворительные начальные условия процесса обучения. Среди проблем, возникающих при использовании данного типа нейронных сетей, можно отметить сложность подбора количества базисных функций, каждой из которых соответствует один скрытый нейрон. Слишком малое количество нейронов не позволяет уменьшить в достаточной степени погрешность обобщения множества обучающих данных, тогда как слишком большое их число увеличивает погрешность решения и вычислительную сложность.
