Содержание к диссертации
Введение
1 Модификации алгоритма обратного распространения ошибки для обучения искусственных нейронных сетей 11
1.1 Вводные замечания 11
1.2 Модифицированные алгоритмы обратного распространения ошибки. 14
1.2.1 Описание модифицированных алгоритмов обратного распространения ошибки 14
1.2.2 Исследование модифицированных алгоритмов обратного распространения ошибки при реализации весового фильтра кодовых последовательностей на основе искусственных нейронных сетей 18
1.2.3 Исследование модифицированных алгоритмов обратного распространения ошибки при реализации вейвлетно-пакетного разложения на основе искусственных нейронных сетей 27
1.3 Влияние выбора алгоритма обучения на робастные свойства искусственных нейронных сетей 33
1.3.1 Робастные свойства алгоритмов цифровой обработки сигналов на основе искусственных нейронных сетей 33
1.3.2 Исследование робастных свойств алгоритмов обучения при весовой обработке кодовых последовательностей 34
1.3.3 Исследование робастных свойств алгоритмов обучения при реализации вейвлетно-пакетного разложения речевых сигналов 37
1.4 Формирование обучающей выборки с целью придания робастных свойств нейросетевым алгоритмам 40
1.4.1 Целевая функция обучения 40
1.4.2 Анализ влияния состава обучающей выборки на робастные свойства алгоритма нейросетевой обработки кодовых последовательностей 43
1.4.3 Анализ влияния состава обучающей выборки на робастные свойства алгоритма нейросетевой обработки сигналов при реализации вейвлет-пакетного разложения 49
1.5 Выводы 55
2 Синтез и обоснование формы активационной функции 57
2.1 Вводные замечания 57
2.2 Синтез активационной функции 59
2.2.1 Постановка задачи 59
2.2.2 Аппроксимация формы активационных функций ортогональными полиномами 60
2.2.3 Оптимизация формы активационной функции 62
2.3 Обоснование формы финитной активационной функции 67
2.4 Обоснование формы биполярной бисигмоидальной активационной функции 69
2.5 Анализ свойств финитной и биполярной бисигмоидальной активационных функций при реализации алгоритма вейвлет-пакетного разложения на основе искусственных нейронных сетей 70
2.5.1 Финитная активационная функция 70
2.5.2 Биполярная бисигмоидальная активационная функция 75
2.6 Анализ свойств финитной и биполярной бисигмоидальной активационных функций при реализации алгоритма демодуляции сигналов с относительной фазовой манипуляцией на основе искусственных нейронных сетей 79
2.6.1 Реализация алгоритма демодуляции сигналов с относительной фазовой манипуляцией на основе искусственных нейронных сетей 79
2.6.2 Финитная активационная функция 82
2.6.3 Биполярная бисигмоидальная активационная функция 84
2.7 Выводы 86
3 Практические аспекты проектирования нейросетевых алгоритмов цифровой обработки сигналов в радиотехнических устройствах 88
3.1 Вводные замечания 88
3.2 Процедура проектирования алгоритмов цифровой обработки сигналов на основе искусственной нейронной сети 89
3.3 Проектирование устойчивой к мешающим факторам системы идентификации дикторов на основе искусственных нейронных сетей 95
3.3.1 Постановка задачи 95
3.3.2 Определение пространства первичных признаков 99
3.3.3 Проектирование алгоритма идентификации дикторов на основе искусственных нейронных сетей 106
3.3.4 Выводы 111
3.4 Реализация двухэтапного нейросетевого алгоритма подавления реверберационных помех речевых сигналов 111
3.4.1 Постановка задачи 111
3.4.2 Экспериментальные исследования алгоритма подавления реверберационных помех в нейросетевом логическом базисе 114
3.4.3 Выводы 121
3.5 Анализ аппаратной реализации нейросетевых алгоритмов цифровой обработки сигналов 122
3.5.1 Типы средств реализации 122
3.5.2 Аппаратных средства нейроускорителей 123
3.5.3 Особенности проектирования алгоритмов цифровой обработки сигналов в нейросетевом логическом базисе на основе программируемых логических интегральных схем 125
3.6 Выводы 129
Заключение 131
Список литературы 135
Приложение 1 - Список аббревиатур и условных сокращений... 149
Приложение 2 - Алгоритм обучения с использованием функционала целевой ошибки 155
Приложение 3 - Программные модули основных алгоритмов... 156
Приложение 4 - Копии актов о внедрении результатов диссертационной работы 165
- Исследование модифицированных алгоритмов обратного распространения ошибки при реализации весового фильтра кодовых последовательностей на основе искусственных нейронных сетей
- Финитная активационная функция
- Процедура проектирования алгоритмов цифровой обработки сигналов на основе искусственной нейронной сети
- Экспериментальные исследования алгоритма подавления реверберационных помех в нейросетевом логическом базисе
Введение к работе
Актуальность темы. Стремительное развитие современной аппаратной базы для реализации алгоритмов цифровой обработки сигналов (ЦОС) позволяет реализовывать все более сложные радиотехнические устройства (РТУ). Одновременно с расширением аппаратных возможностей возрастают требования к РТУ, среди которых увеличение вычислительной мощности и общей интеллектуальности радиотехнических систем (РТС) при сокращении вычислительных затрат.
Одним из наиболее эффективных подходов при реализации интеллектуальных алгоритмов ЦОС в РТУ является использование искусственных нейронных сетей (ИНС). При этом известные алгоритмы и методы, имеющие более простую реализацию, могут рассматриваться как частные случаи реализаций в нейросетевом логическом базисе.
ИНС являются инструментом, позволяющим гибко и быстро решать
сложно формализуемые задачи обработки информации в РТУ. К
достоинствам ИНС можно отнести нелинейность, обучаемость
(адаптивность), обобщение информации, отказоустойчивость
(толерантность), масштабируемость, параллельность структуры.
Опыт показывает, что использование ИНС при разработке ряда РТУ позволяет повысить показатели качества, сократить вычислительные затраты, повысить живучесть и производительность РТС в целом. Кроме того, одним из основных требований, предъявляемых к современным РТУ, является высокая интеллектуальность, что также обеспечивается использованием ИНС.
Весомый вклад в теорию ИНС внесли как отечественные ученые, такие как Галушкин А.И., Горбань А.Н., Головко В.А., Борисов В.В. и др. так и зарубежные, а именно: Маккалок В., Пите В., Хебб Д., Уидроу Б., Хофф М., Минский М., Паперт С, Розенблат Ф., Оссовский С. и др.
Однако до сих пор обоснованы лишь отдельные этапы проектирования ИНС в составе РТУ, а в целом разработка нейросетевых алгоритмов обработки информации обычно основывается на эмпирических правилах и опыте разработчиков. Отсутствие данной методики затрудняет обоснованное использование ИНС в алгоритмах ЦОС, используемых в РТС.
Таким образом, актуальной задачей является разработка и обоснование процедуры проектирования алгоритмов ЦОС, реализованных в нейросетевом логическом базисе и используемых в РТУ.
Цель и задачи работы. Основной целью диссертационной работы является разработка и обоснование процедуры проектирования нейросетевых алгоритмов ЦОС в интересах улучшения характеристик РТУ.
Поставленная в работе цель достигается решением следующих основных задач:
- модификации процедуры обучения ИНС с целью повышения скорости обучения и улучшения показателей качества РТУ;
- исследования влияния состава множества обучающих векторов (МОВ)
на свойства нейросетевых алгоритмов ЦОС в составе РТУ;
- синтеза и обоснования новых, более эффективных форм
активационных функций (АФ) с целью повышения показателей качества
РТУ;
- разработки и обоснования процедуры проектирования алгоритмов ЦОС
в нейросетевом логическом базисе для ряда РТУ.
Методы проведения исследований. В работе использовались методы статистической радиотехники, математической статистики, матричного исчисления, численные методы вычислительной математики. Данные теоретические методы сочетались с экспериментальными исследованиями на основе имитационного моделирования.
Научная новизна. В рамках данной диссертационной работы получены новые научные результаты
Обоснованы модификации алгоритма обучения ИНС с обратным распространением ошибки, обеспечивающие более высокую скорость сходимости и более низкие ошибки на тестовой (ТВ) и обучающей (ОВ) выборках.
Предложены методы усиления робастности алгоритмов ЦОС в нейросетевом логическом базисе на основе корректировки состава ОВ.
Предложены два новых вида АФ, обеспечивающих более низкие ошибки обучения и более высокие робастные свойства нейросетевых алгоритмов ЦОС.
Разработана процедура проектирования алгоритмов ЦОС в нейросетевом логическом базисе.
Достоверность. Достоверность результатов и выводов, полученных в диссертационной работе, обеспечивается корректностью численных экспериментов, качественным и количественным сопоставлением с известными положениями теории ИНС.
Практическая ценность работы. Представленные в работе алгоритмы обучения, новые виды АФ и методики корректировки МОВ при использовании процедуры проектирования ИНС могут быть использованы в различных РТС, в частности в системах передачи информации и телевидения. Реализация результатов исследований позволит повысить робастность устройств формирования и обработки радиосигналов к действию различных мешающих факторов, что обеспечит улучшение показателей качества всей РТС.
Результаты диссертационной работы нашли применение в разработках ФГУП РНИИ «Космического приборостроения», г. Москва, а также в ООО «Деснол Софт Рязань».
Основные положения, выносимые на защиту.
1. Модифицированные процедуры обучения ИНС обеспечивающие
увеличение скорости сходимости от 2 до 5 раз и снижение ошибки в 2 - 4
раза на тестовой и обучающей выборках по сравнению с алгоритмом ОРО.
Методика формирования состава ОВ, обеспечивающая усиление свойства робастности алгоритмов ЦОС в нейросетевом логическом базисе, что позволяет на примере реализации алгоритма весовой фильтрации снизить УБЛ на 10 дБ.
Новые виды АФ, обеспечивающие уменьшение ошибок обучения в 4 -8 раз и усиливающие робастные свойства нейросетевых алгоритмов ЦОС.
Процедура проектирования алгоритмов ЦОС в нейросетевом логическом базисе, позволяющая повысить характеристики РТУ. Апробация работы. Результаты работы докладывались на следующих
конференциях: одиннадцатая международная НТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2002), восьмая НТК «Новые информационные технологии в научных исследованиях и в образовании» (Рязань, 2003), двенадцатая МНТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2004), десятая МНТК «Радиоэлектроника, электротехника и энергетика» (Москва, 2004), девятая всероссийская НТК «Новые информационные технологии в научных исследованиях и в образовании» (Рязань, 2004), седьмая МНТК «Цифровая обработка сигналов и ее применение» (Москва, 2005), десятая всероссийская НТК «Новые информационные технологии в научных исследованиях и в образовании» (Рязань, 2005), четырнадцатая МНТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2005), пятая МНТК «Идентификация систем и задачи управления (SICPRO '06)» (Москва, 2006), восьмая МНТК «Цифровая обработка сигналов и ее применение» (Москва, 2006), одиннадцатая всероссийская НТК «Новые информационные технологии в научных исследованиях и в образовании» (Рязань, 2006), всероссийская НТК, посвященная 60-летию ФГУП «РНИИ КП» (Москва, 2006).
Публикации. По теме диссертации опубликовано 25 работ, из них -4 статьи в центральной печати, 2 статьи в межвузовских сборниках трудов, 19 тезисов докладов на конференциях и 5 отчетов по НИР.
Структура и объем работы. Диссертационная работа состоит из введения, трех глав, заключения, списка литературы из 148 наименований и 4-х приложений. Диссертация содержит 168 с, в том числе 140 с. основного текста, 30 таблиц и 48 рисунков.
Исследование модифицированных алгоритмов обратного распространения ошибки при реализации весового фильтра кодовых последовательностей на основе искусственных нейронных сетей
Шумоподобные сигналы широко используются в различных радиотехнических системах [41...46, 47]. При этом структура устройства обработки включает демодулятор ФМн-сигналов на промежуточной частоте и согласованный фильтр. Использование весовой обработки позволяет снизить уровень боковых лепестков (УБЛ) взаимнокорреляционной функции, однако влечет за собой расширение основного лепестка и увеличивает чувствительность к различным мешающим факторам в виде нестабильности фазы и искажений КП [47...61]. Основным требованием, предъявляемым к фильтрам весовой обработки, является обеспечение заданного УБЛ при минимальном расширении основного лепестка взаимнокорреляционной функции [60, 61]. Возможна реализация алгоритмов корреляционной и весовой обработки на основе использования ИНС, что позволяет сократить временные затраты на обработку за счет распараллеливания вычислений и устранить указанные недостатки [63,64].
Рассмотрим более подробно задачу весовой фильтрации КП на основе использования ИНС. Представим КП сигнала с фазовой манипуляцией в виде вектора S0 = {-1,1,-1,...,1} длиной N элементов. Векторы КП, которые поступают на вход весового фильтра с задержкой по времени, обозначим S., где i--N,N. Весовой фильтр должен обеспечивать максимальный отклик на сигнал S0 и минимальные отклики на сигналы Sr С учетом вышеизложенного процедура весовой обработки может быть представлена в виде R, = fwF(Si), (із) где fWF - многомерная функция, обеспечивающая заданное соотношение между сигналом Sn представляющего собой смещенную по времени КП, и откликом на выходе ВФ, который описывается соотношением
Как показано в [1, 16, 17] для решения задачи аппроксимации многомерной функции целесообразно использовать ИНС, структура которой определяется на основе теоремы А.Н. Колмогорова о возможности представления любой многомерной непрерывной функции в виде суперпозиции конечного числа непрерывных одномерных функций [68]. Таким образом, структура нейросетевого ВФ для обработки КП длиной N символов представляет собой двухслойный персептрон с числом нейронов ЛГ, = 2 N +1 в первом слое и одним нейроном в выходном слое
Следует обратить внимание, что в разных источниках структуры ИНС, определяемые на основе использования теоремы А.Н. Колмогорова существенно разнятся, так например в [17] представлена трехслойная ИНС, а в [1] рассмотрена двухслойная. С целью сокращения вычислительных затрат для экспериментальных исследований было принято решение использовать двухслойную ИНС, топология которой представлена на рисунке 1.4
Учет требований к УБЛ осуществлялся в ходе обучения путем обнуления ошибок образцов ОВ, для которых отклик нейросетевого ВФ принимал значения ниже заданных R , где отсчеты сигнала на выходе ФВ.
Данная методика применена с целью облегчения процесса обучения, улучшения сходимости, а также обеспечения устойчивости алгоритма.
Сравнительный анализ эффективности известных и предложенных алгоритмов проводился на основе решения задачи весовой обработки КП в нейросетевом логическом базисе. Рассматривались коды Баркера длиной 13 элементов, а также различных КИ длиной от 23 до 73 элементов в том числе минимаксные коды. В качестве АФ использовалась биполярная сигмоидальная функция [17, 18]
При проведении сравнительного анализа алгоритмов обучения использовались параметры, обеспечивающие наиболее эффективное обучение при использовании алгоритма ОРО. Для алгоритма ЦООРО также были определены наиболее эффективные значения его параметров Т0 =0,05 и кТ = 0,75 (блок-схема алгоритма представлена в приложении 2), которые не зависят от длины используемой КП, что объясняется нормировкой ошибки наОВ.
В качестве критериев останова итерационных алгоритмов обучения наиболее часто используются критерии выполнения определенного числа итераций и достижения заданной ошибки на обучающей или тестовой выборке [27]. В ходе сравнительного анализа останов алгоритмов обучения проводился при достижении заданного числа итераций, а условие прекращения обучения на основе использования ошибки на ОВ не применялось. Экспериментально было установлено, что наиболее эффективным количеством итераций алгоритма является M = 200-N, где N длина КП.
Исследования предложенных алгоритмов обучения производились для КП длиной от 13 до 73 элементов. На рисунках 1.5 и 1.6 показаны типичные зависимости УБЛ на выходе неиросетевого ВФ от числа итераций соответствующих алгоритмов обучения для кода Баркера длиной 13 и минимаксной КП длиной 31 элемент соответственно
Кроме того, реализация предложенных алгоритмов МОРО и ЦММОРО проще и требует меньше вычислительных затрат по сравнению с алгоритмом ЦООРО. Алгоритм ОРО характеризуется высокой степенью изрезанности кривой зависимости УБЛ от числа итераций алгоритма, что обусловлено случайным выбором обучающих векторов. Предложенный алгоритм обучения МОРО не многим уступает по скорости сходимости также предложенному алгоритму ЦММОРО, однако реализации данного алгоритма существенно проще и требует меньше вычислительных затрат, так как определяется не две пары векторов ОВ, а одна. Подтверждение преимущества предложенных модификаций алгоритмов ОРО было получено при реализации нейросетевых ВФ для случайных КП объемом более 100 реализаций различной длины от 13 до 73 элементов.
Следует отметить, что при использовании алгоритма МОРО возможна ситуация, когда попеременно в зависимости от номера итерации алгоритма максимальной ошибкой на ОВ обладают несколько пар векторов. В таком случае зависимость средней ошибки на ОВ от количества итераций алгоритма обучения принимает колебательный характер, что несколько уменьшает сходимость МОРО в целом. Указанный недостаток удается компенсировать при использовании алгоритма ЦММОРО, который сводит к минимуму вероятность возникновения описанной ситуации.
С целью повышения эффективности весовой обработки КП и ускорения процесса обучения в [39] было предложено использовать в качестве АФ биполярную бисигмоидальную функцию Л ) = (1/(1 + ехр(-а-. + )))-[1-(1/(1 + ехр(-« - )))], (1.10) где Р - база АФ, a s - взвешенный вход нейрона. Так как обе части выражения (1.10) дифференцируемы и представляют собой смещенные сигмоиды, то обучение ИНС не представляет сложностей.
При исследовании модифицированных алгоритмов ОРО были определены наиболее эффективные с точки зрения обеспечения минимального УБЛ параметры а = 25 и /? = 5 для кодовой последовательности Баркера длиной 13 элементов, а для минимаксной последовательности длиной 31 элемент эти параметры равны а = 7, /3 = 1.
Характер влияния выбора алгоритма обучения при использовании биполярной бисигмоидальной АФ не изменился. Таким образом, наилучшие характеристики с точки зрения точности обучения и скорости сходимости были продемонстрированы предложенным алгоритмом ЦММОРО. С целью выявления свойств предложенной АФ, был проведен сравнительный анализ зависимости УБЛ от числа итераций алгоритма для ИНС с биполярной сигмоидальной и биполярной бисигмоидальной АФ для алгоритма ЦММОРО при наиболее эффективных значениях крутизны, базы и скорости обучения. На рисунках 1.7 и 1.8 показаны зависимости УБЛ на выходе нейросетевой реализации ВФ от числа шагов алгоритма для кода Баркера длиной 13 элементов и минимаксной последовательности длиной 31 элемент соответственно.
Финитная активационная функция
Оценка свойств предложенных функций может быть выполнена на основе реализации тестовых нейросетевых алгоритмов. Одним из таких алгоритмов является реализация алгоритма ВПР на основе ИНС. Подробно постановка задачи для данной неиросетевои реализации рассмотрена в параграфе 1.2.3.
При фиксированном значении параметра Ь = 2 был проведен анализ влияния параметров // и v на точность выполнения ВПР. В таблице 2.2 представлены значения ошибок на ОВ и ТВ, определенные по соотношению (1.12) для различных значений параметров.Анализ таблицы показывает, что наиболее эффективным сочетанием параметров на ТВ при Ь = 2 являются // = 1,1 и у = 2. Необходимо оценить наиболее эффективное значение масштабирующего параметра Ь. В таблице 2.3 представлены значения ошибок на ОВ и ТВ, определяемые по соотношению (1.12) для различных значений параметра Ъ при // = 1,1 и v = 2.
Анализ значений представленных в таблице показывает, что использование 6 = 0,5 обеспечивает минимальные ошибки. Было проведена проверка эффективности параметров // = 1.1 и v = 2.0 при Ь = 0,5 с целью уточнения их значений. Следует отметить, что ошибка на ОВ, достигнутая при использовании финитной АФ почти в 4 раза меньше, чем ошибка, которую позволяет обеспечить использование биполярной сигмоидальной АФ(см.п. 1.2.3).
Форма и параметры АФ во многом определяют робастность нейросетевого алгоритма ЦОС к мешающим факторам. Рассмотри влияние использования финитной АФ на робастные свойства нейросетевой реализации алгоритма ВПР. Для оценки влияния параметров финитной АФ на робастные свойства алгоритма ВПР на основе ИНС был проведен экспериментальный анализ точности преобразования при воздействии белого гауссовского шума в полосе сигнала. На рисунках 2.5 и 2.7 показаны зависимости ошибок преобразования (1.12) от отношения сигнал-шум q для различных значений параметра ц (v = 2) и v(ju = 1,1) соответственно, а на рисунках 2.6 и 2.8 соответствующие формы финитной АФ.
Анализ рисунков показывает, что изменение параметра у оказывает наиболее сильное влияние на проявление робастных свойств и точность преобразования. Из анализа рисунка 2.3 следует, что данный параметр определяет зону нечувствительности АФ. Таким образом, сочетание параметров ju = 1,5, v = 2 обеспечивает максимальную устойчивость к мешающим факторам в виде действия аддитивного белого гауссовского шума в полосе сигнала.
Процедура проектирования алгоритмов цифровой обработки сигналов на основе искусственной нейронной сети
В общем случае процедура проектирования нейросетевых алгоритмов является итерационной со сложной структурой вложенных циклов. На рисунке 3.1 представлена блок-схема обобщенной процедуры проектирования алгоритма ЦОС в нейросетевом логическом базисе.
Рассмотрим более подробно основные этапы процедуры проектирования нейросетевых алгоритмов ЦОС в РТУ.
Постановка задачи в нейросетевом логическом базисе. Наиболее важный этап, на котором формулируется задача, определяются входные и выходные векторы ИНС. Также обосновывается алгоритм первичной обработки сигналов для формирования входных векторов ИНС. Осуществляется выбор и обоснование алгоритмов и устройств, которые будут осуществлять обработку выходных векторов ИНС.
На этом этапе формулируются требования, предъявляемые к ИНС, такие как вычислительные затраты на обучение, сложность аппаратной реализации (структура, количество нейронов). Производится оценка ожидаемых показателей качества, таких как ошибки преобразования, надежность системы распознавания или идентификации и др.
Осуществляется выявление мешающих факторов, влияющих на показатели качества нейросетевого алгоритма ЦОС, оцениваются возможные степени их воздействия (диапазон значений сигнал-шум, нестабильность частоты, фазы и т. д.). При решении задач, связанных с распознаванием или идентификацией объектов, на данном этапе должны проводиться определение и оптимизация системы первичных признаков, позволяющих наиболее эффективно описать идентифицируемые объекты.
Первичная структура. В результате постановки задачи в нейросетевом логическом базисе разработчик располагает информацией о количестве входов и выходов проектируемой ИНС. На основе этих данных определяется первичная структура ИНС, включающая в себя количество слоев (на практике обычно достаточно двух [1, 17]), число нейронов в слоях на основе использования теоремы А.Н. Колмогорова [68] или других эмпирических правил.
Формирование ОВ и ТВ. Этап формирования ОВ определяет свойства и потенциальные возможности проектируемой ИНС, что обуславливает его исключительную важность. МОВ должно быть репрезентативным, что обеспечивается включением в ОВ наиболее характерных пар векторов. При этом важную роль играет представление всего диапазона изменения параметров обрабатываемого сигнала.
Также ОВ должна быть дополнена векторами, подверженными влиянию мешающих факторов, определенных на этапе постановки задачи. Особенности формирования и использования искаженных образцов ОВ рассмотрены во второй главе работы. В свою очередь ТВ должна обеспечивать объективную оценку показателей качества нейросетевого алгоритма ЦОС. В состав ТВ необходимо включать образцы, охватывающие все характерные особенности области определения решаемой задачи.
Выбор наиболее эффективного алгоритма обучения. В первой главе работы обоснованы модифицированные алгоритмы обучения на основе ОРО. Показано, что предложенные модификации обеспечивают более высокую скорость сходимость алгоритма обучения (до 7 раз). Кроме того, использование модифицированных алгоритмов позволяет обеспечить более низкую ошибку как ОВ так и на ТВ по сравнению с алгоритмом обучения ОРО при прочих равных условиях. Показано, что при обеспечении высоких показателей качества нейросетевых алгоритмов ЦОС, обученных на основе модифицированных алгоритмов, также обеспечивается свойство робастности. Наиболее эффективным алгоритмом обучения является алгоритм ЦММОРО, обеспечивающий высокую эффективность обучения ИНС.
После определения наиболее эффективного алгоритма обучения необходимо провести корректировку параметров ОВ. Возможно, что применение данного алгоритма требует уменьшения или увеличения МОВ.
Определение наиболее эффективной формы АФ. Во второй главе работы обоснованы новые формы АФ, превосходящие по своим характеристикам наиболее широко используемую биполярную сигмоидальную АФ. Следует отметить, что при обосновании формы и определении наиболее эффективных параметров АФ необходимо определить диапазон инициализации синаптических связей, который позволит начинать обучение ИНС с более низких значений ошибки на ОВ и ТВ. Использование данной методики существенно сокращает ошибки и временные затраты на обучение. Также следует отметить, что для каждого набора параметров АФ существует своя наиболее эффективная скорость обучения.
Выбор той или иной формы АФ оказывает влияние на все параметры нейросетевого алгоритма. В связи с чем, необходимо уточнить параметры ОВ и алгоритма обучения.
Определение структуры ИНС. В настоящее время предложено множество различных методик синтеза архитектуры ИНС, ряд из которых основан на уменьшении числа нейронов в слоях при использовании заведомо избыточного их количества (Optimal Brain Damage [1] и д.р.[16...21]), некоторые методики напротив основаны на наращивании вычислительной мощности ИНС [97,98,105].
При решении задач ЦОС в нейросетевом логическом базисе при постановке задачи в виде аппроксимации многомерной функции первичная структура ИНС определяется на основе теоремы А.Н. Колмогорова [68], которая обосновывает достаточное количество слоев и нейронов.
Изменение количества нейронов в слоях оказывает влияние на параметры как АФ, так и МОВ, а так же алгоритма обучения, поэтому при определении наиболее эффективного количества нейронов в слоях необходимо проводить проверку всех остальных параметров ИНС.
Исследование свойств синтезированного нейросетевого алгоритма. Завершающим этапом проектирования алгоритмов ЦОС на основе ИНС является исследование свойств полученного алгоритма и проверка соответствия полученных показателей качества требованиям, предъявляемыми на стадии постановки задачи. В случае если качество реализации нейросетевого алгоритма не удовлетворяет этим требованиям, необходимо пересмотреть постановку задачи в нейросетевом логическом базисе и повторить процедуру проектирования.
Наиболее часто проблемы подобного рода возникают при использовании неэффективной системы первичных признаков или параметров алгоритма, что приводит к необоснованно сложной структуре ИНС. Также реализация алгоритма ЦОС в нейросетевом логическом базисе невозможна при нерепрезентативном МОВ, которое не отражает все характерные особенности задачи.
Экспериментальные исследования алгоритма подавления реверберационных помех в нейросетевом логическом базисе
С учетом выведенных выше соотношений, для реализации алгоритма подавления реверберационных помех необходимо использовать ИНС, на вход которой поступает два последовательных кадра PC подверженного воздействию реверберационной помехи, а на выходе производится оценка отсчетов первого кадра. ИНС обеспечивающая подавление реверберационной помехи обучается при конкретных значениях оценки задержки трп и амплитуды арп одного переотражения сигнала. Для подавления реверберационных помех во всем диапазоне изменения параметров трп и арп необходимо обучить несколько ИНС, которые в силу своих робастных свойств обеспечат заданный коэффициент подавления.
Рассмотрим топологию ИНС, осуществляющей подавление реверберационной помехи (рисунок 3.6). Векторы S k формируются в устройстве формирования кадров по принципу S „ k = S , обработанные сигналы компонуются по тому же принципу.
Таким образом, задача подавления реверберационных помех в нейросетевом логическом базисе сводится к реализации ИНС осуществляющей по двум последовательным масштабированным кадрам восстановление кадра, сигнал в котором максимально близок к сигналу не подверженному воздействию реверберационной помехи. Качество работы ИНС будем оценивать на основе коэффициента подавления реверберационной помехи, рассчитанного на основе отношения средних квадратов отклонения сигналов подверженных действию помехи и сигналов, прошедших через обработку ИНС
Параметры первичной структура ИНС. В данном случае первичная архитектура определяется на основе постановки задачи, а также теоремы А.Н. Колмогорова и зависит от числа компонент масштабированного вектора S Таким образом, для подавления реверберационной помехи с задержкой отраженного сигнала эквивалентной NT отсчетов и коэффициентом масштабирования отсчетов внутри кадра Мк необходимо использовать ИНС с количеством входов 2-NT/MK, числом нейронов в скрытом слое ЛГ, = 4 NT/MK +1 и числом нейронов в выходном слое N2 = NjMK.
Формирование ОВ. Обучение ИНС целесообразно осуществлять на основе PC акустически сбалансированный фраз, произнесенных мужчинами и женщинами согласно ГОСТ 50840Р-95 [124]. Так как число компонент векторов МОВ, используемых в ОВ зависит от Мк, то при формировании ОВ необходимо оценить коэффициент масштабирования внутри кадра Мк, обеспечивающий наиболее эффективную работу ИНС. Экспериментальный анализ влияния коэффициента Мк на коэффициент подавления помехи Кп был проведен при использовании биполярной сигмоидальной АФ с крутизной а = 5. Как будет показано далее значение крутизны а = 5 биполярной сигмоидальной АФ является наиболее эффективным. Результаты анализа представлены в таблице 3.12.
Анализ данных представленных в таблице показывает, что наиболее эффективно использовать коэффициент масштабирования Мк = 800, который определяет структуру ИНС в виде двухслойного персептрона с двумя входами, числом нейронов в скрытом слое JV, = 5 и одним нейроном в выходном слое.
Кроме того, важную роль играет коэффициент нормирования отсчетов PC. В таблице 3.13 приведены значения коэффициента Кп для различных значений коэффициента нормирования сигнала Ks при использовании биполярной сигмоидальной АФ с крутизной а - 5.
Таким образом, обучение ИНС целесообразно проводить на основе использования коэффициента масштабирования Мк = 800 и коэффициента нормирования сигнала Ks = 0,1.
Выбор наиболее эффективного алгоритма обучения. В главе 1 обосновано, что использование модифицированного алгоритма обучения ЦММОРО делает процесс обучения наиболее эффективным. В связи с чем, для дальнейшего анализа обучение будем проводить с использованием алгоритма ЦММОРО.
Определение наиболее эффективной формы АФ. В ходе экспериментальных исследований было рассмотрено три типа функций: биполярная сигмоидальная, биполярная бисигмоидальная и финитная АФ.
Значения коэффициента подавления помехи Кп для различных значений крутизны биполярной сигмоидальной АФ, полученные при наиболее эффективных значениях скорости обучения, представлены в таблице 3.14.
Анализ значений, представленных в таблице показывает, что наиболее эффективным значением крутизны АФ является а = 5, которая обеспечивает Кп =2,764.
Значения коэффициента подавления помехи Кп для различных значений параметров биполярной бисигмоидальной АФ, полученные при наиболее эффективных значениях скорости обучения, представлены в таблице 3.15.
Анализ значений, представленных в таблице показывает, что наиболее эффективное подавление реверберационной помехи при использовании финитной АФ достигается при ju = 2, v = 2 и Ь = Ъ, что обеспечивает КП =2,818.
Таким образом, анализ рассмотренных типов АФ показал, что при реализации ИНС подавления реверберационной помехи целесообразно использовать биполярную бисигмоидальную АФ, которая обеспечивает коэффициент подавления Кп =2,847.
Определение структуры ИНС. В данном случае при использовании двухслойного персептрона структура ИНС была определена на этапе формирования ОВ. Экспериментально было установлено, что увеличение количества слоев не дает повышения коэффициента подавления помехи.
Исследование свойств синтезированного нейросетевого алгоритма. В устройстве подавления реверберационных помех выбор той или иной структуры ИНС в осуществляется на основе оценки параметров отраженного сигнала. В связи с чем, одним из наиболее важных свойств ИНС подавления реверберационных помех является робастность к ошибкам определения параметров трп и аРп. Проводились экспериментальные исследования устойчивости коэффициента подавления помехи Кп к ошибкам в определении параметров отраженного сигнала. На рисунках 3.7 и 3.8 представлены зависимости Кп от изменения параметров арп и трп соответственно (обучение исследуемой ИНС осуществлялось для трп =100 мс и арп=0,5) для биполярной сигмоидальной (1), биполярной бисигмоидальной (2) и финитной (3) АФ.
