Содержание к диссертации
Введение
ГЛАВА 1. Анализ методов построения систем распознавания и существующих методов обработки сигналов 21
1.1. Анализ технических проблем обработки сигналов в системах передачи информации 24
1.2. Виды априорной неопределенности при обработке сигналов систем передачи информации 29
1.3. Общая постановка задачи обработки сигналов как задачи распознавания образов , 36
1.4. Концепции и методология построения устройств автоматического приема и обработки сигналов 39
1.5. Анализ состояния теории и практики распознавания типов модуляций сигналов 46
1.5.1. Корреляционные методы 50
1.5.2. Спектральные методы 51
1.5.3. Параметрические методы 52
1.6. Выводы 55
ГЛАВА 2. Место и роль неиросетевых технологий в задачах техническо го анализа сигналов систем передачи информации 57
2.1. Классификация нейроподобных элементов и нейронных сетей 60
2.1.1. Классификация нейронных сетей по виду входящих в их состав нейронов 63
2.1.2. Классификация нейронных сетей по архитектуре 65
2.1.3. Классификация нейронных сетей по типам обучения
2.2. Сравнительный анализ основных моделей нейронных сетей 72
2.3. Сравнение неиросетевых классификаторов со статистическими классификаторами 77
2.4. Ожидаемый выигрыш при реализации основных алгоритмов технического анализа сигналов на основе нейронных сетей 82
2.5. Выводы з
ГЛАВА 3. Принципы применения и синтез нейронной сети для решения задач додетекторной обработки сигналов СПИ 89
3.1. Системный подход как средство разработки и описания моделей нейронных сетей и нейросетевых алгоритмов 89
3.1.1 Нейросетевой алгоритм, формальная постановка задачи 89
3.1.2. Методика решения задачи на нейросетевом вычислителе 90
3.1.3, Системный подход как методология описания нейро сети при решении задачи 91
3.2. Формализация задачи обработки сигналов СПИ в нейросетевом базисе. Адекватность нейросетевого подхода решаемой задаче 92
3.3. Синтез нейросетевого классификатора сигналов СПИ
3.3.1. Разработка нейросетевого алгоритма классификации сигналов в условиях априорной неопределенности 100
3.3.2. Принцип работы и свойства нейросетевого классификатора со случайными порогами 109
3.3.3. Алгоритм выделения признаков обрабатываемого сигнала и уменьшения размерности входного вектора 112
3.4. Синтез иерархической нейронной сети классификации сигналов СПИ
по типам модуляции 122
3.5. Выводы 126
ГЛАВА 4. Экспериментальные исследования. оценка эффективности предложенных алгоритмов классификации сигналов систем передачи информации 130
4.1. Сравнение классификатора на основе нейронной сети со случайными порогами с другими классификаторами 130
4.2. Моделирование основных типов сигналов систем передали информации 138
4.2.1. Синтез программной реализации имитатора сигналов СПИ 140
4.3. Результаты экспериментальных исследований программной эмуляции нейросетевого классификатора сигналов СПИ и их оценка 146
4.4. Оценивание эффективности процесса идентификации сигналов систем передачи информации на основе нейронной сети со случайнымипорогами 156
4.4.1. Показатели качества операции 156
4.4.2. Показатели качества процесса идентификации сигналов систем передачи информации по типам модуляций 158
4.4.3. Выбор критерия оценки качества нейросетевых классификаторов .161
4.4.4. Оценка емкостной и временной сложности нейросетевых классификаторов 163
4.5. Возможные области применения нейросетевых классификаторов 165
4.6. Выводы 167
Заключение , 172
Литература
- Общая постановка задачи обработки сигналов как задачи распознавания образов
- Классификация нейронных сетей по архитектуре
- Нейросетевой алгоритм, формальная постановка задачи
- Показатели качества процесса идентификации сигналов систем передачи информации по типам модуляций
Введение к работе
Диссертационная работа посвящена исследованию возможности использования аппарата теории искусственных нейронных сетей применительно к задачам обработки сигналов в каналах с помехами.
Актуальность темы. Развитие интегрированных телекоммуникационных систем, переход к более высокоскоростным информационным потокам, новым методам модуляции и кодирования выдвинули целый ряд задач, успешное решение которых требует новых, нетрадиционных методов обработки информации, которые бы учитывали свойства, законы1 и динамику телекоммуникационных сигналов, интеллектуализацию' самих технических устройств, их высокую степень адаптации к реальной помеховой обстановке на канале связи. В частности, возникает необходимость в разработке простых, эффективных и достаточно надежных методов обработки сигналов в каналах с помехами. Важная роль при решении этих задач отводится автоматизированным средствам и комплексам приема и обработки сигналов.
В работах А.А. Харкевича, В.И. Тихонова, Б.Р. Левина, Я.А. Фомина, Дж. Ту, К. Вархагена, К. Фу, А.Л. Горелика, В.А. Скрипкина, Ю.И. Журавлева и др. рассмотрены классические статистические методы обработки сигналов в каналах с помехами. Определены границы работы этих методов в зависимости от помеховой обстановки. Разработаны и определены подходы к выделению полезных, информативных сигналов на фоне помех применительно к эксплуатации систем связи.
Отличительная особенность подавляющего большинства работ в актуальной области проблем классификации сигналов заключается в том, что недостаток априорных сведений о статистических характеристиках классов распознаваемых сигналов является одной из основных причин, затрудняющих решение многих практических задач распознавания и не позволяющих достичь необходимого и достаточного минимума ошибок, который определяется перечнем классов.
Отличаясь стройностью и законченностью теоретических ре-
зультатов, статистические методы обладают рядом неудобств прак тического характера, в частности они требуют обработки большого объема выборок реализаций при эмпирическом определении законов распределения признаков классифицируемых процессов. Зачастую полученные теоретические результаты практически нереали-зуемы.
Господствующий аппарат теории статистической обработки сигналов не исчерпывает потребностей задач распознавания, так как для последних необходимо привлечение более подробной информации, которая не может быть задана априорно во многих практических случаях. Именно это условие диктует необходимость привлечения ней-росетевых методов обработки сигналов, что является специфическим для распознания в отличие от классической теории обнаружения.
Отличительными свойствами нейросетевых классификаторов являются, во-первых, высокая скорость обработки, связанная с массированным параллелизмом вычислений, производимых большим количеством относительно простых, но сильно связанных между собой процессорных элементов или нейронов. Во-вторых, распределенность знаний о решаемой задаче между всеми нейронами сети, чтс обеспечивает высокую степень надежности устройства и его устойчивость к повреждениям. В-третьих, классификаторы на нейронных сетях являются непараметрическими и требования к полноте статистических характеристик распределений, лежащих в основе классифицируемых множеств менее критичны, в отличие от традиционных статистических классификаторов. Следовательно, нейросетевые классификаторы являются более устойчивыми, в тех случаях, когдг распределения порождены нелинейными процессами и являются негауссовыми либо соответствуют обработке сигналов в условиях априорной неопределенности. В-четвертых, нелинейность нейросете-вых классификаторов заложена в форме функции активации каждогс нейрона. Выбор функция активации нейроэлементов базируется нг результатах исследований полученных А.Н. Колмогоровым, - люба* непрерывная функция вещественных переменных может быть представлена ЛИНеЙНОЙ функцией МНОГИХ перемеННЫХ И Непрерывно ВОЗ'
растающей нелинейной функцией одного переменного. Отсюда следует полнота нейросетевого базиса в классе непрерывных функций и универсальность нейроклассификатора, способного построить любую сколь угодно сложную разделяющую поверхность.
Основной недостаток разработанных к настоящему времени параметрических и непараметрических методов распознавания заключается в высокой алгоритмической и вычислительной сложности предлагаемых алгоритмов; высокой степени погрешности при измерениях и как результат высокий процент ошибок распознавания.
Вычисления в нейронных сетях существенно отличаются от традиционных, в сил'у'высокой распараллелености их можно рассматривать как коллективное явление. В нейронной сети нет локальных областей, в которых запоминается конкретная информация. Вся информация запоминается вб-всей сети. Сущность этого подхода заключается в том, что в качестве меры принадлежности сигнала к некоторому классу используется значение функционала от этого сигнала. Основная идея указанного подхода состоит в компактности сигналов каждого класса путем соответствующего выбора вида нелинейного преобразования. Такое контрастирование исходной информации облегчает установление соответствия величины номеру класса, к которому принадлежит анализируемый сигнал.
В последнее время для задач классификации, распознавания, обнаружения, сжатия информации и её декомпрессии появились новые подходы, основанные на теории нейронных сетей. В работах Р. Ро-зенблагта (R. Rosenblatt), II Лштлмана (P.P. Lippmann), ДясХопфил-да (J.J. Hopfield), Р. Хехт-Нильсона (R. Hecht-Nielsen) и др. сформированы основные преимущества нейросетевых методов обработки сигналов над применяемыми ранее статистиками.
В настоящее время формируется математический базис использования - нейроматематика, в основе которой лежат фундаментальные наработки в области пороговой логики (М. Детроузос, СВ. Яблонский, А.И. Галушкин и др.), &-значной пороговой логики (Н.Н. Айзенберг, В.Г. Никонов и др.), нечеткой логики (Л. Заде, Л. Шуа (L.O. С1ша) и др.). В работах продемонстрирована эффек-
6 тивность использования искусственных нейронных сетей в задачах распознавания сигналов акустических, речевых, радарных, медицинских электрограмм и изображений, сейсмических и др. Предложен ряд направлений применения искусственных нейронных сетей для решения задач электросвязи, таких как маршрутизация, оптимизация трафика загрузки каналов, кодирования, сжатия информации и декомпрессия, адаптация и др.
Таким образом, разработка эффективных алгоритмов распознавания сигналов и самих классификаторов, входящих в системы автоматизированного приема и обработки сигналов, на основе достижений теории искусственных нейросетей является актуальной проблемой.
Цель исследования. Цель диссертационного исследования состоит в том, чтобы на основе анализа традиционных методов обработки сигналов и существующих парадигм искусственных нейронных сетей разработать методологию применения нейросетевых методов для обработки телекоммуникационных сигналов в каналах с помехами.
Для достижения цели исследований в работе решаются следующие задачи.
1. Анализ состояния основных проблем, возникающих при исполь-
зовании традиционных статистико-вероятностных методов распознавания применительно к задачам обработки сигналов.
2. Анализ характеристик сигналов применяемых в современных
системах передачи информации.
3. Анализ априорной неопределенности возникающей при обработ-
ке сигналов аналоговых и цифровых систем передачи информации.
4. Сравнительная характеристика нейронных сетей, обоснование их
места и роли при решении задач обработки сигналов. Классификация нейроподобных элементов и искусственных нейронных сетей.
5. Формализация задачи обработки телекоммуникационных сигна-
лов в нейросетевом базисе.
6. Разработка модели процесса идентификации сигналов по видам
модуляции на основе искусственной нейронной сети. Синтез нейронной сети для идентификации сигналов по видам модуляции. Синтез аппаратно-программного эмулятора телекоммуникационных сигналов и помеховой обстановки на канале связи.
7. Моделирование и экспериментальные исследования нейросетево-
го алгоритма классификации сигналов в условиях априорной неопределенности.
8. Разработка принципов применения нейронных сетей для решения
задач додетекторной обработки сигналов при построении систем автоматического приема и обработки сигналов и рекомендаций по практическому применению. Разработка рекомендаций по практическому применению нейронных сетей при техническом анализе сигналов систем передачи информации.
Методы исследования. Для решения поставленных задач использовались современные понятия дискретной математики, системного анализа, функционального анализа, пороговой логики, теории статистической обработки сигналов, теории распознавания образов, теории алгоритмов, теории автоматов, теории булевых и &-значных функций, теории искусственных нейронных сетей. Применялись численные методы, методы математического моделирования, дискретной оптимизации и стандартного целочисленного программирования, что позволило получить ряд новых и улучшить некоторые из уже известных результатов. Положения диссертации получили экспериментальное подтверждение с помощью средств вычислительной техники.
Научная новизна. Научная новизна полученных результатов заключается в теоретической и экспериментальной разработке методологии использования нейросетевых методов для обработки сигналов в каналах с помехами. Предложена методика отображения выбранных
в-
классов задач o6pa6otKH сигналов в нейросетерой базис. IloctpoeH метод идентификации сигналов с априорно неизвестными параметрами с помощью классификатора на основе нейронной сети со случайными порогами. Произведен^ формализация задач технического анализа в нейросетевом базисе. Предложен метод применения нейро-сетевото классификатора со случайными порогами для разделения сигналов на фоне помех. Разработана методика синтеза и принципы применения нейронных сетей для идезнтифйкации сигналов по йидам модуляций. Предложена и обоснована методика оценки эффективности использования нейросетевых методов обработки"Сигналов на фоне помех.
Основные положения, выносимые на заШиту:
модель процесса идентификации телекоммуникационных сигналов на основе нейронной сети;
модель нейронной сети для идентификации сигналов систем Передачи информации по видам модуляций;
методика синтеза сигналов с различными практически значимыми типами модуляций и видами работ;
методика формализации задачи классификации телекоммуникационных сигналов в нейросетевом базисе;
методика выбора типа нейронной сети в зависимости от рассматриваемого класса задач;
методы решения задач обработки сигналов с помощью нейронных сетей и рекомендации по их практическому применению;
методика оценки эффективности использования нейросетевых методов для обработки сигналов.
Достоверность научных положений, выводов и рекомендаций диссертационной работы обусловлена строго физико-математической постановкой, корректным применением математических мето-
дов, подтверждена результатами имитационного моделирования с использованием вычислительной техники и современных программных продуктов, а также сравнением результатов моделирования с известными расчетными и экспериментальными данными.
Практическая значимость работы. Разработанные в диссертации методы и алгоритмы могут быть использованы в различных практических задачах, связанных с распознаванием данных. Основной практический результат достигнутый в ходе анализа существующих нейросетевых алгоритмов обучения и работы искусственных нейронных сетей состоит в модификации нейронной сети со случайными порогами. Разработан нейросетевой алгоритм классификации телекоммуникационных сигналов в условиях априорной неопределенности. Создана иерархическая нейронная сеть классификации сигналов систем передачи информации по типам модуляции. Предложенный, непараметрический метод сокращения размерности оцифрованных входных сигналов электросвязи применим для сигналов другого происхождения, что позволяет в свою очередь классифицировать последние по признакам в соответствии с решаемыми задачами. Алгоритмы распознавания, полученные с использованием нейронных сетей, не связаны с ограничениями типа стационарности моделей, поэтому могут непосредственно применяться для исследования объектов с меняющимися в процессе наблюдения характеристиками .
Реализация и внедрение результатов. Результаты научных исследований использованы в НИР проводимых ГНЦ «НПО Астрофизика» и в Институте криптографии, связи и информатики, а также при чтении курса лекций по кафедре "Системы и сети связи" вышеназванного института. Внедрение результатов подтверждено соответствующими актами.
Апробация работы. Основные результаты работы прошли апробацию на международной конференции "Информатизация правоохранительных систем - 97" (г. Москва, 3-8 июня 1997 г.); второй
межведомственной конференции "Научно-техническое и информационное обеспечение деятельности спецслужб" (г. Москва, 4-6 февраля 1998 г.); первой международной конференции "Цифровая обработка сигналов и её применения" - DSPA'98 (г. Москва, 1998 г.); XXVI международной конференции "Информационные технологии в науке, образовании, телекоммуникации и бизнесе" - IT+SE'99 (20-30 мая 1999 г. Гурзуф-Ялта); VII Всероссийском семинаре "Нейро-информатика и ее приложения" (г. Красноярск, 1999 г.); семинарах проводимых на кафедре "Системы и сети связи" в Институте криптографии, связи и информатики и ГНЦ «НПО Астрофизика».
Публикации. По теме диссертации опубликовано 12 печатных работ, в том числе: 3 статьи, 9 тезисов докладов,
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, приложений. Диссертация содержит 187 страниц, 22 таблицы, 97 рисунков. Список использованных источников включает 168 наименований.
Общая постановка задачи обработки сигналов как задачи распознавания образов
Проведен анализ тенденций развития систем связи, современного состояния, направлений совершенствования методов и средств технического анализа телекоммуникационных сигналов. Показано, что в последнее время постоянно растет доля линий связи, в которых используются цифровые методы передачи. Применяются более сложные типы модуляций и формирования сигналов, предусматривающие целый комплекс различных преобразований информационной последовательности.
Анализ существующих методов и алгоритмов обработки сигналов в условиях априорной неопределенности подтвердил необходимость разработки новых методов и средств идентификации, основанных на перспективных технологиях, реализующих параллельную распределенную обработку информации, что позволило сделать вывод об актуальности темы диссертационной работы. Эта задача может быть решена на основе синтеза структуры, параметров и алгоритма работы искусственной нейронной сети.
Вторая глава посвящена исследованию теоретических основ применения нейросетевых методов обработки телекоммуникационных сигналов.
Рассмотрена история развития нейросетевого подхода к построению систем распознавания образов. Проанализированы причины наблюдаемого беспрецедентного роста активности в области теории и технической реализации искусственных нейронных сетей.
Отмечено, что в современных моделях основная роль отводится не тщательной имитации свойств нейрона, а структуре связей большого числа достаточно простых нейроподобных элементов. При определенных алгоритмах изменения межнейронных связей в ответ на входные воздействия, которые подаются на такую модель нейронной сети путем активации определенных подмножеств нейронов, сеть обучается выполнять функции авто- или гетероассоциа-тивной памяти, классификации, кластеризации, адаптивного управления (D. Hebb, 1949; F. Rosenblatt, 1962; D. Willshaw, 1969; Т. Kohonen, 1984 и др. ).
Для эффективного функционирования системы АПОС в реальной помехо 17 вой обстановке необходимо, чтобы создаваемая модель нейросетевого классификатора была адекватна решаемым задачам, в том числе с точки зрения способности работать с зашумленными и коррелированными сигналами различной степени структурной сложности.
С этой точки зрения рассмотрены наиболее распространенные в настоящее время модели нейронных сетей такие, как одноуровневый (F. Rosenblatt, 1962; В. Widrow, 1962, и др.) и многоуровневый персептроны (D. Rumelhart 1986 и др. ) карты признаков Кохонена (Т. Kohonen 1981-1989 и др.), теория адаптивного резонанса Гроссберга (S. Grossberg 1986; G. Carpenter, S. Grossberg 1987 и др.), сети Хопфилда (J. Hopfleld 1982,1984 и др.), сетиКоско (В. Kosko 1985) и др.
Сформулированы основные понятия и определения нейросетевой технологии решения задач обработки сигналов. Проведена сравнительная характеристика нейронных сетей, обосновано их применение при решении задач ТА сигналов СПИ в каналах с помехами. Осуществлена классификация нейронных сетей по виду входящих в их состав нейронов, по типам обучения, архитектурам связей, целевым решающим функциям. Проведен сравнительный анализ основных моделей нейронных сетей по типам решаемых задач. Выполнено сравнение нейросетевых и статистических классификаторов.
Проведенный анализ показал, что не существует универсальных нейронных сетей, способных решать различные задачи обработки сигналов. Это, в свою очередь, требует осуществить синтез нейронных сетей, адекватных решаемым задачам. Проведен выбор и обоснованы направления исследований, конкретизировано содержание задач, решаемых в диссертационной работе.
В третьей главе предложен системный подход как средство разработки и описания нейронных сетей для идентификации сигналов. Показано, что универсальная методика построения и описания нейронных сетей и нейросетевых алгоритмов решения прикладных задач состоит из таких этапов, как определение атрибутов сети, решение задачи либо моделированием нейронных сетей на обычных компьютерах (в этом случае нейронные сети рассматриваются как класс нетрадиционных алгоритмов), либо решение задачи на нейросетевом вычислителе. В этом случае осуществляется разработка технического устройства - нейрокомпьютера, нейроплаты-акселератора, что позволяет реализовать системный подход к синтезу нейронных сетей для решения специализированных задач, начиная от ее постановки и заканчивая проектными решениями соответствующего нейросетевого вычислителя (нейрокомпьютера).
Формализована задача обработки сигналов СПИ в нейросетевом базисе. Показана адекватность нейросетевого подхода решаемой задаче идентификации сигналов СПИ. Проведен синтез нейросетевого классификатора сигналов СПИ на основе нейронной сети со случайными порогами.
Разработан нейросетевой алгоритм разделения классов сигналов, обеспечивающий одинаковые нижние оценки для вероятностей правильной идентификации с искажениями. Показано, что предложенный алгоритм обеспечивает восстановление классов сигналов и в случае различных начальных отклонений. Проведены исследования сходимости предложенного алгоритма в случае последовательной и параллельной его реализации. Решена задача выбора весовых коэффициентов решающей функции нейросети. Определены общие ограничения нейросетевого подхода для решения задач обработки телекоммуникационных сигналов. Предложен оригинальный алгоритм выделения признаков обрабатываемого сигнала и уменьшения размерности входного вектора.
Синтезирована иерархическая нейронная сеть, имеющая наращиваемую блочную архитектуру, единичный блок которой представляет собой классификатор сигналов СПИ на основе нейронной сети со случайными порогами. Подобная архитектура позволила уменьшить размерность задачи ТА СПИ за счет распараллеливания и разбиения общей задачи технического анализа на частные подзадачи, тем самым повысив производительность и эффективность. Разработана модель процесса идентификации сигналов по типам модуляции на основе предложенного нейросетевого классификатора.
Классификация нейронных сетей по архитектуре
Большое число видов априорной неопределенности, возникающей при АПОС, особенно в условиях активных помех, требует разработки и применения соответствующих методов устранения неопределенности.
В настоящее время имеет место несоответствие способа организации и интенсивности іщформационного обмена во внутреннем контуре ішформацнонно-го взаимодействия систем АПОС (см. приложение І, П 1.2) между подсистемами поиска и приема, с одной стороны, и подсистемами анализа, обработки и интерпретации принимаемых данных, с другой. Существующие подсистемы поиска и приема позволяют принимать и передавать для последующей обработки такое количество данных, которое не может быть в полном объеме использовано из-за ограниченных возможностей подсистем ТА, обработки сигналов и интерпретации полученной информации.
В качестве одного из наиболее эффективных путей решения данной проблемы может служить систематическая многоконтурная адаптация [80, 96]. Под адаптацией системы АПОС будем понимать ее способность обеспечить требуемые показатели качества функционирования, необходимые для выполнения целевой задачи приема информации в широком диапазоне изменения внешних условий информационного взаимодействия ее подсистем с СПИ.
Исходя из определения адаптации как способа преодоления априорной неопределенности, можно провести следующую классификацию методов адаптации по отношению к источникам неопределенности: 1 - адаптация к принимаемым сигналам, 2 - адаптация к источникам информации; 3 - адаптация к взаимодействию принимаемых сигналов с окружающей средой; 4 - адаптация к ус 33 ловиям информационного взаимодействия между подсистемами АПОС с одной стороны и сигналами СПИ с другой.
Все перечисленные виды адаптации образуют класс ситуационной адаптации, то есть адаптации системы АПОС к внешнему контуру информационного взаимодействия, который включает в себя сигналы, источники информации и внешнюю среду. Применение системного подхода к задачам формирования адаптивной структуры системы АПОС дает возможность выделить три иерархических уровня ситуационной адаптации [96] - структурно-параметрическая адаптация приемных подсистем АПОС; - алгоритмическая адаптация подсистем ТА сигналов и обработки данных; - адаптивное управление функционированием системы АПОС. Приведенная классификация подчеркивает возможность адаптации как от дельных подсистем, так и всей системы АПОС в целом. При этом введение не скольких контуров адаптации на различных уровнях многозвенной структуры системы АПОС позволяет последовательно снять указанные выше виды неоп ределенности, оптимизировать функционирование подсистем АПОС и тем са мым повысить эффективность приема сигналов. В настоящее время существуют методы и алгоритмы, позволяющие полностью или частично устранить неопределенности обнаружения [80, 93, 106], многостанционного доступа [5, 12], модуляции несущего колебания [8, 9], модуляционного кодирования [41], корректирующего кодирования [41], скрембли-рования, мультиплексирования [29, 48], шифрования, кодера источника, при этом все методы и алгоритмы, изложенные в данных работах ориентированы на однопроцессорные вычислительные устройства архитектуры фон-Неймана, реализующие последовательную обработку информации.
Цифровые вьиислительные машины фон-Неймановской архитектуры способны с высоким быстродействием и точностью решать формализованные задачи по заранее известным алгоритмам с вполне определенными данными. Однако в случае, когда задача не поддается формализации, а входные данные неполны, зашумлены или противоречивы, применение традиционных вычисли 34 тельных средств становится неэффективным, что снижает результативность обработки сигналов. Одно из возможных направлений, позволяющих повысить оперативность АПОС цифровых и аналоговых СПИ, состоит в использовании средств анализа, основанных на принципиально новых, нетрадиционных ней-росетевых технологиях, реализующих параллельную распределенную обработку данных [28].
Создание нейросетевых (нейрокомпьютерных) вычислительных средств, на развитие которых в мире выделяются огромные ресурсы, является одним из важнейших направлений перспективных информационных технологий. К примеру; в Японии на восьмилетнюю программу «Нейрокомпьютер» по разработке современных компьютеров шестого поколения на 1989-1997 годы выделено 231 млн. долларов [19]. Об актуальности и важности данного направления можно судить по программе Пентагона, получившей название «Стратегической компьютерной инициативы», цель которой - создание нового поколения компьютеров, относящихся по своим возможностям и свойствам к классу нейрокомпьютеров и ориентированных на применение прежде всего в системах военного назначения [19].
Основной объективной причиной такого большого внимания к нейросете-вым (нейрокомпьютерным) информационным технологиям является возможность резкого повышения производительности по отношению к стоимости при решении сложных специализированных задач (см. рис. 1.4) [167]. Это объясняется тем, что для нейросетевых систем обработки информации характерно наличие массового параллелизма вычислений Очевидны преимущества параллельных структур перед последовательными - более высокая производительность, модульность и расширяемость, высокая отказоустойчивость и надежность. Кроме того, нейросетевые технологии открывают широкие перспективы по решению принципиально новых задач, ранее относящихся лишь к области человеческого интеллекта, поскольку нейросетевые средства обладают такими важными свойствами, как обучение и самообучение.
Нейросетевой алгоритм, формальная постановка задачи
Несмотря на многочисленность сетевых реализаций, или парадигм, в их ос 63 нове лежит конфигурация модель искусственного нейрона изображенная на рисунке (см. приложение II, рис. ПІІ.5), работа которого описывается формулой где h - отклик на сигнал на выходе нейрона; - сигнал на входе нейрона; N количество входов; w - весовой коэффициент. Базовой функцией, реализуемой некоторым /-м нейроном, является взвешенное суммирование входных сигналов {Xj}, j-1, ...,п, поступающих с выходов других нейронов сети. На выходе сумматора формируется потенциал г-го нейрона hh характеризующий воздействие нейронов всей сети на данный нейрон.
Второй базовой операцией, осуществляемой нейроном, является нелинейная пороговая обработка потенциала в соответствии с функцией активации нейрона yt f(hi—0), характеризующая степень его возбуждения. Здесь в - порог срабатывания (или сигнал внешнего смещения) г-го нейрона.
Рассмотрев таким образом основные атрибуты обобщенной модели нейрона и приняв их в качестве классификационных признаков, можно выделить следующие типы нейроподобных элементов (см. рис. 2.2).
По виду суммирования входных сигналов все нейроны можно разделить на линейные и нелинейные. В первых осуществляется линейное взвешенное суммирование входных сигналов нейрона с коэффициентами синаптических связей согласно выражению п h = HwuxJ, (2.1) где Wy - весовой коэффициент (коэффициент синаптической связи или синапс) между входом ьго нейрона и выходом 7-го (см. приложение II, рис. ПИЛ, ПИ.7). В нейронах, осуществляющих нелинейное взвешенное суммирование входных сигналов, выражение для сетевого потенциала нейрона содержит не только аддитивную составляющую, как это имеет место в (2.1), но и нелинейные, в частности, мультипликативные составляющие.
Классификация нейроподобных элементов. дискретными состояниями и нейроны с непрерывными состояниями. Среди нейронов с дискретными состояниями наиболее широкое применение нашли нейро-процессорные элементы с биполярными и бинарными функциями активации (см. приложение II, рис. ПИ.6, б, в). В отличие от нейронов с дискретными состояниями, функции активации нейропроцессорных элементов с непрерывными состояниями достаточно разнообразны. Наиболее часто используется функция сиг-моидального вида (см. приложение II, рис. ПП.6, г).
По типу синаптических связей {весовых коэффициентов) все нейропроцес-сорные элементы делятся на нейроны с вещественными синапсами, коэффициенты которых принимают значения на всей числовой оси; нейроны с нормализованными синапсами, коэффициенты которых принимают значения из интервала [-1,1]; и нейроны с дискретными синапсами, коэффициенты которых могут принимать только три значения 0 - связь отсутствует, +1 - связь положительная (возбуждающая), -1 - связь отрицательная (тормозящая).
По характеру динамики состояния во времени все нейроны делятся на дискретные и непрерывные. Динамика дискретного во времени нейрона описывается рекуррентным выражением вида л( +1)=/ Л ( п (2.2) где =0(1)Г - дискретные моменты времени, уо - начальное состояние ьго нейрона. Если время представляется непрерывной положительной величиной, то модель динамики нейрона будет иметь вид y=1 (2.3) У =№\ yi{t0) = f{Vi{tQj)=y?\ где Vj(t) - внутреннее состояние нейрона, интерпретируемое как некоторое напряжение на нем, ТІ - постоянная времени нейрона (см. приложение II, ПИ.5.1). По типу переменной состояния выхода нейроны подразделяются на детерминированные и стохастические. Все рассмотренные выше нейропроцессорные элементы относятся к классу детерминированных. Выходные сигналы стохастических нейронов представляют собой случайные величины. Такие нейроны находятся в том или ином состоянии лишь с определенной вероятностью, значение которой определяется потенциалом нейрона.
Все рассмотренные выше классификационные признаки нейроподобных элементов могут быть положены в основу разбиения на классы и нейронных сетей, построенных на основе использования нейронов соответствующего класса. Наряду с этим, нейронные сети различаются не только на элементном уровне, но и обладают качествами, проявляющимися на архитектурном и системном уровнях, когда сеть представляет собой совокупность нейронов, объединенных единой целью функционирования (рис. 2.3).
Первым архитектурным признаком нейронных сетей является количество входящих в состав сети нейронов. При этом под слоем понимается совокупность нейронов, объединенных общностью функционирования. В простейшем случае это линейка либо матрица нейропроцессорных элементов. Подобного рода линейка носит название слой нейронов. По количеству слоев нейронные сети
Показатели качества процесса идентификации сигналов систем передачи информации по типам модуляций
Задачи додетекторной обработки сигналов СПИ включают в себя задачи распознавания образов, выполнения функциональных преобразований при обработке сигналов, управления, прогнозирования, идентификации. В общем виде эти задачи сводятся к следующей математической постановке. Необходимо построить отображение Х— Y такое, чтобы на каждый возможный входной сигнал X формировался правильный выходной сигнал Y. Отображение задается конечным набором пар ( вход , известный выход ). Число таких пар (обучающих примеров) существенно меньше общего числа возможных сочетаний значений входных и выходных сигналов. Совокупность всех обучающих примеров носит название обучающей выборки.
Каждый конкретный принимаемый системой АПОС сигнал х$) есть элементарное событие, представляемое точкой в пространстве 5Г всех возможных элементарных событий. Пространство ЗГ называют также пространством наблюдений или пространством реализаций. Предполагается, что наблюдаемые системой объекты объективно и однозначно принадлежат одному из К классов, но в силу принципиальной неполноты средств наблюдения, а также искажений наблюдений, вызываемых случайными помехами и случайными вариациями условий наблюдения, классы наблюдаемых объектов отображаются в принимае 93 мые сигналы неоднозначно. Один и тот же конкретный сигнал x;(f) (т.е. одна и та же точка пространства Г) может относиться к любому из К классов из множества В. Объект А (в частном случае под объектом подразумевается сигнал СПИ) может быть представлен вектором s = {sm\m = l,...,M} в -мерном евклидовом пространстве, каждый из которых получается из аналоговой реализации сигнала путем дискретизации его значений сигнала с шагом дискретизации т. Шаг дискретизации г (2F) ( F— ширина спектра сигнала) выбирается в соответствии с известной теоремой Котельникова. Задача классификации состоит в определении гомоморфного отображения пространства Г целочисленных М-мерных векторов на множество В, представляющее собой конечный ряд натуральных чисел от 1 до К, где К является количеством классов объектов. Иначе говоря, задача классификации состоит в определении функции F, которая для каждого объекта a={am\m = l,...,M} є Г ставит в соответствие один и только один элемент к є В. В силу ограниченности разрядной сетки для представления каждого элемента вектора a={am\m = l,...,M} є Г значение ат ограничено отрезком [-32768; 32767], что практически не сужает диапазон решаемых задач в силу специфики работы нейронных сетей.
Сформулированная задача имеет множество вариантов решения. Одним из исследованных статистических методов обработки сигналов является байесовский подход. Этот статистический метод предполагает, во-первых, знание закона распределения векторов классифицируемых сигналов или, по крайней мере, аналитическое (или любое другое математически точное) описание "идеального" сигнала каждого класса а ; во-вторых, вычисление корреляционных матриц распознаваемого сигнала а с каждым из а и определение на их базе критериальной функции, определяющей меру «сходства» и «близости».
Байесовский метод, как и ряд других классических подходов, анализ и сравнение которых проведен во второй главе диссертации, в чистом виде для обработки сигналов СПИ в условиях параметрической неопределенности практически невозможно использовать, так как это связанно с большими вычислительными затратами, а получаемые результаты приближенны. Это происходит потому, что предположение об известности закона распределения или а на практике либо неприменимо, либо встречает большие сложности, не говоря уж о том, что математическое описание всегда есть лишь более или менее точная модель действительности. Количество сложных вычислении, таких как умножение и деление, необходимых для получения корреляционных матриц размером М х Мкаждая, и получения по ним мер сходства путем решения систем линейных уравнений (СЛУ) растет, как М2, всех же вычислений - не менее чем М3 (см. таблицу 3.1). Для достаточно малых с точки зрения качества распознавания значений М (порядка нескольких сотен) число вычислений представляется очень большим. Качество распознавания в большой мере зависит от выбора критериальной функции, что вносит эвристический элемент в математическую строгость.
Сравнение вычислительной сложности различных методов реше- Таблица 3.1 ния СЛУ и получения корреляционных матриц Метод решения СЛУ Число вычислений Примечания Прямые методы:- Метод Крамера;- Метод Гаусса. 2Ам4+VM3+о(м2,м) узмъ+о{м2,м) Требует большого числа арифметических действийНе применяется при М 100 вследствие размножения ошибок
Итеративные методы:- метод Якоби-Зейделя;- метод наискорейшегоспуска- метод минимальных невязок [ш2+о(м)]д [SM2+O(M)]Q [AM2+I]Q Условие сходимости - диагональное преобладание матрицы и ее симметричность.Длительная сходимость, так как не используется инерционность. Не используется инерционность, выбор величины шага осуществляется на каждом шаге.
Нейросетевой алгоритм \M2Q, где Q - количество итераций Легко распараллеливается, использование операций порогового базиса сокращает время вычислений, при реализации на нейрочипах значительно возрастает быстродействие (минимум в2,5...3 раза).
Существуют так называемые эвристических подходы к решению задач классификации, для которых предположение об известности законов распределения значений наблюдаемых сигналов а к не являются определяющими. Предлагаемая технология решения задачи классификации сигналов, основанная на нейросетевом подходе, как раз относится к разряду эвристических подходов. Под словами "технология решения задачи классификации" и "метод решения задачи классификации" понимается именно нейросетевой подход, основанный на внутреннем свойстве нейросетевой парадигмы определять принадлежность входного вектора сигнала к одному из множества классов. При этом количество вычислений (причем, простых - сложение, умножение) растет не выше, чем М2.
Нейросетевой подход качественно отличается от статистических подходов тем, что вместо математического описания используется обучающая выборка Q0B={(a\k1)\i=l,...,L}, где а є « Г, к1 є В. Иначе говоря, для каждого вектора а1 известна его принадлежность к определенному классу к1. Последнее может определяться экспертным путем, или быть получено, как реализация (или модель реализации) сигнала известного класса, или определено каким-либо иным путем. В технологии решения задачи классификации сигналов обучающая выборка 2в, наряду со значением К, является исходными данными для решения. Значение L, очевидно, должно быть существенно больше значения К. При этом число представителей каждого класса должно быть таким, чтобы оно как можно полнее характеризовало область в 3 , занимаемую данным классом сигналов.
При отсутствии априорных данных о функции распределения данного класса в обучающей выборке следует включить достаточное со статистической точки зрения число различных, по возможности, независимо полученных, реализаций сигналов указанного класса (например, от 10 до 100). Памятуя о том, что с ростом L линейно растет число вычислений на однократную обработку всей обучающей выборки. В случае невозможности получения достаточного числа представителей данного класса, задача классификации может решаться с имеющимся количеством представителей, возможно, с потерей в качестве решения. По обучающей выборке происходит пр цесе обучения нейрогіной сети, который состоит в многократном проходе по обучающей выборке для получения удовлетворительного качества решения задачи классификации.
