Содержание к диссертации
Введение 7
ГЛАВА 1. Задачи и методы обработки информации 18
-
Принципы обработки информации 18
-
Оптимальная обработка информации 23
-
Задачи обработки информации 27
-
Методы обработки информации при априорной неопределенности 31
-
Параметрические методы 31
-
Непараметрические методы 36
-
Нейросетевые методы 39
ГЛАВА 2. Метод синтеза систем обработки информации при
априорной неопределенности на основе искусственных
нейронных сетей 43
-
Постановка задачи структурно-параметрического синтеза систем обработки информации 43
-
Метод минимизации эмпирического риска 46
-
Настройка параметров систем обработки информации по методу минимизации эмпирического риска 46
-
Анализ возможности применения метода минимизации эмпирического риска для синтеза систем обработки информации 50
2.3. Разработка метода структурно-параметрического
синтеза систем обработки информации 57
-
Концепция структурно-параметрического синтеза систем обработки информации 57
-
Согласование вида характеристики вход-выход системы обработки информации и данных наблюдения 61
-
Способы синтеза систем обработки информации .. .66
2.4. Способы определения качества обработки
информации 75
2.5. Разработка способа синтеза систем обработки
информации на основе метода регуляризации 86
-
Применение метода регуляризации для определения характеристики вход-выход системы обработки информации 86
-
Выбор стабилизирующего функционала 88
-
Синтез системы обработки информации 90
2.5.4. Анализ влияния параметра регуляризации на
качество обработки информации 94
2.6. Разработка комбинированного метода синтеза систем
обработки информации 100
-
Синтез при параметрической априорной неопределенности 100
-
Синтез при непараметрической априорной неопределенности 104
ГЛАВА 3. Методы и алгоритмы структурной и параметрической
оптимизации нейронных сетей \\д
-
Направления развития и области применения нейросетевых технологий 119
-
Классификация нейронных сетей 122
3.3. Структура нейронных сетей с последовательными
связями 129
-
Многослойные нейронные сети 129
-
Нейронные RBF-сети 132
-
Полиномиальные нейронные сети 137
3.4. Применение методов оптимизации для обучения
нейронных сетей 139
-
Разработка универсальных процедур локальной оптимизации для настройки параметров нейронных сетей 139
-
Методы поиска глобального экстремума ....... 145
3.5. Синтез процедур и алгоритмов параметрической
оптимизации нейронных сетей 153
-
Многослойные нейронные сети 153
-
Нейронные RBF-сети 157
-
Полиномиальные нейронные сети 163
3.6. Методы определения структуры нейронных сетей с
последовательными связями 165
3.6.1. Процедуры структурной оптимизации 165
3.6.2. Метод направленной модификации структуры
сети 173
3.7. Алгоритмы структурно-параметрического синтеза
нейронных сетей 183
ГЛАВА 4. Обработка информации на основе нейронных сетей ... 197
-
Применение нейронных сетей для обработки сигналов .. 197
-
Процедуры адаптивной нелинейной обработки сигналов на основе нейронных сетей 206
4.3. Алгоритмы настройки параметров нейросетевых
систем обработки сигналов 211
-
Регуляризованная оценка параметров систем по методу взвешенных наименьших квадратов 211
-
Синтез рекуррентного алгоритма с регуляризацией по методу взвешенных наименьших квадратов 212
-
Процедура адаптивной настройки параметров регуляризации и дисконтирования 214
-
Модифицированные алгоритмы с регуляризацией
по методу взвешенных наименьших квадратов .. .216
4.3.5. Обработка сигналов на основе адаптивных
алгоритмов с регуляризацией 219
4.4. Структурно-параметрический синтез нейросетевого
классификатора 224
4.4.1. Синтез классификаторов при априорной
неопределенности 224
-
Решение задачи классификации на основе структурно-параметрического синтеза нейронных RBF-сетей 229
-
Моделирование процедур классификации 234
ГЛАВА 5. Применение нейросетевых систем обработки
информации 242
5.1. Прием дискретных сообщений в многолучевых
радиоканалах 242
-
Оптимальный поэлементный прием дискретных сообщений в каналах с памятью 242
-
Нейросетевой приемник дискретных сообщений 244
5.2. Идентификация каналов связи 249
5.2.1. Идентификация нелинейных каналов с памятью
на основе нейронных сетей 249
5.2.2. Алгоритмы настройки параметров модели
стохастического канала связи 253
-
Нейросетевая коррекция нелинейных искажений 267
-
Нейросетевая процедура обработки навигационных данных 273
-
Восстановление многомерных нелинейных зависимостей по экспериментальным данным 279
Заключение 284
Список литературы 287
Введение к работе
Актуальность темы
В настоящее время сохраняется потребность в разработке новых и совершенствовании существующих методов и средств обработки информации для решения ряда практических задач. Это обусловлено необходимостью повышения надежности и эффективности функционирования разнообразных технических и других систем.
Объектом исследования в диссертационной работе являются системы обработки информации. Теория обработки информации имеет богатую историю, но именно в последние два-три десятилетия она заняла почетное место в рамках кибернетики - науки, которая «занимается изучением систем любой природы, способных воспринимать, хранить и перерабатывать информацию и использовать ее для управления и регулирования» (А.Н. Колмогоров).
Все возрастающее значение методов обработки информации обусловлено, в первую очередь, запросами современного производства, требующего быстрого развития и широкого внедрения разнообразных технических систем, в том числе управления и связи. Сложность этих систем обусловлена необходимостью работать в широко изменяющихся диапазонах, при заранее непредсказуемых условиях, в режимах, затрудняющих или делающих невозможным контроль со стороны человека.
Теоретическую основу исследований в области обработки информации составляет совокупность теорий, первоосновой которых является математическая статистика. Можно считать, что теория оценивания как математическая наука начала развиваться с работ Лежандра и Гаусса о методе наименьших квадратов. Основополагающий вклад в развитие статистической теории оценивания и проверки гипотез сделан Р.А. Фишером (R.A. Fisher) и А. Вальдом (A. Wald). Теория оптимальной фильтрации случайных процессов создана А.Н. Колмогоровым и Н. Винером (N. Wiener). Процедуры рекуррентной фильтрации получены Р. Калма-ном (R.E. Kalman). Центральные идеи в области нелинейной фильтрации выдвинуты Р.Л. Стратоновичем.
В большинстве практических задач неизвестны статистические характеристики сигналов и помех, необходимые для синтеза оптимальных систем обработки информации. При наличии априорной неопределенности применяются различные подходы к обработке информации.
Основные идеи и методы построения разнообразных систем обработки информации в условиях параметрической априорной неопределенности и их приложения получили освещение в многочисленных работах отечественных ученых Р.Л. Стратоновича, ЯЗ. Цыпкина, Н.С. Райбмана, В.Г. Репина, Б.Р. Левина, А.А. Красовского, В.В. Кондратьева, Б.Н. Петрова, Д.Д. Кловского, В.И. Тихонова, В.Н. Харисова, А.П. Трифонова, В.Н. Фомина, Я.Д. Ширмана, М.С. Ярлыкова, А.П. Реутова, Ю.С. Ши-накова, А.Л. Фрадкова. Ряд способов и процедур преодоления априорной неопределенности нашли отражение в работах зарубежных авторов Б. Уидроу (В. Widrow), С.Д. Стирнза (S.D. Stearns), П. Эйкхоффа (P. Eykhoff), Э.П. Сейджа (А.Р. Sage), Л. Льюнга (L. Ljung), К.С. На-рендры (K.S. Narendra), К.Ф.Н. Коуэна (C.F.N. Cowan), П.М. Гранта (P.M. Grant).
Во второй половине двадцатого столетия сформировалась концепция адаптации как текущей численной оптимизации с целью достижения экстремального значения заданного целевого функционала. Адаптивная (самонастраивающаяся) система рассматривается как «автоматическая система, осуществляющая поиск оптимального состояния и изменяющая режим работы системы или перестраивающая ее параметры (а иногда и структуру) в соответствии с найденным оптимальным состоянием» (Ч.С. Дрейпер, И.Т. Ли). В широком смысле адаптивность представляет собой целенаправленную приспособляемость, самоорганизацию или гомеостаз в изменяющихся неконтролируемым образом условиях функционирования разнообразных, в том числе, информационных систем. Результаты многочисленных исследований адаптивных систем в основном связаны с методами, процедурами и алгоритмами настройки параметров. Задача структурной оптимизации исследовалась значительно меньше.
Проблемы обработки информации при априорной неопределенности крайне разнообразны. Во многих случаях априорная информация о распределениях сигналов и помех недостаточна для того, чтобы воспользоваться каким-либо параметрическим семейством распределений. В этих условиях могут применяться непараметрические методы обработки информации. Многие из этих методов основаны на использовании ядерных оценок плотности вероятности, которые исследовались М. Розенблаттом (М. Rosenblatt), Е. Парзеном (Е. Parzen), В.А. Епанечниковым. Значительный вклад в развитие непараметрических статистических методов, в том числе в области регрессионного и дискриминантного анализа, внесли Э.А. Надарая, Г.Т. Ватсон (G.T. Watson), Б. Эфрон (В. Efron), С.А. Айвазян, B.C. Мхитарян, В.Я. Катовник, А.В. Добровидов, Г.М. Кошкин. В условиях малых выборок точность непараметрических оценок плотности вероятности оказывается невысокой, что в свою очередь сказывается на свойствах многих непараметрических процедур обработки информации.
Наряду с классическими статистическими методами во второй половине двадцатого столетия появляется метод обработки информации, опирающийся на достижения нейробиологии. Мощным стимулом для исследования в области искусственных нейронных сетей, которые являются нелинейными системами, послужило то, что во многих практических задачах использование линейных систем не позволяет обеспечить требуемое качество обработки информации. Кроме того, применение параметрических методов не всегда возможно, поскольку приводит к значительному ухудшению качества обработки информации, если использованные при синтезе систем модели, в том числе предположения о виде распределений, не адекватны действительности. В условиях малых обучающих выборок классические непараметрические методы также становятся недостаточно эффективными.
Возможность использования нейронных сетей для обработки информации связана с их универсальной аппроксимирующей способностью. Основополагающие результаты по представлению непрерывных функций нескольких переменных в виде суперпозиции функций одного переменного получены А.Н. Колмогоровым и В.И. Арнольдом. Позже Г. Дыбенко (G. Cybenko), Дж. Парком (J. Park) и К. Хорником (К. Hornik) доказаны теоремы об универсальной аппроксимирующей способности отдельных видов нейронных сетей.
Первые результаты, полученные зарубежными учеными в области искусственных нейронных сетей, связаны с именами У. Маккалоха (W. McCulloch), У. Питтса (W. Pitts), Ф. Розенблатта (F. Rosenblatt), Д. Хебба (D. Hebb), М. Минского (М. Minsky), С. Пайперта (S. Papert).
Дальнейшие исследования в области нейронных сетей проводили Дж. Хопфилд (J. Hopfield), Т. Кохонен (Т. Kohonen), С. Гроссберг (S. Grossberg), Д.Е. Румельхарт (D.E. Rumelhart), П.Дж. Вербос (P.J. Wer-bos), Д. Лове (D. Lowe), С. Чэн (S. Chen), К. Бишоп (С. Bishop), С. Хай-кин (S. Haykin).
Поиск способов преодоления априорной неопределенности привел к созданию отечественными учеными основ теории обучения систем. Мно- гочисленные результаты в области теории обучения и ее применения для решения ряда задач, в том числе распознавания образов и восстановления зависимостей, принадлежат ЯЗ. Цыпкину, А.И. Галушкину, Ю.И. Журавлеву, А.Г. Ивахненко, В.Н. Вапнику, М.А. Айзерману. Основываясь на теории обучения, А.И. Галушкин разработал теорию нейронных сетей, которая обладает большей общностью по сравнению с методами зарубежных авторов. Исследования в области нейронных сетей проводятся В.В. Кругловым, В.В. Борисовым, А.Н. Горбань, Э.Д. Аведьяном, В.А. Терехововым, В.А. Головко. Большинство полученных результатов относятся к процедурам и алгоритмам параметрической оптимизации многослойных нейронных сетей.
Предметом исследования в диссертационной работе являются системы обработки информации на основе искусственных нейронных сетей.
В последнее время нейронные сети находят применение в различных областях, в том числе, для распознавания образов, идентификации нелинейных систем, прогнозирования, обнаружения сигналов, а также в системах связи и управления. Известно, что на качество обработки информации существенное влияние оказывает структура нейронной сети. При этом, как недостаточное, так и излишне большое количество нейронов скрытого слоя препятствует эффективной обработке информации. Проблема определения структуры нейронных сетей в настоящее время не имеет однозначного решения.
Применение нейросетевых технологий для обработки информации представляет собой современный подход, который позволяет повысить эффективность функционирования разнообразных технических систем. Перспективность этого направления и наличие нерешенных проблем определяют актуальность исследований в области синтеза систем обработки информации на основе искусственных нейронных сетей.
Цель и задачи диссертационной работы
Цель работы заключается в разработке новых методов, процедур и алгоритмов синтеза систем обработки информации на основе искусственных нейронных сетей, позволяющих при непараметрической априорной неопределенности повысить эффективность и качество обработки информации.
Для достижения поставленной цели необходимо решение следующих основных задач.
Формирование принципов синтеза систем обработки информации при непараметрической априорной неопределенности.
Разработка метода синтеза систем обработки информации на основе искусственных нейронных сетей.
Разработка метода определения структуры и параметров искусственных нейронных сетей с последовательными связями.
Синтез алгоритмов и процедур параметрической и структурной оптимизации для искусственных нейронных сетей с последовательными связями.
Разработка способов классификации и восстановления зависимостей с помощью нейронных сетей.
Разработка алгоритмов и процедур адаптивной нелинейной обработки сигналов на основе нейронных сетей.
Методы исследования
В диссертационной работе основу исследования составляют теории статистических решений, искусственных нейронных сетей, идентификации, адаптивной фильтрации, распознавания образов, а также методы регуляризации, оптимизации и математического моделирования.
Научная новизна
Предложен метод синтеза систем обработки информации при непараметрической априорной неопределенности на основе комбинированного подхода с применением методов структурной оптимизации и регуляризации.
Разработан метод для определения структуры и параметров многослойных нейронных сетей.
Получены алгоритмы и процедуры структурно-параметрической оптимизации многослойных нейронных сетей с последовательными связями.
Разработаны способ и алгоритм построения классификаторов на основе отдельных видов нейронных сетей при использовании байесовского решающего правила.
Предложены способ и алгоритм решения задачи восстановления зависимостей на основе структурно-параметрической оптимизации нейронных сетей с последовательными связями. Алгоритм работоспособен в условиях малых обучающих выборок.
Сформированы процедуры адаптивной нелинейной обработки сигналов на основе нейронных сетей с последовательными связями. С учетом специфических особенностей отдельных видов таких сетей предложены модифицированные процедуры для обработки сигналов в реальном времени.
С применением регуляризации синтезированы рекуррентные алгоритмы настройки параметров нейронных сетей. Получены процедуры определения параметров регуляризации и дисконтирования.
Практическая значимость работы
Предложенные в диссертационной работе методы, процедуры и алгоритмы позволяют решать задачи классификации, восстановления зависимостей и адаптивной обработки сигналов, в том числе идентификации систем, краткосрочного прогнозирования и др. Полученные результаты могут быть использованы при построении разнообразных систем обработки информации: анализа и интерпретации данных, в том числе результатов измерений; технической диагностики, включая прогнозирование состояния технических систем; интеллектуальных систем управления, в том числе ней-роконтроллеров; распознавания образов; обработки изображений; радионавигационных систем; систем связи, в том числе радиомодемов.
Некоторые результаты работы использованы при разработке систем радиосвязи в научно-производственном предприятии «Полет». Для многолучевых радиоканалов разработан нейросетевой приемник дискретных сообщений. С применением процедуры регуляризации сформирована процедура идентификации стохастических каналов связи, использованная для идентификации декаметрового радиоканала. На основе структурной оптимизации синтезирован нелинейный корректор характеристик канала связи. Разработаны программные комплексы адаптивной фильтрации и «Радиомодем», зарегистрированные в Российском агентстве по патентам и товарным знакам.
Отдельные результаты работы использованы в проектно-конструк-торской деятельности ННИИРТ. Разработана процедура определения траектории движения объектов на основе обработки сигналов радионавигационной системы. Траектория движения представляется в виде непрерывной функции времени. Процедура обеспечивает возможность эффективной обработки пропусков.
Алгоритмы обработки радиосигналов использованы в «Нижегород-электротранс» при разработке программного обеспечения радиомодемов центрального диспетчерского пункта и терминалов транспортных единиц в составе автоматизированной системы управления движением городского электротранспорта.
Часть материалов диссертационной работы использована в учебном процессе при чтении лекций и проведении лабораторных работ на факультете информационных систем и технологий Нижегородского государственного технического университета.
Апробация работы
Основные положения и результаты диссертационной работы доложены и обсуждены на следующих научно-технических конференциях. VI Всероссийская научно-техническая конференция «Радиоприем и обработка сигналов» (Н.Новгород, 1993 г.).
Международная конференция «100-летие начала использования электромагнитных волн для передачи сообщений и зарождения радиотехники» (г. Москва, 1995 г.).
Научно-технические конференции факультета информационных систем и технологий Нижегородского государственного технического университета (Н.Новгород, 1995 - 2000 г.г.).
Научно-технические семинары кафедры «Электроника и сети ЭВМ» Нижегородского государственного технического университета (Н.Новгород, 1997 - 2002 г.г.). X научно-техническая конференция «Проблемы радиосвязи» (Н.Новгород, 1999 г.). XII международная конференция «Проблемы теоретической кибернетики» (Н.Новгород, 1999 г.).
Всероссийские научно-технические конференции «Информационные системы и технологии» (Н.Новгород, 2001 - 2003 г.г.).
IV Международная научно-техническая конференция «Математическое моделирование физических, экономических, технических, социальных систем и процессов» (Ульяновск, 2001 г.).
Международная специализированная выставка-конференция «Новые технологии в радиоэлектронике и системах управления» (Н.Новгород, 2002 г.).
10. VIII Международная конференция «Радиолокация, навигация, связь» (Воронеж, 2002 г.).
11.LVII научная сессии РНТОРЭС им. А.С. Попова (Москва, 2002 г.).
12. Международная научно-техническая конференция «Методы, средства и технологии получения и обработки измерительной информации» (Пенза, 2002).
13.5-я Международная конференция «Цифровая обработка сигналов и ее применение - 2003» (Москва, 2003 г.).
14. IV Международная научно-техническая конференция «Компьютерное моделирование - 2003» (Санкт-Петербург, 2003 г.).
Публикации
Основное содержание диссертации опубликовано в 47 работах. Из них одна монография, 19 статей в научно-технических журналах и сборниках, 26 тезисов докладов в трудах Международных и Всероссийских научно-технических конференций, а также одно учебное пособие. Получено два свидетельства об официальной регистрации разработанных программ в Российском агентстве по патентам и товарным знакам.
Основные положения диссертационной работы, выносимые на защиту
Метод синтеза систем обработки информации при априорной неопределенности на основе искусственных нейронных сетей, принципиально отличающийся от известных параметрических и непараметрических методов.
Метод обучения искусственных нейронных сетей, основанный на структурно-параметрической оптимизации в сочетании с регуляризацией, отличающийся от метода минимизации эмпирического риска.
Алгоритмы структурно-параметрической оптимизации нейронных сетей с последовательными связями, основанные на процедуре структурной модификации, отличающиеся от алгоритмов, основанных на добавлении и удалении нейронов.
Метод и алгоритмы решения задач классификации и восстановления зависимостей, основанные на предложенном методе структурно-параметрической оптимизации искусственных нейронных сетей, отличающиеся от методов и алгоритмов дискриминантного и регрессионного анализа.
Способ и алгоритмы адаптивной нелинейной обработки сигналов, основанные на процедурах рекуррентной настройки параметров, синтезированных с учетом специфических особенностей отдельных видов нейронных сетей, отличающиеся применением адаптации и регуляризации.
