Введение к работе
Актуальность темы
В настоящее время теория искусственных нейронных сетей имеет междисциплинарный характер и является одной из наиболее динамично развивающихся информационных технологий, которая применяется в различных научных и прикладных областях. Практика применения искусственных нейронных сетей (ИНС) включает такие области, как нейронная математика и нейроинформатика. Созданы и получили широкое распространение нейрочипы и нейрокомпьютеры. Нейронные сети успешно применяются в широком диапазоне приложений - от бытовых приборов, до сложнейших вычислительных комплексов управления боевыми действиями. Объединение возможностей нейросетевых технологий с нечёткой математикой и нечёткой логикой, генетическим, эволюционным программированием и мягкими вычислениями позволяет расширить класс решаемых задач в условиях неопределённостей.
Основополагающие принципы теории искусственных нейронных сетей были заложены в работе Уоррена Маккалоха (Warren S. McCulIoh) и Уолтера Питтса (Walter A. Pitts). Дальнейшее развитие было сделано в работах Дональда Хэбба (Donald O.Hebb), Франка Разенблатта (Frank Rosenblatt), в критических работах Марвина Минского (Marvin Minsky). Получены наиважнейшие теоретические и практические результаты в работах зарубежных учёных: S. Amari, S. Anderson, М. Arbib, К. Fukushima, S. Grossberg, Т. Kohenen, В. Widrow; отечественных учёных: Я.З. Цыпкин, А.И. Галушкин, СИ. Барцев, В.А. Охонин, А.Н. Горбань, Е.М. Миркес, В.Л. Дунин-Барковский, С.А. Терехов, А.Л. Микаэлян, И.Г. Персианцев, А.И. Хилько, В.Г. Яхно и др.
Проблемам принятия решения в условиях неопределённости в общей теории систем и, в частности, в теории управления с использованием ИНС посвящены многие работы известных отечественных исследователей, таких как Ю.Г. Евтушенко, СВ. Емельянов, Н.Н. Моисеев, Ю.А. Флеров, Е.Н. Черемисина, СВ. Ульянов, А.Н. Аверкин и др., а также многих зарубежных исследователей, среди которых необходимо выделить Lotfi A. Zadeh, Т. Saati, М. Jamshidi, Е. Mamdani и др.
Методы искусственных нейронных сетей наиболее широко используются в задачах классификации. Задача классификации представляет собой задачу отнесения образца к одному из нескольких непересекающихся множеств. При решении задач классификации ИНС должна отнести имеющиеся характеристики объекта (наблюдаемые данные) к одному или нескольким определённым классам.
Однако остаются открытыми вопросы выбора топологии сети, определения количества слоев и нейронов, интерпретации весовых коэффициентов и смещений, оценки их оптимальности, в частности, в задачах классификации. Самым важным свойством нейронных сетей является возможность аппроксимировать непрерывную функцию любого типа. Это свойство известно как теорема универсальной аппроксимации. Теорема универсальной аппроксимации определяет необходимые, но не достаточные условия аппроксимации произвольной функции и не даёт рекомендации по выбору числа нейронов и количества слоев нейронной сети.
\
В настоящее время выбор вида сети происходит чисто эмпирически. Выбор структуры сети и числа её элементов (нейронов), как правило, решается эмпирически. Существует ряд результатов исследований о количестве нейронов, требуемых для достаточно точного решения задачи, однако, как отмечается в ряде источников, они пока носят мало конструктивный характер. Предложены алгоритмы подбора структуры сети, которые являются того или иного вида генетическими алгоритмами. В литературе отмечено, что условия сходимости такого рода алгоритмов недостаточно исследованы, ещё меньше известно о скорости их сходимости.
В то же время накоплен большой теоретико-эмпирический фундамент для создания систем классификации на основе теории статистических решений и правил статистического синтеза. Этому посвящено большое число работ следующих учёных: Г. Крамер, С. Кульбак, Р. Фишер, Н. Винер, Р.Е. Калман, Д. Миддлтон, Г. Ван Трис, Э. Патрик, А.Н. Колмогоров, В.А. Котельников, Б.Р. Левин, В.И. Тихонов, Ю.Г. Сосулин, М.С. Ярлыков, Ю.С. Шинаков, Р.Л. Стратонович, Н.Г. Загоруйко, В.Н. Вапник, А.Я. Червоненкис и др. В основе статистических решений лежит предположение, что распределение вероятностей наблюдаемой случайной величины принадлежит некоторому априорно заданному множеству. На основе плотностей распределения вероятностей, отношения правдоподобия, вычисления апостериорных вероятностей статистические решения позволяю синтезировать строгие (оптимальные при заданном критерии) алгоритмы обработки.
Методы на основе статистических правил при адекватности выбранной модели для исходных данных дают однозначный ответ на вопрос о значении всех параметров алгоритма обработки. Проблема применимости статистических алгоритмов связана с выбором и обоснованием модели распределения, адекватной данным и решаемой задаче. Для преодоления неопределённостей используются адаптивные алгоритмы на основе статистических методов, которые позволяю решить любую задачу синтеза при задании модели возможных неопределённосте" для исходных данных. В этих целях, в частности, используются полигауссовские вероятностные модели. Большую роль в развитии статистических методов сыграл работы А.В. Сульдина, А.А. Дороднова, Ш.М. Чабдарова, А.Т. Трофимова, Н.З. Сафиуллина, А. Ф. Надеева и др.
Целью диссертационной работы является разработка методов построен! искусственных нейронных сетей, основанных на применении полигауссовско" вероятностной модели представления данных и статистических критериев синтез для задач классификации.
Задачи исследования
-
Сравнительный анализ современных подходов к построению систем классификации данных.
-
Разработка методов построения искусственных нейронных сетей на основе применения полигауссовских вероятностных моделей наблюдаемых данных;
-
Обоснование принципов, позволяющих интерпретировать знания, представляемые искусственными нейронными сетями.
4. Практическое применение разработанного инструментария в проблемно-ориентированных областях.
Методологическая и теоретическая основа исследований
В рамках выделенных направлений были использованы принципы и методы системного анализа (принцип оптимальности, принцип структурного анализа и синтеза), математической статистики, теории вероятностей, теории искусственных нейронных сетей, теории статистических решений, имитационного моделирования и теории сигналов.
С целью актуализации исследований выполнен анализ научно-методической литературы. Основой для исследования послужили результаты работ, проведённых в области искусственного интеллекта, интеллектуальных систем, искусственных нейронных сетей, теории статистических решений и синтеза систем классификации, использования полигауссовских вероятностных моделей.
Научная новизна
-
Впервые разработаны методы построения искусственных нейронных сетей на основе применения полигауссовской вероятностной модели представления данных и статистических критериев синтеза.
-
Получены новые структуры, новые логические операторы и новые алгоритмы обучения искусственных нейронных сетей.
-
Научно обоснованы принципы интерпретации параметров искусственных нейронных сетей как знаний об исходных данных и свойствах окружающей среды.
Практическая значимость
Методические рекомендации по результатам диссертации могут использоваться для синтеза искусственных нейронных сетей при решении различных задач классификации, в том числе для обработки многомерных данных и многокомпонентных временных рядов.
Предложенные в диссертации методы можно использовать при обучении специалистов в области разработки различных интеллектуальных систем с использованием искусственных нейронных сетей. Развитая теория и методы построения искусственных нейронных сетей в виде методических материалов используются в учебном процессе Международного университета природы, общества и человека «Дубна» в дисциплинах «Нейросетевые технологии в электронике» и «Теория и практика применения искусственных нейронных сетей».
Результаты работы внедрены на предприятии ЗАО Научно-производственный центр «Аспект» им. Ю.К. Недачина при решении задачи обнаружения радиационного излучения в условиях понижения фонового излучения от воздействия контролируемого объекта.
Разработанные методы построения искусственных нейронных сетей внедрены в ОАО «Научно-исследовательский институт «Атолл» при создании системы классификации морских кораблей по шумовым гидроакустическим сигналам.
Основные научные положения, выносимые на защиту
-
Разработанные методы построения ИНС с использованием полигауссовской вероятностной модели представления данных основаны на применении вычислений линейных и квадратичных достаточных статистик и функций апостериорных вероятностей. Применение квадратичных достаточных статистик позволяет снизить вычислительные затраты и повысить точность классификации при реализации ИНС.
-
Предлагаемые алгоритмы обучения, функционирующие параллельно с алгоритмом классификации, позволяют создавать более гибкие сети, в том числе с изменяемой структурой, с помощью обучения на основе оценивания параметров полигауссовской вероятностной модели (ПВМ).
-
Взаимно однозначное соответствие между параметрами ИНС и параметрами полигауссовской вероятностной модели позволяет интерпретировать знания, представляемые ИНС.
-
Применение динамических полигауссовских нейронных сетей для классификации позволяет преодолеть проблему «проклятие размерности».
Апробация результатов работы
Основные положения и результаты работы докладывались, обсуждались и получили одобрение специалистов на следующих международных, всероссийских и региональных научных конференциях:
Технологии искусственного интеллекта 2008, (AITech-2008), Дубна;
11-ая Всероссийская научно-техническая конференция «Нейроинформатика 2009», Москва, МИФИ;
11-ая Международная конференция «Цифровая обработка сигналов и её применение 2009», Москва;
Технологии искусственного интеллекта 2009 (AITech-2009), Дубна.
16-я научная конференции студентов, аспирантов и молодых специалистов университета «Дубна» 2009;
12-я Международная конференция «Цифровая обработка сигналов и её применение 2010», Москва.
13-я Всероссийская научно-техническая конференция «Нейроинформатика 2011», Москва, МИФИ.
Результаты внедрены в таких проблемно-ориентированных областях, как: обнаружение радиационного излучения и классификация гидроакустических сигналов.
Публикации и личный вклад
Диссертация основана на теоретических, методологических и экспериментальных работах, которые были выполнены автором в период с 2006 по 2010 г. Работы выполнены самостоятельно и в соавторстве с научным руководителем. В работах, опубликованных в соавторстве, Трофимовым Я.А. обоснованы основные методические решения построения искусственных нейронных сетей с помощью полигауссовских вероятностных моделей. Непосредственно автором разработано математическое и алгоритмическое обеспечение, поставлены и
выполнены многочисленные задачи имитационного моделирования. Трофимовым Я.А. разработана система обнаружения радиационного излучения и система классификации морских кораблей по шумовым гидроакустическим сигналам.
По результатам выполненных исследований опубликовано 7 работ; из них одна публикация в журналах из перечня ведущих рецензируемых научных журналов и изданий, рекомендованных ВАК для публикации результатов диссертаций [1], пять статей опубликованы в виде докладов в материалах научных и научно-практических конференциях; одна статья опубликована в электронном периодическом журнале.
Объём и структура работы
Диссертационная работа выполнена на 163 страницах, из них 160 страниц основного текста. Работа состоит из введения, четырёх глав с выводами, заключения, списка использованных источников и одного приложения. Список использованных источников состоит из 113 наименований.
