Содержание к диссертации
Введение 4
Актуальность работы 4
Цель работы 6
Научная новизна 7
Научная и практическая значимость работы 9
Основные положения, выносимые на защиту 10
Апробация работы 10
Краткое содержание диссертации 11
Публикации 12
Глава 1. Обзор литературы 13
Многослойный перцептрон 14
Архитектура 14
Алгоритм обратного распространения ошибки 17
Достоинства и недостатки многослойного перцептрона 19
Модификации алгоритма обратного распространения 20
Подстройка скорости обучения 20
Использование момента 21
Пакетная подстройка весов 22
Методы обучения второго порядка 23
Методы глобального поиска 24
Методы оптимизации архитектуры МСП 25
Оценка оптимального размера скрытого слоя 25
Методы прореживания весов 26
Конструктивные методы 27
Контроль переучивания 28
Сочетание алгоритма обратного распространения и самоорганизации 29
Нейросетевые комплексы 30
Преимущества модульности 31
Методы построения нейросетевых комплексов 31
Параллельная организация модулей 32
Последовательная организация модулей 35
Модульные схемы для предобработки данных 38
Анализ временных рядов с использованием модульных схем 39
Глава 2. Нейросетевая система объективной диагностики дефектов слуха 40
Постановка задачи 40
Сбор данных 42
Нейросетевой фильтр для предобработки сигналов 43
Стратегия постепенного усложнения тренировки 44
Результаты использования фильтра для КСВП 45
Результаты использования фильтра для ДСВП 48
Нейросетевая система для автоматического определения слухового порога по КСВП..50 Нейросетевая система для автоматического определения слухового порога по ДСВП..53
Перспективы и области применения системы 55
Глава 3. Нейросетевая система экспресс-диагностики органического загрязнения водных
сред 56
Постановка задачи 56
Анализ СФП с помощью нейросетей 58
Стратегия постепенного усложнения тренировки 59
Концепция иерархических нейросетевых комплексов 60
Результаты численных экспериментов 60
Классификатор для идентификации загрязнителей 61
Классификатор для определения "обобщенных" классов 63
Анализ СФП на основе методов линейной алгебры 65
Математическая модель 65
Построение эталонов и распределение шума прибора 68
Распознавание загрязнителя и измерение концентрации 69
Определение минимальной обнаружимой концентрации 70
Результаты численных экспериментов 71
Области применения системы экспресс-диагностики 73
Глава 4. Метод адаптивного построения иерархических неиросетевых комплексов 75
Основополагающие идеи метода 75
Алгоритм формирования групп классов 75
Алгоритм построения ИНК 76
Свойства алгоритма построения ИНК 77
Результаты численных экспериментов 78
Двойное нормальное распределение 79
Одномерное распределение Кантора 81
Распознавание текстур 84
Распознавание гласных 85
Сравнение ИНК и стандартного МСП 86
Дикторонезависимое распознавание изолированных слов 88
Подготовка данных 88
Стратегия постепенного усложнения тренировки 90
Описание системы распознавания 90
Отличительные особенности разработанного подхода 90
Глава 5. Метод анализа временных рядов с помощью иерархических неиросетевых
комплексов 92
Постановка задачи 92
Алгоритм формирования групп классов при анализе временных рядов 93
Алгоритм построения ИНК при анализе временных рядов 94
Обобщение алгоритма АФГК на случай дрейфового характера изменения типа
динамики 95
Результаты численных экспериментов 96
Эксперименты с псевдослучайными последовательностями 97
Переключающаяся динамика 97
Серия базовых экспериментов 98
Сравнение ИНК и стандартного МСП 101
Серия экспериментов с границами классов 101
Серия экспериментов с несбалансированными классами ЮЗ
Дрейфовый характер изменения динамики 110
Эксперименты с биомедицинскими данными 111
Эксперименты с космофизическими данными 113
Переключающаяся динамика 114
Дрейфовый характер изменения динамики 120
Возможности предлагаемого метода анализа временных рядов 122
Заключение 123
Основные результаты работы 123
Список литературы 125
Введение к работе
Актуальность работы
Классификация данных и распознавание образов является одной из важнейших задач обработки результатов физических измерений в различных областях науки и техники. Как правило, подобный анализ данных представляет собой весьма трудоемкий процесс, поскольку данные задаются в многомерном пространстве признаков, классы имеют границы очень сложной формы, а порой и существенно перекрываются. Во многих случаях анализ еще более усложняется из-за наличия в измеренных данных заметного шума.
Наиболее характерной задачей такого рода является классификация слабых электрических сигналов в условиях шума. К примеру, при проведении медицинских обследований, связанных с регистрацией электроэнцефалограмм (ЭЭГ), анализируемые сигналы представляют собой слабые электрические импульсы очень сложной формы, регистрируемые совместно с фоновым ЭЭГ-сигналом, генерируемым различными участками мозга. Анализ данных такого рода требуется, в частности, при построении автоматизированных систем быстрой медицинской диагностики.
Другой показательной задачей является задача классификации результатов спектральных измерений. Анализ спектров флуоресценции проб воды широко используется для выявления опасных загрязнителей при проведении экологического мониторинга. Сложность задачи классификации заключается не только в большом количестве разнообразных спектров, которые необходимости различать, но и в присутствии в спектрах сильной фоновой засветки, связанной с наличием в анализируемой пробе безвредных органических примесей. Такая засветка, обладая сильной изменчивостью в зависимости от сезона и места съемки, является шумом, на фоне которого необходимо различать и классифицировать слабый сигнал.
Несомненный интерес представляет также задача классификации применительно к временным рядам, а именно, их сегментация по типам динамики. Такая задача актуальна при анализе временных рядов самой различной природы (например, при исследовании динамики межпланетной плазмы, классификации типов электрических процессов в головном мозге, сегментации речевого сигнала и т.д.). Сложность задачи обусловлена не только многообразием поведения объектов исследования, но и наличием шума в измеренных данных, затрудняющим как сам анализ, так и интерпретацию его результатов.
В течение последнего десятилетия интенсивно развивается новая перспективная технология - искусственные нейронные сети (НС). Отличительной чертой НС является их способность обучаться на примерах и обобщать полученную информацию, невосприимчивость к шуму и присущая им параллельность архитектуры. Все это делает данный подход крайне привлекательным для решения таких сложных задач, как распознавание образов в условиях шума, классификация неполных и противоречивых данных, выявление скрытых закономерностей в данных в условиях отсутствия теоретической модели. На практике НС могут быть использованы для создания автоматизированных систем обработки информации, не требующих участия экспертов высокой квалификации. Такие системы могут служить интеллектуальными помощниками операторов, когда для принятия решения требуется анализировать большое количество данных.
При решении практических задач классификации и распознавания образов с помощью традиционных неиросетевых подходов существует ряд принципиально важных недостатков и ограничений, наиболее значимыми среди которых являются:
Сложность решения задач классификации в случае плохо разделимых классов. Нередко встречаются задачи, для которых заведомо невозможно построить классификатор, дающий 100% распознавание. Два наиболее распространенных типа задач такого рода - это (а) классификация данных с перекрывающимися границами классов и (б) классификация данных при минимально возможном соотношении сигнал/шум. Хотя в общей постановке такие задачи точного решения не имеют, необходимо иметь алгоритм построения классификатора, дающий наилучшее по качеству решение.
Субъективность выбора алгоритма решения конкретной задачи и его параметров. При решении конкретной задачи исследователь стоит перед необходимостью априорного выбора (или экспериментального подбора) как самого алгоритма решения (т.е. архитектуры НС), так и выбора параметров НС. И в том, и в другом случае, как правило, выбор делается субъективно и в большой степени зависит от предшествующего опыта работы. В частности, одним из основных параметров архитектуры многослойного перцептрона (МСП) является размер скрытого слоя, определяющий количество отличительных свойств, которые будут использованы нейросетью при классификации. На практике этот параметр приходится подбирать методом проб и ошибок.
3. Возможность попадания в локальный минимум. При традиционном подходе к построению НС классификаторов, попадание в локальный минимум чаще всего означает, что НС выделила неоптимальные отличительные признаки, а значит, классификатор будет иметь низкие рабочие показатели. Для достижения наилучшего решения необходимо повторять тренировку несколько раз, что приводит к дополнительным временным затратам.
4. Заметное снижение качественных характеристик НС классификатора при большом количестве классов. Снижение качественных характеристик одноступенчатого НС классификатора при увеличении числа классов связано с заметным увеличением количества признаков в данных, которые НС необходимо одновременно "анализировать", и невозможностью разделения этих признаков по степени их существенности. Даже при многократной повторной тренировке не всегда удается достичь приемлемого качества распознавания.
5. Неоправданно высокая вычислительная стоимость построения НС классификатора при большом количестве классов. Использование одноступенчатого НС классификатора для распознавания большого количества классов требует одновременного выделения большого количества отличительных признаков (в случае использования МСП для этого необходим скрытый слой большого размера). Заметим, что тренировка НС требует значительных вычислительных затрат, и даже однократная тренировка МСП может занять значительное время. Если же НС попадет в локальный минимум и потребуется перетренировка, то итоговые вычислительные затраты могут оказаться неприемлемыми.
6. Проблема интерпретации признаков, по которым НС принимает решение. Выделение решающих правил из обученной НС представляет общеизвестную проблему. Существуют специальные приемы анализа весовых коэффициентов, однако при больших размерах НС и многомерных анализируемых данных подобный анализ затруднен, а получаемые правила малоинформативны.
Цель работы
Работа была направлена на преодоление перечисленных выше сложностей, и, тем самым, на облегчение задачи автоматизации синтеза нейронных сетей. Целями работы являлись:
1. Разработка методик тренировки, которые облегчали бы получение работоспособных НС для следующих типов задач:
Тип А: Классификация плохо разделимых классов или классов с перекрывающимися границами;
Тип Б: Классификация при возможно более низком соотношении сигнал/шум во входных данных.
2. Разработка конструктивного нейросетевого алгоритма классификации, пригодного для использования в задачах с большим количеством классов и обладающего следующими свойствами:
Алгоритм должен наращивать архитектуру НС по мере необходимости в процессе тренировки;
Алгоритм должен обеспечивать сокращение вычислительной стоимости решения задачи классификации;
Алгоритм должен обеспечивать оптимальный выбор признаков, используемых нейросетью для классификации данных;
Алгоритм должен быть универсальным, т.е. применимым к возможно более широкому кругу задач.
Научная новизна
Для достижения поставленных целей представлялось целесообразным использовать стратегию постепенного усложнения тренировки. Задав архитектуру НС, можно начать обучение с простейшей постановки задачи: для задач типа А - объединив сложные для разделения классы в группы; для задач типа Б - используя высокие соотношения сигнал/шум.
В обоих случаях границы, разделяющие классы, имеют достаточно простую форму, а НС легко находит решение. Как только приемлемое качество работы НС на заданном уровне сложности достигнуто, постановку задачи можно усложнить: для задач типа А - разбить полученные группы на подгруппы или на отдельные классы; для задач типа Б - понизить соотношение сигнал/шум, после чего продолжить решение задачи в новой постановке.
И в том, и в другом случае происходит уточнение (и усложнение) границ между классами. Задача продолжает усложняться, пока НС в состоянии обеспечивать достаточное качество распознавания.
Таким образом, описанная стратегия постепенного усложнения тренировки позволяет достигнуть максимальной сложности задачи для заданной архитектуры НС.
Эта же идея используется при построении иерархических нейросетевых комплексов (ИНК). Иерархический подход, используемый далее, предполагает разбиение сложной задачи на ряд более простых задач и их последовательное решение.
Основу методики построения ИНК составляет модифицированный алгоритм обучения многослойного перцептрона (МСП), состоящий из трех основных этапов. На первом этапе МСП обучается по методу обратного распространения ошибки. На втором этапе проводится анализ статистики ответов МСП на тренировочном наборе. По результатам этого анализа на третьем этапе производится объединение некоторых классов в группы, и тренировка продолжается. После окончания обучения для каждой из полученных групп классов создается новый МСП, причем каждый из исходных классов, объединенных в данную группу, снова рассматривается как отдельный класс. Рекурсивное применение такой процедуры позволяет адаптивно наращивать ИНК, постепенно уменьшая количество классов в каждой из групп.
Оригинальность и новизна предлагаемого подхода построения ИНК заключается в том, что он позволяет преодолеть ряд принципиально важных недостатков и ограничений традиционных нейросетевых подходов при решении практических задач, обладая следующими свойствами:
Толерантность к априорному выбору архитектуры НС. При описанном подходе требования на правильный выбор размера скрытого слоя существенно снижаются. Если при построении какого-либо узла ИНК количество распознаваемых классов в рассматриваемой ветви иерархического дерева велико, а число скрытых нейронов недостаточно для качественного распознавания всех классов, наиболее похожие классы будут объединены в новую ветвь, и задача их распознавания будет решаться на следующем уровне иерархии. На данном уровне иерархии, тем самым, задача классификации будет решена. Если же число классов в ветви мало, а количество скрытых нейронов достаточно для качественной классификации, задача классификации также будет решена.
Снижение вероятности попадания в локальный минимум. Предлагаемым алгоритмом осуществляется адаптивная подстройка желаемого выхода с точки зрения минимизации ошибки, что заметно упрощает форму функционала ошибки в пространстве признаков и снижает вероятность попадания системы в локальные минимумы.
Гарантированное высокое качество распознавания. При предлагаемом иерархическом подходе используются принципы самоорганизации и постепенной детализации отличительных признаков, что гарантирует высокое качество распознавания ИНК.
4. Значительное снижение вычислительной стоимости построения НСклассификатора при большом количестве классов. При использовании иерархического подхода построение всего ИНК разбито на этапы построения отдельных его узлов, причем в любой момент можно оценить рабочие характеристики уже построенной части иерархической структуры и добиться качественного распознавания. Кроме того, каждый узел должен выделять лишь малое количество отличительных свойств (в случае МСП это означает, что размер скрытого слоя также невелик). Это гарантирует достаточно низкую вычислительную стоимость тренировки узла, а значит, и построения всего ИНК в целом.
5. Повышение интерпретируемости признаков, по которым НС принимает решение о принадлежности анализируемого образа к тому или иному классу или группе образов. Модульность иерархической структуры существенно упрощает архитектуру отдельных ИНС, ее составляющих, что упрощает выделение существенных признаков. В свою очередь, интерпретация отличительных признаков, выделяемых НС в процессе тренировки, заметно упрощается за счет малого количества признаков, выделяемых в каждом узле. Объективный характер объединения классов в группы в иерархической древовидной структуре позволяет делать выводы о схожести групп классов и структуре данных.
Научная и практическая значимость работы
Значительно упрощается решение задачи автоматизации синтеза нейронных сетей путем адаптивного построения ИНК;
Преодолевается ряд принципиально важных недостатков и ограничений традиционных нейросетевых подходов при решении практических задач;
В процессе работы алгоритма построения ИНК на основе самоорганизации формируется нейросетевая древовидная структура, имеющая объективный характер и обладающая оптимальными рабочими характеристиками;
Предлагаемый подход к решению задачи классификации является универсальным;
Были проведены многочисленные эксперименты по классификации разнообразных статических объектов и временных рядов. Алгоритм построения ИНК продемонстрировал высокую эффективность и качество распознавания и возможность построения экономных в вычислительном отношении ИНК;
Разработанные методики обучения нейросетей и построения ИНК были успешно применены при решении ряда практических задач (разработка автоматизированной системы диагностики дефектов слуха, разработка системы экспресс-диагностики органических загрязнителей в воде).
Основные положения, выносимые на защиту
Методика решения сложных задач классификации путем построения ИНК, позволяющая значительно упростить как решение задачи автоматизации синтеза нейронных сетей, так и решение задачи классификации в целом.
Методика постепенного усложнения тренировки НС, позволяющая сформулировать задачу классификации такой сложности, которая была бы адекватна возможностям используемой нейросети.
Алгоритм построения архитектуры ИНК, позволяющий преодолеть ряд принципиально важных недостатков и ограничений традиционных нейросетевых подходов при решении широкого круга практических задач.
Теоретическая оценка размера скрытого слоя МСП, достаточного для построения ИНК со 100% классификацией, равная min(2*N, Р-1), где N - размерность данных, Р - количество примеров.
Апробация работы
Результаты, полученные в настоящей диссертации, доложены на 19 Всероссийских и международных конференциях: RNNS/ШЕЕ Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, October 1992;
IEEE Int. Conference on Neural Networks, San Francisco, С A, USA, March 1993;
Int. Symposium on the Modern Problem of Hearing Physiology and Pathology. Moscow, Russia, October 1993; Workshop on Environmental and Energy Applications of Neural Networks, Richland, WA, USA, March 1995; European Symposium on Optics for Environmental and Public Safety, Fairgrounds, Munich, FR Germany, June 1995;
4th Open Russian-German Workshop on Pattern Recognition and Image Analysis, Valdai, Russia, March 1996;
Всероссийская научная конференция "Физические проблемы экологии (Физическая экология)", Москва, июнь 1997;
3rd EARSeL Workshop on Lidar Remote Sensing of Land and Sea, Tallinn, Estonia, July 1997;
5th Int. Conference on Artificial Neural Networks, Churchill College, University of Cambridge, UK, July 1997;
3-я конференция "Распознавание образов и анализ изображений: Новые информационные технологии" (РОАИ-3-97), Н.Новгород, декабрь 1997 г.;
Int. ICSC/IFAC Symposium on Neural Computation, Vienna, Austria, Sept 1998;
4-я Всероссийская с международным участием конференция "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-4-98), Новосибирск, октябрь 1998;
6-я Всероссийская конференция "Нейрокомпьютеры и их применение" (НКП-2000), Москва, февраль 2000;
5th Joint Conference on Information Sciences (JCIS-2000), Atlantic City, NJ USA, February 2000;
5-я Международная конференция "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-5-2000), Самара, октябрь 2000;
III Всероссийская Научно-техническая Конференция "НейроИнформатика-2001", Москва, январь 2001;
2nd Int. Workshop on Multiple Classifier Systems (MCS2001), Cambridge, UK, July 2001
14th International Florida Artificial Research Society Conference (FLAIRS-2001), Key West, Florida, May 2001;
6-й Международная конференция "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-6-2002), В.Новгород, октябрь 2002.
Краткое содержание диссертации
Диссертация состоит из введения, пяти глав и заключения.
В первой главе дается обзор литературы по теме диссертации.
Во второй главе описывается построение нейросетевой системы объективной диагностики дефектов слуха на основе анализа слуховых вызванных потенциалов. При построении системы используется стратегия постепенного усложнения тренировки. Система позволяет значительно сократить время обследования пациентов и снизить требования к квалификации медицинского персонала, проводящего обследование.
В третьей главе описывается построение нейросетевой системы экологического мониторинга для быстрого автоматического определения органических загрязнений в морских водах. Вводится концепция иерархических нейросетевых комплексов, используемая при построении системы. Система позволяет проводить диагностику в режиме реального времени и успешно работает при наличии шума во входных данных.
В четвертой главе описывается метод адаптивного построения иерархических нейросетевых комплексов, позволяющий преодолеть ряд принципиально важных недостатков и ограничений традиционных нейросетевых подходов при решении широкого круга практических задач. Приводится теоретическая оценка размера скрытого слоя МСП, достаточного для построения ИНК со 100% распознаванием.
В пятой главе описывается метод анализа временных рядов с помощью иерархических нейросетевых комплексов. Излагается обобщение алгоритма построения ИНК для анализа временных рядов с переключающейся динамикой, а также его вариант для анализа временных рядов с дрейфовым характером изменения типа динамики. Приводятся результаты экспериментов по применению разработанных алгоритмов для анализа модельных псевдослучайных рядов и реальных данных биомедицинских и космофизических исследований.
В заключении сформулированы основные результаты работы.
Публикации
Основные результаты диссертации опубликованы в 29 статьях, в том числе в 8 журнальных публикациях, 1 статье в энциклопедии и материалах 19 Всероссийских и международных конференций.
