Содержание к диссертации
Введение
1 Автоматическое распознавание импульсных сигналов на основе коэффициентов вейвлет-преобразования 19
1.1 Проблема идентификации сигналов 19
1.2 Стандартные методы идентификации 25
1.2.1 Амплитудное детектирование 25
1.2.2 Анализ главных компонент 26
1.2.3 Идентификация на основе вейвлет-преобразования 32
1.3 Влияние флуктуации на эффективность методов идентификации 40
1.4 Параметрический вейвлет-анализ с адаптивной фильтрацией 45
1.4.1 Теоретические основы метода 45
1.4.2 Практическая реализация метода 52
2 Идентификация сигналов на основе совместного применения вейвлет-преобразования и метода нейронных сетей 60
2.1 Предварительные сведения 60
2.2 Архитектура и классификация нейронных сетей 63
2.3 Применение нейронных сетей совместно с вейвлетами для решения задачи распознавания сигналов 73
2.4 Результаты решения задачи идентификации сигналов 76
2.4.1 Анализ тестовых данных 76
2.4.2 Анализ экспериментальных данных 80
2.4.3 Полученные результаты 84
3 Анализ структуры точечных процессов на основе вейвлет- преобразования 94
3.1 Предварительные замечания 94
3.2 Метод анализа стабильности отклика 101
3.3 Примеры применения 1063.3.1 Влияние длительности внешнего воздействия 109
3.3.2 Влияние частоты внешнего воздействия 114
Заключение 123
- Стандартные методы идентификации
- Параметрический вейвлет-анализ с адаптивной фильтрацией
- Применение нейронных сетей совместно с вейвлетами для решения задачи распознавания сигналов
- Метод анализа стабильности отклика
Введение к работе
К числу классических методов исследования структуры сигналов относится спектральный анализ, который находит многочисленные приложения в самых разных областях естествознания [1-5]. В отличие от вероятностных методов, описывающих свойства случайных процессов во временной области, он позволяет охарактеризовать частотный состав изучаемого сигнала. В качестве математической основы данного анализа традиционно служит преобразование Фурье, которое играет важную роль не только при вычислении спектров мощности, но и как необходимый промежуточный этап при расчете преобразования Гильберта, при проведении цифровой фильтрации экспериментальных данных, при определении передаточных и ковариационных функций и т.д.
Фурье-преобразование позволяет выявлять гармонические составляющие сигнала; с этой целью применяются бесконечно длинные осциллирующие функции sin и cos. Сначала происходит "наложение" такой функции на исследуемую реализацию x(t) и вычисляется корреляция между ними. Затем частота гармонической функции меняется, и процесс выявления линейной зависимости между гармонической функцией и временным рядом повторяется.
Следует отметить, что в качестве базисных функций для представления сигнала могут использоваться не только sin и cos, но и другие функции, например полиномы Лежандра и Чебышева, функции Лагерра и Эрмита. Однако на практике такие функции не применялись как из-за трудностей в интерпретации результатов, так и из-за вычислительных сложностей. В течение длительного времени также не находили широкого применения функции "прямоугольной волны" Хаара, Радемахера, Уолша. Теоретические исследования ортогональных базисных систем привели к созданию в 70-х
годах теории обобщенного спектрального анализа [6]. Данная теория позволила по новому оценить возможности Фурье-преобразования и его практического применения, к тому же создала основу для синтеза новых базисных систем, подходящих для конкретной практической задачи.
С начала 80-х годов активно развивается теория локализованных базисных функций — "вейвлетов" (от английского "wavelet" — маленькая волна). По аналогии с Фурье-преобразованием, вейвлет-преобразование состоит в вычислении корреляций между анализируемым временным рядом и базисной функцией преобразования, которая является "солитоноподобным" колебанием, обладающим рядом характерных свойств, в частности, локализацией и по временной оси, и в частотной области. В рамках теории вейвлетов вместо понятия частоты используется понятие масштаба, а чтобы была возможность перекрыть короткими функциями всю временную ось, рассматривается их сдвиг по времени. В отличие от классического спектрального анализа, вейвлет-преобразование дает двумерную развертку одномерного процесса, при этом масштаб (частота) и время рассматриваются как независимые переменные. Использование быстро спадающих солитоноподобных функций позволяет проводить локализованный анализ структуры сигналов, что особенно важно при изучении процессов с меняющимися во времени характеристиками.
Первое упоминание о вейвлетах появилось в работах Хаара [7] (правда тогда еще не существовало такого термина, он появился значительно позднее). Вейвлет Хаара - это короткое прямоугольное колебание на интервале [0,1]. Недостатком этой функции является негладкость. Тем не менее, еще в 30-х годах XX века, исследуя некоторые детали броуновского движения, Пол Левий отмечал преимущества использования разложения по базису Хаара по сравнению со стандартным Фурье-преобразованием. Само понятие "вейвлет" солитоноподобные функции обрели в работах Дж.Морле и А.Гроссмана в начале 80-х годов [8,9]. С тех пор началось активное развитие
теории вейвлетов в работах Добеши, Малла, Мейера и многих других [10-13]. Первоначально вейвлет-анализ воспринимался как метод исследования структуры нестационарных процессов, которые встречаются в динамике самых разных систем. Не случайно он был предложен в работе [14] для анализа геофизических данных. Но с течением времени стало ясно, что этот новый инструмент имеет значительно более широкую область применения. Особенно отчетливо возможности вейвлетов стали осознаваться после появления теории многомасштабного (или, используя терминологию некоторых авторов, кратномасштабного) анализа, которая была разработана Мейером [13] и Малла [10] и использовала идеологию последовательного "огрубления" информации, содержащейся в исследуемом сигнале. После появления этой теории за вейвлет-анализом прочно закрепилось название метода "математического микроскопа", который позволяет проводить детальное исследования структуры сигналов на разных масштабах наблюдения. Стало понятно, что вейвлет-анализ представляет собой нечто гораздо большее чем просто альтернативный вариант спектрального анализа [15-25]. В качестве примера перечислим лишь несколько направлений, где привлечение теории вейвлетов позволило добиться значительного прогресса:
Исследование npoijeccoe с меняющимися во времени характеристиками. Вейвлеты позволяют идентифицировать мгновенные частоты, мгновенные амплитуды и мгновенные фазы колебательных процессов даже в условиях сильной нестационарности.
Сжатие данных. Вейвлеты широко используются для сжатия как графической информации (формат JPEG), так и цифрового видео (формат MPEG4).
Распознавание образов. На основе вейвлет-преобразования могут успешно решаться задачи автоматического распознавания различных образов при наличии помех, например, сигналов сложной формы.
Компьютерная графика. Вейвлеты обеспечивают возможность
редактирования изображений с переменным разрешением (в частности,
в случае ЗР-графики), позволяют осуществлять поклеточное
представление поверхностей по контуру и т.д.
5) Цифровая фильтрация. Если экспериментальные данные содержат
локализованные особенности (например, случайные выбросы), то
фильтрация с применением преобразования Фурье становится не
слишком эффективной — информация о сбойных точках будет
содержаться во всех коэффициентах. Вейвлеты позволяют локализовать
окрестности сбойных точек и провести более гибкую процедуру
очистки экспериментальных данных.
На самом деле приведенный список можно продолжить, упомянув, например,
что вейвлеты помогают решать некоторые дифференциальные уравнения в
физике [26], определять временные задержки при распространении сигналов,
исследовать корреляционные свойства случайных процессов по сигналам
малой длительности [27] и т.д. Практические применения теории вейвлетов
стали настолько многочисленными, что их сложно даже просто перечислить.
В качестве примера отметим, что поисковые системы в Интернет (такие как
Google) при формировании запроса слова "wavelet" выдают порядка 3
миллиона ссылок. За последние десятилетия появились специализированные
научные журналы, целиком посвященные вейвлетам и многомасштабному
анализу.
Одним из приложений теории вейвлетов является очень обширный круг
задач, связанных с исследованием процессов кодирования информации в
нейронных сетях. Соответствующая проблематика носит
междисциплинарный характер и требует привлечения, в том числе, радиофизических подходов и методов. В частности, при изучении динамики нейронных ансамблей возникает необходимость решать задачи автоматического распознавания сигналов при наличии помех — регистрируемый в эксперименте процесс представляет собой
последовательность электрических импульсов, включающих сигналы разных нейронов. Для того, чтобы проводить изучение генерируемого нейронами информационного кода, требуется вначале идентифицировать импульсы, которые генерируются каждым отдельным элементом рассматриваемого ансамбля. Наличие индивидуальных особенностей формы сигнала различных нейронов делает возможным решение этой задачи, однако присутствие сильных помех (связанных, например, с сигналами удаленных нейронов) приводит к значительным сложностям на практике и к необходимости разработки новых эффективных методов автоматического распознавания сигналов. Отмеченная проблема представляет собой необходимый предварительный этап исследования динамики нейронных ансамблей. После ее решения возникает следующая проблема — изучение структуры точечного процесса, представляющего собой последовательность времен, соответствующих моментам генерации импульсов каждым нейроном. Эта последовательность представляет собой генерируемый код, несущий информацию об особенностях воздействующего сигнала — именно с помощью точечных процессов нейронные сети кодируют информацию об окружающем мире. Сложность решения данной проблемы определяется тем обстоятельством, что регистрируемые на практике сигналы нейронной активности являются нестационарными — при неизменном воздействии отклик с течением времени сильно меняется (что связано с процессами адаптации нейронной сети). Именно это обстоятельство чрезвычайно усложняет изучение процессов кодирования информации: как соотнести отклик сети с воздействующим сигналом, если последний будет неизменным, а первый меняется? Таким образом, чтобы изучать динамику нейронных сетей, необходимо:
решать задачи автоматического распознавания близких по форме сигналов при наличии помех;
анализировать структуру нестационарных точечных процессов.
Фактически, мы имеем дело с радиофизическими задачами, которые требуют применения (и развития) специальных методов анализа структуры сигналов. Заметим, что аналогичные задачи возникают не только при изучении нейронных сетей. Первая из них встречается в радиолокации (распознавание движущейся группы объектов), при приеме слабых голосовых сообщений в условиях сильных помех (распознавание отдельных звуков и слов) и т.д. Необходимость анализировать точечные процессы возникает в статистической радиофизике (например, при изучении пуассоновских процессов), при рассмотрении сигма-дельта модуляции и т.п.
Побудительный мотив исследований, проводившихся в рамках данной диссертационной работы, был связан с изучением процессов кодирования информации нейронными сетями, однако необходимо подчеркнуть, что методы анализа структуры сигналов, предлагаемые в диссертационной работе, имеют значительно более широкую область потенциального применения. Именно по этой причине в работе в основном будет использоваться достаточно общая терминология сигналов типа одиночного импульса (вместо привычной для нейронных сетей терминологии спайков).
Отметим, что существующий в настоящее время арсенал средств численного анализа далеко не всегда позволяет эффективно решать многие практические задачи, и порой возникает необходимость модификации методов для более успешного решения возникающих проблем, с учетом специфики той или иной задачи и особенностей анализируемых сигналов. Задача автоматического распознавания является весьма показательным примером. Несмотря на обилие методик (в основном простых, основанных на расчете таких характеристик, как амплитуда сигнала, его длительность, анализ локальных экстремумов и т.п.) [28-30], выясняется, что к числу эффективных подходов можно отнести лишь крайне небольшое их число. Так, в диссертации [31] отмечается, что в настоящее время хорошо зарекомендовали себя лишь 2 метода — анализ главных компонент (АГК) и
метод распознавания на основе коэффициентов вейвлет-преобразования, так называемый "вейвлетный классификатор импульсов" (ВКИ). Более того, и у этих методов существует ряд принципиальных недостатков, для устранения которых можно применять комбинированные подходы к решению задач идентификации сигналов [106].
При этом стоит отметить, что если недостатки метода АГК устранить крайне сложно (для идентификации всегда используются масштабные коэффициенты первых главных компонент [28]), то недостатки вейвлетных методов распознавания образов наоборот связаны с тем, что характеристик для идентификации существует очень много, и непонятно, по каким критериям их следует выбирать. По сути это означает, что вейвлетные методы идентификации нужно еще "доработать", сохранив их достоинства и, по возможности, устранив явные недостатки. В таком случае мы получим более эффективные инструменты решения задач распознавания образов.
Важность развития специальных методов, позволяющих эффективно решать задачи идентификации близких по форме зашумленных сигналов, а также исследовать особенности нестационарных точечных процессов определяет актуальность работы.
В настоящее время многие исследователи рассматривают вейвлет-анализ в качестве замены классических методов обработки экспериментальных данных. Однако, это не вполне справедливо, и более предпочтительным и перспективным представляется воспринимать теорию вейвлетов как дополнение и развитие имеющегося арсенала средств обработки временных рядов. Так, в работах [106, 116] было показано, что совместное применение методов АГК и ВКИ в рамках комбинированного алгоритма автоматического распознавания сигналов импульсного типа обеспечивает снижение ошибки автоматического распознавания близких по форме сигналов при наличии помех, причем, комбинированный алгоритм оказывается эффективнее, чем использование этих методов по отдельности.
Другим вариантом успешного решения задач идентификации сигналов может служить совместное применение веивлетов и искусственных нейронных сетей. Такой вариант сочетания двух разных подходов также позволяет продвинуться по пути уменьшения их недостатков и расширения возможностей (в рамках комбинированного способа распознавания сигналов).
Целью диссертационной работы является развитие методов автоматического распознавания сигналов при наличии помех и анализ структуры нестационарных точечных процессов с использованием вейвлет-преобразования.
Для достижения указанной цели необходимо решить следующие основные задачи:
Провести сравнительный анализ методов автоматического распознавания импульсных сигналов, предложить новую методику идентификации одиночных импульсов на основе вейвлет-преобразования, учитывающую зависимость ошибки от частотного диапазона присутствующих флуктуации.
Изучить возможность решения задачи автоматической идентификации сигналов импульсного типа на основе комбинированного алгоритма, предусматривающего совместное применение техники искусственных нейронных сетей как известного метода распознавания образов и вейвлет-анализа, позволяющего эффективно решать проблему "обучения" нейронной сети.
Исследовать возможности применения непрерывного вейвлет-преобразования при решении задач анализа нестационарных точечных процессов на примере генерируемого нейронами информационного кода, представляющего собой отклик на периодическое внешнее воздействие.
Научная новизна работы состоит в следующем:
Предложен новый параметрический метод автоматического распознавания сигналов типа последовательности одиночных импульсов (параметрический вейвлет-анализ с адаптивной фильтрацией). Показано, что предлагаемый подход способен существенно уменьшить ошибку идентификации сигналов по сравнению со стандартными алгоритмами, такими как анализ главных компонент и обычный вейвлет-анализ.
Предложен новый метод решения задачи автоматического распознавания формы сигналов, основанный на совместном применении вейвлет-преобразования и техники искусственных нейронных сетей. На тестовых примерах и в ходе анализа экспериментальных данных показана эффективность данного метода при наличии помех.
Впервые рассмотрена задача исследования фильтрационных свойств элементов нейронных ансамблей в условиях нестационарного отклика на периодическое внешнее воздействие, основанного на непрерывном вейвлет-преобразовании. Показано, что нейроны могут выполнять функции полосно-пропускающих фильтров, демонстрируя наиболее стабильный отклик на определенной частоте воздействующего сигнала.
Научно-практическое значение результатов работы:
Предложенный метод, заключающийся в совместной использовании дискретного вейвлет-анализа и техники искусственных нейронных сетей может быть распространен для применения в решении задач распознавания сигналов различной формы при наличии сильных помех.
Разработанные методики уменьшения ошибки автоматического распознавания сигналов создают основу для создания прикладных
программ предварительной обработки экспериментальных данных для специалистов, занимающихся проблемами исследования процессов кодирования информации нейронными ансамблями. 3. Результаты диссертации могут применяться в учебном процессе. Часть результатов уже используется в рамках лабораторной работы специализированного практикума "Методы анализа сложных сигналов" для студентов физического факультета Саратовского государственного университета.
Достоверность научных выводов работы базируется на согласованности с существующими теоретическими представлениями, на соответствии результатов численных экспериментов и теоретических исследований и на устойчивости применяемых методов исследования структуры сигналов к малым изменениям параметров численной схемы.
Основные положения и результаты, выносимые на защиту: Положение 1
Совместное применение дискретного вей влет-преобразования и метода искусственных нейронных сетей позволяет решать задачи автоматической идентификации сигналов типа последовательности одиночных импульсов при наличии помех. Использование коэффициентов вейвлет-преобразования в качестве обучающей выборки для нейронной сети и дальнейшее проведение сетью распознавания сигналов снижает зависимость ошибки идентификации от статистики фонового шума по сравнению со стандартным методом решения данной задачи на основе вейвлет-анализа. Положение 2
Анализ флуктуации мгновенной частоты отклика на внешнее воздействие в виде периодической последовательности импульсов
при изучении фильтрационных свойств пороговых систем позволяет диагностировать наличие эффектов полосовой и низкочастотной фильтрации воздействующих сигналов в условиях коротких, нестационарных откликов. Результат 1
Предложен метод автоматического распознавания сигналов типа последовательности одиночных импульсов, предусматривающий подстройку характеристик фильтра под индивидуальные особенности формы исследуемых сигналов в качестве составной части процедуры выбора характеристик для идентификации близких по форме импульсов. Результат 2
Предложен метод исследования стабильности отклика пороговой системы на внешнее воздействие, основанный на непрерывном вейвлет-преобразовании и предусматривающий расчет мгновенной частоты отклика по точечному процессу.
Апробация работы и публикации. Материалы диссертации были представлены на следующих научных конференциях: «Хаотические автоколебания и образование структур» (ХАОС, Саратов, 2007), «Complex Dynamics and Fluctuations in Biomedical Photonics — III, IV, V, VI» (Сан-Хосе, США, 2006, 2007, 2008, 2009), «Forum of Federation of European Neurosciences Societies» (FENS, Швейцария, Вилларс, 2008), «Нелинейные дни для молодых» (Саратов, 2005, 2006, 2007, 2008), «Методы компьютерной диагностики в биологии и медицине- 2008» (Саратов, 2008).
Результаты неоднократно обсуждались на научных семинарах кафедры радиофизики и нелинейной динамики Саратовского государственного университета, научно-образовательного центра REC-006 «Нелинейная динамика и биофизика» (Саратовский государственный университет), центра
динамики сложных систем Потсдамского университета (Германия, Потсдам), центра биофизики и сложных систем Датского технического университета (Люнгбю, Дания), лаборатории нейродинамики университета Комплютенсе (Испания, Мадрид).
По теме диссертации опубликовано 15 работ: 5 статей в журналах (из них 3 статьи в журналах, рекомендованных ВАК РФ для опубликования результатов диссертаций), 10 статей в сборниках трудов конференций.
Результаты работы использованы при выполнении грантов: CRDF и Министерства образования и науки РФ «Научно-образовательный центр "Нелинейная динамика и биофизика" (НОЦ REC-006)» (2005-2007), Министерства образования и науки РФ «Развитие научного потенциала высшей школы» (2006-2008), госконтракта с ФЦНТП № 02.442.11.7181.
Личный вклад автора. Основные результаты диссертации получены лично автором. В совместных работах автором проводились численные исследования и подготовка пакетов прикладных программ, реализующих разрабатываемые методы анализа структуры сигналов. Результаты второй главы полностью получены автором (включая идею предложенного метода, его практическую реализацию и численные исследования). Формулировка задач, решаемых в первой и третьей главах, а также объяснение и интерпретация полученных результатов проведены совместно с научным руководителем и соавторами.
Структура и объем диссертации.
Диссертация состоит из введения, трех глав, заключения и списка цитированной литературы. В ней содержится 106 страниц текста, 32 страницы рисунков, библиография из 120 наименований на 13 страницах. Общий объем диссертации 138 страниц.
Во введении обосновывается актуальность работы, формулируется цель исследования, ставятся основные задачи, раскрывается научная новизна
полученных результатов и формулируются основные положения и результаты, выносимые на защиту.
Первая глава посвящена проблеме автоматического распознавания сигналов типа последовательности одиночных импульсов при наличии помех и разработке нового метода идентификации формы импульса — параметрического вейвлет-анализа с адаптивной фильтрацией.
В разделе 1.1 обсуждается задача идентификации сигналов типа последовательности одиночных импульсов, отмечаются основные сложности, с которыми сталкиваются экспериментаторы при ее решении. Приводятся практические примеры ситуаций, в которых требуется анализировать сигнал отдельного элемента некоторого ансамбля, располагая экспериментальной записью коллективной динамики данного ансамбля.
В разделе 1.2 рассматриваются стандартные методы решения проблемы идентификации сигналов, к числу которых относится амплитудное детектирование, анализ главных компонент и вейвлетный метод распознавания сигналов импульсного типа. Обсуждаются особенности каждого из этих подходов.
Стандартные методы идентификации
Проблема автоматической идентификации импульсных сигналов неоднократно обсуждалась в научной печати [28-30, 32-41]. В частности, хороший обзор известных методик приводится в работе [28]. Вне зависимости от природы сигналов можно отметить несколько широко используемых подходов, которые включают амплитудное детектирование, анализ главных компонент и вейвлет-анализ. Рассмотрим эти методы более детально. Наиболее простыми способами автоматического распознавания сигналов типа одиночного импульса являются пороговая (амплитудная) идентификация и геометрические методы. Амплитуда импульса является важной его характеристикой, поэтому амплитудный метод (пороговое детектирование) представляется естественным способом решения задачи идентификации, требующим минимальных технических затрат. Применительно к нейронным сетям распознавание сигналов по амплитудам возможно лишь в том случае, если микроэлектрод расположен достаточно близко к исследуемому нейрону - амплитуда потенциалов, им генерируемых, будет значительно превышать сигналы от других клеток и фоновый шум. Если же в экспериментальном сигнале содержатся импульсы различных клеток, сопоставимые по амплитуде, то введение порога не в состоянии провести качественное решение рассматриваемой задачи (см. рис. 1.3). Очевидными преимуществами порогового метода является простота, минимальные требования к оборудованию и программному обеспечению, возможность проведения идентификации в реальном времени. В некоторых случаях (которые можно классифицировать как «удачные» эксперименты) данный метод позволяет получить необходимую информацию, которая требуется исследователю. Однако явным недостатком метода является то, что в большинстве случаев не удается достичь необходимого качества решения задачи автоматической идентификации в случае близких по амплитуде, но разных по форме импульсов.
Для более полного описания особенностей формы сигнала импульсного типа можно измерять не только амплитуду, но и некоторые другие характеристики, например, ширину (длительность) импульса или значения его локальных максимумов и минимумов. Но в любом случае речь идет о выборе очень ограниченного набора характеристик, которые не могут обеспечить качественное решение задачи распознавания импульсов сложной формы при наличии сильных помех [30, 42,43]. 1.2.2 Анализ главных компонент Анализ главных компонент (АГК) считается, возможно, самым эффективным среди классических методов автоматической идентификации сигналов типа одиночного импульса. Он представляет собой один из методов факторного анализа, главными задачами которого являются сокращение числа переменных (например, сокращение размерности динамических моделей), распознавание и сжатие образов, фильтрация от шума и т.д. Кратко остановимся на теоретических основах данного метода. Предположим, что две случайные величины X и Y характеризуются совместным нормальным распределением. Для величин, имеющих положительную корреляцию, такое распределение представлено на рис. 1.4а с помощью кривых равных вероятностей. Из представленных рисунков видно, что в силу наличия положительной корреляции большие значения X соответствуют большим значениям Y. Кривые равных вероятностей имеют форму эллипсов, оси которого изображены пунктирными линиями. Ось Р] проходит по линии, вдоль которой располагается основная часть данных, а вторая ось Р2 ей ортогональна. В случае, если нужно представить точки в терминах одной размерности (используя одну ось), лучше выбрать ось Р], поскольку с ее помощью можно точнее описать представленные данные. Первая главная компонента отражает представление данных вдоль первой оси Pj. Таким образом, любую точку данных можно описать с помощью новой системы координат (в новом базисе Pj, Р2), и потери информации не будет. Отметим, что первая ось будет более информативной, так как усиливается связь между случайными величинами X и Y. Если они связаны линейно, то первая главная компонента будет содержать всю информацию, необходимую для описания каждой точки. Если X и Y независимы, то главная ось отсутствует, и анализ главных компонент не способен осуществить даже минимальное сокращение размерности. Понятие главных осей относится не только к данным с нормальным распределением. В большинстве случаев главная ось задается линией, для которой сумма квадратов расстояний до всех точек выборки минимальна (см. рис.1.4в). Первая компонента определяется таким образом, что основная доля информации содержится именно в ней, дисперсия в направлении этой компоненты максимальна. Вторая ось определяется аналогично, но при условии ортогональности первой. Следовательно, в двумерном случае, если известна первая главная компонента, то вторая будет известна автоматически. По аналогии со случайными величинами можно рассмотреть математические основы метода АГК для случайных процессов (сигналов). Идея этого метода состоит в том, чтобы найти набор ортогональных векторов, которые характеризуют наиболее важные особенности формы сигналов. С точки зрения вычислительной математики задача сводится к поиску собственных векторов (главных компонент) ковариационной матрицы, построенной на основе экспериментальных данных.
Для задачи идентификации, рассматриваемой в рамках данной диссертационной работы, в качестве экспериментальных данных рассматриваются все импульсы, отцентрированные по их максимумам или минимумам (см. рис. 1.26). Метод анализа главных компонент имеет довольно широкое применение [44-50]. Он используется для визуализации - представления экспериментальных данных в наглядной форме [51]. При этом рассматриваются первые две главные компоненты (чтобы проанализировать проекцию на плоскость) или три главные компоненты (в случае трехмерного представления). Так как первые главные компоненты содержат максимальную информацию об анализируемых данных, такое проекционное представление можно использовать для решения задач идентификации сигналов. В рамках метода АГК каждый импульс, форму которого нужно распознать в автоматическом режиме, представляется в виде суммы главных компонент с соответствующими им весовыми или масштабными коэффициентами Si} которые определяются следующим образом: На практике, как правило, рассматривают первые две или (максимум) три главные компоненты, так как остальные сильно зашумлены, и их использование ухудшает эффективность алгоритма; к тому же основную информацию, необходимую для проведения идентификации (основные особенности формы импульсов) содержат как раз первые главные компоненты. Компонента cj(t) по форме похожа на анализируемый импульс (см. рис. 1.56), компонента C2(t) также похожа на исходный сигнал, но является смещенной относительно Ci(t). Компонента c3(t) отличается по форме: она не имеет четкой интерпретации и, как правило, уже учитывает вклад фонового шума. Картина кластеризации получается на плоскости характеристик, по осям которой отложены масштабные коэффициенты первых двух главных компонент (см. рис. 1.5в). Появившись сравнительно недавно, вейвлет-анализ постепенно приобретает все большую популярность при решении задач распознавания образов [32, 52, 53]. Это вовсе не означает, что его применение намного эффективнее, чем использование классических подходов, таких как анализ главных компонент. Как отмечается в работах [106, 108], существует ряд ситуаций, при которых стандартные методики могут быть предпочтительнее, если осуществить неудачный выбор коэффициентов вейвлет-преобразования в качестве характеристик для распознавания сигналов.
Параметрический вейвлет-анализ с адаптивной фильтрацией
Рассмотрим более подробно применение метода вейвлет-анализа для решения задачи идентификации форм сигналов. В научной литературе вейвлет-анализ часто называют математическим "микроскопом". Это очень удачное сравнение, так как с помощью подбора параметров а (параметр масштаба) и Ъ (параметр смещения) определяется разрешение и точка фокусировки данного микроскопа. Выбор солитоноподобной функции, рассматриваемой в качестве базисной, аналогичен заданию разрешения для объектива микроскопа: если выбранное разрешение позволяет увидеть нужные детали, то вейвлет подходит для целей проводимого исследования. Более того, дальнейший выбор объектива с лучшим разрешением уже не дает ничего нового. Однако для решения задачи идентификации сигналов данный "микроскоп" необходимо "настроить": чтобы выявить индивидуаьные особенности формы импульсов и, соответственно, отличить разные формы сигналов, параметры вейвлет-преобразования должны быть специально подобраны, а не выбираться произвольно, из некоторых общих соображений. Существующие на сегодняшний день методы распознавания сигналов в качестве первого этапа (предварительная обработка данных) включают процедуру фильтрации. Применительно к сигналам нейронов фильтрация обычно осуществляется с помощью полосно-пропускающего фильтра с частотами среза примерно 300 Гц и примерно 5 кГц. Однако данная фильтрация не учитывает ни статистику шума, присутствующего в конкретной экспериментальной записи, ни особенности формы анализируемых сигналов, хотя статистические свойства шума могут варьироваться для разных экспериментов. Такие классические методы, как пороговое детектирование и анализ главных компонент, известны уже давно, и для них существуют рекомендации по подбору параметров фильтров. Этого нельзя сказать о методе, основанном на расчете коэффициентов вейвлет-преобразования. Как непосредственно следует из рисунка 1.10, эффективность вейвлетного метода можно существенно улучшить путем включения процедуры фильтрации непосредственно в процесс выявления основных особенностей формы импульсов.
Результаты детального исследования влияния статистики шума на эффективность методов идентификации (для разных вариантов формы сигналов), представленные в работе [106], подтверждают, что с путем уменьшения верхней частоты среза полосно-пропускающего фильтра можно существенно снизить ошибки идентификации вейвлетного метода, тогда как на результаты АГК это уменьшение не повлияет. В то же время, конкретный выбор параметров фильтра должен осуществляться под индивидуальные особенности распознаваемых сигналов, только в этом случае можно значительно улучшить качество решения рассматриваемой задачи. Это обстоятельство позволяет предложить новый метод решения проблемы автоматической идентификации сигналов импульсного типа. Предположим, что рассматривается сигнал, который включает динамику двух нейронов А и В, каждый из которых генерирует, соответственно, N и М импульсов. Таким образом, нужно рассортировать на 2 группы N+M спайков. Проведем анализ данного сигнала. Пусть незашумленные формы импульсов обозначаются обозначаются как WA (О и WB (0, тогда можно записать следующее выражение: где (0 - некоррелированные источники цветного шума, которые в первом приближении имеют одинаковую статистику. Для удобства изложения метода запишем формулу непрерывного вейвлет-преобразования импульсных сигналов Xj(t): где T — длительность импульса, а,ь v) - \ ) - перемасштабированная и смещенная вдоль оси времени базисная функция (вейвлет), Ъ и а — параметры смещения и масштаба, соответственно. Применяя преобразование (1.13) с произвольными фиксированными значениями параметров (а,Ь) к сигналам (1.12), получим: Первое слагаемое в правой части уравнения (1.14) связано с наличием экспериментального шума. Второе слагаемое - коэффициенты вейвлет-преобразования, несущие информацию о форме каждого импульса (без учета шума).
Данные коэффициенты / можно использовать как характеристики для автоматической идентификации импульсных сигналов. Однако необходимо подобрать такие параметры а и Ь, при которых решить данную задачу можно с наименьшей ошибкой. Это возможно, прежде всего, при условии, что распределение коэффициентов является бимодальным (необходимое требование). Тогда можно установить пороговое значение ІЬЄЦ А В\, считая, что импульсы, для которых Wi wih, соответствуют нейрону A, SL остальные - нейрону В (см. рис. 1.11а). Предположим, что фоновый шум имеет распределение, близкое к нормальному [60] со стандартным отклонением а. Данное предположение вполне оправдано (в силу центральной предельной теоремы, согласно которой случайная переменная, представляющая собой сумму большого числа независимых произвольно распределенных случайных величин, характеризуется Гауссовским распределением). Пусть половина расстояния между незашумленными спайками в пространстве вейвлет-коэффициентов обозначается символом W: Для удобства можно считать, что WB = —WA = W (это непринципиально, поскольку путем замен переменных всегда можно добиться, чтобы минимум бимодального распределения соответствовал нулевому значению коэффициента). Тогда распределение коэффициентов "/ будет выглядеть следующим образом: где У — NIМ _ отношение числа спайков двух нейронов. Минимальное число ошибочно идентифицированных импульсов достигается при: Однако следует отметить, что оптимальная величина порога "/л в общем случае (/ І) не совпадает с минимумом распределения (см. рис. 1.11а).
Применение нейронных сетей совместно с вейвлетами для решения задачи распознавания сигналов
В разделе 1.2 диссертационной работы были рассмотрены широко используемые методы решения задач автоматического распознавания импульсных сигналов, включающие пороговое детектирование, анализ главных компонент и метод, основанный на расчете коэффицентов вейвлет-преобразования. Данные алгоритмы предполагают вычисление набора характеристик, с помощью которых можно различать сигналы по форме, получая кластеры, соответствующие разным типам сигналов и (в идеальном случае) неперекрывающиеся друг с другом. Эти наборы характеристик для каждого метода свои. Для порогового метода - это амплитуда, для АГК - масштабные коэффициенты первых главных компонент, для вейвлет-анализа - выбранные из каких-то соображений вейвлет-коэффициенты. Нейросетевой метод идентификации сигналов имеет свои особенности. В научной литературе существуют примеры готовых архитектур нейронных сетей, предназначенных для решения подобного рода задач. Но вместе с тем необходимо учитывать, что каждая конкретная задача имеет свои индивидуальные особенности, требующие внесения корректив в метод решения. Часто при решении сложных практических задач автономная нейронная сеть не может предоставить готовые решения. Поэтому в большинстве случаев нейронные сети интегрируют в многоступенчатые системы обработки данных, где сеть выполняет свою определенную роль для получения окончательного результата. Учитывая то обстоятельство, что необходимо различить похожие по форме сигналы в присутствии помех, необходим алгоритм, который, во-первых, проводит идентификацию сигналов с наибольшей чувствительностью, во-вторых, эффективен при наличии шума с различной статистикой, в-третьих, подстраивается под конкретные экспериментальные данные.
Для решения задачи идентификации импульсных сигналов (прежде всего, при изучении процессов кодирования информации малыми группами реальных нейронов) в данной диссертационной работе предлагается алгоритм, объединяющий в себе методику вейвлет-анализа и технику нейронных сетей. Вейвлет-анализ позволяет выявлять мелкие особенности в форме импульсных сигналов и, тем самым, проводить их сортировку с максимальной чувствительностью, но данное качество может сыграть отрицательную роль при наличии существенного фонового шума в экспериментальных данных. Поэтому вейвлет-анализ может служить прекрасным инструментом для выявления особенностей в формах импульсов (то есть, предварительной обработки) и передачи этой информации для дальнейшего анализа в нейронную сеть. На втором этапе, располагая подобной информацией, будет применяться алгоритм, способный решать задачу более качественного распознавания образов. Если предположить, что на вход некоторой многослойной нейронной сети с прямым распространением подаются данные, содержащие набор характерных признаков некоторых образов, то при наличии обучающей информации нейронная сеть будет в состоянии провести сортировку этих данных. Алгоритм обучения такой сети предполагает наличие обучающей выборки и наличие эталонных значений, которые должны быть получены на выходе для этой выборки (так называемый алгоритм обучения с «учителем» [61, 81, 82]). Иными словами, применительно к задаче идентификации импульсных сигналов, для успешной работы сети необходимо знать незашумленные формы импульсов, присутствующие в экспериментальной записи. А работа сети будет сводиться к сортировке импульсов по группам. На данный момент времени в научной литературе описаны архитектуры нейронных сетей, имеющих алгоритм обучения без «учителя». К таким сетям относят сети Кохоннена [79] и Хопфилда [77, 78]. Теоретически, такие сети способны проводить распознавание образов. Однако, как было показано на практике [81], данные методы является очень чувствительными к наличию помех. Поэтому применение этих алгоритмов к решению рассматриваемой задачи идентификации импульсных сигналов оказалось нецелесообразным.
Архитектура предлагаемого в данной диссертации метода показана на рисунке 2.5а. Можно выделить несколько этапов обработки данных: Экспериментальные данные проходят обработку пороговым методом с целью выявления импульсов, которые необходимо рассортировать. 2) Полученная последовательность подвергается дискретному вейвлет-преобразованию с помощью пирамидального алгоритма, в результате чего для каждой формы импульса (в проводимых расчетах она содержала 64 точки) получается набор вейвлет-коэффициентов. В качестве «материнского» вейвлета был использован вейвлет Добеши. 3) Вейвлет-коэффициенты, характеризующие шумовую компоненту сигнала (то есть соответствующие малым масштабам) убираются, оставшиеся коэффициенты подаются на вход нейронной сети. 4) Нейронная сеть с прямым распространением сигнала, содержащая три слоя, при получении на вход данных проводит сортировку импульсов по группам и строит картину классификации в пространстве характеристик. В качестве функции активации сети используется логистическая функция. В большинстве случаев выбор архитектуры нейронной сети для решения конкретной задачи основывается на опыте разработчика, поэтому предложенный вариант является одним из множества возможных конфигураций. Однако необходимо учитывать следующие обстоятельства. Сеть с прямым распространением сигнала или многослойный перцептрон является базовой и хорошо изученной структурой организации сети (см. рис. 2.56). Что касается выбора количества нейронных слоев и количества элементов в каждом из них, то он основывается на дилемме стабильности-пластичности [88]. Очевидно, что чем более сложной будет организация сети в плане общего количества элементов, тем выше будут адаптивные способности системы. Но следует заметить, что адаптивность не всегда ведет к устойчивости. Поэтому структуризация нейронной сети должна обеспечивать стабильность и гибкость ее работы одновременно. 2.4 Результаты решения задачи идентификации сигналов 2.4.1 Анализ тестовых данных Чтобы проверить эффективность предложенного метода, в частности, исследовать влияние статистики фонового шума на качество решения задачи автоматической идентификации сигналов с помощью данного алгоритма, проводилось тестирование на примерах, подобных описанным в 1-й главе для методов анализа главных компонент и вейвлет-анализа. Из экспериментальных данных (внеклеточные записи активности малых групп нейронов) выбирались две разные формы импульсов, наименее зашумленные (каждая из них содержала 64 отсчета). Соответствующие формы импульсов многократно повторялись, в результате был получен тестовый сигнал, состоящий из 1892 импульсов (по 946 импульсов разного типа). К полученной последовательности добавлялся цветной шум, полученный путем полосовой фильтрации нормально-распределенного случайного процесса.
Метод анализа стабильности отклика
При рассмотрении стационарных процессов в динамике пороговых систем (в отсутствие подпороговых колебаний) отклик на внешнее периодическое воздействие также является стационарным. Применительно к динамике нейрона мы можем ожидать в этом случае получение некоторого шаблона (например, генерация 2 или 3 импульсов) на каждый внешний стимул (подаваемый короткий импульс). Этот случай является очень простым, и анализ соответствующих точечных процессов не вызывает принципиальных сложностей. Однако, в экспериментальных исследованиях мы зачастую наблюдаем другую ситуацию — наличие нестационарных процессов, что связано, в частности, с адаптацией к внешним воздействиям, вызванной как внутренними характеристиками индивидуального нейрона, так и глобальной динамикой нейронной сети в целом. Известно, что если в течение длительного времени подавать один и тот же стимул, то отклик нейрона будет меняться, и, начиная с какого-то момента, он может перестать реагировать на очередной стимул, либо его реакция будет существенно отличаться от той, которая наблюдалась вначале. Именно эта ситуация и была проиллюстрирована на рисунке 3.5. Активность нейрона является максимальной в самом начале, но уже в течение первых секунд средняя частота генерации уменьшается примерно в 3 раза. Данные изменения отклика на единичное (одно и то же) воздействие можно характеризовать как нестабильность динамики нейрона. Поскольку при проведении экспериментов анализируется реакция на воздействие, подаваемое с определенной частотой, представляется естественным исследовать отклик в окрестности частоты внешнего сигнала. При шаблонной реакции, когда при подаче стимулирующего импульса генерируется одна и та же характерная последовательность спайков, мгновенная частота отклика будет являться постоянной (рис. 3.6а), а в случае нестационарной динамики данная частота будет "плавать", причем тем сильнее, чем более выражены различия в реакциях на одинаковые воздействия (рис. 3.66).
В качестве количественной характеристики стабильности отклика предлагается рассмотреть величину: где и w - дисперсия мгновенной частоты отклика, определяемая в некоторой окрестности частоты внешнего воздействия. Отметим, что предлагаемый подход отличается от простого статистического анализа, например, построения гистограмм временных интервалов между началом воздействия и моментом генерации очередного спайка (один из стандартных подходов, используемых при анализе динамики нейронных сетей). Для точечных процессов, изображенных на рисунке 3.7, соответствующие гистограммы будут очень похожими, тогда как предлагаемая характеристика, учитывающая изменения динамики во времени, выявит принципиальные различия двух откликов. Кроме того, предлагаемый подход отличается от анализа вариабельности последовательности межспайковых интервалов. При генерации серии импульсов на единичное воздействие последовательность межспайковых интервалов будет содержать несколько характерных временных масштабов (и спектр будет демонстрировать многочастотную динамику). Применение вейвлетов позволяет изучить фиксированный частотный диапазон (окрестность частоты воздействия), игнорируя динамику в других частотных диапазонах, связанную со сложным откликом на единичное воздействие. 3.3 Примеры применения Исследование процессов кодирования, представления и обработки информации живыми системами является одной из актуальнейших задач современного естествознания, которая носит междисциплинарный характер. Различные типы внешних стимулов кодируются соответствующими рецепторами в последовательности электрических импульсов, которые передаются к "первым" нейронам в областях центральной нервной системы, где осуществляется их первичная обработка. Далее сенсорная информация проходит еще несколько этапов обработки, прежде чем достигнуть коры головного мозга, где формируется образ внешнего мира. С каждым последующим этапом сложность исследования соответствующих процессов существенно увеличивается, и хотя молекулярные и ионные механизмы, лежащие в основе нейронной активности, относительно хорошо изучены [91-94], менее понятны функциональные свойства последовательностей спайков как носителей информации, то есть каким образом совокупность спайков отражает всю сложность и разнообразие окружающего мира? Даже на первичных этапах сенсорных путей остается много открытых вопросов о принципах кодирования информации нейронами разных типов и их ансамблями. Разработка математических алгоритмов для выявления особенностей генерируемого нейронами информационного кода является важным этапом в изучении динамики нейронных сетей. С появлением новых методик и подходов к анализу сложных нестационарных сигналов расширяются возможности экспериментальных исследований.
Вместе с тем, рассмотрение сложных задач динамики биологических систем в свою очередь дает мощный импульс к развитию и совершенствованию специальных методов анализа структуры сигналов. В ходе проводившихся исследований были рассмотрены сигналы, зарегистрированные на этапе первичной обработки тактильной информации (все эксперименты проводились на крысах в университете Комплютенсе, г. Мадрид). Основную информацию об окружающем мире крысы воспринимают с помощью специальных длинных волосков или усов, называемых вибриссами (от латинского vibrate - дрожать). Эти волоски являются частью высокоорганизованной специализированной сенсорной системы, передающей информацию через тройничный нерв в головной мозг животного [95]. Каждый волосок имеет определенное расположение и длину (рис. 3.8а). Сигналы от клеток-рецепторов, расположенных в фолликулах вибрисс (рис. 3.86), сначала попадают в комплекс ядер тройничного нерва [96, 97], содержащий главное сенсорное ядро (Рг5), оральное (Sp5o), интерполярное (Sp5i) и каудальное (Sp5c) ядра, где происходит первичная обработка поступившей сенсорной информации [96, 98]. Далее сигналы передаются к таламусу, а от него — на кору головного мозга, где происходит формирование осязательных образов. При соприкасании вибрисс с каким-либо предметом, их вибрация приводит к генерации клетками импульсов, с помощью которых кодируется информация о физических характеристиках объекта (например, шероховатости). Поскольку генерируемые нейронами сигналы имеют вид, изображенный на рисунке 3.5, цель проводимого исследования состояла в изучении возможности охарактеризовать нестационарный отклик и выявлении различий в информационном коде при разных характеристиках внешнего воздействия. Воздействие осуществлялось в виде кратковременных воздушных импульсов, направленных на одну из вибрисс. Данный тип стимуляции позволяет добиться максимальной естественности ее движения.
