Содержание к диссертации
Введение
Глава 1. Искусственные нейронные сети и задача сжатия информации 12
1.1. Основные парадигмы искусственных нейронных сетей (ИНС) 12
1.2. Задача сжатия информации 21
1.3. Анализ возможностей использования ИНС для сжатия информации... 30
1.4. Основные направления исследования 38
Выводы по главе 1 40
Глава 2. Сопоставительный анализ статистического и нейросетевого варианта сжатия информации 41
2.1. Постановка задачи и метод исследования 41
2.2. Анализ преобразования исходных данных 48
2.3. Анализ коррелированности сжатых данных 52
2.4. Анализ информативности сжатия информации с помощью автоассоциативной ИНС 59
2.5. Методика построения ИНС 61
Выводы по главе 2 65
Глава 3. Нелинейное сжатие информации 66
3.1. Нейросетевая редукция размерности данных с нелинейными зависимостями 66
3.2. Нейросетевое сжатие информации при анализе свойств нелинейных динамических систем 81
Выводы по главе 3 107
Глава 4. Сжатие стохастических сигналов и их спектров с помощью автоассоциативных ИНС 108
4.1. Применение искусственных нейронных сетей для сжатия стохастических сигналов 108
4.2. Выбор структуры автоассоциативной ИНС при сжатии стохастических сигналов 115
4.3. Применение автоассоциативной ИНС для сжатия спектральной информации 126
Выводы по главе 4 137
Глава 5. Применение автоассоциативной ИНС для решения прикладных задач 138
5.1. Сжатие информации с помощью искусственных нейронных сетей применительно к алгоритмическому обеспечению анализаторов типа "Искусственный нос" 138
5.2. Применение автоассоциативных ИНС для анализа вариабельности ритма сердца 149
Выводы по главе 5 158
Заключение 159
Литература : 161
- Основные парадигмы искусственных нейронных сетей (ИНС)
- Анализ преобразования исходных данных
- Нейросетевая редукция размерности данных с нелинейными зависимостями
- Применение искусственных нейронных сетей для сжатия стохастических сигналов
Введение к работе
Представленная работа посвящена исследованию возможностей применения автоассоциативных искусственных нейронных сетей для решения задачи сжатия информации. Сжатие информации является одним из распространенных способов обработки данных. Оно используется, например, при организации хранения больших массивов информации, в системах передачи информации по каналам связи, в качестве одной из процедур обработки экспериментальных данных, при построении математических моделей объектов и явлений и т.д.
Различные виды информации (данные, речь, изображение) имеют избыточность, которую можно устранить при помощи специальных методов сжатия информации. Использование этих методов позволяет:
снизить стоимость хранения и передачи информации;
увеличить количество каналов связи при сохранении заданной скорости передачи;
хранить больший объем информации.
Существует два принципиально различных подхода к проблеме сжатия информации, а именно сжатие без потерь, когда обязательными являются выполнение требования безошибочного восстановления исходных данных по их сжатому отображению, и сжатие информации с потерями части информации, несущественной с точки зрения пользователя или относящейся к помеховои (шумовой) части сигнала. Данная работа посвящена вопросам сжатия информации в рамках второго подхода.
Известны различные варианты задачи сжатия информации с частичными потерями. К наиболее известными из них относятся:
Задача редукции (уменьшения) размерности исходного многомерного
пространства информативных признаков (факторов) характеризующих
свойства объекта исследования;
Задача нахождения характеристических параметров нелинейных динамических систем, определяющих ключевые особенности их динамики.
Для решения перечисленных задач используются различные математические методы - в частности, метод главных компонент (МПС) в задаче редукции размерности. Однако в последнее время наряду с прочно устоявшимся и широко применяемыми методами обработки информации все шире развиваются и используются другие нетрадиционные методы и алгоритмы. Один из них связан с искусственными нейронными сетями (ИНС).
Разработка искусственных нейронных сетей началась еще на заре XX столетия, но только в 90-х годах, когда были преодолены некоторые теоретические барьеры, а вычислительные системы стали достаточно мощными, нейронные сети получили широкое признание. Слово "искусственные" в данном контексте иногда используется для того, чтобы подчеркнуть, что речь идет об искусственном устройстве, а не о реальных биологических нейронных системах, которыми обладает человек. Создание искусственных нейронных сетей было инспирировано попытками понять принципы работы человеческого мозга и, без сомнения, это будет влиять на дальнейшее их развитие. Однако, в сравнении с человеческим мозгом, искусственные нейронные сети сегодня представляют собой весьма упрощенные абстракции.
Искусственные нейронные сети по своей сути - это устройства параллельных вычислений, состоящие из множества взаимодействующих простых процессоров. Такие процессоры, обычно, исключительно просты, особенно в сравнении с процессорами, используемыми в персональных компьютерах. Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам, и, тем не менее, будучи соединенными в достаточно большую сеть с управляемыми взаимосвязями, такие локально
простые процессоры в совокупности способны выполнять довольно сложные задачи.
Хотя нейронные сети могут быть реализованы в виде быстрых аппаратных устройств (и такие реализации действительно существуют), большинство исследований выполняется с использованием программного моделирования на обычных компьютерах. Программное моделирование обеспечивает достаточно дешевую и гибкую среду для поиска и проверки исследовательских идей, а для многих реальных приложений такое моделирование оказывается вполне адекватным и достаточным. Хотя решение на основе нейронной сети может выглядеть и вести себя как обычное программное обеспечение, они различны в принципе, поскольку большинство реализаций нейронных сетей "обучается", а не программируется: сеть учится выполнять задачу, а не программируется непосредственно. На самом деле в большинстве случаев нейронные сети используются тогда, когда невозможно написать подходящую программу, или по причине того, что найденное нейронной сетью решение оказывается более эффективным.
Решения на основе нейронных сетей становятся все совершеннее. Уже сегодня имеется немало впечатляющих разработок. База приложений нейронных сетей просто огромна: выявление фальшивых кредитных карточек, прогнозирование изменений на фондовой бирже, составление кредитных планов, оптическое распознавание символов, профилактика и диагностика заболеваний человека, наблюдение за техническим состоянием машин и механизмов, автоматическое управление движением автомобиля, принятие решений при посадке поврежденного летательного аппарата и т.д.
Дальнейшие успехи в разработке искусственных нейронных сетей будут зависеть от дальнейшего понимания принципов работы человеческого мозга, но здесь имеется и обратная связь: искусственные нейронные сети являются одним из средств, с помощью которых совершенствуется наше представление о
процессах, происходящих в нервной системе человека, выступая в качестве моделей соответствующих процессов.
Нейросетевые технологии представляют сегодня широкие возможности и для решения задач прогнозирования, обработки сигналов и распознавания образов. По сравнению с традиционными методами математической статистики, классификации и аппроксимации, эти технологии обеспечивают достаточно высокое качество решений при меньших затратах. Они позволяют выявлять нелинейные закономерности в сильно зашумленных неоднородных данных, дают хорошие результаты при большом числе входных параметров и обеспечивают адекватные решения при относительно небольших объемах данных. Сейчас уже накоплен богатый опыт успешного использования нейронных сетей в практических приложениях.
Возможность применения одной из разновидностей ИНС — автоассоциативных искусственных нейронных сетей как средства сжатия информации в задаче редукции размерности исследуется в ряде работ [6, 7, 8, 26]. Однако в известных публикациях рассматривается применение лишь двухслойных сетей, содержащих линейные функции активации во всех слоях и выполняющих линейное преобразование аналогичное методу главных компонент. В некоторых работах указывается на возможность усложнения сети, с помощью замены линейных функций активации на нелинейные и добавления дополнительных слоев с целью преодоления ограничений, присущих линейным методам. Предполагается, что усложненная сеть способна обнаруживать существующие нелинейные закономерности в данных и осуществлять нелинейное преобразование при сжатии исходной информации, тем самым преобразуя информацию эффективнее существующих статистических методов. Но рассмотрение данной задачи слабо освещено в литературе. В частности, отсутствуют рекомендации по синтезу автоассоциативных ИНС для решения конкретных задач, не проведено конкретное сопоставление эффективности
автоассоциативной ИНС по сравнению с МГК, не выполнены возможности автоассоциативных ИНС при сжатии нелинейно структурированных данных.
Потенциальные возможности ИНС, их универсальность как средства обработки данных, делает перспективным анализ применимости ИНС и для решения других задач сжатия информации, где ранее искусственные нейросети не использовались. Это задачи, связанные с анализом поведения нелинейных динамических систем, выявления скрытых (латентных) переменных, сжатие реализаций сигналов стохастического типа при условии пренебрежимо малого искажения их основных статистических характеристик. Учитывая, что перечисленные вопросы еще не нашли должного отражения в научных публикациях, становится очевидной актуальность темы данной диссертационной работы.
Целью диссертационной работы является исследование возможности использования автоассоциативных PfflC как универсального средства сжатия информации с частичными потерями, а также их применение для разного рода прикладных задач.
Для достижения поставленной цели необходимо решить следующие основные задачи:
предложить универсальную структуру автоассоциативной ИНС, способную решить задачу редукции размерности в условиях как линейно, так и нелинейно структурированных данных;
провести для предложенной автоассоциативной PfflC полный сопоставительный анализ с МГК, когда исходные данные обладают линейной структурой;
проанализировать возможности использования предложенной сети для решения задачи редукции размерности данных, обладающих нелинейной структурой;
- исследовать возможности применения автоассоциативных PfflC для
анализа нелинейных динамических систем типа странных аттракторов;
рассмотреть применение автоассоциативных ИНС для анализа статистических данных, содержащих некоторую скрытую (латентную) переменную;
разработать процедуры, реализующие сжатие стохастических сигналов и спектральной информации с помощью автоассоциативных ИНС.
Основные положения диссертационной работы докладывались и обсуждались на XIV и XV научно-технических конференциях по датчикам и преобразователям информации систем измерения, контроля и управления (Украина, Крым, Судак, 2002 и 2003); на XXIX и XXX конференциях по информационным технологиям в науке, образовании, телекоммуникации и бизнесе (Украина, Крым, Ялта-Гурзуф, 2002 и 2003); на международном форуме информатизации (МФИ) по информационным средствам и технологиям (Москва, 2001 и 2003).
Диссертация состоит из введения, пяти глав и заключения.
В первой главе рассмотрены основные парадигмы ИНС, их классификация, варианты обучающих процедур, сферы возможного применения. Сформулирована задача сжатия информации в различных возможных постановках. Для дальнейшего рассмотрения выделен вариант сжатия информации с частичными (несущественными потерями). В качестве важного частного случая рассмотрена задача уменьшения (редукции) размерности факторного пространства и изложены некоторые методы ее решения. Кратко рассмотрен метод главных компонент как наиболее распространенный статистический метод решения данной задачи. Отмечена принципиальная возможность использования автоассоциативных искусственных нейронных сетей для редукции размерности исходного пространства, а также обсуждены известные варианты использования нейронных сетей для решения этой задачи. Предложена некоторая общая структура нейронной сети, как предполагаемое универсальное средство для решения задачи редукции размерности.
Во второй главе проведен сопоставительный анализ предложенного нейросетевого метода редукции данных и метода главных компонент. Анализ осуществлен методом имитационного моделирования с использованием сгенерированных данных, подчиняющихся многомерному нормальному распределению, т.е. обладающих линейной структурой. Сопоставление проводилось, исходя из свойств метода главных компонент. Выработаны некоторые рекомендации по выбору топологии сети для рассмотренной задачи.
Третья глава посвящена вопросам нелинейного сжатия информации. Проведен анализ редукции размерности данных, обладающих нелинейной структурой, с помощью предложенной четырехслойной автоассоциативной ИНС. Проверено, насколько эффективна для этого случая методика синтеза сети, предложенная для линейно структурированных данных. Рассмотрена возможность анализа статистических данных содержащих скрытую (латентную) переменную с помощью автоассоциативной ИНС. Предложен метод, позволяющий с помощью автоассоциативных ИНС оценить фрактальную размерность нелинейных динамических систем, относящихся к категории странных аттракторов.
Четвертая глава посвящена вопросам применения автоассоциативных искусственных нейронных сетей для сжатия стохастических сигналов и их спектров. Разработана процедура сжатия стохастических сигналов с применением автоассоциативных ИНС. Исследован характер преобразования стохастического сигнала данной сетью и выведены формулы для предсказания степени искажения вероятностных характеристик сигнала при сжатии. Разработаны две рабочие процедуры сжатия спектральной информации, выбор использования которых зависит от длины реализации и свойств спектральной информации.
В пятой главе приведены практические результаты применения автоассоциативных искусственных нейронных сетей с использованием теоретических положений 2,3 и 4 глав. Показана возможность и эффективность использования автоассоциативной ИНС как составной части алгоритмического
обеспечения анализаторов типа "Искусственный нос". Реализована идея использования автоассоциативной ИНС для выявления фрактальной размерности хаотических сигналов применительно к анализу ритма сердца с целью последующей диагностики состояния сердечно сосудистой системы.
В заключении в сжатой форме формулируются основные результаты диссертационной работы.
Основные парадигмы искусственных нейронных сетей (ИНС)
Интерес к нейросетевым методам обработки информации возник еще на заре развития вычислительной техники. В их основе лежит нейронная организация искусственных систем, которая имеет биологические предпосылки. Способность биологических систем к обучению, самоорганизации и адаптации является отличительной чертой таких систем по сравнению с традиционными вычислительными системами. Как известно, главным достоинством компьютерных методов обработки является большая скорость выполнения отдельных операций и возможность учета большого объема знаний, накопленных в той или иной предметной области. Разработка искусственных интеллектуальных систем, которые соединяют преимущества биологических прототипов и современных средств вычислительной техники, создает потенциальные предпосылки для перехода к качественно новому этапу эволюции как в программно-алгоритмической так и в аппаратном обеспечении исследований и обработки.
Теория искусственных нейронных сетей привлекает сегодня внимание многих исследователей. С одной стороны, интерес к нейросетевым моделям вызван желанием понять принципы работы нервной системы, с другой стороны, с помощью таких моделей ученые рассчитывают смоделировать поразительные по своей эффективности процессы обработки информации, свойственные живым существам. Искусственные нейронные сети - это часть методов искусственного интеллекта, в котором для обработки сигналов используются явления, аналогичные происходящим в нейронах живых существ. Важнейшая особенность такого рода сетей, свидетельствующая о ее широких возможностях и огромном потенциале, состоит в параллельной обработке информации всеми звеньями. При громадном количестве межнейронных связей это позволяет значительно ускорить процесс обработки информации. Во многих случаях становится возможным преобразование сигналов в реальном времени. Кроме того, при большом количестве межнейронных соединений сеть приобретает устойчивость к ошибкам, возникающим на некоторых линиях. Функции поврежденных связей N элементов берут на себя исправные линии (элементы), в результате чего деятельность сети не претерпевает существенных возмущений.
Другое не менее важное свойство - способность к обучению и обобщению накопленных знаний. Нейронная сеть обладает чертами естественного интеллекта. Натренированная на ограниченном множестве данных сеть способна обобщать полученную информацию и показывать хорошие результаты на данных, не использовавшихся в процессе обучения.
Различные способы объединения нейронов между собой, разновидности функций преобразования, реализуемых каждым нейроном и организации их взаимодействия привели к созданию сетей разных типов. Каждый тип сети, в свою очередь, тесно связан с соответствующим методом подбора весов межнейронных связей (т.е. обучения). В зависимости от структуры искусственные нейронные сети (ИНС) можно разделить на: 1. Формальные ИНС, основным элементом которых является некоторый формальный нейрон. Они в свою очередь разделяются на: 1.1. Полносвязные. В таких сетях каждый нейрон передает свой выходной сигнал всем остальным нейронам в сети, включая самого себя. 1.2. Неполносвязные. К ним относятся: 1.2.1. Однослойные. Из наиболее известных можно привести: Линейная ассоциативная память. Нелинейная ассоциативная память. Однослойный персептрон. Сеть типа "Адалайн". 1.2.2. Многослойные. 1.2.2.1. С прямыми связями. В таких сетях нейроны входного слоя получают входные сигналы, преобразуют их и передают нейронам первого скрытого слоя, и т.д. вплоть до выходного слоя. Наиболее известные из них: Многослойный персептрон. Сеть радиально базисных функций. Сеть Кохонена. Сеть встречного распространения. 1.2.2.2. С обратными связями. В таких сетях выходы нейронных элементов последующих слоев имеют синаптические соединения с нейронами предшествующих слоев. К ним можно отнести: Сеть Жордана. В ней выходы нейронных элементов последнего слоя соединены посредством специальных входных нейронов с нейронами промежуточного слоя. Сеть Элмана. В этой сети выходы нейронных элементов промежуточного слоя соединяются с специальными входными нейронами. 1.2.2.3. С перекрестными связями. В нейронных сетях с перекрестными связями кроме прямых связей допускаются связи внутри всех слоев. Примером такой сети могут послужить самоорганизующиеся карты Кохонена. 2. Релаксационные сети. Это сети, принцип действия которых основан на использовании особенностей поведения автономных нелинейных динамических систем, обладающих при фиксированном наборе параметров несколькими точками устойчивого равновесия. Тогда в зависимости от начального состояния такая сеть в ходе свободного движения приходит к той или иной точке равновесия; при этом каждой такой точке соответствует определенное множество начальных значений — своего рода область притяжения данной точки равновесия.
Анализ преобразования исходных данных
МГК при сжатии информации осуществляет линейное преобразование Z=F(X) из w-мерного пространства исходных данных X = \\Xj, Х2, ..., Хп II в пространство главных компонент Z = \\ZIf Z2, ...,Zm размерности т п. Сигналы, полученные в узком горле автоассоциативной ИНС, являются некоторым преобразованием Z = HZ Z v mII = FQQ- Необходимо проверить является ли это преобразование также линейным. Для того, чтобы выяснить линейность связи между значениями, подаваемыми на вход нейронной сети и значениями, полученными в узком горле этой же нейронной сети, используем аппарат регрессионного анализа для этих переменных. В данном случае уравнение регрессии, связывающее указанные переменные, будет иметь вид:
Оценивать, насколько преобразование, осуществляемое нейронной сетью, является линейным, будем с помощью проверки адекватности данной модели, а также исходя из значений коэффициентов множественной корреляции RQ, вычисленных для всех уравнений регрессии на некотором количестве выборок.
В качестве характерных образцов рассмотрены случаи разной размерности исходного пространства, в которых дисперсии главных компонент экспоненциально убывают, а также рассмотрен случай, где первые две главные компоненты имеют примерно одинаковые дисперсии. Результаты оценок, проведенных для четырех различных случаев, приведены ниже.
Эксперимент 1. Расчеты проводились на пятнадцати случайных различных выборках объемом N= 1000 чисел, с одинаковыми требуемыми ковариационными матрицами. Размерность исходного пространства п = 4. В табл. 2.1 приведены значения теоретических дисперсий главных компонент и их полученных средних выборочных значений.
Во всех случаях линейные регрессионные модели, связывающие входные значения автоассоциативной ИНС и значения, полученные в "узком горле" имеют коэффициент множественной корреляции R0 близкий к единице. Диапазон изменения Ro = 0,838-0,998, а в среднем он получился равным 0,975. Проверка адекватности уравнений регрессий с помощью F-критерия показала что, построенные регрессии для всех случаев оказались адекватными с высоким уровнем значимости.
Исходя из полученных результатов, можно сказать, что в данном случае автоассоциативная ИНС выполняла некоторое линейное преобразование, как при сжатии информации, так и при возврате в исходное пространство. Эксперимент 2. Расчеты проводились на пятнадцати случайных выборках с одинаковыми требуемыми ковариационными матрицами. Дисперсии главных компонент экспоненциально убывают. Все выборки состоят из 500 значений, т.е. N = 500. Размерность исходного пространства п = 6. В табл. 2.2 приведены значения требуемых теоретических дисперсий главных компонент и их полученных средних выборочных значений. Во всех случаях построенные регрессионные модели имеют коэффициент множественной корреляции близкий к единице. Диапазон изменения Ro = 0,803-0,998, а в среднем для всех построенных уравнений регрессии RQ = 0,975. Проверка адекватности во всех случаях подтвердила адекватность линейных регрессионных моделей. Эксперимент 3. Рассматривается случай, когда размерность исходного пространства п - 9. Расчеты проводились на двадцати выборках объемом N = 620 значений. В табл. 2.3 приведены значения теоретических дисперсий и их средних выборочных значений, полученных на всем множестве выборок. Коэффициент множественной корреляции для всех построенных регрессионных моделей получился достаточно высокий. Диапазон его изменения #о = 0,739 - 0,998, а в среднем для всех случаев он получился равным 0,967. Проверка подтвердила адекватность построенных линейных регрессионных моделей Эксперимент 4. Рассмотрен редко встречающийся на практике случай, когда первые две главные компоненты показывают примерно одинаковый разброс значений. Для этого сгенерированы случайные выборки объемом N = 1000 значений. Размерность исходного пространства п = 4. Расчеты проводились на пятнадцати случайных выборках с одинаковыми требуемыми ковариационными матрицами. В табл. 2.4 приведены значения требуемых теоретических дисперсий главных компонент и их полученных средних выборочных значений. Коэффициент множественной корреляции для всех уравнений регрессии лежит в диапазоне 0,724-0,998, а его среднее значение для всех уравнений регрессии RQ = 0,971. Все линейные уравнения адекватны.
Нейросетевая редукция размерности данных с нелинейными зависимостями
Как известно, обобщенные характеристики типа размерности характеризуют сложность динамической системы, т.е. позволяют дать ответ на вопрос, какое минимальное количество переменных должна включать соответствующая математическая модель или хотя бы дать оценку этой величины (чаще всего снизу).
Характеристики размерности важны еще и потому, что это одни из немногих характеристик, которые в некоторых случаях можно оценить непосредственно по временному ряду, получая таким образом существенную характеристику динамической системы по экспериментальным данным.
Существуют различные варианты задания характеристик размерности странного аттрактора. В частности, это может быть минимальное число существенных динамических переменных du, необходимых для описания наблюдаемого процесса. В литературе употребляется довольно много разных названий этой величины - число параметров порядка, динамическая размерность или размерность минимального инерциального многообразия.
Другой характеристикой такого типа является емкость dc [11]. Способ задания dc становится ясным, если рассмотреть алгоритм ее расчета. Предполагается, что имеется либо теоретическая модель странного аттрактора и известны векторы Z/, Z?, ... - координаты в фазовом пространстве, либо построена его реконструкция по наблюдаемому временному ряду.
1. Задаем некоторое значение є и разбиваем область фазового пространства, в которой лежат вектора ZlyZ2, ..., на кубики со стороной є и подсчитываем количество кубиков, содержащих точки траекторий движения. Получаем некоторое значение М(є).Необходимо заметить, что полное количество кубиков в большом /77-мерном кубе, содержащем аттрактор, для достаточно большого т может быть огромным (скажем порядка 1020 и больше). Но подавляющее большинство из них не представляет интереса, потому что туда не попадает ни одной точки zt. Поэтому можно построить более быстрый и эффективный алгоритм расчета М(є). Одна из идей может быть следующей. Необходимо поделить все координаты векторов на є и оставит только их целую часть, преобразовав вектора zt в новые вектора п(. Тогда для всех векторов z, попадающих в одну ячейку, полученные вектора п будут совпадать. То есть М(є) просто будет равно количеству различных векторов «/. Таким образом, мы уменьшили количество необходимых операций примерно до N log N. 2. Значение М(є) определяется для различных е. Теперь по полученным данным необходимо оценить размерность do Доказано [11], что при малых є величина М(е) ведет себя как e dc; тогда \ogM{e) = -dc -logs.
Поэтому оценивание емкости dc по полученным данным сводится а) к поиску "наиболее линейного" участка зависимости \О%М(Е) ОТ logs; б) построению на этом участке линейной аппроксимации вида например, по методу наименьших квадратов; в качестве оценки емкости берется dc=-b. Наиболее трудно формализовать в этом алгоритме выбор є и линейного участка, по которому следует оценивать емкость. Алгоритм такого типа получил название "подсчет ячеек или "box counting . Первые численные оценки размерностей странных аттракторов были сделаны с его помощью. Однако довольно быстро выяснилось, что алгоритм обладает некоторыми серьезными недостатками. В первых, оказалось, что даже в случае простейших аттракторов, вроде аттрактора Энона [11], получение приемлемого результата по экспериментальным данным требует очень длинных выборок - миллионы точек и более. Для более коротких выборок часто не удается четко выделить линейный участок функции \о%М{є). Во вторых, саму величину М(е) не всегда удается хорошо оценить, поскольку в ряде случаев весьма заметный вклад вносят редко посещаемые области аттрактора. Исходя из этого, можно сделать вывод о "непрактичности" алгоритмов типа "box counting". Более практичным способом для вычисления размерности аттрактора оказался алгоритм, основанный на вычислении, так называемого, корреляционного интеграла. Он определяется как Для вычисления характеристики размерности по корреляционному интегралу, обозначаемой обычно как D2 [11], необходимы выборки существенно меньшей длины, чем в предыдущих случаях. Методика оценки та же самая, что и при определении dc : линейная аппроксимация зависимости logC( ) = -D2 log є + с по "наиболее линейному" участку. Саму размерность Дг называют корреляционной размерностью или корреляционным показателем. Алгоритм расчета / был предложен в 1983 г. П. Грассбергером и И. Прокачиа [13] и с тех пор, видимо, является самим популярным алгоритмом нелинейной динамики для временных рядов. Но платой за его достоинства является большой объем вычислений — расчет требует 0(N ) вычислений.
Алгоритмы нелинейной динамики для обработки временных рядов выглядят весьма привлекательно. Однако конкретных примеров эффективного использования аппарата нелинейной динамики для анализа временных рядов немного. В литературе можно найти работы по анализу сигналов от сравнительно простых электронных схем и хаотических колебаний в некоторых лазерах, описания отдельных, специальным образом организованных, экспериментов в гидродинамике, несколько примеров сравнительно простых сигналов в физиологии. Для произвольно взятого временного ряда, например, метеорологических наблюдений или сейсмограмм, результаты редко оказываются вразумительными.
Применение искусственных нейронных сетей для сжатия стохастических сигналов
Около десяти лет назад были высказаны первые предположения о том, что динамика ритма сердца обнаруживает хаотическое поведение типа странного аттрактора [27]. В последние годы интерес к такого рода исследованиям резко возрос, и в этом направлении получен ряд интересных результатов [28,29,30]. Было, в частности, показано, что структура временного ряда кардиоинтервалов здорового человека подобна фрактальной структуре нелинейной динамической системы, находящейся в хаотическом режиме. При этом ее фрактальная размерность достаточно велика и колеблется по разным оценкам от 6-7 до 11-12. При появлении патологических состояний указанная размерность снижается до величин опять-таки по приближенным оценкам до уровня от 3-4 до 7-8. Аналогичное уменьшение фрактальной размерности наблюдается и при старении организма, что обусловлено снижением адаптационной возможности сердечно сосудистой системы. Отмечается также, что зачастую важным является не столько само значение фрактальной размерности, сколько динамика его изменения. Таким образом, можно говорить о том, что размерность аттрактора, найденная по записи ЭКГ, может служить хорошим диагностическим критерием для выявления состояния организма и определенных патологий.
Так, например, выявлено, что значение размерности аттрактора, найденного по записям ЭКГ, может использоваться в качестве независимого диагностического критерия при инфаркте миокарда. Изменение размерностей позволяет достоверно зарегистрировать динамику восстановления функции миокарда в первые дни после инфаркта, тогда как анализ средних значений RR-интервалов и их стандартных отклонений зачастую оказывается нечувствительным к этому процессу.
Вместе с тем разброс возможных значений размерностей для нормы и патологии, перекрытие интервалов возможных значений для этих двух состояний свидетельствует о том, что данная проблема еще не получила должного разрешения. По всей видимости, подобный разнобой в оценках размерностей обусловлен, в первую очередь, указанными раннее трудностями в определении этой размерности по выборке ограниченной длины. В реальных экспериментах при соблюдении условий стационарности записи кардиограммы трудно получить реализации длиной, более 1000-1500 кардиоинтервалов, в то время как для более или менее надежной оценки размерности странного аттрактора, как отмечалось, необходимо 105 -г-106 отсчетов.
Учитывая сказанное, а также результаты, полученные в главе 3, заманчиво выяснить в условиях реального эксперимента возможности использования автоассоциативной ИНС для целей приближенного определения размерности аттрактора по кардиограммам. Для анализа были использованы данные, приведенные в [63], а именно 4 записи, полученные от разных пациентов. Измерения (в единицах биения сердца в минуту) проводились с интервалами в 0,5 сек. Первые две реализации содержат 1800 измерений (15 мин), а последние две 950 измерений (7 мин. 55 сек.) каждая. При этом реализации 1,3,4 относились к пациентам группы "норма", а реализация 2 — патология. Осциллограммы записей приведены на рис. 5.7-5.10.
Все реализации первоначально обрабатывались с помощью статистических методов: вычисления оценки математического ожидания тх и дисперсии &х (см. табл. 5.3), и спектральной плотности мощности рис. 5.11-5.14. Сопоставление полученных данных позволяет разбить соответствующие реализации на две группы: первую, содержащую реализации 1 и 2, и вторую с реализациями 3,4. Внутри каждой группы различия между значениями тх, х и кривыми Sxx (/) невелики то время, как для разных групп они существенны. По всей видимости, указанные различия для здоровых пациентов обусловлены индивидуальными особенностями или текущим состоянием организма (нагрузки, без нагрузки и т.п.). В то же время, по указанным характеристикам выделить пациента с патологией не удается. Рассмотрим теперь, какие результаты получаются исходя из анализа записей как хаотического процесса. Для этого прежде всего должно быть утверждено количество фазовых координат п, заведомо превышающих размерность соответствующего странного аттрактора. В данном рассмотрении использовались два значения п: «=10 и п = 15. На рис. 5.15 приведены для примера двумерные проекции фазовых траекторий для всех четырех аттракторов. Для оценки размерности аттракторов использовалась изложенная ранее методика. При этом синтезировались четырехслойньте автоассоциативные ИНС и применялся критерий совпадения фазовых траекторий на входе и выходе сети. На рис. 5.16 представлены для примера восстановленные траектории на плоскости Z,, Z,+/ для всех четырех аттракторов: они приближенно совпадают с фазовыми траекториями, представленными на рис. 5.15.
