Содержание к диссертации
Введение
Глава 1. Неиронныее сети для обработки информации 9
1.1 История развития нейронных сетей. , 9
1.2. Биологический нейрон. 12
1.3. Классификация искусственных нейронных сетей. 18
1.4. Применение искусственных нейронных сетей в задачах обработки информации. 36
ГЛАВА 2. Распознавание образов и распознавание изображений
2.1. Общая характеристика задач распознавания образов. з6
2.2. Распознавание изображений. 39
2.3. Статистические и нейросетевые методы распознавания изображений .
2.4. Детерминированные и нейросетевые методы распознавания изображений.
Выводы по главе 2. 90
ГЛАВА 3. Статистические и нейросетевые алгоритмы обнаружения сигналов 92
3.1 Основные теоретические предпосылки для построения статистических алгоритмов обнаружения сигналов.
3.2 Оптимальные статистические и нейросетевые обнаружители . 96
3.3 Непараметрические и нейросетевые обнаружители сигналов. 105
Выводы по главе 3.
ГЛАВА 4. Диагностика инфаркта миокарда нейронными сетями 113
4.1. Медицинская диагностика и распознавание образов. 113
4.2. Задачи диагностики инфаркта миокарда. 116
4.3. Обработка электрокардиограмм искусственными нейронными сетями .
Выводы по главе 4. 125
Основные выводы по диссертации 126
Библиографический список использованной литературы
- Биологический нейрон.
- Статистические и нейросетевые методы распознавания изображений
- Оптимальные статистические и нейросетевые обнаружители
- Обработка электрокардиограмм искусственными нейронными сетями
Введение к работе
Диссертационная работа выполнена в рамках научного направления Курского государственного университета «Программное обеспечение вычислительных машин, комплексов и сетей».
Цель работы и задачи исследования. Целью диссертационной работы
является разработка математического и программного обеспечения
обработки многомерных данных нейросетевыми методами и осуществить их
сравнение с другими методами.
Для достижения поставленной цели необходимо решить следующие задачи.
Исследовать возможности и особенности применения нейронных сетей для обработки многомерных данных.
Рассмотреть детерминированные, статистические и нейросетевые методы распознавания образов и распознавания изображений.
Рассмотреть статистические и нейросетевые алгоритмы обнаружения сигналов.
Разработать программное обеспечение на основе рассмотренных алгоритмов для решения задач распознавания зашумленных изображений и обнаружения сигнала.
Изучить задачи диагностики с использованием нейронных сетей на примере диагностики инфаркта миокарда и разработать математическое и программное обеспечение процедуры диагностики.
Методы исследования. При решении поставленных задач использовались методы системного анализа, теории обнаружения сигналов, теории распознавания образов, теории нейронных сетей, методы математической статистики, объектно-ориентированного программирования и разработки интеллектуальных систем.
Научная новизна., В работе получены следующие результаты, характеризующиеся научной новизной:
- методы распознавания изображений на базе нейронной сети Хемминга, сети на основе радиально-базисных функций активации (РБФ сети) и самоорганизующихся карт Кохонена, отличающиеся возможностью классифицировать многомерные данные на основе результатов работы нейронных сетей с учетом показателей качества, полученных
6 экспериментально.
алгоритм обнаружения сигнала на фоне аддитивного шума на базе нейронной сети Хемминга, отличающийся дополнительным фильтрующим слоем нейронов.
процедура постановки или исключения диагноза инфаркта миокарда левого желудочка на базе нейронной сети Хемминга, РБФ сети и самоорганизующихся карт Кохонена, отличающаяся принятием решения о постановке диагноза на основе результатов диагностики реализованных алгоритмов с учетом коэффициентов достоверности каждого.
специальное математическое и программное обеспечение методов обработки многомерных данных, отличающееся возможностью применения, как в технических, так и в медицинских целях.
Практическая значимость работы заключается в возможности использования разработанного математического, информационного и программного обеспечения обработки многомерных данных в качестве основьъ для принятия решений в задачах распознавания изображений, обнаружения сигналов и медицинской диагностики.
Практические результаты диссертационной работы положены в основу прикладных программ, зарегистрированных в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (ФГУ ФИПС): "Четырехальтернативное распознавание изображений нейронной сетью Хемминга и методом наименьших расстояний" Per. № 2007614588 от 31.10.2007; "Обнаружение сигнала на фоне аддитивного шума нейросетевым и статистическими методами" Per. № 2007614586 от 31.10.2007; "Система диагностики инфаркта миокарда на базе нейронной сети Хемминга" Per. № 2007614587 от 31.10.2007.
Реализация и внедрение результатов работы. Разработанное программное обеспечение для распознавания зашумленных черно-белых изображений и обнаружения сигнала на фоне аддитивного шума на базе предложенных алгоритмов, может быть использовано в системах
7 радиолокации и радиосвязи для принятия оптимальных решений.
Разработанная система диагностики инфаркта миокарда внедрена в клиническую практику кардиологических отделений Муниципального Учреждения Здравоохранения городской больницы скорой медицинской помощи города Курска, Курской областной клинической больницы, городской поликлиники №2 г. Старый Оскол.
Научные результаты диссертационной работы используются в учебном процессе Курского государственного университета по специальности «Математическое обеспечение и администрирование информационных систем».
Апробация работы. Научные результаты и положения диссертационной работы докладывались и обсуждались на следующих конференциях: VII международной научно-технической конференции «Радиолокация, навигация, связь» (Воронеж, 2001); II международной научно-технической конференции «Кибернетика и технологии XXI века» (Воронеж, 2001); научная конференция посвященная 85-тилетию Воронежского Государственного университета (Воронеж, 2003), 8 World Multi-Conference on Systemic, Cybernetics and Informatics (SCI-2004) USA, международная школа-семинар «Современные проблемы механики и прикладной математики» (Воронеж, 2007), научные семинары Курского государственного университета (2004 - 2007), научные семинары Воронежского государственного университета (2004 - 2007), научные семинары Воронежского государственного технического университета (2004 - 2007).
Публикации. По материалам диссертации опубликовано 12 научных работ. В изданиях, рекомендованных ВАК РФ, опубликовано 3 работы. Личный вклад автора: в [1] - синтезирован нейросетевой алгоритм распознавания сложных изображений, проведена оценка различий результатов вычислительных экспериментов для нейросетевого и статистического алгоритмов; в [3] - построена система диагностики
8 инфаркта миокарда левого желудочка на основе обучаемой нейронной сети Хемминга, проведена оценка качества диагностики; в [4] - синтезирован нейросетевой алгоритм Хемминга распознавания изображений, получены экспериментальные данные, позволяющие оценить его эффективность; в [5] -синтезирован нейросетевой алгоритм распознавания изображений, проведен сравнительный анализ результатов распознавания нейросетевым и статистическим алгоритмом; в [7] - построена система диагностики инфаркта миокарда на основе обучаемой нейронной сети, проведена оценка качества диагностики; в [10-12] - выполнена программная реализация алгоритмов.
Структура и объем работы. Диссертация состоит из введения, четырех глав, выводов, списка используемой литературы из 94 наименований. Основная часть работы изложена на 140 страницах, содержит 13 таблиц и 22 рисунка.
Биологический нейрон.
Нервная система человека, построенная из элементов, называемых нейронами (от греч. neuron - нерв), имеет ошеломляющую сложность. Около 10п нейронов участвуют в примерно 1015 передающих связях, имеющих длину метр и более. Каждый нейрон обладает многими качествами, общими с другими элементами тела, но его уникальной способностью является прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга.
Каждый нейрон состоит из сомы (клетки диаметром от 3 до 100 мкм, содержащей ядро и другие клеточные органеллы, погруженные в цитоплазму) и отростков - аксонов и дендритов. Нейрон, схема которого представлена на рис. 1.2.1, принимает сигналы, поступающие от рецепторов и других нейронов, перерабатывает их и в форме нервных импульсов передает к длинным отросткам нервной клетки - аксонам (от греч. axon - ось). Скорость распространения импульса в аксоне существенно меньше скорости электрического сигнала в металлическом проводнике и составляет примерно 100 м/с. От каждого нейрона отходит только один аксон. Биологический нерв - это совокупность аксонов.
Сома (тело клетки) - место, где протекают процессы, приводящие к изменениям ее сложных молекул. Тело и отростки нервной клетки покрыты мембраной, постоянно несущей на себе мембранный потенциал. Раздражение чувствительных окончаний нейрона преобразуется в изменение этого потенциала, вследствие чего возникает нервный импульс, который распространяется по аксону. Идентифицированы сотни типов нейронов с различными формами тела клетки, специализацией и размерами 3-100 м км.
Дендриты, как правило, короткие, относительно широкие, сильно ветвящиеся, образующие множество синапсов с другими нервными клетками. По дендритам импульсы следуют к телу клетки.
Синапс (от греч. synapsis - соединение, связь) - место функционального контакта между нейронами , в котором происходит передача информации от одной клетки к другой. Различают аксо-дендритные синапсы и аксо-соматические синапсы. В зависимости от природы проходящих через синапсы сигналов, синапсы делятся на электрические синапсы и химические синапсы. Число синапсов очень велико, что обеспечивает большую площадь для передачи информации. На дендритах и телах отдельных двигательных нейронов спинного мозга находится свыше 1000 синапсов. Некоторые клетки головного мозга могут иметь до 10000 синапсов.
Различают возбуждающие синапсы и тормозные синапсы, в зависимости от того, активизируют они или же подавляют деятельность соответствующей клетки.
Такая, весьма упрощенная, схема функционирования биологического нейрона положена в основу структуры искусственного нейрона. Искусственный нейрон может рассматриваться как приблизительная имитация бионейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона.
Введено множество моделей, различающихся вычислительной сложностью и сходством с реальным нейроном. Одна из важнейших -формальный нейрон (ФН). Несмотря на простоту ФН, сети, построенные из таких нейронов, могут сформировать произвольную многомерную функцию на выходе.
Нейрон состоит из взвешенного сумматора и нелинейного элемента. Функционирование нейрона определяется формулами: NET=J ,x OUT=F(NET-0) (2) где х, - входные сигналы, совокупность всех входных сигналов нейрона образует вектор х; wt - весовые коэффициенты, совокупность весовых коэффициентов образует вектор весов w; NET - взвешенная сумма входных сигналов, значение NET передается на нелинейный элемент; 0 — пороговый уровень данного нейрона; F — нелинейная функция, называемая функцией активации.
Нейрон имеет несколько входных сигналов х и один выходной сигнал OUT. Параметрами нейрона, определяющими его работу, являются: вектор весов w, пороговый уровень 9 и вид функции активации F.
Виды функций активации. Рассмотрим основные виды функций активации, получившие распространение в искусственных НС. 1. Жесткая ступенька: OUT =1, если NET Т, OUT = 0 в остальных случаях, где Т- некоторая постоянная пороговая величина.
Используется в классическом формальном нейроне. Функция вычисляется двумя-тремя машинными инструкциями, поэтому нейроны с такой нелинейностью требуют малых вычислительных затрат.
Эта функция чрезмерно упрощена и не позволяет моделировать схемы с непрерывными сигналами. Отсутствие первой производной затрудняет применение градиентных методов для обучения таких нейронов. Сети на классических ФН чаще всего формируются, синтезируются, т.е. их параметры рассчитываются по формулам, в противоположность обучению, когда параметры подстраиваются итеративно.
Статистические и нейросетевые методы распознавания изображений
Задача распознавания изображений возникла в связи с разработкой читающих автоматов. Основная часть задач анализа изображений решалась в рамках проблемы машинного зрения, которая формулировалась как понимание сцены, «описываемой» изображением — некоторой матрицей пикселов. В.этой проблеме выделились такие направления, как обработка изображений, распознавание образов, анализ сцен, интерпретация изображений, оптическая обработка информации, обработка видеоинформации и понимание изображений. Главными темами этих направлений были обработка сигналов, классификация (распознавание) и понимание изображений. Задачи классификации сводились к отнесению изображений к одному из заданных классов. С изображения снимаются значения некоторого фиксированного набора признаков. Решение о близости изображения соответствующему классу принимается методами статистической теории решений, реализуемыми в многомерном пространстве признаков. Особое внимание уделяется построению оптимальных правил принятия решений.
В это же время предпринимались попытки построить процесс распознавания на основе понятия-«образ». Они сводились в основном к следующим двум направлениям:
1) изучение «образа» как такового: что представляют собой образы разных типов, каковы эти типы, как образы строятся, формируются, возникают, какова их структура, какие подобразы можно выделять в целостном образе, насколько они могут или должны быть элементарны, какие отношения существуют на подобразах и непроизводных образах (процесс распознавания при этом строится с учетом механизма формирования образа);
2) построение системы распознавания на основе имитации способностей человека к распознаванию, т. е. путем выявления эвристических беспереборных приемов обработки и анализа информации, свойственных зрительной системе человека, и использования этих эвристик, их вариантов и обобщений в качестве алгоритмов распознавания.
Второе направление существенно зависело от успехов в области психофизиологии и психофизики восприятия, а также нейрофизиологии. В наиболее целостном виде эта методология была реализована в перцептронном подходе к распознаванию. Перцептрон был предложен в качестве относительно простой модели, воспроизводящей некоторые принципы работы мозга человека, и стал своего рода мостом между эвристическим подходом и математическим исследованием процедур обучения в системах распознавания [38].
В дальнейшем решение задач распознавания изображений основывалось на попытках перенести в эту область методы обработки одномерных сигналов и ввести в процесс распознавания структурную информацию. Господствующим стало направление обработки изображений со свойственным ему приоритетом разработок измерительной аппаратуры и применением традиционных методов обработки сигналов. При этом «обработка» сводится к измерению и воспроизведению сигнала, а основными математическими средствами анализа служат разновидности статистических фильтров и спектральный анализ. В результате стали доминировать технические задачи и их решение выдавалось за продвижение к конечной цели — разработке систем машинного зрения (автоматизированных систем обработки и распознавания изображений).
По способу представления и обработки выделяются четыре класса изображений [35]. Класс 1: тоновые и многоцветные изображения (телевизионные изображения). Класс 2: бинарные и выполненные в нескольких цветах изображения (печатный текст). Класс 3: непрерывные кривые и прямые (контуры областей, сигналы и графики). Класс 4: точки и многоугольники — множества изолированных точек, отстоящих друг от друга достаточно далеко.
Между классами изображений выполняются следующие преобразования. Переход из класса 1 в класс 2 представляет собой сегментацию и позволяет выделить области с приблизительно одинаковыми цветами и (или) яркостями.
Переход из класса 2 в класс 3 обеспечивается двумя основными видами преобразований — построением контура и утончением. Первое отображает область в замкнутую кривую, а второе — в граф, который называют остовом области.
Переход из класса 3 в класс 4 обеспечивается преобразованиями, определяющими критические точки контура (сегментацией кривых). В случае многоугольников критическими точками являются вершины.
Переход из класса 4 в класс 3 обеспечивается преобразованиями типа интерполяции (проведение гладкой кривой через ряд точек) и приближения (проведение гладкой кривой вблизи заданных точек).
Переход из класса 3 в класс 2, если входное изображение представляет контур, обеспечивается преобразованием «заполнение», которое часто принимает форму преобразования «затенение», когда яркость или цвет области изменяются в соответствии с известным законом; если входное изображение представляет остов, то область может быть восстановлена с помощью преобразования «расширение».
Оптимальные статистические и нейросетевые обнаружители
Постановка задачи обнаружения сигналов. Любой радар является источником информации о цели. Эта информация содержится в отраженном сигнале, который вместе с внутренними шумами аппаратуры и внешними помехами поступает в приемник, а затем в систему обработки. Система обработки должна наилучшим образом выделить необходимую информацию о цели из смеси сигнала, шумов и помех. Здесь понятие "наилучшим образом" определяет качество выходной информации, а понятие "необходимая информация" - ее количество.
Качество информации зависит от алгоритма обработки. Этот алгоритм устанавливает порядок анализа смеси сигнала, шума и помехи и определяет правило для принятия решения после получения результатов анализа.
Количество информации зависит от требований к радару, от уровня его «интеллекта». Задача обнаружения сигнала состоит в том, чтобы по результатам обработки наблюдаемого случайного процесса, который может быть либо только помехой, либо комбинацией сигнала и помехи, решить содержится ли в нём полезный сигнал или нет.
Цель исследования - сравнить результаты обнаружения сигналов на фоне аддитивного белого шума нейросетевыми и оптимальными статистическими алгоритмами.
Представление сигнала. Рассматривались сигналы вида: S=A-exp[-(to)/2], где А - амплитуда сигнала, to - момент появления сигнала, t — текущий момент времени.
В общем случае наблюдаемый процесс имел вид: X=S+ , где — реализация аддитивной гауссовской помехи с нулевым математическим ожиданием и единичной дисперсией. Плотность вероятности помехи имеет вид: w(x) = [і/(2л-ст2),/2]ехр[- О - а)2 /2а2], где а — математическое ожидание, а а" - дисперсия. Величина дисперсии определяет мощность помехи. В нашем случае а=0, следовательно w(x) является функцией одного параметра а и принимает вид: W(JC) = [і 1{2жстг )1/2 ]ехр[- х2 / 2аг ].
Момент появления сигнала to является случайной величиной, распределенной по равномерному закону на интервале времени Т. Для рассмотренного сигнала энергия импульса Эс =- j(A-exp[-(t0)/2]fdt=— Jexp[-(-f-f0)] fc = — \ exp[-(t0)]dt = " -=0 " -со " lg
Были исследованы показатели качества -обнаружения сигналов нейросетевыми и статистическими алгоритмами обнаружения. Среди нейросетевых алгоритмов в ходе работы использовались нейронная сеть Хемминга, двухслойный персептрон и трехслойный персептрон. Из статистических алгоритмов рассматривались байесовский, минимаксный, знаковый и ранговый обнаружители.
Байесовский обнаружитель. При наличии полной априорной информации о сигнале и помехе используется критерий минимума среднего риска (байесовский критерий). Оптимальное байесовское правило обнаружения, т. е. оптимальное разбиение «-мерного выборочного пространства X на две непересекающиеся области (Хо и ХІ) основывается на минимизации среднего риска R=tlPlniJjWH(x\Ht)dx i,y = 0 Xj (4) Здесь (іJ = 0, 1)- матрица потерь; p, = 1- p0 - априорная вероятность наличия сигнала; w пКх\н ,) _ условная плотность вероятности (функция правдоподобия) выборки х=(х[, х2, ..., х„) в предположении, что верна гипотеза Hh
Очевидно, найти структуру байесовского обнаружителя посредством минимизации (4) можно лишь при наличии довольно большого числа априорных сведений. Должны быть заданы матрица потерь, априорные вероятности наличия и отсутствия сигнала, модели сигнала и помехи и способ их комбинации, определяющие функцию правдоподобия. Поэтому в задачах обнаружения находят применение критерии, отличные от байесовского.
Положим, что обнаружению подлежит детерминированный сигнал s(t) на фоне помехи n(t) по наблюдаемой выборке x=(xi, х2 , ..., хп). Тогда алгоритм обнаружения сводится к сравнению с порогом С отношения правдоподобия: /( ) = W п{х\Н IW,, 0) _ Значение порога С определяется выбранным критерием оптимальности обнаружения. При использовании байесовского критерия порог: с = мпш -П00)/ (П01 -Пп) Если 1(х) С , то принимается решение о наличии сигнала, иначе - об отсутствии сигнала[47].
Минимаксный обнаружитель. Пусть сигнал принимается на фоне аддитивной помехи, представленной совокупностью п случайных распределенных по гауссовскому закону выборочных значений =( ь ... , tj , где Мг=0. Корреляционную матрицу помехи будем считать равной Ап = єА trA = 1 є = trAn 5 , 11 , где А - полностью известная эрмитова нормированная корреляционная матрица помехи; є - неизвестный параметр, определяющий интенсивность (среднюю энергию) помехи; tr - след матрицы.
Обработка электрокардиограмм искусственными нейронными сетями
Диагностика является частным случаем классификации событий. В задачах классификации хорошо зарекомендовали себя искусственные нейронные сети [26, 28]. Нейронные сети представляют собой нелинейные системы, позволяющие гораздо лучше классифицировать данные, чем обычно используемые линейные методы. В приложении к медицинской диагностике они дают возможность значительно повысить специфичность метода, не снижая его чувствительности. Нейронные сети обучаются на. основе опыта, обобщают предыдущие прецеденты на новые случаи и извлекают существенные свойства из поступающей информации, содержащей излишние данные [49]. В 1990 году Вильям Бакст из Калифорнийского университета в Сан-Диего использовал нейронную сеть -многослойный персептрон - для распознавания инфаркта миокарда у пациентов, поступающих в приемный покой с острой болью в груди. Бакст использовал 20 параметров, среди которых были возраст, пол, локализация-боли, реакция, на нитроглицерин, тошнота и рвота, потение, обмороки, частота дыхания, учащенность сердцебиения, предыдущие инфаркты, диабет, гипертония, вздутие шейной вены, ряд особенностей ЭКГ и наличие значительных ишемических изменений.
Сеть продемонстрировала точность 92% при обнаружении инфаркта миокарда и дала только 4% случаев сигналов ложной тревоги, ошибочно подтверждая направление пациентов без инфаркта в кардиологическое отделение. Итак, налицо факт успешного применения искусственных нейронных сетей в диагностике заболевания. Теперь необходимо пояснить, в каких параметрах оценивается качество диагноза в общем случае. Предположим, что из десяти человек, у которых инфаркт действительно есть, диагностический метод позволяет обнаружить заболевание у восьми. Тогда чувствительность метода составит 80%. Если же мы возьмем десять человек, у которых инфаркта нет, а метод диагностики заподозрит его у трех человек, то доля ложных тревог составит 30%, при этом дополнительная к нему характеристика - специфичность метода - будет равна 70%.
Идеальный метод диагностики должен иметь стопроцентные чувствительность и специфичность - во-первых, не пропускать ни одного действительно больного человека и, во-вторых, не пугать здоровых людей. Чтобы застраховаться, можно и нужно стараться прежде всего обеспечить стопроцентную чувствительность метода - нельзя пропускать заболевание. Но и это оборачивается, как правило, низкой специфичностью метода - у многих людей врачи подозревают заболевания, которыми на самом деле пациенты не страдают.
В данной работе описано применение нейронной сети Хемминга к диагностике инфаркта миокарда при использовании лишь данных ЭКГ. Рассматривались следующие 6 параметров: величина зубца Q, наличие зубца R, положение и наклон интервала ST относительно изолинии, величина интервала QRS, величина и положение зубца Т относительно изолинии.
Анализ зубца Q имеет особо важное значение, так как он, наряду с потенциалами возбуждения перегородки сердца в норме (физиологический зубец q), может отражать некротические изменения в мышце сердца (зубец некроза). Физиологический зубец Q не может быть по амплитуде больше 1/4 зубца R, комплекса, в котором он записан, а по продолжительности не должен превышать 0.03 с.
Амплитуда зубца Q измеряется от изолинии до вершины зубца, а продолжительность от начала Q до точки пересечения его с изолинией (переход Q в R). Так же тщательно измеряется амплитуда R (от изолинии до вершины), соотносят амплитуды Q и R (рис. 4.2.1а)..
Комплекс QRS регистрируется во время возбуждения желудочков, его продолжительность отражает внутрижелудочковую проводимость. Амплитуда зубцов комплекса может значительно варьировать и зависит от положения сердца в грудной клетке, отведений. Первый отрицательный зубец комплекса называют зубцом Q, другие отрицательные - зубцами S. Зубец R всегда положителен (рис. 4.2.16).
Продолжительность комплекса QRS измеряется от начала зубца Q (при отсутствии от начала зубца R) до конца зубца S (при отсутствии S, до конца R). У здоровых людей продолжительность ORS колеблется от 0.06 до 0.1 с.
Второе по значимости место на ЭКГ кривой. Если появление патологического зубца Q указывает на некроз мышцы сердца, то патологическое изменение сегмента ST может указывать на повреждение мышцы сердца (сегмент повреждения). Сегмент ST отражает способность (или неспособность) мышцы сердца одномоментно находится в состоянии возбуждения. В первом случае нет разности потенциалов и сегмент ST находится на изолинии или отклоняется от нее на +- 1 мм, если же имеется очаг повреждения, то появляется разность потенциалов и сегмент ST отклоняется от изолинии на большую величину (рис.. 4.2.1в).
