Содержание к диссертации
Введение
1 Аналитический обзор методов и систем анализа сложноструктурируемых изображений для рентгенологических исследований 11
1.1 Автоматический анализ флюорограмм грудной клетки 11
1.2 Автоматизированные рабочие места для анализа рентгеновских изображений 15
1.3 Нейронные сети и нейросетевые структуры для обработки сложноструктурируемых изображений 24
1.3.1 Классификация нейронных сетей и выбор их структуры 24
1.3.2 Гибридная нейронная сеть 28
1.3.3 Иерархическая нейронная сеть 31
1.3.4 Сверточные нейронные сети 40
1.4 Теоретические аспекты объединения решений на основе многоагентных моделей классификации 43
1.5 Цели и задачи исследования 49
2 МЕТОДЫ II. Алгоритмы автоматической сегментации полутоновых сложнотекстурированных растровых изображений 51
2.1 Состояние исследований и анализ технических и алгоритмических решений в области классификации сегментов сложноструктурируемых изображений 51
2.2 Метод сегментации сложнотекстурированных изображений 54
2.3 Метод контурного анализа изображения легких на рентгеновском снимке грудной клетки 64
2.4 Метод выделения границ ребер на флюорограмме грудной клетки 73
2.4.1 Идея метода 73
2.4.2 Синтез морфологической операции 77
2.4.3 Алгоритм итерационной процедуры формирования границы ребра 79
2.4.4 Построение математической модели границы ребра 83
2.5 Выводы второго раздела 91
3 Нейро-сетевые модели для классификации рентгеновских снимков грудной клетки 92
3.1 Структура автоматизированной системы классификации флюорограмм легких93
3.2 Многоагентный классификатор рентгеновских снимков 96
3.3 Многоагентный нозологический классификатор 101
3.4 Модифицированная вероятностная нейронная сеть для нозологтческого анализатора 106
3.5 Выводы третьего раздела 114
4 Экспериментальные исследования разработанных методов анализа рентгеновских снимков грудной клетки 117
4.1 Структура АРМ врача - рентгенолога и алгоритм его работы 117
4.2 Экспериментальные исследования метода сегментации сложнотекстурированных изображений 125
4.3 Оценка эффективности методов и алгоритмов выделения патологических сегментов на рентгеновских снимках грудной клетки 127
4.4 Выводы четвертого раздела 135
Список обозначений и сокращений 140
Список литературы 142
- Нейронные сети и нейросетевые структуры для обработки сложноструктурируемых изображений
- Метод сегментации сложнотекстурированных изображений
- Многоагентный нозологический классификатор
- Экспериментальные исследования метода сегментации сложнотекстурированных изображений
Введение к работе
Актуальность работы. Несмотря на то, что в настоящее время широко
развиваются такие методы лучевой диагностики, как компьютерная
томография (КТ), магниторезонансная томография (МРТ) и позитронно-
эмиссионная томография (ПЭТ), имеющие высокую диагностическую
информативность, обследования этими методами имеют определенные
недостатки: дорогое оборудование и специализированное программное
обеспечение. Все это повышает стоимость обследования, поэтому в
настоящее время данные методы визуализации используются только после
рентгенографии при подозрении на заболевания, требующие
дополнительного обследования.
Актуальность разработки новых методов и моделей анализа рентгеновских снимков (РС), определяется, прежде всего, возросшими требованиями к качеству и надежности разрабатываемых систем и медицинских устройств, созданием перспективных информационных технологий с использованием нейронных сетей.
При анализе и обработке цифровых флюорограмм наиболее информативной количественной характеристикой является яркость пикселей изображения РС. Известно, что на яркость точек изображения РС влияет ряд факторов, например напряжение на рентгеновской трубке, габариты пациента и др. Это затрудняет постановку диагноза врачом. В связи с этим представляется целесообразным уменьшить влияние указанных факторов, а также перейти к оценке относительной яркости точек цифрового изображения. Кроме того, следует ввести дополнительные количественные характеристики патологических структур на флюорограммах.
Таким образом, разработка методов и алгоритмов автоматизированной идентификации патологических структур, в частности методов, основанных на применении нейронных сетей, позволяющих ускорить процесс диагностики заболеваний и снижающих долю повторных исследований, является актуальной научно-технической задачей.
Степень разработанности темы исследования. Диссертационная работа посвящена решению задачи идентификации патологических структур на рентгеновских цифровых снимках. Врачу-рентгенологу, как правило, приходится просматривать большое количество снимков, качество которых не всегда удовлетворительно, а размер сравнительно мал. Поэтому качественный анализ снимка представляет собой большое искусство и воплощает в себе умение распознавать даже самые малые изменения яркостей точек РС, а также способность обнаруживать аномальные структуры, особенно при низком разрешении снимка. Это требует высокой квалификации и доступно немногим. Из-за особенностей субъективного зрительного восприятия значительно теряется информативность РС. При массовых обследованиях, например, с помощью флюорографии, эта работа весьма утомительна и может привести к ошибкам.
Широкое распространение компьютерной техники и информационных технологий создает условия для реализации автоматизированной обработки
большого количества изображений. Примерами этого являются системы
«Видеотест-размер» фирмы «ВидеоТест»; «X-ray Lab 30 X-ray Images Digital
Processor компании Gilardoni; «Advanced image processor»; система
«Скрининг-флюорография» центра медицинских информационных
технологий «Медиал-МТ». Однако для повышения достоверности постановки диагноза по снимкам требуется реализация метода распознавания образов, которую существующие системы не содержат. В основе распознавания должно лежать сопоставление участков исследуемого изображения с шаблоном, а в качестве образов могут использоваться обработанные изображения патологических структур. Наиболее успешно задачу распознавания решают с помощью нейросетевых моделей. Разработке методов и алгоритмов идентификации и классификации образов посвящены работы АН. Галушкина, АН. Горбаня, Т. Кохонена, Ф. Уоссермена, Дж. Хопфилда. Однако в виду отсутствия единой методологии решения прикладных задач с помощью нейросетей, целесообразно применительно к каждой конкретной задаче выбирать не только их архитектуру, но и метод обучения нейронной сети.
Объектом исследования являются медицинские рентгеновские снимки грудной клетки.
Предметом исследования являются методы и алгоритмы цифровой
обработки и распознавания полутоновых растровых изображений
рентгенограмм грудной клетки.
Цель работы. Повышение качества классификации
рентгенологических синдромов путем создания методов, моделей и алгоритмов для автоматизированной идентификации анормальных структур на рентгенограммах грудной клетки.
Для достижения данной цели были поставлены следующие задачи.
-
Разработка метода обработки растровых полутоновых изображений, позволяющего выделять сложнотекстурированные морфологические образования на рентгенограммах грудной клетки.
-
Разработка методов и алгоритмов выделения границ морфологических образований на рентгенограммах грудной клетки.
-
Разработка моделей многоагентных классификаторов рентгеновских снимков и алгоритмов их функционирования.
-
Разработка структуры автоматизированного рабочего места врача-рентгенолога и алгоритмов его функционирования, позволяющих анализировать рентгеновские снимки грудной клетки.
-
Провести экспериментальные исследования предложенных методов, алгоритмов и моделей анализа рентгеновских снимков грудной клетки.
Научная новизна. В диссертации получены следующие результаты, характеризующиеся научной новизной:
- метод автоматической сегментации полутоновых
сложнотекстурированных растровых изображений, заключающийся в обработке исходного изображения посредством маски локального оператора,
вычисления градиента полученного изображения и пороговой обработки, отличающийся тем, что при первоначальной обработки используется оператор вычисления «центров тяжести» гистограмм в «пустом» окне, позволяющий обнаруживать границы морфологических структур на рентгенограммах грудной клетки;
- метод выделения контуров легких на изображении
рентгеновского снимка грудной клетки, отличающийся последовательностью
и составом процедур обработки изображения, позволяющий получить набор
дескрипторов Фурье для формирования пространства информативных
признаков для нейросетевых классификаторов рентгенологических
синдромов и нозологий;
- метод выделения границ ребер на рентгеновском снимке грудной
клетки, отличающийся использованием нелокальной информации при
морфологической фильтрации изображения, полученного в результате
обработки рентгеновского снимка оператором «центр тяжести гистограммы»;
- модели многоагентных классификаторов рентгеновских снимков и
алгоритмы их функционирования, отличающиеся решающими модулями,
водящими в их структуру, выполненными на основе гибридных нейронных
сетей с макрослоями, позволяющие классифицировать рентгеновские снимки
по рентгенологическим синдромам.
Теоретическая и практическая значимость работы состоит в том,
что изложены методы сегментации изображений с нечеткими
морфологическими образованиями, основанные на локальной обработке
изображений арифметическими и морфологическими операторами со
сложными частотными характеристиками, позволяющие осуществить
контурный анализ морфологических образований рентгеновского снимка с
последующим нейросетевым анализом получаемого пространства
информативных признаков. Разработанные методы, модели и алгоритмы
составили основу автоматизированного места врача-рентгенолога.
Применение предложенных в диссертации методов, алгоритмов и моделей
классификации рентгеновских снимков позволит использовать интеллектуальные
технологии в программах скрининговой диагностики социально значимых
заболеваний.
Содержание диссертации соответствует паспорту научной
специальности 05.11.17 – Приборы, системы и изделия медицинского назначения.
Работа выполнена в рамках прикладных научных исследований в
соответствии с федеральной целевой программой «Исследования и
разработки по приоритетным направлениям развития научно-
технологического комплекса России на 2014-2020 годы» (Соглашение № 14.576.21.0071 о предоставлении субсидии от 06.11.2014 г.) и в соответствии с научным направлением Юго-Западного государственного университета «Разработка медико-экологических информационных технологий».
Результаты диссертационной работы внедрены в учебном процессе Юго-Западного государственного университета при подготовке по
программе бакалавров по направлению подготовки 09.03.04 Программная инженерия, реализованы в программных продуктах ООО (г. Курск) и используются при компьютерной обработке рентгеновских снимков в больнице скорой медицинской помощи г. Курска.
Методы и средства исследований. Для решения поставленных задач использовались математический аппарат линейной алгебры, теория вероятностей, аппарат морфологического анализа изображений, теория нейронных сетей и распознавания образов, методология спектрального анализа, теория множеств, методы экспертного оценивания и принятия решений. При разработке нейросетевых моделей и модулей нечеткого вывода в качестве инструментария использовался MATLAB 7.10 с графическим интерфейсом пользователя для Neural Network Toolbox.
Положения, выносимые на защиту. 1. Метод автоматической
сегментации изображений, основанный на операторе вычисления «центров
тяжести» гистограмм в «пустом» окне, позволяет обнаруживать границы
нечетких морфологических структур сложнотекстурированного
полутонового растрового изображения. 2. Метод контурного анализа,
позволяющий выделять поля легких на рентгеновском снимке грудной
клетки. 3. Метод, основанный на нелокальной информации при
морфологической фильтрации изображения, обеспечивает выделение границ
ребер на рентгеновском снимке грудной клетки. 4. Модели многоагентных
классификаторов рентгеновских снимков и алгоритмы их
функционирования, включающие гибридные нейронные сети с макрослоями,
обеспечивают классификацию рентгеновских снимков по
рентгенографическим синдромам.
Степень достоверности и апробация работы. Результаты
исследования показали их воспроизводимость в различных условиях,
непротиворечивость концепциям теории цифровой обработки и
классификации изображений и нейросетевого моделирования, а так же аналогичным результатам, полученным другими исследователями. Метод и алгоритмы классификации рентгеновских снимков грудной клетки построены на теории морфологического и контурного анализа изображений и согласуются с ранее опубликованными экспериментальными данными по теме диссертации.
Основные теоретические положения и научные результаты
диссертационной работы докладывались, обсуждались и получили
положительную оценку на 13 международных и всероссийских
конференциях: «Медико-экологические информационные технологии»
(Курск - 2013, 2014); «Физика и радиоэлектроника в медицине и экологии»
(Владимир - 2014); «Интегративные процессы в образовании и медицине –
2014» (Курск - 2014); «Научный взгляд на современный этап развития
общественных, технических, гуманитарных и естественных наук.
Актуальные проблемы (Санкт-Петербург – 2014); «Science and Education» -2014 (Belgorod-Sheffield – 2014); «Лазерно-информационные технологии в
медицине, биологии, геоэкологии и транспорте» (Новороссийск – 2014,
2015); «Современные концепции научных исследований» (Москва-2015);
Распознавание – 2015 (Курск – 2015); «Современные тенденции развития
науки и технологий» (Белгород-2015); «Математика и ее приложения в
современной науке и практике (Курск-2015), «Современные методы
прикладной математики, теории управления и компьютерных технологий
(Воронеж-2015), на научно-технических семинарах кафедры
биомедицинской инженерии ЮЗГУ (Курск - 2013, 2014, 2015).
Публикации. Основные положения и результаты диссертационной работы опубликованы в 19 научных работах, включающих 5 статей в ведущих рецензируемых научных журналах и изданиях, 2 свидетельства о регистрации программ для ЭВМ.
Личное участие автора. Автор лично выполнил основной объем теоретических и экспериментальных исследований, разработал методы, алгоритмы и модели нейросетевых классификаторов, а также программы для обработки и анализа изображений, выполнил анализ полученных результатов и написал текст диссертации.
Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения и библиографического списка, включающего 99 отечественных и 21 зарубежных наименований. Работа изложена на 154 страницах машинописного текста, содержит 57 рисунков и 4 таблицы.
Нейронные сети и нейросетевые структуры для обработки сложноструктурируемых изображений
В результате анализа каждая флюорограмма должна быть отнесена или к классу "нормальных" или "патологических". Важнейшей частью работы является реализация автоматического описания нормальной флюорограммы. Поскольку в данной задаче целью является автоматизация человеческой деятельности, то адекватным будет "человеческое" описание флюорограммы. Оно состоит, по меньшей мере, в умении выделять значимые объекты, описывать эти объекты и определять их взаимоотношения. Основными объектами на любой флюорограмме считаются: легочные поля; ребра (отдельно их задние части и передние части); ключицы; корни легких; сосуды [53, 74, 76].
Поставив задачу выделения на изображении основных объектов (ключиц, ребер, корней и др.), необходимо решить вопрос о том, каким образом в программe будут заложены знания об этих объектах, без чего их выделение на таком сложном изображении как флюорограмма грудной клетки невозможно. Обычно априорные знания об объектах формулировались и закладывались в программы на языке логических утверждений (например, площадь объекта не менее такой-то, кривизна границы не более такой-то и т.п.). В этом случае знания об объектах оказываются распыленными по всем программам и настолько тесно с ними переплетаются, что, в конце концов, программа становится узкоспециализированной. Это делало невозможным моделирование и исследование общих принципов обработки изображений.
В качестве альтернативы было предложено хранить знания об объекте в форме изображения самого объекта [46]. Естественно, что в этом случае эталонное изображение есть конкретный представитель своего класса (например, класса "ключицы"). Соответственно возникают две проблемы: как использовать конкретное эталонное изображение для поиска на поступившей флюорограмме аналогичного (но не идентичного) объекта; достаточно ли единичного объекта для представления знаний о всем классе. В [46] предлагается решать этот вопрос путем введением промежуточного языка описания объектов с помощью полей характеристик.
Пусть имеется схематическое (черно-белое) изображение системы "задних частей ребер", лежащей в пределах легочных полей. Этому эталону можно поставить в соответствие поле направлений границ ребер, определенное в тех же пределах. Оно задает в каждой точке легочных полей среднее направление границ ребер в некоторой окрестности этой точки. С учетом допустимых отклонений это поле задает допустимые направления ребер в каждом месте легочного поля для всех возможных флюорограмм, что используется для нахождения границ ребер на каждой конкретной флюорограмме.
Аналогичным образом можно задать схематический эталон "передних частей ребер" (которые на рентгеновском снимке секут задние части ребер примерно под прямым углом), построить по нему эталонное поле направлений граней передних частей ребер и по тем же самым алгоритмам, которые использовались для определения задних частей ребер, искать их передние части. Точно так же для поиска ключиц на любой конкретной флюорограмме достаточно сменить эталонное изображение ребер на эталонное изображение ключиц.
Имея эталонное изображение объекта (например, ребер), можно по нему построить не только поля направлений границ, но и поля других характеристик, например, поля размеров объектов, поля расстояний между объектами и т.п. Эти поля используются при поиске объектов на реальных флюорограммах. Таким образом, единичное изображение объекта порождает комплект эталонных полей характеристик. Такой комплект полей представляет информацию обо всем множестве допустимых флюорограмм грудной клетки и является описанием данного класса изображений.
Язык полей характеристик является конструктивным (алгоритмы построения различных полей просты и работают как на реальном изображении, так и на эталоне). Язык этот беспереборный, ибо алгоритмы анализа изображений с помощью полей характеристик не проводят выделения объектов и сравнения их с набором эталонов, а ищут данный объект, подобный заданному эталону, игнорируя все остальные объекты на изображении. Наконец, язык полей характеристик обладает широтой (в определенном выше смысле), ибо применим к различным классам изображений.
Итак, адекватный язык дает возможность по единичному образцу построить описание класса, т.е. образовать понятие. По каноническому образцу буквы на основании правил трансформации (правил перехода одних элементов в другие) строится описание всего класса. Точно так же "прочтение" конкретной согласной на артикуляционном языке дает нам описание всего класса ("взрывной, глухой, заднеязычный"). Заметим, что такой подход в корне отличается от традиционного для распознавания образов обучения на примерах по совокупности отличительных признаков.
Следует отметить, что подход к проблеме образования понятий как к задаче построения алгоритма распознавания получил распространение и в психологии, и даже в философии. В "Философском словаре" (М.: Сов. энциклопедия, 1980) "понятие" трактуется как "мысль, представляющая собой обобщение (и мысленное выделение) предметов некоторого класса по их специфическим (в совокупности отличительным) признакам..." (с. 287). Собственно говоря, здесь описана суть алгоритма классификации объектов по косвенным признакам, и в искусственном интеллекте это очень часто и называлось образованием понятий.
В истории развития исследований по искусственному интеллекту обращает на себя внимание следующее. Если на начальном этапе распознавание образов составляло одну из важнейших областей искусственного интеллекта, то в дальнейшем, не справившись с моделированием восприятия, искусственный интеллект вытеснил из своей сферы задачи распознавания. Процесс этот проходил методом "взгонки". Не справившись с задачей распознавания фонем, перешли к распознаванию слов и слитной речи. Не справившись с распознаванием букв и цифр, принялись за распознавание сцен. Не справившись с обработкой неподвижных изображений, перешли к обработке движущихся объектов. Неудачи в обработке плоских изображений имели своим следствием переход к анализу трехмерных сцен. И так далее. Теперь все упирается в базы данных, в представление знаний. Сосредоточившись на переработке символьной информации, искусственный интеллект тем самым отгородил себя от внешнего мира. К тому же и робототехника становится периферийной проблемой искусственного интеллекта. В связи с этими тенденциями встает вопрос о предмете искусственного интеллекта.
Кардинальной задачей мышления является посредничество между восприятием и поведением, обеспечивающее адекватную реакцию на различные внешние ситуации. Понятно, что мышление должно быть в высшей степени согласовано как с организацией восприятия, так и с организацией движения. То, что организация движения является одной из основ интеллекта, показали уже в конце 50-х годов И.М. Гельфанд, B.C. Гурфинкель, М.Л. Цетлин, М.Л. Шик. В 60-е и 70-е годы в психологии укрепилось понимание того, что восприятие не есть пассивный процесс обработки информации, продвижения ее по конвейеру, а осуществляется при участии верхних уровней, что восприятие тесно связано с организацией памяти. Фактически признано, что трудно провести грань между восприятием и мышлением, между мышлением и поведением. Такая точка зрения отразилась в выражении: глаз есть выдвинутая часть мозга.
Метод сегментации сложнотекстурированных изображений
Для решения задач распознавания образов по результатам анализа растровых полутоновых изображений необходимо решить задачу разделения исходного изображения на части (сегменты), различающиеся по своему семантическому содержанию. От качества сегментации зависит эффективность дальнейшего анализа и классификации изображений.
Известен способ сегментации изображения, называемый наращиванием областей [98]. Суть его заключается в том, что элементы изображения с одинаковыми или близкими уровнями яркости группируют, объединяя в однородные области. Для этого на исходном изображении ищут элементарные области, где пиксели объединяются в группы, если они обладают одинаковым уровнем яркости и являются соседями в смысле четырехсвязности. Затем элементарные области, имеющие общие границы, сливаются воедино согласно различным эвристическим правилам. Недостатком этого способа является необходимость подбора яркостных порогов в интерактивном режиме.
При проведении выращивания и слияний областей часто используется текстурная информация [110]. Однако использование текстурной информации при выращивании ограничивается тем, что для анализа текстуры (обычно это вычисление различных признаков, описанных в математической статистике), как правило, уже требуется иметь область размером более одного пикселя, что при выращивании (добавление единственного пикселя к области) невозможно
Выделение контуров объектов на полутоновых растровых изображениях можно осуществлять совместно с выделением самих объектов. Для этого обычно используют пороговые методы сегментации на основе среднего значения яркости пикселей, например, [67] предложен градиентный способ выделения контуров объектов на матрице полутонового растрового изображения, заключающийся в том, что для всех пикселей растрового изображения вычисляют норму или квадрат нормы градиента изменения их яркости, затем на новой черно белой монохромной матрице черным цветом на белом фоне выделяют все элементы, у которых значение нормы или квадрата нормы градиента больше порогового значения, а в качестве контуров объектов на монохромной матрице принимают связные конфигурации элементов черного цвета, для выбранного способа вычисления градиента экспериментально определяют коэффициент, затем рассчитывают пороговое значение квадрата нормы градиента как произведение данного коэффициента на сумму квадратов средних величин модулей изменения яркости соседних пикселей по строкам и столбцам, у которых значения превышают общие средние уровни ненулевых изменений, соответственно, по строкам и столбцам, а среди связных конфигураций элементов черного цвета на монохромной матрице сразу отбрасывают конфигурации, у которых число входящих элементов менее 5-7 элементов, для оставшихся конфигураций вычисляют среднюю степень соседства - частное от деления суммы по всем элементам конфигурации соседних с ним элементов на сумму элементов в конфигурации, причем те конфигурации, у которых средняя степень соседства менее 3, отбрасывают, а оставшиеся принимают в качестве искомых контуров объектов.
К недостаткам данного способа можно отнести слишком большое число эмпирически настраиваемых параметров, что не позволяет получить решающие правила, пригодные для изображений одного и того же класса, полученных при различных условиях или при различных уровнях помех. При нечетких сегментах такие параметры подобрать практически невозможно. Близким к предлагаемому способу является способ сегментации [63], который заключается в определении унимодального или бимодального типа исходной яркостной гистограммы в «пустой» маске и порогового уровня яркости. Этот пороговый уровень позволяет разделить бимодальную гистограмму на два унимодальных фрагмента, а также обеспечить обратный переход от фрагментов гистограммы к сегментам изображения. Яркостную гистограмму в «пустых» масках аппроксимируют полиномами, после чего строят кривую динамики центра гистограмм и определяют яркостные интервалы заданных значений яркости. Затем вычисляют вес области разделения для каждого интервала, идентифицируют яркостной интервал для области разделения с максимальным весом. При превышении максимального веса области разделения над нормативным весом, принимают решение о бимодальном типе исходной яркостной гистограммы. В качестве порогового уровня яркости для обеспечения операции порогового среза исходного изображения принимают глобальный минимум аппроксимирующего полинома на яркостном интервале с максимальным весом области разделения.
Недостатком данного способа заключаются в том, что гистограмма в «пустой» маске, центр которой лежит на границе сегмента, не всегда получается бимодальной. В этом случае, пиксель, лежащий на границе сегмента, не идентифицируется как граница сегмента, и, наоборот, гистограмма в «пустой» маске может быть не унимодальной или многомодальной на границе сегмента, что также ведет к потере пикселя, лежащего на границе сегмента.
Наиболее близким к предлагаемому является способ сегментации [111], принципиально состоящий из двух этапов: выращивания и последующего слияния сегментов. Выращивание областей в данном случае используется для выполнения начальной заведомо избыточной сегментации (initial oversegmentation), а слияние областей, основанное на методах теории графов, имеет своей целью достижение окончательного оптимального состояния сегментации. Определение центров кристаллизации в данном методе происходит в автоматическом режиме на основе градиентного изображения, полученного из исходного с помощью масочного оператора Кирша (Kirsch).
Использование здесь градиентного изображения позволяет достаточно универсально решить проблему автоматического обнаружения центров кристаллизации, так как минимумам функции градиентного изображения будут соответствовать точки с максимально однородной окрестностью (потенциальные центры роста сегментов). Однако недостатком применения оператора Кирша в данной ситуации является его пространственная ограниченность (анализируется окрестность только 33 пикселей), тогда как при поиске центров кристаллизации было бы полезным исследовать окрестность точки на больших масштабах, чтобы учесть низкочастотные изменения функции яркости изображения и, таким образом, провести более точное последующее определение центров роста.
Технической задачей предлагаемого способа является повышение точности выделения границ сегментов полутоновых изображений (большее соответствие выделяемых сегментов субъективному восприятию изображения человеком) и как следствие, повышение помехоустойчивости сегментации, а также повышение степени автоматизации процесса анализа и классификации сегментов изображения.
Многоагентный нозологический классификатор
Процесс поиска границы ребра начинается с определения поля сканирования. Поле сканирования задается набором реперных точек. В принципе, поле сканирования – это сегмент изображения, в котором может находиться граница ребра. Для определения этого сегмента достаточно построить на изображении модель границы ребра и выбрать вокруг полученной кривой зону пикселей, которая определяется погрешностью моделирования границы ребра и индивидуальными особенностями флюорограмм грудной клетки.
Определение границы ребра посредством итерационного приближения поясним с помощью рисунка 2.18.
Для прояснения ситуации осуществляем сканирование некоторой зоны пикселей вокруг глобальной модели ребра, которая задается на каждом шаге итерации. Для ускорения выполнения этой итерационной процедуры выберем по оси абсцисс шаг сканирования не один пиксель, а m1/2 . По оси ординат шаг сканирования оставим один пиксель, но при этом маска перемещается относительно реперной точки в вертикальном направлении на величину y и -y.
Таким образом, в каждом итерационном цикле определяется координата сегмента границы ребра и координата реперной точки. Координата q-й реперной точки по оси абсцисс определяется как xq-1+m1/2, а по оси ординат f1(xq-1+m1/2).
Алгоритм должен отвергать модель границы ребра с началом в точке (i,j) на плоскости изображения F в двух случаях. В первом случае фиксируется «разнос» локальных моделей относительно глобальной модели, что определяется процессом накапливания увеличения расстояния по вертикальной оси между реперными точками и соответствующими координатами глобальной модели. Второй случай предусматривает остановку итерационного процесса в связи с низкими значениями результатов морфологических операций. Здесь необходимо учитывать, что в процессе сканирования в пределах маски морфологического оператора изображения ребра может «пропасть» или оказаться низкоинтенсивным. Поэтому порог для результата морфологической операции необходимо адаптировать к общей интенсивности пикселей изображения в пределах маски. Если же изображение границы ребра «пропала» в данной реперной точки, то это не говорит о том, что имеет место артефакт. Возможно, что оно появится вновь в следующей реперной точке. Поэтому необходим счетчик артефактов. Если число «пропаданий» границ изображения превысит определенный порог, то следует отказаться от поиска границы ребра с началом в данной координате изображения.
Перед определением границ ребер на РС необходимо выделить поля легких. Итерационный процесс заканчивается, когда реперная точка вышла за границу полей легких.
Схема алгоритма, реализующего итерационный процесс поиска границы ребра, представлена на рисунке 2.19. В блоке 1 задаются координату первой реперной точки. Эти координаты определяются на выходе алгоритма, представленного на рисунке 2.16 При реализации алгоритма определяются координаты реперных точек, которые используются при реализации последующих процедур алгоритма. Поэтому в блоке 2 организуется счетчик реперных точек. В этом же блоке организуется счетчик артефактов, при превышении установленного уровня которого прекращается процедура определения границы ребра с координатами (i,j). В блоках 3 и 4 определяются координаты текущей реперной точки.
После определения координат текущей реперной точки может быть построен структурообразующий элемент для текущей реперной точки (блок 5). Эта процедура в основном связана с преобразованием координат глобальной модели границы ребра, в результате которого получаем локальную модель границы ребра, которая и определяет структурообразующий элемент.
В блоках 6 и 7 вычисляются морфологические операции в пикселях изображения F, лежащих в зоне сканирования маски морфологического оператора. Зону сканирования, кроме координат реперной точки, определяет параметр y, который подбирается эмпирически.
Экспериментальные исследования метода сегментации сложнотекстурированных изображений
Третий модуль программного обеспечения предназначен для визуализации патологических образований и морфологических структур РС и включает технологии нейронных сетей и гибридные технологии, реализованные на спектральном анализе и статистическом анализе в «скользящем окне».
Подсистема автоматизированного анализа РС может работать в двух режимах. Первый режим предназначен для врача-специалиста и программное обеспечение, осуществляющее его поддержку, ориентировано на поиск рентгенологических синдромов из известного множества классов, соответствующие эталонные изображения для которых хранятся в базе данных. Схема алгоритма этого режима представлена на рисунке 4.3. В блоке 1 осуществляется ввод РС в файл-буфер. В блоке 2 осуществляется предварительная обработка РС грудной клетки.
В блоке 3 осуществляется сегментация РС. В блоке 4 врач анализирует полученное сегментированное изображение и по результатам анализа определяет рентгенологический синдром, присутствие которого необходимо определить на РС.
В блоке определяется уверенность в наличии синдрома, код которого был введен в блоке 5. Если эта уверенность низка, то блок 7 позволит вернуться к блоку 5 и изменить код рентгенологического синдрома.
Окончательное решение в наличие рентгенологического синдрома принимается в блоке 8.
Второй режим предназначен для инженера-программиста и ориентирован на синтез моделей нейросетевых структур для анализа РС и гибридных технологий обработки данных, ориентированных выявление рентгенологических синдромов на РС и на диагностику заболеваний легких.
Схема алгоритма этого режима представлена на рисунке 4.4. Для получения технологии выделения рентгеновского синдрома соответствующего класса необходимо создать базу данных изображений с соответствующими патологическими образованиями, причем каждому изображению РС должен соответствовать эталонный сегмент («правильный ответ»). После синтеза базы данных наступает непосредственно работа инженера-программиста по созданию модели нейросетевых структур для классификации рентгенологических синдромов на РС.
Блоки 2-5 предназначены для синтеза мультиагентов для выделения рентгенологических синдромов на РС грудной клетки. Так как данная технология работает с черно-белым изображением, то база данных изображений с соответствующими патологическими образованиями должна содержать черно белые изображения. Для реализации технологии фильтрации в пространстве двумерных частот для патологических сегментов данного класса, необходимо синтезировать соответствующие пространственные «скользящие окна», назначение которых описано в разделе 2. После этого осуществляется настройка нейронной сети, реализованная блоком 3, принцип работы которого раскрыт в разделе 3. з
В блоке 4 проверяется качество классификации (выделения рентгенологических синдромов) и если качество не удовлетворительно, то посредством оператора CASE блока 6 реализуется один из переходов по ветвям 1, 2 или 3: ветвь 3 предусматривает увеличения объема обучающей выборки и соответствующие коррекции «скользящих окон» по классам рентгенологических синдромов.
Переход по ветви 2 предусматривает только коррекцию «скользящих окон» для заданного класса, а ветвь 1 предусматривает коррекцию только весовых коэффициентов нейронной сети.
Экспериментальные исследования метода сегментации сложнотекстурированных изображений Экспериментальные исследования предложенного метода локальной обработки показали, что он обладает универсальными свойствами, заключающимися как в подчеркивании (выделение) границ сегментов, так и размытие этих границ. Для подтверждения этого утверждения приведем примеры обработки этим методом тестовых изображений с шахматной «текстурой».
На рисунке 4.5 приведены примеры обработки трех тестовых изображений. Три тестовых изображения имели одинаковую форму текстурных элементов, но различные уровни яркости текстурных элементов. На левом поле каждого рисунка в нижнем прямоугольном окне эти уровни яркости показаны в виде дроби. В верхнем прямоугольном окне на этом же поле показано среднее значение яркости в текстурных элементах.
Тестовые изображения обрабатывались 25-элементной и 11-элементной масками. В качестве сравнения, слева от изображения, обработанного предложенным методом, приводится то же самое изображение, обработанное градиентным оператором. Размер клеточной текстуры тестовых изображений составлял 2424 пикселя. Анализ результатов обработки тестовых изображений подтверждает вывод о способности оператора как подчеркивать границы сегментов изображения, так и расширять их, что важно при обработке РС, когда градиентные операторы определяют на нем много лишних контуров с очень тонкой границей.
Анализ снимков показывает, что на них отсутствуют «лишние» контуры, а выделенные контуры имеют значительно большую толщину, чем контуры, выделенные градиентными операторами (см. рисунок 2.6,б). Это свойство оператора позволяет построить на его основе нелокальные методы выделения границ морфологических структур на РС, которые будут рассмотрены в следующих разделах.
Для оценки эффективности выделения по характеристикам выделения при одной и той же частоте ложного выделения пикселей Pfd, определялись частоты правильного выделения Ptd для различных способов сегментации.