Содержание к диссертации
Введение
Глава 1. Обзор аппаратно-программных средств обработки, анализа и классификации изображений микрообъектов 15
1.1. Развитие технологических средств анализа и обработки изображений медико-биологических микрообъектов 15
1.2. Анализ аппаратных средств компьютерных анализаторов изображений 23
Глава 2. Разработка и реализация средств ввода изображений микрообъектов в компьютерный анализатор и их обработки 25
2.1. Анализ и реализация методов автоматической фокусировки и ввода (оцифровки) изображений в компьютерный анализатор 25
2.2. Исследование и реализация процесса предварительной обработки изображений микрообъектов 27
Выводы к главе 2 31
Глава 3. Сегментация изображений микрообъектов и их описание 32
3.1. Анализ и решение проблемы автоматизации сегментации изображений микрообъектов 32
3.1.1. Анализ существующих методов сегментации изображений 33
3.1.2. Разработка универсального метода автоматизации сегментации изображений разнотипных микрообъектов 37
3.1.3. Методология выбора оптимальной цветовой плоскости для разработанного метода сегментации изображений 40
3.1.4. Экспериментальная оценка точности разработанного метода сегментации 44
3.2. Разработка методов описания объектов на сегментированном
Изображении 46
3.3. Анализ методов преобразования сегментированного изображения 51
Выводы к главе 3 53
Глава 4. Морфометрическии анализ, распознавание и классификация изображений разнотипных микрообъектов, практическая реализация разработанных методов 55
4.1. Актуальность решаемых задач 55
4.2. Методология формализации знаний врачей об исследуемых микрообъектах, математическая модель обобщенного описания микрообъектов 56
4.3. Анализ и реализация методов морфометрического анализа, распознавания и классификации изображений разнотипных клеточных и тканевых структур... 63
4.3.1. Методы распознавания и классификации клеток периферической
крови человека 63
4.3.1.1. Морфометрический анализ и дифференцированный счет лейкоцитарных клеток 63
4.3.1.2. Дифференциальный счет эритроцитов и построение кривой Прайс-Джонса для эритроцитометрии 72
4.3.1.3. Счет соотношения ретикулоцитов и эритроцитов для определения ретикулоцитарного индекса 75
4.3.2. Методы морфометрического анализа, распознавания и классификации сперматозоидов человека 79
4.3.3. Методы и программные средства морфометрического анализа изобраэюений «комет» для оценки индивидуальной радиочувствительности онкологических больных 94
4.3.4. Методология и технологические средства компьютерной морфометрическои диагностики доброкачественных и злокачественных новообразований предстательной железы 101
4.4. Программное обеспечение компьютерного анализатора изображений 110
Выводы к главе 4 112
Заключение 113
Рекомендации 114
Литература 115
Приложение 1 120
- Развитие технологических средств анализа и обработки изображений медико-биологических микрообъектов
- Исследование и реализация процесса предварительной обработки изображений микрообъектов
- Разработка универсального метода автоматизации сегментации изображений разнотипных микрообъектов
- Методология формализации знаний врачей об исследуемых микрообъектах, математическая модель обобщенного описания микрообъектов
Введение к работе
Актуальность диссертационной работы определяется важностью решения проблем повышения количественных и качественных характеристик микроскопической диагностики.
В современной медицине основными методами установки окончательного диагноза для большого круга патологий, в таких областях как гематология, андрология, цитогенетика, гистология и других остаются цитоморфологические 4 методы. Эти методы подразумевают анализ под микроскопом препаратов кле точных структур крови, костного мозга, спермы, урины и т.д., а также эпителиальных и тканевых структур (в дальнейшем микрообъектов). Диагноз ставит врач на основе анализа отдельных микрообъектов препарата или их совокупности.
До сегодняшнего дня микроскопическая диагностика заболеваний на ос- \Щ нове анализа клеточных и тканевых структур (микрообъектов)1 на медико биологических препаратах в гематологии, андрологии, цитогенетике, андроло-гии и многих других областях проводится врачами вручную под микроскопом и в буквальном смысле «на глаз».
Этот процесс (в основном заключающийся в дифференцированном счете микрообъектов) очень трудоемок и утомителен, а возможности получения количественной информации ограничены. Оценки микрообъектов даются в основном субъективные и приблизительные (качественные), такие как «больше - Ф меньше», «темнее - светлее» и т.д. Отсюда - низкая точность диагностики и низкая повторяемость результатов анализа. Все это вызывает необходимость в разработке новых компьютерных технологических средств (математических методов, методик, алгоритмов, программных средств) автоматизации про , цессов обработки, анализа, распознавания, классификации изображений микро объектов и диагностики заболеваний.
Относительно недавно начали появляться компьютерные системы анализа изображений микрообъектов (компьютерные анализаторы), позволяющие в известной степени автоматизировать этот трудоемкий процесс анализа, а главное, дать возможность специалисту-микродиагносту получить большой объем принципиально новой количественной информации, которая в процессе постановки диагноза уменьшит влияние субъективного человеческого фактора, и тем самым повысит надежность и повторяемость результатов анализа.
Компьютерные анализаторы изображений микрообъектов - это аппаратно-программные комплексы, которые позволяют вводить изображения микрообъектов в компьютер2 с медицинских препаратов, установленных на микроскопе с черно-белой либо цветной видеокамерой. Специализированные программные средства комплексов ориентированы на автоматизацию процессов
т ввода, поиска, обработки, морфометрического анализа, распознавания, класси фикации и дифференцированного счета изображений исследуемых микрообъектов [1, 3, 5, 6, 10, 28, 33]. Для достижения максимально возможной автоматизации анализа желательно, чтобы микроскоп был оборудован моторизированным и управляемым с компьютера предметным столиком (для автоматизации процесса поиска заданных микрообъектов на препарате и для реализации процесса автоматической фокусировки), а также объективной турелью для автоматической смены объективов (в случае, если объект не помещается в кадр).
Трудность автоматизации анализов медико-биологических микрообъек тов заключается в том, что эти объекты, как и все объекты естественного происхождения, отличаются большим разнообразием строения даже внутри одного класса. Существенные трудности также вносят разнообразие методов подготов ки и окраски медико-биологических препаратов и изменение характеристик химикатов со временем под воздействием света и воздуха.
В настоящее время компьютерные анализаторы еще не получили широкого распространения в основном из-за высокой стоимости и часто узкой направленности на определенный тип анализа конкретного препарата, а также жесткой привязки программного обеспечения к оборудованию. Все это не позволяет заменить микроскоп компьютерным анализатором на каждом рабочем месте врача-микродиагноста.
Тем не менее, компьютерные анализаторы изображений микрообъектов являются в высшей степени востребованными для анализов патологически из-мененных клеточных и тканевых структур, особенно для морфометрического анализа этих структур, необходимого для достоверности и надежности диагностики заболеваний, для обучения студентов мединститутов, врачей клинической лабораторной диагностики, для теледиагностики и телеконсультаций.
Они могут быть использованы как в повседневной деятельности врача — практика (гематолога, цитолога, гистолога, морфолога, андролога и др.) в клинико-диагностической лаборатории для повышения производительности труда, так и при проведении фундаментальных и прикладных исследований в медико-биологических учреждениях, в судебной медицине и т.д., для совершенствования морфологической микродиагностики.
Актуальность данных систем прослеживается и при документировании исследований и результатов анализов. Обычно врач-микродиагност, субъективно оценив препарат, заполняет бланк результатов анализа, а иллюстративная информация микрообъектов проанализированного препарата не прилагается и не сохраняется (препараты на предметных стеклах со временем выцветают и портятся).
Поэтому предлагается вариант совместного (централизованного) использования одной (базовой) автоматизированной компьютерной системы врачами разных специальностей. Для этой базовой системы создать универсальные (с точки зрения использования) технологические средства (методы, алгоритмы, программные средства) ввода, обработки и анализа изображений разнотипных препаратов.
В этом случае возможно одну базовую систему поставить в медицинском центре, клинике, больнице, в учебном мединституте и объединить ее в компьютерную сеть с компьютерами, стоящими на рабочих местах в разнопрофильных диагностических лабораториях, на разных кафедрах этих же организаций, для проведения углубленного анализа, морфометрии, документирования, обучения, консультаций и т.д.
Такое разнопрофильное использование системы позволит наиболее полно загрузить систему и избежать неэффективного использования дорогостоящего оборудования (микроскопа с моторизированным предметным столиком, видеокамеры, управляющего компьютера).
Целью диссертационной работы является исследование, разработка и реализация новых универсальных компьютерных технологических средств (методов, методик, алгоритмов, программных средств) для автоматизации процессов ввода, обработки, морфометрического анализа, распознавания и классификации изображений разнотипных микрообъектов, т.е. для компьютеризации анализов клеточных и тканевых структур при микроскопической диагностике.
Для достижения поставленной цели решаются следующие задачи:
• исследование, разработка и реализация средств ввода изображений в компьютер
• исследование средств обработки изображений, формирование методики предварительной обработки изображений медико-биологических микрообъектов и ее реализация
• исследование, разработка и реализация средств сегментации изображений микрообъектов
• исследование, разработка и реализация методов преобразования сегментированного изображения, описания объектов на нем (построение контуров и хорд), операций с контурами.
• исследование, разработка и реализация индивидуальных технологических средств морфометрического анализа разнотипных медико-биологических микрообъектов.
Методы исследования базируются на теоретическом анализе с применением математического аппарата теории распознавания образов, теории статистических решений, фильтрации сигналов, а также экспериментального программного моделирования методов и технологических средств обработки и анализа изображений.
Научная новизна работы заключается в разработке и реализации новых математических методов, технических и программных средств, ориентированных на решение проблем автоматизации процессов ввода, поиска, обработки (включая сегментацию), морфометрии, идентификации и классификации изображений разнотипных микрообъектов, с целью компьютеризации анализов клеточных и тканевых структур для диагностики заболеваний.
Практическая значимость работы заключается в том, что созданы специализированные компьютерные технологические средства для автоматической обработки, распознавания и морфометрического анализа изображений клеточных и тканевых структур. Разработаны алгоритмические, программные и информационные технологии для автоматического поиска микрообъектов, выделения их контура и контуров составляющих их элементов (с автоматизированной коррекцией), распознавания, идентификации и подсчета количества анализируемых микрообъектов в автоматическом и интерактивном режимах.
Исследования, выполненные в диссертации, осуществлялись в соответствии с темами Института проблем управления (фундаментальные НИР):
• 369-98/31 Организация визуальной системы для автоматизированной системы смешанных изображений (1998 - - 2002 гг.)
• 2413-04/31 Исследование и разработка технологических средств анализа и классификации изображений клеточных структур в системах управления медико-биологическими объектами (2003 - - 2006 гг.)
• в рамках программы Президиума РАН «Фундаментальные науки - медицине» (2002 - 2004 гг.)
Реализация результатов работы. Результаты теоретических и экспериментальных исследований нашли приложение в работах Эндокринолологиче-ского Научного Центра РАМН, Российского Научного Центра Рентгенорадио-логии МЗ РФ, Центральной клинической больницы РАН.
Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на:
• Международной конференции по автоматическому управлению «Автоматика - 2001». «Прогрессивные информационные технологии и системы». Украина, Одесса, 2001.
• Втором Российском Конгрессе по андрологии. Москва, 2002.
• Конференциях «Фундаментальные науки - медицине». Москва, 2003,2004.
• XXXI Международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе IT+SE 2004». Украина, 2004.
• 7-ой международной конференции «Цифровая обработка сигналов и ее применение». Москва, 2005.
Публикации. Основные результаты, отражающие содержание диссертации, опубликованы в 9 работах (в скобках указан вклад автора в совместных публикациях):
1. Попова Г.М., Дружинин Ю.О., Степанов В.Н. Организация визуальной системы для автоматизированной обработки смешанных изображений микрообъектов / Международная конференция по автоматическому управлению «Автоматика - 2001». «Прогрессивные информационные технологии и сие темы». Научные труды. Одесса. 2001. Т.2. С. 162-163. (участие в разработке программного обеспечения системы)
2. Попова Г. М., Дружинин Ю. О., Степанов В.Н., и др. Компьютерная морфо-метрия изображений сперматозоидов / 2-ой Российский Конгресс по андро-логии. М.: ЦНМСТ РАМН, 2002. (обработка и сегментация изображений сперматозоидов, участие в построении структурной модели сперматозоида)
3. Попова Г.М., Дружинин Ю.О., Степанов В.Н.. Компьютеризация анализов клеток и тканей в лабораторной диагностике и прикладных исследованиях // Труды Института. Т. XVIII. М.: ИЛУ РАН им. В.А. Трапезникова, 2002. С. 140-156. (обработка и анализ изображений клеток крови)
4. Попова Г.М., Дружинин Ю.О., Степанов В.Н., Боженко В.К., Добрачева А.Д. Системный подход к вопросам анализа и обработки изображений микрообъектов в лабораторной диагностике и прикладных исследованиях / Конференция «Фундаментальные науки - медицине». Тезисы. М.: Фирма «Слово»,
Л 2003. С. 55-56. (обработка, сегментация изображений)
5. Попова Г.М., Степанов В.Н. Анализ и обработка изображений медико-биологических микрообъектов // Автоматика и телемеханика. 2004. № 1. С. 131-142. (обработка, сегментация и анализ изображений)
Степанов В.Н. Системный подход к организации компьютерных процессов обработки и анализа микрообъектов. XXXI Международная конференция «Информационные технологии в науке, образовании, телекоммуникации и бизнесе IT+SE 2004» / Материалы конференции // Успехи современного ес 4 тествознания 2004. № 5. Приложение 1. С. 56-58.
7. Попова Г.М., Дружинин Ю.О., Степанов В.Н., Дятчина И.Ф., Гончаров НИ, Добрачева А.Д. Компьютерный морфометрический анализ изображений сперматозоидов // Системный анализ и управление в биомедицинских системах. Т.З, №4, 2004. (обработка, сегментация изображений сперматозоидов)
, 8. Попова Г.М., Степанов В.Н., Дружинин Ю.О., Берщанская A.M., Мельникова Н.В. Формализация процедуры морфометрической диагностики доброкачественных и злокачественных новообразований простаты в системе «Морфолог-Сеть». // Фундаментальные науки - медицине. Матер. Конф. Москва, 2004. - М.: фирма «Слово», 2004. С. 81-84. (обработка, сегментация и участие в анализе изображений эпителиальных и железистых структур гистологических препаратов)
9. Попова Г.М., Степанов В.Н. Автоматизация процессов сегментации изобра-жений медико-биологических микрообъектов. // 7-ая Международная конф. «Цифровая обработка сигналов и ее применение». Матер. Конф. Москва, 2005. (в печати) (обработка, сегментация изображений клеточных структур) Структура и объем работы. Диссертация состоит из введения, 4 глав, заключения и 1 приложения, изложена на 122 страницах машинописного текста, содержит 36 иллюстраций, 7 таблиц и библиографический список, вклю tflf чающий 43 наименования.
В первой главе дается обзор технологических средств обработки, анализа и классификации изображений медико-биологических микрообъектов. Проводится анализ и обзор подходов и методов, положенных в основу разработки; анализ технических решений по реализации таких технологических средств, трудности их реализации (их решений), краткие характеристики существующих компьютерных систем анализа изображений микрообъектов, определяется основное направление повышения эффективности таких систем.
Во второй главе исследуются и разрабатываются технологические сред ства ввода изображений со стеклопрепаратов в компьютер и их предварительной обработки. Для ускорения процесса фокусировки предлагается методика, при которой в процессе ввода изображения в компьютер его преобразование из формата raw в формат RGB производится по алгоритму «билинейная интерполяция», а в процессе фокусировки - «интерполяция по ближайшему соседу». Предложен метод предварительной обработки изображения для задачи распо знавания микрообъектов, заключающийся в оптимизации гистограммы яркости низкочастотной фильтрации (фильтр «размытия по Гауссу»). Также предложена методика предварительной обработки изображения для задач, требующих качественного визуального представления (например, для коллегиального обсуждения патологически измененных микрообъектов, для обучения студентов мед-институтов).
В третьей главе исследуются и разрабатываются технологические средства сегментации изображений микрообъектов и их описания. Основное внимание уделяется разработке метода сегментации изображений микрообъектов и его теоретическому обоснованию. Предлагается метод интерактивной сегментации в пространстве HSV (цвет, насыщенность, уровень) с использованием цветовых плоскостей HS и HV. Предлагается методика выбора одной из вышеназванных плоскостей в зависимости от параметров изображения. Проводится экспериментальная оценка точности сегментации по описанному методу. Для т описания объектов на сегментированном изображении предлагается метод по строения контуров и хорд на основе метода заполнения ограниченной области «с затравкой». Этот метод существенно быстрее широко используемого метода «обхода контура», хотя и не позволяет получить упорядоченный контур. Для большинства задач распознавания необходимость в упорядоченном контуре отсутствует.
В четвертой главе разрабатываются индивидуальные технологические средства компьютерного морфометрического анализа, классификации и диф Щ ференцированного счета изображений клеток крови человека (лейкоцитов, эритроцитов, ретикулоцитов), сперматозоидов, изображений «комет» (специальным образом обработанных ядер лейкоцитов), клеточных и тканевых структур гистологических препаратов. Формируется методология формализации знаний врачей об исследуемых микрообъектах, включающая построение структурной и параметризованной моделей обобщенного описания микрообъекта.
Разработанные средства морфометрического анализа позволили в той или иной степени решать такие диагностические задачи, как подсчет лейкоцитарной формулы, построение эритроцитометрической кривой (кривой Прайс-Джонса), вычисление ретикулоцитарного индекса, счет спермограммы, определение индивидуальной радиочувствительности онкологических больных, диагностика рака предстательной железы.
В заключении сформулированы основные результаты, полученные по диссертационной работе, и даны рекомендации по расширению области применения разработанных методов и технологических средств.
В приложении приводятся полные таблицы результатов экспериментальной проверки точности сегментации.
Развитие технологических средств анализа и обработки изображений медико-биологических микрообъектов
Первые попытки изучения возможностей автоматизации процесса распознавания образов относятся к началу 50-х годов, когда цифровые вычислительные машины стали общедоступным средством обработки информации. В конце 50-х годов Розенблатт предложил перцептронный алгоритм, который представлял собой одну из первых моделей процессов запоминания и организации информации, реализуемых мозгом [31]. В этот период ведущие подходы к решению задач распознавания были основаны на идеях теории статистических решений и пороговой логики. Исследования в области синтеза систем распознавания набирали темп на протяжении 60-х годов по мере того, как расширялось использование вычислительных машин и становилась очевидной потребность в более быстрой и эффективной связи человека с вычислительным комплексом. Для того чтобы при решении некоторых типов задач распознавания зрительных образов можно было пользоваться результатами теории машинных языков и соответствующими возможностями обработки информации, был предложен синтаксический подход, как дополнение к аналитическим методам.
В распознавании образов можно выделить два направления: распознавание конкретных объектов и распознавание абстрактных объектов. В первом случае распознаются зрительные и слуховые образы, т.е. изображения (в том числе и медико-биологических микрообъекты) и звук. Это направление можно назвать «сенсорное распознавание». Во втором случае распознаются различные регулярности, встречающиеся, например, в экономических данных или в данных научных исследований; распознавание этих регулярностей достигается с использованием методов распознавания образов [12]. При такой интерпретации образу соответствует любой тип регулярности (порядок, структура), встречающийся в сложных данных. Подобные процессы обеспечивают распознавание абстрактных объектов и их можно определить как «понятийное» распознавание. В данной работе рассматривается только первое направление в распознавании образов.
Приступая к рассмотрению вопросов автоматизации процессов анализа микрообъектов, оговорим, что следует понимать под термином «микрообъект». Согласно определению в [21], микрообъектами будем называть объекты, размеры которых могут быть определены с помощью оптического микроскопа. Современный оптический микроскоп обладает разрешением порядка Я/2, где X — длина волны света, используемого для освещения препарата. Для видимой части электромагнитного спектра длины волн лежат в пределах от 0,4 до 0,76 мкм. Таким образом, нижний размерный предел микрообъектов составляет 0,2 - 0,3 мкм.
Ограничение сверху определяется тем, что для измерения объектов, линейные размеры которых превышают примерно 1 мм, нет необходимости прибегать к помощи микроскопа. Однако наличие верхней границы размеров условно и для большинства вопросов, рассматриваемых в работе, не является принципиальным.
В указанном размерном диапазоне находится значительное количество объектов, которыми интересуются специалисты химической, технической, медико-биологической областей. Такие объекты имеются в живой и неживой природе, к этим объектам могут быть применены различные операции анализа, морфометрии, классификации.
Большую группу микрообъектов составляют аэрозоли - частицы, взвешенные в воздухе или каком-либо газе (пыль, дым, туман). Важной группой микрообъектов, используемых в технике, являются абразивные порошки. Они применяются в различных областях промышленности: металлообрабатывающей, камнеобрабатывающей, оптической. К микрообъектам относятся также зерна различных образований, проступающих на шлифе металла в результате травления, и дислокации в металлах и полупроводниках, микрокристаллы, неоднородности в виде пузырьков и вкраплений в стекле и пластмассах и многое другое.
Весьма обширной является группа биологических микрообъектов, к которым относятся разнообразные микроорганизмы, мелкие растения, и в первую очередь клетки, из которых состоят все живые организмы и отдельные элементы этих клеток. Подгруппой биологических микрообъектов являются медико-биологические микрообъекты, рассматриваемые в данной диссертации. К медико-биологическим микрообъектам относятся все микрообъекты, встречающиеся в теле человека. В основном это различные клеточные и тканевые структуры - такие, как клетки крови, костного мозга, хромосомы, сперматозоиды, железистые и эпителиальные структуры. На Рис. 1 показаны уровни организации биологических структур до организменного уровня [34]. Выделены уровни, на которых находятся микрообъекты и которые рассматриваются в данной работе.
В Таблица 1 приведены методы исследования, применяемые к биологическим структурам разных уровней. Методы оптической микроскопии применимы только к уровням III и IV. Соответственно на этих уровнях и находятся различные микрообъекты. Для более мелких объектов применяются методы электронной микроскопии, когерентной оптики [35], рентгеноструктурного анализа и др.
Наряду с оптическими системами появились т.н. цитофлуориметры. Основное отличие цитофлуориметров от оптических микроскопов заключается в том, что они работают только с жидкими препаратами, а не с сухими мазками. Это существенно ограничивает область их применения.
Исследование и реализация процесса предварительной обработки изображений микрообъектов
Сегментация изображений есть процесс распознавания, классифицирующий отдельные пиксели или их группы по принадлежности категориям объекта или фона [11, 12]. Сегментация является наиболее важным и сложным этапом анализа изображений микрообъектов, на этом этапе происходит преобразование нечеткого описания объектов на изображении к однозначному и четкому. Поэтому от качества сегментации зависит точность вычисления морфологических признаков микрообъектов, а следовательно и точность классификации и диагностики.
Трудность автоматизации сегментации медико-биологических микрообъектов заключается в том, что эти объекты, как и все объекты естественного происхождения, отличаются большим разнообразием строения и большой вариабельностью параметров даже внутри одного класса. Микрообъекты часто соприкасаются, накладываются друг на друга, форма искажается (за счет деформации микрообъектов в процессе создания препарата). Существенные трудности также вносят разнообразие методов окраски препаратов и изменение характеристик красителей со временем, под воздействием света и воздуха, а также качество дистиллированной воды, используемой для подготовки красителя. Поэтому полностью автоматизировать процесс сегментации изображений разнотипных медико-биологических микрообъектов на сегодняшний день затруднительно. Это возможно при анализе препаратов только одного типа микрообъектов с использованием специальной стабильной окраски.
Существует довольно много методов сегментации изображений, но все они являются в той или иной степени вариантами двух: порогового преобразования и обнаружения границ. Метод обнаружения границ плохо подходит для сегментации изображений медико-биологических микрообъектов, т.к. границы самих микрообъектов и границы их внутренних элементов изначально, по своей природе, нечеткие. Поэтому для цветных изображений микрообъектов в качестве базового метода сегментации был выбран метод порогового преобразования. В этом методе каждый пиксель относится к той или иной области сегментации в зависимости от значения одного или нескольких параметров, определяющих этот пиксель, относительно предварительно определенного порога или порогов. Пороги определяются разными способами, наиболее универсальный из которых - по гистограмме значений какого-либо из параметров (чаще яркости) [11]. В этом случае на гистограмме определяются «впадины», которые считаются границами областей сегментации.
Для черно-белых (grayscale) изображений каждый пиксель определяется (кроме координат) только одним параметром - яркостью. На Рис. 7 приведен пример сегментации монохромного изображения эритроцитов (на две области) и гистограмма яркости этого изображения, по которой проводилось определение порога (он помечен стрелкой).
В отличие от монохромного изображения, где каждый пиксель определяется только значением яркости, в цветном изображении каждый пиксель характеризуется значениями яркости трех цветовых компонент RGB (красного, зеленого и синего). Поэтому для сегментации цветных изображений одной гистограммы яркости не достаточно (пиксели с одинаковой яркостью могут иметь разный цвет). Работа с трехмерной гистограммой, где по трем осям находятся значения яркости цветов RGB, а на их пересечении - количество пикселей исходного изображения с такими значениями, является неприемлемой с точки зрения времени выполнения её на современных процессорах и объема требуемой памяти. Так, только для хранения такой гистограммы с 32 бит на значение требуется 64 Мб оперативной памяти.
Но во многих случаях, в том числе и при сегментации изображений кле точных структур, исключение одного из цветовых каналов не может считаться приемлемым решением, так как существует несколько методов окраски препа ратов, каждый из которых имеет свой цветовой баланс. Поэтому желательно сохранить всю информацию о цвете. Пространство RGB для этой цели не под ходит, так как его компоненты являются кореллирующими. Для этой цели обычно переходят от пространства RGB к другим цветовым пространствам — с некореллирующими цветовыми каналами. Наиболее часто используют про т странство формальных цветов XYZ, полученное экспериментальным путем CIE [17] в 1931 г. Это пространство легко нормируется по значению яркости и получается чисто цветовая плоскость, координаты точек которой вычисляются по формулам. Как показал анализ, пространство XYZ имеет ряд недостатков, главный из которых — неравномерность представления цветовой информации, т.е. под одни цветовые оттенки в плоскости XY отведена значительно большая площадь, чем под другие. Это объясняется тем, что цветовая схема XYZ основана на восприятии цветов человеческим глазом. Такая неравномерность приводит к большим погрешностям гистограммы, которые не так важны при ручном позиционировании «опорных точек», но могут стать неразрешимой преградой при реализации алгоритмов автоматического определения порогов. Экспериментальное подтверждение этих погрешностей можно видеть на Рис. 10, на котором проекция XY гистограммы построена по синтетическому изображению Рис. 9, содержащему равное количество всех цветов.
Разработка универсального метода автоматизации сегментации изображений разнотипных микрообъектов
В рамках одного препарата краситель, как правило, не имеет значительного разброса характеристик. Поэтому для автоматизации процедуры сегментации предлагается перед началом анализа препарата провести настройку порогов интерактивно, а в процессе анализа автоматически использовать полученные настройки для сегментации остальных объектов этого препарата и (или) других препаратов одной с ним серии.
В системе «Морфолог-сеть» были разработаны программные средства для упрощенного определения порогов: пользователь указывает на изображе нии те области, которые соответствуют областям сегментации, при этом «опор ные точки» автоматически устанавливаются на соответствующие места на гис тограмме. В этом случае фазу расстановки порогов можно считать фазой обу чения с учителем, а сам процесс сегментации - классификацией пикселей изо бражения в двумерном пространстве признаков с помощью линейной решаю щей функции. Преимущество предлагаемого метода сегментации в цветовых плоскостях перед другими, также основанными на пространстве HSV (или аналогичных), заключается в том, что пользователь наглядно видит распределение точек изображения по обособленным областям и может осознанно, а не вслепую устанавливать пороги. Настройка порогов производится для каждого типа препарата один раз, далее она сохраняется и применяется автоматически для всех препаратов данного типа. Такой подход позволяет сегментировать изображения с медико-биологических препаратов разных типов (гематологических, гистологических, цитологических), содержащие большое количество микрообъектов. Это делает метод универсальным с точки зрения его использования, а следовательно, и использования всей системы анализа изображений микрообъектов. На Рис. 13 приведен пример сегментации клетки крови человека (лейкоцита) по гистограмме HS. Здесь справа - сегментированное изображение, слева - исходное изображение с выделенным контуром, внизу - проекция гистограммы. На проекции видно 3 области, соответствующие фону, клетке и ядру. На данном изображении эритроциты по цвету мало отличаются от лейкоцита, поэтому они попали в ту же область. На Рис. 14 приведена изометрическая проекция гистограммы Рис. 13. На Рис. 15 приведен пример сегментации сперматозоида человека по гистограмме HV. Здесь видны 4 области — фон, сперматозоид, постакросомальная область и шейка. Если для сегментации этого изображения использовать гистограмму HS, сперматозоид плохо отделится от фона, т.к. его отличие от фона в канале насыщенности значительно меньше, чем в канале яркости. На Рис. 16 изометрическая проекция гистограммы Рис. 15. Анализ большого количества изображений разнотипных клеточных структур, полученных с помощью микроскопа и видеокамеры, показал, что для разных типов микрообъектов, а также для разных методов окраски препаратов, требуется использовать для сегментации либо гистограмму HS, либо HV. Иными словами, одни препараты имеют больше различий в канале насыщенности, а другие — в канале яркости. В этом заключается еще одно преимущество пространства HSV перед XYZ, в котором после преобразования к плоскости XY яркость не учитывается, т.е. плоскость XY эквивалентна существенно искаженной плоскости HS. Разработана методология выбора оптимальной цветовой плоскости для каждого конкретного препарата. Она заключается в выборе для сегментации цветовой плоскости, в которой области, соответствующие подлежащим сегментации элементам объекта и фона максимально удалены друг от друга. Данная методология подразумевает возможность проведения сегментации в несколько этапов, если некоторые элементы изображения лучше различаются в плоскости HV (например, объект и фон), а некоторые - в HS (например, внутренние элементы объекта). Оптимальная гистограмма определяется пользователем для каждой пары областей, т.е. для каждого порога индивидуально. На Рис. 17 в схематичном виде приведен пример выбора одной из гистограмм (HS или HV).
На гистограмме HS расстояние между областями, соответствующими фону (ярко-желтый) и объекту (грязно-желтый) меньше чем на гистограмме HV (в данном примере области различаются только в канале яркости, поэтому на гистограмм HS они слились в одну), поэтому для сегментации примера выбирается гистограмма HV.
Методология формализации знаний врачей об исследуемых микрообъектах, математическая модель обобщенного описания микрообъектов
Отождествление связных областей с форменными элементами структуры микрообъекта в рамках выбранной модели микрообъекта (настроенной только на один конкретный тип микрообъекта) осуществляется, как было показано выше, по яркостным, геометрическим (характеристикам формы и размера и т.д.) и топологическим (положение относительно других связных областей) признакам. Так как форменные элементы могут быть сложными, то установление соответствия связных областей форменным элементам микрообъекта неоднократно перепроверяется и в случае необходимости корректируется при вычислении параметров этих областей.
Приведенные выше структурные модели обобщенных описаний изображений клеток крови и сперматозоидов наглядно иллюстрируют невозможность формирования для них единой процедуры морфометрии. Компьютерную мор-фометрию, конечно, можно свести к вычислению размеченных вручную форменных элементов изображений микрообъектов, например, внешнего контура цитоплазмы, ядра у клеток крови, контура головки, акросомальной области, раздутой шейки и т.д. у сперматозоидов. Но в этом случае, вся процедура морфометрии перекладывается на самого исследователя, который вынужден из-за трудоемкости ручной разметки структурных элементов изображения ограничиться расчетом небольшого числа параметров (площадей и периметров замкнутых контуров, длин отрезков, углов между заданными отрезками и т.д.). Однако, кроме относительно небольшого числа общих параметров (площадь, периметр, коэффициент округлости замкнутых форм риметр, коэффициент округлости замкнутых форм элементов), необходимых для идентификации разных типов микрообъектов, для каждого из них требуется специальная индивидуальная морфометрия, которая диктуется различием не только структур самих клеток, но и значимостью атрибутов, разделяющих нормальные и аномальные клетки. Например, большим разнообразием форм этих микрообъектов, их линейных и текстурных параметров.
Все это означает, что повышение качества и информативности морфо-метрии возможно достичь только при автоматизации этой процедуры, при создании специализированных алгоритмов и программ обработки для каждого типа микрообъектов. Так, для идентификации самих клеток крови значимость формы их внешнего контура относительно невелика, они однообразны - круглые, округлые, овальные. Но форма их ядер (округлая, овальная, бобовидная с малым вдавлением, бобовидная с глубоким вдавлением, палочко - и сегменто-образная) для автоматической идентификации клеток играет существенную роль, хотя в большинстве случаев она не требует тонкого анализа. Форма ядра важна в основном для разделения сегменто- и палочкоядерных клеток, миело-цитов и метамиелоцитов.
Если диагностически значимые признаки у патологически измененных клеток крови проявляются в основном при параметризации значений атрибут цитоплазмы и ядра, то у сперматозоидов они проявляются уже на стадии определения их структуры. Так например, наличие или отсутствие в структуре исследуемого сперматозоида определенных форменных элементов (2два хвоста, две головки, отсутствие хвоста) достаточно, чтобы сделать вывод относительно его патологии.
Вместе с тем при анализе микрообъекта недостаточно использовать только структурную модель. Например, структурная модель изображения нормального сперматозоида не выявит большой и маленькой головки, не отделит сигарообразную головку от грушевидной и т.д.
Это означает, что для классификации микрообъектов помимо основных признаков (цвета и структуры), определяющих тип микрообъекта, необходимо сформировать характерные, отличительные особенности каждого из них, путем построения параметризованной модели их обобщенного описания, учитывающей метрические характеристики, как самого микрообъекта, так и составляющих его форменных элементов.
Для параметризации, у каждого типа нормальных и аномальных микрообъектов С необходимо определить ряд обобщенных существенных признаков их элементов С/ є Ck, путем морфологического анализа и исследования их геометрических, топологических и статистических параметров.
Каждая связная область С/ характеризуется своими индивидуальными существенными признаками, а следовательно, описывается множеством атрибутов в виде Ai = {Aj, а], ..., А{ at, ..., А№ ап }, где каждый элемент множества -это упорядоченная пара атрибутов (Ait ai), А{ - имя атрибута, at - его значение. Значение любого атрибута задается константой или интервалом. Тогда каждый микрообъект Ck соответственно своей структуре, будет описываться совокупностью Ai атрибутов.
В качестве атрибутов кроме основных информативных признаков формирующих клетку, будут выступать как количественные, так и качественные её признаки.
Наиболее простыми количественными признаками являются абсолюные размеры объекта: максимальный, средний или приведенный (RMaK, Rcp, Rnpue)- В различных гематологических справочниках при описании клетки даются пределы ее размеров, под которыми интуитивно подразумевается расстояние между максимально удаленными точками ее внешнего контура. Вместе с тем данный параметр имеет ограниченное применение, так как предельные размеры различных клеток пересекаются и часто отличаются от мазка к мазку. Использование относительных размеров клеток позволяет избавиться от последнего, если, например, размеры лейкоцитарных клеток определять (пересчитывать) относительно усредненного по мазку диаметра нормального эритроцита.
