Содержание к диссертации
Введение
Глава I. Задача выделения объектов на полутоновых изображениях . 13
1.1. Постановка проблемы. Обзор существующих методов выделения объектов. 13
1.2. Обзор методов использования нелокальной информации . 24
1.3. Многоуровневые, системы обработки изображений. 29
1.4. Обзор методов использования знаний при обработке: изображений. 32
Глава 2. Новые, методы использования нелокальной информации при обработке, полученных изображений . 35
2-1. Нелокальный метод КЧП выделения К-точек. 37
2-2. Получение и хранение нелокальной информации в виде; полей характеристик . 55
2-3. Использование, полей характеристик при выделении объектов. 62
2-4. Использование априорной информации при обработке1 полутоновых изображений. 72
Глава 3. Выделение изображений задних частей ребер в. системе; автоматизированной, обработки фяюорограмм органов грудной клетки . 75
3-1. Медицинская актуальность задачи. Обзор литературы по обработке, фяюорограмм. 75
3-2. Структура системы, предназначенной для выделения ребер на флюорограмме . 89
3-3. Нахождение К-точек с помощью алгоритма КЧП. 94
3-4. Объединение: К-точек в К-линии. 104
3-5. Аппроксимация К-линий параболами с использованием: априорных данных.
3-6. Анализ К-линий и формирование системы границ. ИЗ
3-7. Оценка результатов выделения задних частей ребер на флюорограммах грудной клетки. 125
Глава 4. Подавление, изображений объектов, при обработка рентгеновских снимков на ЭВМ. 131
4.1. Постановка задачи. Цели и трудности подавления. 131
4.2. Подавление, изображений ребер на флгоорограмме. 134
Заключение. 148
Список литературы.
- Обзор методов использования нелокальной информации
- Получение и хранение нелокальной информации в виде; полей характеристик
- Структура системы, предназначенной для выделения ребер на флюорограмме
- Подавление, изображений ребер на флгоорограмме.
Введение к работе
Современный период развития науки и техники характеризуется быстрым возрастанием значения обработки информации на ЭВМ. Наряду с; обработкой традиционных видов информации большое развитие получили, методы обработки на ЭВМ зрительной информации. Потребности в автоматизированной обработке изображений возникают в различных областях науки и техники: в геологии и геодезии при обработке космических и аэрофото -снимков, в медицине при обработке рентгеновских изображений и изображений микрообъектов /особую роль автоматизированная обработка играет при. создании систем скрининга населения/, при создании промышленных роботов и т.д. Методы обработки изображений /по стоящей перед ними цели/ можно разделить на два широких класса. Яри использовании методов первого класса результатом обработки изображения является также изображение, преобразованное для облегчения его визуального анализа. Сюда входят различные методы контрастирования изображений, их реставрации, подавления шумов и т.д. Конечной целью методов, отнносящихся ко второму классу, является получение описания /в той или иной форме/ изображения и его анализ. В литературе эти метода иногда обозначаются как методы, основанные на использовании знаний /кхиуиЛеЛшу Ьаші \чб\/. Одной из ключевых проблем создания систем автоматического анализа изображений является задача выделения объектов /смотри, например, [35*ПЗ|/.
Известно большое количество методов выделения объектов на полутоновых изображениях /их обзор дан в 1-1/. В основном эти методы сводятся либо к выделению границ объектов с помощью локальных либо региональных методов с последующим анализом полученных границ, либо к сегментации изображения с использованием глобальной информации об изображении в целом /например, гистограммы яркости изображения/. Типичной является ситуация, когда на первом этапе обработки используются локальные методы, а глобальная информация привлекается только на верхних" уровнях. Острой проблемой яв-ляет<2гя: совместное использование локальной и глобальной информации при выделении и интерпретации каждого объекта на изображении. Для зрительного восприятия человека эта проблема была впервне сформулирована в гештальт психологии. Кратко ее: можно сформулировать следующим образом: "целое изображение не является совокупностью его частей" или "интерпретация любой части изображения зависит от всего изображения" \{Q .
В настоящей работе представлены методы выделения объектов на полутоновых изображениях, в которых на всех уровнях обработки решения принимаются с учетом как локальной, так и глобальной информации.
Актуальность работы. Проблема использования нелокальной информации при анализе изображений приобрела особую остроту при переходе от обработки относительно простых изображений /таких как печатные символы, сцены из мшшонгран-ников и др./ к обработке сложных изображений реального мира /космические снимки земной поверхности, рентгенограммы грудной клетки, пейзажи, изображения групп промышленных деталей и многое другое/. На таких изображениях очень часто
интерпретация некоторых фрагментов локальными методами дает неправильные результаты. При предъявлении этих фрагментов человеку/ отдельно от всего изображения он также не может узнать объект, правильно указать его границы. В то же время при предъявлении всего изображения эта задача решается правильно. При создании систем, предназначенных для обработки таких сложных изображений, для обеспечения работоспособности этих систем в реальных практических условиях использование нелокальной информации является необходимым требованием.
ДелыЬ работы является разработка и реализация на программном уровне методов выделения объектов на полутоновых изображениях, основанных на нелокальном подходе, эти методы использованы при создании подсистемы выделения изображений ребер на флюорограмме грудной клетки.
Они включают методы, подавления изображения отдельных объектов на рентгеновских снимках с определением вклада этих объектов в суммарную оптическую плотность изображения. При этом изображения других объектов, накладывающихся на изображение данного, должны оставаться неискаженными.
Научная новизна. Для обработки изображений на нижнем уровне с целью выделения К-точек - кандидатов в границы объектов - использован нелокальный метод КЧП.8 Основные его достоинства: простота реализации; небольшой объем вычислений; сочетание использования локальных характеристик перепада оптической плотности изображения в данной точке с гло«-
^тот метод был впервые предложен Ш.А.Еуберманом и М.И. Овчинниковой [9] для анализа геофизических разрезов скважин.
бальными характеристиками структури' изображения при принятии решения о наличии в данной точке границы искомого объекта; автоматическое выявление структуры изображения.
Разработан метод учета глобальной информации на всех уровнях обработки с помощью промежуточного: языка описания изображения - так называемых "полей характеристик".к Поля характеристик используются в качестве управляющей информации в алгоритмах обработки и анализа изображений и являются эффективным средством учета глобальной информации об изображении /а также априорных сведений об искомых объектах/ при анализе конкретной точки /или фрагмента, участка границы, целой границы или изображения отдельного объекта/.
На основе предложенных методов создан многоуровневый комплекс алгоритмов, предназначенный для последовательного выделения К-точек, объединения их в К-линии - кандидаты в границы объектов, анализа границ объектов и построения полной системы границ всех объектов, видимых на изображении.
Еазработан метод выделения внутренней структуры изображения объекта в случае рентгеновских изображений, когда оптические плотности отдельных объектов при наложении суммируются. При выделении этой структуры и подавлении изображений найденных объектов /с целью облегчения поиска менее ярких: объектов/ используется адаптивная модель, подстраивающаяся под конкретное изображение.
%етод полей характеристик разработан в соавторстве с Ш.А.Губерманом и JL В.Кузнецовым [8j . Основной вклад Ш.А.Губерман и Л.В.Кузнецов внесли в решение общих теоретических вопросов и: создание алгоритмов построения полей
Практическая ценность работы. Представленные методы выделения объектов использованы при создании подсистемы выделения изображений задних частей, ребер на флюорограмме органов грудной клетки. Данная подсистема входит составной частью в разрабатываемую систему автоматической обработки флюо-рограмм /АОФ/ с целью выделения группы флюорограмм, подозрительных на наличие патологии. При этом врачебному анализу будет подвергаться не весь поток флюорограмм, а только существенно меньшая часть, отобранная при анализе системой АОФ. Создание такой системы особенно актуально в рамках реализуемой в СССР программы массовой диспансеризации населения с целью профилактики многих заболеваний.
До завершения разработки всей системы АОФ промежуточный результат: получение флюорограмм с подавленными изобра*-жениями ребер - может использоваться в рентгенологической практике для облегчения визуального анализа и улучшения выделения малозаметных нарушений в сложных случаях. Особенно большое значение такая работа может иметь при обработке флюорограмм больных некоторыми видами рака, при которых велика вероятность метастазирования в легкие. При этом тактика лечения существенно зависит от выявления или невыявления этих метастазов.
Реализация, Все представленные методы и алгоритмы реализованы в виде.: программ на языках Фортран и Ассемблер ЕС ЭВМ* Общий объем программ - около 80 000 операторов.
Публикации. По результатам выполненной работы имеется в соавторстве 12 публикаций.
характеристик и их коррекции. Дзюба Е.И; внес основной вклад в создание методов иг алгоритмов использования этих полей при. выделении объектов на изображениях.
/о
Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения и тома приложений. Работа изложена на 452 страницах, содержит 17- рисунков/без тома приложений/ и: библиографию из № названий,. Том; приложений содержит #0 рисунков.
Содержание работы. В первой главе дается постановка проблемы выделения объектов на полутоновых изображениях. Дан анализ существующих методов выделения объектов и нахождения границ объектов. Еассматриваются многоуровневые сио-темы обработки изображений.
Во второй главе обсуждается использование нелокальной информации при выделении объектов. В качестве метода обработки изображений на самом нижнем уровне выбран нелокальный метод K4EL выделения К-точек - кандидатов в границы объектов. Вводится промежуточный язык /между машинным описанием в вид& поточечной функции яркости изображения и человеческим описанием изображения в виде совокупности объектов с указанием взаимного расположения/ для описания изображений - поля характеристик. Поля характеристик получаются путем абстрагирования отдельных параметров изображения и содержат нелокальную информацию об изображении. Поля характеристик используются в качестве управляющей информации в алгоритмах выделения объектов. Рассматривается использование полей характеристик для введения в алгоритмы априорной информации об искомых объектах.
В третьей главе описано использование представленных мелгодов в подсистеме выделения задних частей ребер системы АОФ. Обсуждается медицинская актуальность создания такой системы. Представлен обзор литературы по обработке флюоро-
грамм. Описывается структура комплекса алгоритмов, отдельные его этапы. Анализируются результаты, получаемые после различных этапов обработки.
В четвертой главе обсуждается специфическая для рентгеновских изображений, задача подавления изображений отдельных объектов. Цредставлен метод подавления, использующий адаптивную модель искомого объекта. Анализируются результаты подавления изображений ребер на флюорограмме грудной клетки.
В заключении изложены основные результаты работы. Дан анализ эффективности предложенных методов при их использовании для нахождения ребер на флюорограмме.
Том приложений содержит примеры флюорограмм с промежуточными и окончательными результатами обработки: флюорограм-мы с нанесенными на них К-точками и К-линиями, с нанесенными окончательными границами, с подавленными изображениями ребер.
Настоящая работа выполнена в рамках создания системы автоматизированной обработки флюорограмм органов грудной клетки с целью разделения всего- потока флюорограмм на два класса: "нормальные" и "возможно, имеющие патологию". Эта система разрабатывается в соответствии с постановлением Я425 ЗЖНТ СМ СССР от 24.11.76 /номер государственной регистрации темы Л8ІІ00656 от 14.10.81/ совместно сотрудниками Института прикладной, математики им. М.В.Келдыша АН СССР /директор акад. А.Н.Тихонов/ и Московского научно-исследовательского онкологического института им. П.А.Герцена /директор д.мед.н. В.И.Чиссов/. От ИПМ в работе участвуют сотрудники отдела член-корр. АН СССР И.М.Гельфанда, отдела член-корр. АН СССР Д.Е.Охоцимского и отдела д.техн.н.А.Н.Мямлина.
/2
От МНЙОЙ в работе участвуют сотрудники отделения эффективности противораковой борьбы /руководители отде-
ления д.мед.н. \ЪМ.Шубин), д.мед.н. Е.Ф.Отранадко/. Обще руководство работой осуществляет ЙШ.Гёльфанд.
Автор выражает искреннюю благодарность научным руководителям работы ИШ.Гельфанду и Ш.А.Губерману, которые щедро делились с ним научными идеями и своим богатым опытом; М.А.. Хаджиеву за консультации по рентгенологическим вопросам и В.А.Ж'арову, Д.Н.Калинину, Л.В.Кузнецову и Т.А.Передриенко за помощь в работе.
Елава. Г. Задача выделения объектов на полутоновых изображениях.
1-1. Постановка проблемы. Обзор существующих методов выделения объектов.
Интенсивное развитие получила в последние годы обработка на ЭВМ полутоновых изображений. Это развитие стимулировалось с одной стороны разработкой технических средств, обеспечивающих удобный ввод, хранение и обработку зрительной информации; а с другой стороны потребностями практики в анализе большого количества самых разнообразных изображений. Наиболее остро проблемы автоматизированного анализа изображений стоязг при. обработке космических изображений; в задачах массового медицинского скрининга населения /анализ флюорог-рамм, образцов крови, клеточных мазков и т.д./, в которых объем: ежегодных обследований в мире исчисляется сотнями миллионов; при создании промышленных роботов; при автоматизации конструкторских работ и т.д. Среда множества задач обработки изображений значительное место занимают задачи, в которых- обязательным этапом является выделение объектов на изображении /под объектом здесь и далее понимается некая сущность, представленная на изображении, которой при линг-
*
вистическом описании изображения можно сопоставить определенное слово/. Эти задачи иногда обозначают как анализ изображений, основанный на знаниях. Вот как описывается этот класс задач в предисловии к специальному выпуску журнала "Pattern. RemgwJhon''j}&] : "Под анализом изображений основанном на знаниях мы понимаем серию преобразований, начинающихся с изображения, которое является массивом простых величин /пикселов/, заканчивающихся символическим они-
санием его содержания или значения.... Система способная к достижению этого должна иметь доступные общие и проблемно-ориентированные знания об изображениях, встречающихся в частной задаче, и она должна мочь объединить сигнальный уровень /т.е.пикселы/ с символическим уровнем /описанием/.... В контексте, анализа изображений такие системы требуют следующих средств: алгоритмы для обработки точек; для взаимодействия сигнального уровня с символическим; средства для организации символических структур; структуры данных и базы данных для хранения и доступа к большому числу изображений; средст** ва'для представления и использования знаний внутри системы; средства представления промежуточных результатов обработки; алгоритмы управления, которые определяют последовательность шагов обработки, ведущую к успешному анализу или интерпретации; языки программирования для удобного внедрения разработанных систем; технические средства для быстрого выполнения алгоритмов и для хранения требуемых программ и данных.... Используемые решения зависят от особенностей частных задач, поэтому не удивляет большое количество применяемых средств. Дальнейшие исследования и развитие этих средств потребуют боле,е глубокое понимание основных теоретических концепций, более глубокий анализ разработанных систем, выявление более универсальных методов и методов, лучше приспособленных к потребностям специфических задач."
Шстоящая работа посвящена одной из ключевых проблем среди перечисленных выше - проблеме выделения и идентификации объектов при переходе от поточечного описания к символическому. Большое внимание при этом уделено использованию знаний при выделении объектов. Используются знания двоякого рода: априорные сведения, вносимые в процедуру обработки из
вне, и глобальная информация,собранная специальным образом с данного конкретного изображения. Ключевое значение рассматриваемой проблемы выделения объектов подтверждается очень большим объемом публикаций на эту тему, который соизмерим с объемом публикаций по остальным указанным выше темам вместе взятым. Перед тем как перейти к изложению полученных нами результатов, рассмотрим существующие и описанные в литературе методы.
В течение Е? лет развития методов обработки изображений на ЭВМ было предложено и использовано большое количество различных способов выделения объектов на изображении. Можно выделить два основных подхода. ..Лервый основан на выделении границ объектов,..т.е. максимально неоднородных областей.Второй^ наоборот, на сегментации изображения на возможно.более однородные области. К сожалению очень мало работ, в которых сделаны попытки объединения обоих подходов. Большое внима -ние, уделяемое методам выделения границ /краев, кромок/,вызвано тем, что по общему мнению эта проблема является ключевой в решении многих задач машинного зрения. Разнообразие используемых методов /их обзоры и анализ можно найти в [//8,20, к% 57, 74, <32, 100, 107, ІЩ 11Z, Щ 1ZZ] / объясняется как большим разнообразием видов обрабатываемых изображений, так и, по-видимому, отсутствием достаточно универсальных и эффективных способов выделения границ. В последние годы наметилась тенденция к созданию алгоритмов обработки изобра -жений, основанных на имеющихся физиологических теориях зрения человека. Однако, в самой физиологии зрения имеется так много нерешенных проблем, что адекватное использование полученных в физиологии экспериментальных данных в машинном зрении весьма затруднительно.
Приведем классификацию методов выделения границ, данную в обзоре Дэвиса [47]. Хотя, как нам кажется, эта классификация основана на второстепенных характеристиках использумых методов, неадекватных задаче обработки изображений, ею пользуются в литературе и на этот обзор часто делаются ссылки.
I.Эвристические линейные параллельные методе. Под параллельными: Дэвио понимает методы, в которых при определении наличия границы в точке учитываются значения яркости' только в ней и небольшой ее окрестности и результаты анализа не зависят от. порядка просмотра тачек /т.е. эти методы можно использовать на параллельной ЭВМ/. В эту группу входят: градиентный метод; подчеркивание высоких частот с помощью фильтрации; дифференцирование по направлению и др.
2.Нелинейные параллельные методы. Примером методов этой группы может служить следующий: в каждой точке вычисляются перепады между средними значениями яркости с двух сторон при разных интервалах усреднения; выбирается интервал усреднения максимизирующий эту разность в данной точке; на полученной функции разностей сохраняются только локальные максимумы.
3."Оптимальные" методы. Эта группа включает методы, в которых оценивается статистическая вероятность прохождения границы данного вида через проверяемую точку и доказывается оптимальность используемого метода при некоторых предположениях. Щшмерами являются операторы Гриффитса [60], Шоу Щ, Хьюкеля [69].
4.Последовательные методы. В этих методах используется эвристический поиск и прослеживание границ. При оценке информации в данной точке используются сведения о наличии и направлении границы в соседних точках.
/г
Заметим, что классификация Дэвиса не покрывает все используемые методы. Некоторые авторы [7Н, НУ] используют упоминавшееся раннее деление всего на два класса: а/ методы, основанные на выделении однородных областей; б/ методы поиска неоднородностей - границ объектов. В группу а/ входит,например, получивший в последние годы распространение, релаксационный метод [97, Hit HHh] и методы, основанные на сегментации с использованием пороговых функций |81,405 408> Гфуппа б/ включает, в частности, большинство алгоритмов, рассмотренных в обзоре Дэвиса.
Можно методы классифицировать по степени их локальности и нелокальности /учитывается ли при поиске границы в данной точке все изображение или его значительная часть/. Эта классификация нас особенно интересует, так как мы считаем, что необходимо искать не границы вообще, а границы объектов; а также согласны с Сэлфриджем и Превиттом [117], что: "сегментация и интерпретация не могут быть полностью независимыми даже на простейших изображениях". К анализу всех методов с точки зрения их нелокальности мы вернемся в конце обзора, а сейчас рассмотрим их, воспользовавшись классификацией Дэвиса.
Наибольшее распространение при решении практических задач получили различные модификации градиентного метода [44,51, 73, 86,102, 103, J09, 13Z\ .К этой группе относятся и операторы Робертса, Собеля, Кирха и др. [W]. в [Юд] дан анализ градиентного метода, сравниваются результаты поиска границ цри помощи различных "масок" - весовых коэффициентов яркости соседних точек в зависимости от их положения в"окне". Пирсон [402] использует градиентный метод, принимающий поправку на
наличие медленного тренда яркости вдоль искомой границы.
Достоинствами градиентных методов являются: простота реализации; наглядность; быстрота счета; высокая чувствительность. К недостаткам можно отнести: локальность /следовательно, трудность проведения границ при наличии сильного шума и нарушений непрерывности границ/; необходимость использования пороговой функции для отбора К-точек. Выбору порогов исходя из свойств изображения посвящена обширная литература [33,106,13^] . Обычно пороги определяются усреднением значений градиентов по крупному фрагменту, либо путем анализа гистограммы градиентов. Однако на реальных изображениях не просто затруднен выбор правильных порогов, но разумных единых порогов может вообще не существовать. При завышении значения порога не находятся большие участки существенных границ, а при занижении наносится много несущественных границ. В практике обработки реальных изображений на одной картине в разных ее частях обычно встречаются как с той, так и с другой ситуацией. Использование "полей характеристик" изображения как средства передачи Глобальной информации и априорных данных позволило нам разработать метод [щ выбора плавающих значений порогов, изменяющихся по изображению.Подробнее об этом говорится в Я-3.
Кроме указанных, к недостаткам метода градиента, можно отнести то, что границы получаются в виде широких полос К-точек. Из-за этого требуются специальные алгоритмы утоныпе-ния границ, затрудняющие анализ.
Нелинейные параллельные методы не нашли широкого применения, из-за громоздкости и большого объема вычислений, но работы в этом направлении продолжают появляться. Так, в [107]
описан оператор, предложенный Розенфельдом:
где і(і,к)~ яркость в точке (J,n) ; М=1,2,4,8... до размеров кадра. Обзор нелинейных локальных методов дан в [^05].
"Оптимальные" методы продолжают широко обсуждаться в литературе и часто использзгются цри теоретическом рассмотрев нии вопросов обработки изображений- [бк^УО,??, ^,95j. При обработке реальных изображений эти методы сталкиваются с большими трудностями, в частности по следующим причинам: используются статистические предположения неполностью или неверно отражающие реальность; использование тестов статистической значимости ведет к вычислительным трудностям; производятся обедненные описания изображений ограниченной общности р23]. Так, например, оператор Хьюкеля эффективен лишь при наличии резких границ и отсутствии" локальных градиентов в однородных областях [57], Трудности также возникают в местах пересечения границ. К методам, использующим статистические модели, относятся также [60,64,6^,23,98].
Слабым местом последовательных алгоритмов прослеживания контуров является выбор начальных точек и сильная зависи -мость получаемых контуров от этого выбора. При прослеживании часто используются переборные методы, требующие больших вычислений: метод динамического программирования [38,91] , эвристический поиск на графе [86] . Большие трудности возникают с правильным выбором оптимизируемой целевой функции.
Несколько особняком стоят методы нахождения границ между областями с различными текстурами [26,^6,^8,^23] . эти метода используют различные статистические модели текстур, а
граница ищется как: линия, разделяющая области с разными значениями параметров модели.
Для поиска границ объектов было предложено еще нескользко методов, не упомянутых раннее нж в одной группе. В работе Касванда [75] предлагается итерационная процедура: на каждом шаге новое изображение формируется вычитанием из предыдущего его средних значений и вычисления одномерного лаплассиана в четырех направлениях с выбором максимального значения. В ВД оценивается распределение отклонений от среднего в окрестностях проверяемой точки, выделяются группирующиеся значения яркости и' осуществляется квантование яркостей и проведение границ в соответствии с выделенными группами. В [43] сегментация изображения осуществляется как последовательность задач принятия решений в рамках алгоритма разделения и слияния. Сначала области произвольного начального разбиения проверяются на однородность. Неоднородные делятся или отбрасываются, если они малы. Однородные области являются объектами кластер-анализа для объединения сходных областей. В [12^ используется более сложная процедура: сначала изображение делится на области., в которых функция яркости хорошо представляется полиномом; затем выполняется объединение областей с использованием статистического F-теста.
Нами уже упоминался релаксационный метод. Различные модификации всегда содержат два основных шага: I/ построение исходного разбиения - для каждой точки определяется принадлежность к некоторому классу; 2/ производится итеративная переоценка вероятностей принадлежности точки к разным классам; с учетом значений вероятностей в соседних точках. Процедура повторяется до получения устойчивого разбиения.
Все; большее распространение получают работы, в которых используются комплексы, объединяющие несколько методов с учетом их специфических достоинств и недостатков. Например, в [55] операторы делятся на два класса: а/ отмечающие только искомые границы, но дающие много пропусков; б/ обнаруживающие все границы, но дающие много ложных точек. Операторы первого; класса являются скелетом, по которому осуществляется настройка параметров операторов второго класса.
Том 17 журнала "ЖЩьсіаі ЫеШргсс" полностью посвящен вопросам машинного зрения [35], 14 статей этого сборника,, по мнению редактора [М], представляют лучшие работы по данным вопросам. В них обсуждаются достижения, полученные за последнее десятилетие. В предисловии к сборнику Брэди критически оценивает состояние дел в сфере обработки изображений. Он указывает на следующие основные недостатки большинства используемых методов: локальность операторов; их специфичность /большинство хорошо работает только на изображениях узкого класса/; высокая чувствительность к шуму операторов нижнего уровня; привлечение информации высокого'уровня в иерархических системах приводит к необходимости введения упрощающих предпосылок; большинство из разработанных систем функционирует неэффективно. Современной тенденцией, по мнению автора, является построение систем на основе моделей человеческого зрения. Такого же мнения придерживается и редактор другого большого сборника "Pwmdui/jb IEEE" во введении к нему [?] .
Среди работ, использующих физиологические модели зрения р4, 59, 7у/, 128] , наибольшее распространение получили методы, основанные на модели Марра \$5] . Например, в [5к\ для поиска К-точек используется преобразование:
где & - гауссиан, Л - лапласиан, -* - конволюция, I - исходное изображение. Элемент 2 отмечается как переход через ноль, если в его окрестности 3x3 содержатся два элемента с разными; знаками. Такие элементы считаются К-точками и среди них ищутся точки, принадлежащие границе.
В упомянутом сборнике [35] два обзора представляют для нас интерес. Авторы этих обзоров по многим вопросам занимают противоположные позиции. В [кд] подчеркивается высокая эффективность и скорость вычислений при использовании: локальных операторов. Для учета контекста, нелокальных свойств изображения, введения априорных знаний предлагается использовать, релаксационные процедуры. В работе Бинфорда pOJ, более близкой нам по духу, дан критический анализ существующих методов обработки изображений. Не останавливаясь на деталях конкретных алгоримов, автор подробно рассматривает общее состояние дел, оценивает достигнутый уровень развития различных этапов обработки, их адекватность реальным изображениям, анализирует проблемы, встающие при обработке изображений. Наибольшего внимания, по мнению Бинфорда, требует развитие нижнего уровня обработки: , "Считается, что больших успехов можно: добиться, если объединить усилия всех верхних уровней. Однако мы часто ухудшаем наши возможности из-за очень плохого состояния нижнего уровня - от данных к символам. Я утверждаю, что этот уровень сегодня нас ограничивает; что он эффективен лишь на 1% или менее."
Бинфорд выделяет в качестве основных следующие проблемы: Г/ необходимость поиска границ на фоне медленных перепадов яркости; 2/ важной операцией является точная локализация
границ в их поперечном сечении; 3/ необходимо хорошо выявлять границы между текстурами; 4/ большие сложности возникают при выделении границ, областей с минимальным контрастом;5/ тяжелой проблемой является комбинирование выходов операторов различных размеров; 6/ связывание локальных элементов грани-цы-важная и плохо понимаемая проблема.
Завершим этот обзор работой [4],в которой обсуждаются общие принципы так называемого "алгоритмического зрения" и, по аналогии с человеческим зрением, в эти принципы включают следующие тезисы.
"Зрение - это активный процесс, который определяет интерпретацию воспринимаемых данных на аснове имеющихся моделей: сцен, освещения, приемника."
"Разнообразие возможных сцен и положений наблюдателя так велико, что сколько-нибудь исчерпывающий поиск в пространстве допустимых интерпретаций является немыслимым".
"Один из основных алгоритмических принципов зрения состоит в том, что умение видеть зависит от имеющихся моделей".
"Интерпретация изображений должна совмещаться с сегментацией. "
В отличие от рассмотренных ранее работ, основывающихся на физиологических данных, перечисленные принципы извлечены из психологии зрительного восприятия. Во многом они сходны с моделями когнитивной психологии, разработанными Найсером. [2.4]. Во второй главе настоящей работы будут представлены
методы выделения объектов на полутоновых изображениях, в ко-
н торых удалось в какой-то мере реализовать болыпиство из перечисленных принципов.
1-2. Обзор методов использования нелокальной информации.
Анализ работ, представленных в 1-1 подтверждает тезис о том, что большое количество используемых методов свидетельствует о их недостаточной универсальности и эффективности при работе с реальными изображениями. Опыт применения различных методов выделения границ убедительно показал недостаточность использования только локальной информации и необходимость учета глобальных свойств обрабатываемых изображений. С этим, высказыванием, согласится, наверное, любой работающий В: области обработки изображений. Однако на практике совместное использование локальной и глобальной информации встречает большие трудности.
С точки зрения локальности, все методы делятся [SO] на три группы: а/ локальные - размеры окрестности, учитываемой при проведении границы, соразмерны с шириной границы; б/ промежуточные /региональные/ - размер окрестности в несколько раз превышает ширину границы; в/ глобальные, в которых при проведении границы в данной точке в той или иной форме учитываются особенности всего изображения. В [Mb] производится сравнение нескольких локальных /операторы Собеля, Меро и др./ и региональных /оператор Хьюкеля и подобные ему/ на искусственных изображениях и показывается, что, хотя эти региональные методы обеспечивают более высокую точность выделения границ и большую устойчивость по отношению к локальному шуму, но их работа существенно ухудшается при наложении помехи в виде медленно меняющегося по изображению общего уровня яркости. По нашему мнению, региональные методы не отличаются принципиально от: локальных и не повволяют преодоле-
вать трудности, возникающие при обработке реальных изображений.
Рассмотрим описанные в литературе методы использования глобальной информации. Наиболее простым является выделение объектов с помощью квантования яркости на всем, изображении по небольшому числу порогов. Выбор порогов осуществляется обычно с помощью построения гистограмм яркостей. Иногда при построении этой гистограммы учитываются значения градиента: а/ вклад точки в гистограмму обратно пропорционален значению градиента в ней; б/ включаются в гистограмму только точки, имеющие большой градиент. Существенным недостатком таких методов выделения по уровню яркости является требование малых изменений яркости как внутри, объектов, так и в области фона. Вторым недостатком, присущим многим глобальным методам, является слабый учет конкретной /локальной/ информации и наличие из-за этого больших искажений границ.
Выше уже упоминался релаксационный метод, интенсивно разрабатываемый в последние 5-7 лет. Слабым местом этих алгоритмов является способ построения первичного разбиения. Обычно исходные вероятности принадлежности точки к некоторому классу определяются только яркостью самой точки, т.е. сугубо локальны. Процедуры пересчета этих вероятностей в зависимости от небольшого: числа соседей не всегда позволяют перейти от начального разбиения к адекватному описанию изображения.
Многие методы пытаются использовать глобальную информацию, получаемую при статическом анализе изображения. Слабость получаемых при этом результатов вызвана тем, что на реальных изображениях редко выполняются используемые при анализе ста-
тистические предположения /изображения нестационарны, шум не аддитивен и т.д./. Наилучшие результаты получаются в настоящее время при использовании различных эвристических алгоритмов. Опишем некоторые из них.
В [53] путем варьирования порога скачка яркости между соседними точками в данном селении строятся кромки различной ширины и мощности, которые связаны между собой иерархическими отношениями. Объединение К-точек в соседних сечениях производится с учетом этих иерархических- структур таким образом, чтобы повысить число смежных сегментов границы. К сожалению, алгоритм работает только при отсутствии шума. В [55] настройка операторов поиска границ производится глобально путем- коррекции штрафной функции с учетом априорной информации и. оценок^ получаемых данным оператором на заведомо /выделенных с помощью других операторов, менее чувствительных, но более надежных/ граничных точках. Интересная идея опосредованного использования выходов различных операторов, к сожалению, не получила интенсивного развития. В [w] пытаются исходную глобальную сегментацию использовать для координации работы нескольких локальных операторов. Однако то, что для исходного разбиения используется простой порог по яркости, и примитивность локальных операторов не дают получать удовлетворительные результаты на сложных изображениях. В [74] модифицирована простая процедура нахождения границ путем ограничения градиента по порогу: строится гистограмма контрастов по всем потенциально граничным точкам; порог определяется максимумом гистограммы; удаляются отдельно лежащие граничные точки и вставляются точечные пропуски в границы; процедура повторяется, но не учитываются точки, найден-
ные как граничные на предыдущих шагах. В [89] кромки выделяются по градиенту; затем сохраняются только локальные максимумы; строится гистограмма яркости граничных точек; по гистограмме выбираются порогж яркости; строится двоичное изображение объектов по этим порогам и очищается; построенное изображение используется как маска при. рекурсивном повторении процедуры для анализа оставшейся части изображения.
Мартелли [8б] настоятельно подчеркивает необходимость широкого использования,глобальной информации. В предложенном им методе глобальные характеристики /кривизна границы, благость хороших граничных точек, близость к целевой точке/ учитываются при вычислении функции штрафа, которая определяет последовательность анализа точек и прослеживания контура. Пирсон \jOZ] утверждает, что наиболее трудным местом обработки изображений является введение в алгоритмы априорной информации о глобальных свойствах анализируемых изображений. Часто используемым путем учета глобальных свойств является построение многоуровневых систем, которые будут рассмотрены в 1-3. Одна из наиболее интересных систем представлена в [ІЗ7]. В этой системе уже на самом первом этапе оператор выделения К-точек строится с учетом априорной информации о размерах объектов /подчеркнем! о размерах объектов, а не ширине границ - это принципиальное отличие в подходе/. Затем эта информация усредняется и используется для нахождения общего образа искомой системы объектов /границ задних частей ребер /ЗЧР//. После нахождения общего образа положение границ уточняется локально в некоторых сечениях. Достоинства и недостатки этой системы подробнее будут рассмотрены ниже.
В \}QJ] сделана успешная попытка применения идей и ме?-тедов теории размытых множеств к анализу полутоновых изображений. Описанный алгоритм включает в качестве предварительных стадий операции подчеркивания контраста, сглаживания с использованием теории размытых множеств, выделения максимальных и минимальных значений. Данный метод применим к изображениям, у которых в гистограммах яркости имеются выраженные экстремумы.
В [б?] для повышения эффективности обработки и преодоления трудностей, возникающих при использовании локальных операторов, автор предлагает: I/ использовать операторы выделения краев разных размеров; 2/ использовать, концентрические операторы типа лапласиана от гауссиана / \/z&, где G- =
Исследуя проблему с точки зрения математической теории систем,в [^2/ делается вывод, что подходtпри котором двигаются от глобальных характеристик, т.е. от наблюдаемого образа, к локальным, явно предпочтительнее противоположного, при катаром делается попытка построить общую модель на; основании результатов локальных наблюдений.
В [?о] делается попытка преодолеть локальность градиента с помощью нескольких' статистических тестов, использующих гистограммы яркости. Предложенный в [бб] алгоритм в дополнение к локальным свойствам учитывает глобальную информацию об отношениях соседства и форме компонет сцены для улучшения сегментации. Алгоритм основан на методе выделения регионов и последовательной процедуре разметки.
Завершая анализ, необходимо подчеркнуть, что подавляющее
большинство описанных методов направлено на выделение границ, хотя эта задача является частной по отношению к задаче выделения объектов. Выделение всех границ,имеющихся на изображении, еще не обеспечивает их однозначной интерпретации и выделения объектов. Типичной является ситуация, когда после применения чувствительного локального или регионального оператора получается изображение, на котором представлены все мельчайшие границы, имеющиеся на изображении. Однако последующая интерпретация этих результатов с целью выделения существенных объектов не намного легчен исходной задачи и пока не имеет хорошего решения.
1-3. Многоуровневые системы обработки изображений.
Наибольшие успехи при обработке изображений были достигнуты при использовании эвристических многоуровневых систем обработки. В этих системах обычно на первом этапе отбираются К-точки - кандидаты в границы - с помощью локальных методов /градиент и лапласиан в [433] , модифицированный градиент в [102], линейные фильтры в р2б] , фильтры в \52\9 градиент в \5ц и [J35J/. В дальнейшем эти К-точки используются при построении границ с учетом глобальной информации и с использованием характеристик объектов, выделяемых на изображениях.
Векслер [132] высказывает следующие; аргументы в пользу многоуровневого подхода: "Рациональным обоснованием этого подхода является использование возможно большего количества априорных знаний для максимального удаления шума из изображения. Каждый шаг питает следующий лучшим представлением начального входа для уменьшения пространства поиска. На каждом шагу часть шума и часть деталей, которые не необходимы для нахождения решения главной задачи, подавляются. Таким обра-
зом, внимание направляется на специфические области интере^-са, указанные на предыдущем шагу." К сожалению,часто априорные сведения вводятся в алгоритмы слишком рано и используются в значительной степени для исправления результатов плохой работы нижних уровней обработки. Кажущаяся легкость преодоления трудностей за счет использования априорных данных, чрезмерно частое их использование приводят к тому, что метода становятся узкоспециализированными и не работают даже при небольших изменениях условий.
В [из] представлена общая схема многоуровневой обработки: выделение характеристик /кромки, линии/, которые образуют "первичный эскиз"; процесс группирования для получения "улучшенных карт"; эти карты представляются в виде абстрактных реляционных структур; структуры согласовываются с запомненными моделями /обобщенными реляционными структурами/. Успешное согласование дает идентификацию частей изображения и структурное описание изображения в терминах известных сущностей. В. эту схему укладывается подавляющее большинство известных систем. Отметим, что в представленной схеме обработка осуществляется последовательно с постепенным переходом от локальной информации к глобальной. Модели в этой схеме используются только на верхних уровнях,и идентификация объект ' тов осуществляется после их выделения. Схема Еозенфельда со-отве^вует последовательной схеме обработки зрительной информации в нервной системе высших животных и человека, господствовавшей длительное время. Однако в последние годы эти принципы были подвергнуты резкой критике [21], ив когнитивной психологии развиваются циклические схемы восприятия. Основные отличия такой схемы от последовательной об-
работки: а/ выделение объекта осуществляется одновременно с его интерпретацией, а не последовательно; б/ модели /априорные знания/ используются на всех уровнях обработки для управления сбором реальной информации, а не только на верхних уровнях при сравнении получаемых результатов с этими моделями; в/ выделение любого объекта изменяет схему дальнейшего сбора информации;, г/ примат целого: сначала осознается значение и только потом осознаются детали стимула, если они вообще осознаются. В главе 2 будут изложены методы обработки изображений, в которых сделана попытка преодолеть недостатки традиционного подхода. Хотя эти методы и не претендуют на роль моделей зрительного восприятия, они хорошо согласуются с принципами современной когнитивной психологии [24] , что позволяет использовать эти принципы для совершенствования и развития методов обработки изображений.
Приведем в завершение параграфа пример типичной многоуровневой системы /еще несколько примеров будут подробно обсуждаться в 3-1 при анализе матодов обработки флюорограмм/. В [м] представлена система распознавания и проверки промышленных узлов. На первой стадии обработки вычисляются значения локального градиента /с направлением/; затем путем обрезания по порогу выделяются К-точки; К-точки объединяются по направлению градиента. Среди найденных сегментов выделяются примитивы: углы, прямые, круги и арки. Каждый, примитив описывается несколькими параметрами. На стадии анализа с помощью модели синтезируется прототип детали, который опять сравнивается с моделью.Мера сходства показывает согласование между моделью и рассматриваемой сценой. Кроме топологических характеристик, используются уровни яркости, текстурные меры и значения цвета.
1-4. Обзор методов использования знаний при обработке изображений.
Завершая анализ используемых в различных задачах методов, более подробно рассмотрим одну из узловых проблем -проблему использования знаний о специфических свойствах искомых объектов в конкретной задаче. Такие знания используются в том или ином виде во всех алгоритмах без исключения. В одних случаях создаются специальные механизмы для введения и использования знаний, в других эти знания используются неявно и закладываются в структуру алгоритма /что обычно резко ограничивает возможности его использования/. Рассмотрим конкретные примеры.
Розенфельд в своей обзорной статье \\Щ пишет: "Стандартный подход к выделению кромок неявно основан: на очень простой моделж, в которой изображение представляется составленным из постоянных областей, разделенных ступенчатыми границами. Последние работы основаны на более общей: предпосылке о кусочно-линейном, а не кусочно-постоянном изображении." Касаясь явных методов использования знаний, он указывает, что обычно модели /часто представляемые в виде реляционных структур, где вершины соответствуют линиям, регионам или объектам, отмеченным списком значений их характеристик/ используются на последнем этапе обработки путем согласования выделенных структур с модельными для их идентификации."Лучший подход - это использовать модели для управления процессом анализа изображения и конструирования этого процесса таким образом, чтобы большинство из возможных моделей отброси-лось на ранних стадиях анализа. Несомненно, не существует еще общей теории,как сконструировать процессы анализа изоб-
ражений, основанные на данном множестве моделей.Используемые управляющие структуры сконструированы в основном на эвристической основе." /Заметим, что излагаемый в главе 2 метод решает поставленную задачу для некоторого класса изображений/. В [[28] выделяются три основных схемы представления знаний: а/ логическая - в виде базы данных; б/ сетевая - в виде модели мира, использующей объекты и взаимоотношения между ними; в/ процедурная - когда задается прямой список действий с указанием условий их выполнения. В [8*/] сделана попытка доказать, что прямое восприятие действительности без априорной информации машине недоступно. Рассматривается общая модель воспринимающей системы, которая состоит из трех наборов: множества возможных явлений, множества возможных изображений и совокупности проекций первого во второе. Недостатком такого формализма является необходимость четкого определения множества возможных изображений и трудность, /а зачастую и невозможность/ априорного построения совокупности проекций в реальных задачах.В \iZi\ представлен алгоритм сегментации, основанный на грамматическом подходе, в котором возможно использование информации о форме искомого объекта. В уже упоминавшемся [бб] алгоритме сегментации мазков крови априорная информация о форме и возможных отношениях соседства размечав емых регионов вводится с помощью релаксационного метода. В цепном алгоритме нахождения границ округлых объектов [62J априорная информация используется на последнем этапе уточнения найденных границ. В [щм] интерпретация выделенных объектов производится путем согласования с заданными моделями. В [-10^] при согласовании используется эвристический поиск на дереве решений. В обзоре [9б] обсуждается общая структура многоуровневой обработки и способы использования
знаний в таких системах. Из анализа различных частных примеров делается вывод об отсутствии общих методов использования знаний как специфических для конкретных задач, так и общих для любых изображений.
Обзор методов использования нелокальной информации
Анализ работ, представленных в 1-1 подтверждает тезис о том, что большое количество используемых методов свидетельствует о их недостаточной универсальности и эффективности при работе с реальными изображениями. Опыт применения различных методов выделения границ убедительно показал недостаточность использования только локальной информации и необходимость учета глобальных свойств обрабатываемых изображений. С этим, высказыванием, согласится, наверное, любой работающий В: области обработки изображений. Однако на практике совместное использование локальной и глобальной информации встречает большие трудности.
С точки зрения локальности, все методы делятся [SO] на три группы: а/ локальные - размеры окрестности, учитываемой при проведении границы, соразмерны с шириной границы; б/ промежуточные /региональные/ - размер окрестности в несколько раз превышает ширину границы; в/ глобальные, в которых при проведении границы в данной точке в той или иной форме учитываются особенности всего изображения. В [Mb] производится сравнение нескольких локальных /операторы Собеля, Меро и др./ и региональных /оператор Хьюкеля и подобные ему/ на искусственных изображениях и показывается, что, хотя эти региональные методы обеспечивают более высокую точность выделения границ и большую устойчивость по отношению к локальному шуму, но их работа существенно ухудшается при наложении помехи в виде медленно меняющегося по изображению общего уровня яркости. По нашему мнению, региональные методы не отличаются принципиально от: локальных и не повволяют преодолевать трудности, возникающие при обработке реальных изображений.
Рассмотрим описанные в литературе методы использования глобальной информации. Наиболее простым является выделение объектов с помощью квантования яркости на всем, изображении по небольшому числу порогов. Выбор порогов осуществляется обычно с помощью построения гистограмм яркостей. Иногда при построении этой гистограммы учитываются значения градиента: а/ вклад точки в гистограмму обратно пропорционален значению градиента в ней; б/ включаются в гистограмму только точки, имеющие большой градиент. Существенным недостатком таких методов выделения по уровню яркости является требование малых изменений яркости как внутри, объектов, так и в области фона. Вторым недостатком, присущим многим глобальным методам, является слабый учет конкретной /локальной/ информации и наличие из-за этого больших искажений границ.
Выше уже упоминался релаксационный метод, интенсивно разрабатываемый в последние 5-7 лет. Слабым местом этих алгоритмов является способ построения первичного разбиения. Обычно исходные вероятности принадлежности точки к некоторому классу определяются только яркостью самой точки, т.е. сугубо локальны. Процедуры пересчета этих вероятностей в зависимости от небольшого: числа соседей не всегда позволяют перейти от начального разбиения к адекватному описанию изображения.
Многие методы пытаются использовать глобальную информацию, получаемую при статическом анализе изображения. Слабость получаемых при этом результатов вызвана тем, что на реальных изображениях редко выполняются используемые при анализе ста 26 тистические предположения /изображения нестационарны, шум не аддитивен и т.д./. Наилучшие результаты получаются в настоящее время при использовании различных эвристических алгоритмов. Опишем некоторые из них.
В [53] путем варьирования порога скачка яркости между соседними точками в данном селении строятся кромки различной ширины и мощности, которые связаны между собой иерархическими отношениями. Объединение К-точек в соседних сечениях производится с учетом этих иерархических- структур таким образом, чтобы повысить число смежных сегментов границы. К сожалению, алгоритм работает только при отсутствии шума. В [55] настройка операторов поиска границ производится глобально путем- коррекции штрафной функции с учетом априорной информации и. оценок получаемых данным оператором на заведомо /выделенных с помощью других операторов, менее чувствительных, но более надежных/ граничных точках. Интересная идея опосредованного использования выходов различных операторов, к сожалению, не получила интенсивного развития. В [w] пытаются исходную глобальную сегментацию использовать для координации работы нескольких локальных операторов. Однако то, что для исходного разбиения используется простой порог по яркости, и примитивность локальных операторов не дают получать удовлетворительные результаты на сложных изображениях.
Получение и хранение нелокальной информации в виде; полей характеристик
В задачах автоматического анализа изображений важной является проблема использования глобальной, информации об изображении при выделении каждого объекта. Очень часто правильная интерпретация фрагмента зависит от окружающего контекста. Эта проблема-"восприятие части изображения определяется изображением в целом" - была сформулирована в гештальт-психологии при анализе человеческого восприятия. В последние годы имеется тенденция к использованию гештальт-подаща и в машинном, зрении [і42,Г43], однако его реализация встречает большие трудности. Как получать и где хранить знания а контексте? На каком языке их описывать? -Как использовать их для управления выделением объектов?Если информацию об изображении вне данного фрагмента использовать на исходном машинном языке /как, например, делается в релаксационных методах/, то в силу большого разнообразия таких поточечных функций содержащуюся в них информацию трудно использовать. Использовать такую информацию удается лишь в самых простейших случаях. Другим путем является использование структурного описания на языке высокого уровня сооедних объектов и их расположения. Однако в этом случае возникает порочный крут: , для.выделения каждого объекта необходима информация об остальных. Использование итеративного подхода не гарантирует сходимости процесса при неудачном начальном приближении. Для эффективного использования контекстной информации необходимо введение промежуточного языка описания изображений. Основные требования к этому языку: а/ элементы этого языка должны легко вычисляться по исходному изображению; б/ они должны отражать интегральные характеристики изображения; в/ удобно интерпретироваться на верхнем уровне. Желательно также, чтобы такой язык был, с одной стороны, достаточно прост, а с другой, богат.
В качестве такого; промежуточного языка описания изображений нами были использованы поля характеристик [8,9] . Сначала дадим формальноа определение полей характеристик, затем рассмотрим примеры конкретных полей. А в 2-3, 2-4 и в главе 3 будут обсуждены вопросы использования полей характеристик для хранения и использования глобальной информации на различных этапах выделения объектов. Заметим, что с помощью полей характеристик можно использовать в алгоритмах обработки как информацию, собираемую с данного конкретного изображения, так и априорные знания.
Пусть (я,ц) обозначает какую-либо характеристику, которая измеряется на исходном изображении с помощью оператора Fc . Множество допустимых значений включает и Ъф - неопределенное значение. Оператор нахождения характеристики приписывает каждое найденное, значение одной или нескольким точкам изображения. Примерами характеристик являются: направление градиента оптической плотносг ти, разница между ОП исходного изображения и найденной ОП фонаї /каждое значение этих характеристик связано с одной точкой/; размеры объектов в различных направлениях /значения этой характеристики привязываются к группе точек/ и др. Пусть также с каждой точкой исходного изображения (хм) связана некоторая область точек растра м ч) - окрестность данной точки. Эти окрестности могут перекрываться. В простейшем случае используются прямоугольные окрестности,но допускается использование окрестностей, состоящих из произвольного набора тачек. На каждой окрестности может быть построена гистограмма значений данной характеристики. / (S ) Ли построения гистограммы в каждой точке, должны быть опре-делены параметры построения: пределы построения гистограммы /например, тіл и тоик / и точность определения д /шаг квантования/. Эти. параметры могут меняться от точки к точке. Их роль и способы получения рассматриваются в 2-4. Построенная гистограмма () может быть охарактеризована различными признаками ( (Ц)) мода гистограммы, среднее значение, размах, число мод и даже такими экзотическими,как например, ширина, третьей моды гистограммы. Теперь дадаим определение.
Полем характеристикиХХм( Г (Н)) называется функция , /) определенная в каждой точке изображения и определяемая с помощью четверки j FZ, й, иj Р у, гда: Fe - оператор определения значения характеристики на изоб s ражений; SI - множество окрестностей; U - параметры построения гистограммы; и - оператор вычисления признака гистограммы.
Совокупность построенных таким, образом полей характе?-ристик /их конкретный набор определяется особенностями решаемой задачи и структурой алгоритмов обработки изображения/ удовлетворяет сформулированным выше требованиям к промежуточному языку описания изображений: поля характеристик легко находятся по исходному изображению, заданному в виде поточечной функции яркости; они также, легко могут быть построены или проинтерпретированы при наличии структурного описания изображения; интегральный характер полей характеристик определяется способом их построения.
Структура системы, предназначенной для выделения ребер на флюорограмме
Рассмотрим многоуровневую систему алгоритмов, предназначенную для выделения объектов.на флюорограммах грудной клетки, в которой реализованы описанные выше методы использования нелокальной информации и априорных знаний. Первоначально эта система разрабатывалась для выделения изображений ЗЧР и ев первая версия была узкоспециализированной. Однако во второй версии, основанной на широком использовании полей характеристик, удалось всю априорную информацию вынести из операторов обработки в отдельную модель. За; счет этого система приобрела универсальность и используется также для поиска границ ключиц и передних частей ребер. Общая схема обработки Ф имеет следующий вид.
1 этап. Исходная Ф оцифровывается с помощью специального денситометрического сканирующего устройства и вводится в ЭВМ в виде матрицы значений оптической плотности /ОП/ различных точек Ф. Сканирование осуществляется с шагом 0,1мм. Размер матрицы при обработке Ф стандартного размера после обрезания незначащих частей обычно близок к 500x500 точек. При обработке укрупненных размеры матрицы увеличивались. Такое разрешение необходимо при анализе сосудистого рисунка и поиска патологии, а для выделения ребер оказалось достаточно использовать матрицу порядка 250x250 точек. Значения 0П после оцифровки имеют 256: значений.
2 этап. Осуществляется предобработка изображения. Определяется его ориентация. При необходимости матрица преобразуется таким образом, чтобы соответствовать вертикальному по зо ложению Ф. Находится средняя линия Ф. Строится сокращенная матрица ОП для выделения ребер. Матрица строится с помощью выборки одного значения из квадрата 2x2 или 3x3 точек /в зависимости от размеров исходной матрицы/. Сглаживание не производится, чтобы не искажать границы объектов. Находятся границы легочных полей и их характерные точки: вершины ЛП, реберно-диафрагмальные синусы.
3 этап. По найденным трем характерным точкам модельное изображение ключиц, привязывается к Ф. Используя эту модель в качестве управляющей информации, система выделения объектов находит на Ф ключицы и подавляет их изображения. Так как линии тока ПН ключиц / задних частей ребер тоже/ на большей части Ф близки к горизонтальным, то для простоты обработка производится в вертикальных сечениях.
4 этап. К полученной Ф "без ключиц" повторно применяется процедура третьего этапа, только вместо модели ключиц на вход подается модель .системы ЗЧР. В результате получаем Ф "без ключиц и ЗЧР". Примеры таких изображений даны в Приложении.
5 этап. Снова повторяется процедура выделения объектов и их подавления,на этот раз с моделью передних частей, ребер. Обработка осуществляется в сечениях, проведенных перпендикулярно линиям тока ПН. границ передних ребер.
В результате такой обработки мы получаем Ф, на которой подавлены изображения наиболее крупных и ярких объектов,что существенно облегчает ее дальнейшую обработку с целью анализа сосудистой, системы и поиска патологических образований.
Так как для обработки всех трех групп объектов используется одна и та же: система алгоритмов, то ее дальнейшее: об Зі суждение будет производиться на примере выделения ЗЧР. Общая схема выделения объектов дана на рис.8. Она включает в себя следующие шаги. 1. Сбор глобальной информации об изображении. Построение полей характеристик. 2. Нахождение К-точек с помощью алгоритма КЧП. 3. Объединение К-точек в линии. 4. Анализ системы, линий. Построение полного описания объектов. При необходимости при обработке отдельных фрагментов на этом шаге может производиться возврат на шаги 2 или 3. 5. Подавление изображений выделенных объектов.
Все операторы обработки,используемые на этих шагах,кроме оператора подавления объектов, работают по.обще! схеме, представленной на рис.6.
Алгоритмы; и программы первого шага обработки: сбора глобальной информации разработаны Л.В.Кузнецовым и не входят в данную диссертацию. Общие принципы их работы изложены в 2-2. На этом шаге; с использованием модельных полей характеристик в качестве управляющей информации строятся следующие поля характеристик реального изображения: - поля направлений границ /отдельно для верхних и нижних границ/; - поле размеров объектов /ребер/; - поле межлзбъектных расстояний; - поля кривизны границ /так как границы ребер хорошо аппроксимируются параболами и эта аппроксимация используется в алгоритмах обработки, то для задания кривизны границ строится два. поля: поле коэффициентов сжатия параболы и поле координаты х положения вершины параболы/;
Подавление, изображений ребер на флгоорограмме.
На этом работа блока наращивания линий заканчивается. После уточнения К-линия целиком, аппроксимируется параболой. Оценивается:согласованность линии с ПН и полями коэффициентов эталонных парабол. При больших отклонениях линия выбраковывается и переходим к пункту /7/.
В соответствующих массивах стираются зародыши и К-точ-ки, расположенные вдоль. К-линии. запоминается в специальной Библиотеке линий. Вдоль линии корректируется поле числа граничных точек. Выбирается новый зародыш для продолжения работы. Построенное поле числа граничных точек сравнивается с модельным. Выявляются фрагменты,в которых не хватает границ. Бели, таких- фрагментов нет, то работа прекращается.
Если, выявлены фрагменты, в которых отмечается нехватка границ, то обработка этих фрагментов повторяется. Перед этим смягчаются требования к построению зародышей и протягиванию К-линий. Для повторения анализа возвращаемся к /I/.
Перейдем теперь к анализу содержания параметров этой программы и их влияния на построение К-линий. Использование поля числа граничных точек позволило автоматизировать подбор большинства параметров. При этом в различных частях Ф используются различные параметры: там,где есть четкие границы, используются жесткие параметры, что снижает выявление шумовых границ; там. же, гда границу провести трудно, требования к ней смягчаются. Происходит адаптивная подстройка параметров под конкретное изображение. Естес/твенно, что смягчение имеет некоторый предел, при достижении которого принимается решение о невозможности выделения границы в данном фрагменте- Оставшиеся параметры включают: веса компонент функций штрафа, порог остановки! наращивания К-линии, длина интерполяции конца К-линии по параболе, длина усреднения штрафа. В косвенном виде в этих параметрах используются априорные данные о следующих свойствах искомых границ: ширине границ; их гладкости; отношении скачка ОП на границе к локальным шумовым изменениям ОП; типичных, размерах зон пересечения различных объектов. Эти параметры не изменяются при переходе от одной Ф к другой и при переходе от поиска ЗЧР к поску ключиц или передних- частей ребер, т.е. фактически являются внутренними константами программы при обработке изображений одного класса. Их изменение в широких пределах слабо влияет на нахождение большинства объектов.
Рассмотрим подробнее- штрафную функцию (ю) R.Y/) - штраф за отклонение проверяемой точки от прогноза, функция Я (]) монотонна. Соотношение между &у и другими компонентами определяет ширину поиска при проведении линии. Расширение полосы поиска улучшает объединение отдельных фрагментов, но и сни . жает требования к гладкости границ. Величина &Jx,y) определяет жесткость требований к согласованности линии с ПН. функции R Mj, R,3(u), &$) и R.6(Q) задаются четырьмя знчениями в соответствии со способом кодирования их аргументов. R6(5) определяет величину штрафа в точках, в которых алгоритм КЧП непровел границы. Изменение R и fl6 по сравнению с другими компонентами изменяет влияние величины градиента.
Подводя итоги обработки с помощью этой программы группы ф,можно утверждать, что подобрав параматры по небольшой группе Ф, можно проводить эффективную обработку Ф различной контрастности, яркости, зашумленности и размеров ЛП без ручного изменения параметров. Построенные К-линии являются исходными данными для следующих этапов, использующих дополнительные сведения о свойствах всей совокупности выделяемых объектов, о их взаимоотношениях, закономерностях перехода от одного объекта к другому.
