Содержание к диссертации
Введение
1. Современное состояние исследований по проблеме распознавания текстурных изображений 15
1.1 Понятие текстуры и практические примеры распознавания текстурных 16
изображений
1.1.1 Определение текстуры 16
1.1.2 Типы текстур в изображении 17
1.2 Формальная постановка задачи распознавания текстурных изображений 19
1.3 Информативные признаки для распознавания текстур 20
1.4 Сегментация изображений 25
1.5 Распознавание текстурных изображений 27 1.5.1 Методы распознавания изображений 28
1.6 Нейросетевые классификаторы изображений 30
1.6.1 Классификатор Хемминга 30
1.6.2 Параметрическая векторная нейронная сеть 32
1.6.3 Многослойная нейронная сеть 35
1.7 Содержание задачи диссертационной работы 36
ВЫВОДЫ 37
2. Метод нейросетевого распознавания текстур с использованием секущих линий изображений 38
2.1 Проблема формирования вектора признаков
для распознавания текстурного изображения 38
2.2 Секущие линии изображения. Одномерная сегментация 40
2.3 Таблица частот распределения сегментов по длине и яркости 43
2.4 Предварительная обработка текстурных изображений 45
2.4.1 Приведение изображения к заданной средней яркости 46
2.4.2 Масштабирование текстурного изображения 49
2.5 Статистические характеристики корреляционного типа для текстурных изображений 50
2.5.1 Матрицы смежности сегментов по яркости и длине 51
2.5.2 Корреляционные функции для показателей длины и яркости объектов в поле изображения 54
2.6 Критерий подобия двух текстурных изображений 60
2.7 Нейросетевая классификация текстурных изображений 61
2.7.1 Особенности применения сети Хемминга
для распознавания текстурных изображений 61
2.7.2 Схемы поиска эталонных изображений в базе данных 63
2.7.3 Распознавание текстур с применением векторной параметрической нейронной сети 66
ВЫВОДЫ 68
Программная система tic - инструментальное средство анализа и классификации текстурных изображений 69
3.1 Программная среда разработки 70
3.1.1 Используемые классы 70
3.1.2 Описание классов 71
3.2 Функциональные задачи и требования к программе TIC 72
3.3 Формирование статистических признаков текстурного изображения 75
3.3.1 Формирование секущих линий 75
3.3.2 Алгоритм одномерной сегментации функции яркости вдоль 76 секущих линий
3.3.3 Вычисление матрицы частот сегментов по длине и яркости 77
3.3.4 Вычисление матрицы смежности сегментов по длине и яркости 78
3.3.5 Вычисление корреляционной функции плотности расположения сегментов в поле изображения 81
3.4 Работа с базой эталонных изображений 83
3.5 Подсистема классификации изображений 85
3.5.1 Полный перебор по среднеквадратичному отклонению 86
3.5.2 Полный перебор по энтропийному критерию 88
3.5.3 Решение задачи распознавания с использованием нейронной сети 88 Хемминга
3.5.4 Векторная параметрическая нейронная сеть 90
3.6 Визуализация и документирование данных 94
3.7 Предварительная обработка изображений 96
3.8 Предварительная обработка сегментов 97
3.8.1 Масштабирование 97
3.8.2 Приведение изображения к заданной средней яркости 98
3.9 Безопасность доступа к системе TIC 99
ВЫВОДЫ 100
4. Экспериментальное исследование методов анализа и неиросетевого распознавания текстурных изображений 101
4.1 Исходные данные для проведения экспериментальных исследований 103
4.2 Примеры распознавания текстурных изображений в системе TIC 104
4.3 Анализ устойчивости статистических характеристик одномерных сегментов 112
4.4 Исследование точности распознавания текстур на векторной нейронной сети 113
4.5 Исследование быстродействия вычислительных схем распознавания текстурных изображений 114
Выводы 116
Заключение 117
Список литературы
- Формальная постановка задачи распознавания текстурных изображений
- Таблица частот распределения сегментов по длине и яркости
- Функциональные задачи и требования к программе TIC
- Примеры распознавания текстурных изображений в системе TIC
Введение к работе
Актуальность темы исследований. В практических приложениях нередко возникает задача анализа и классификации изображений, которые не содержат четко выраженных объектов и не могут рассматриваться как сцены с определенным физическим, техническим или иным смыслом. Такие изображения содержат случайно расположенные протяженные фигуры (объекты) разной формы, ориентации и яркости. Примерами подобных текстур являются выполненные с большим увеличением изображения гистологических препаратов, используемых в медико-биологических исследованиях; результаты зондирования со спутника поверхности Земли с помощью радара в разных диапазонах длин волн; декоративные художественные картинки, лишенные содержательных объектов в поле изображения, и пр. Рассматриваемые текстуры отличаются от узоров, содержащих базовые элементарные фигуры (текстоны или структурные примитивы) в различном масштабе, ориентации, освещенности и, возможно, регулярности.
На приведенных ниже рисунках представлены примеры текстур того типа, который является предметом изучения и обработки в данной диссертационной работе. Подобные текстуры можно рассматривать как реализации некоторого случайного яркостного поля с определенными статистическими свойствами. Именно такое математическое представление лежит в основе развитой в диссертации технологии обработки и распознавания текстурных изображений.
Рассмотрим, например, изображения гистологических препаратов щитовидной железы, полученные при различных опухолевых заболеваниях и для здоровых тканей. Каждому опухолевому заболеванию соответствуют определенные особенности текстурного изображения, касающиеся его структурных и яркостных характеристик. Квалифицированный врач с использованием своего многолетнего опыта может по изображению гистологического препарата сделать экспертное заключение о типе заболевания и, следовательно, о методе его лечения. Однако в силу огромного разнообразия форм заболеваний, многочисленности имеющихся эталонных образцов изображений возможны экспертные ошибки. Кроме того, число специалистов-экспертов столь высокого класса невелико. В связи с этим для распознавания рассматриваемых гистологических текстур необходимо построить автоматизированную систему с высокой надежностью принятия решения. Задачей рассматриваемой автоматизированной системы является поиск в базе эталонных изображений, имеющих экспертное заключение о типе заболевания, одного или нескольких эталонов, наиболее близких к заданному изображению по яркостным и структурным свойствам.
Текстурные изображения в природе:
кора дерева (hap://sipj.usc.edu/rialabase/textures/l. 1.02.tiffl и камни f)
Текстурные изображения гистологических препаратов . ц if і stopage/colorpaGe/cne/cnesgc.G IF
Декоративные узоры: перья павлина и легкая древесина
Другой пример обработки текстур связан с глобальным метеорологическим прогнозом по состоянию ледового покрова Арктики. По свойствам текстурных изображений, полученных со спутников Земли и сделанных в разных диапазонах длин волн, можно оценить степень таяния льдов или, напротив, нарастания новых ледовых масс. Эти данные служат основой для ученых, которые решают задачу прогноза состояния атмосферы и мирового океана.
Задача поиска изображений в базе данных возникает, например, у дизайнера, которому необходимо извлечь из базы данных одно или несколько изображений, подобных заданному. Возможно организовать подобный поиск по текстовому комментарию к изображениям в базе данных. Этот подход неудобен для пользователя. Желательно, чтобы при поиске автоматически использовались структурные и яркостные особенности сравниваемых изображений.
Приведенные выше примеры подтверждают актуальность поставленной в диссертации задачи - разработки и всестороннего исследования нового подхода к обработке и анализу текстурных изображений с целью их распознавания.
Цифровая обработка текстурных изображений представляет собой сложную методическую и вычислительную проблему. В теорию и практику обработки и распознавания текстурных изображений значительный вклад внесли Haralick, Gonzalez, Rosenfeld, Shapiro, Hawkins, Zhang J. и др. Тем не менее в настоящее время не создано теоретических основ и алгоритмических решений в области обработки текстурных изображений, которые бы удовлетворяли требованиям практики.
В диссертационной работе развивается новая технология обработки текстур, основанная на понятии секущих линий изображений. Этот подход позволил ответить на основные вопросы, связанные с проблемой распознавания текстур:
как построить набор информативных признаков, которые полно описывают яркостные и структурные свойства текстурных изображений;
как обеспечить инвариантность признаков относительно угла поворота, масштаба и освещенности сцены при регистрации изображения;
какую использовать меру различия/близости двух текстурных изображений;
как построить алгоритмическое обеспечение для создания быстродействующей системы распознавания текстурных изображений.
Практическая значимость поставленных теоретических проблем и необходимость создания эффективных программных средств обработки и распознавания текстурных изображений обуславливают актуальность данного диссертационного исследования.
Цель работы. Целью работы является создание теоретической основы и алгоритмических средств анализа яркостных и морфологических свойств текстурных изображений, разработка пакета представительных информативных признаков текстур рассматриваемого типа и решение с их использованием задачи распознавания.
Для достижения поставленной цели в диссертации решены следующие теоретические и методические задачи:
Разработан новый подход к формированию пакета признаков текстурных изображений.
Предложена модель базы данных текстурных изображений, включающая информативные признаки изображений.
Предложена методика распознавания текстурных изображений с использованием нейронных сетей.
Разработана программная система TIC, позволившая исследовать эффективность развитой в диссертации технологии обработки и распознавания текстурных изображений.
Проведены экспериментальные исследования с использованием возможностей программной системы TIC.
Объектом исследования являются текстурные изображения, рассматриваемые как случайные поля, характеризующиеся некоторыми структурными и яркостными свойствами. Предметом исследования являются методы обработки изображений, статистический анализ яркостных и структурных характеристик текстур, неиросетевые методы распознавания объектов, программные системы обработки и распознавания изображений.
Методы исследования. Для решения поставленных в диссертационной работе задач применены теория цифровой обработки изображений, методы статистического анализа данных, основы теории нейронных сетей, принципы построения неиросетевых классификаторов, а также технология создания прикладных программных систем.
Научная новизна исследования состоит в следующем:
Введено понятие "секущей линии" изображения и "одномерных сегментов", расположенных вдоль секущих линий. Сформулирован основополагающий принцип, согласно которому статистические характеристики массива сегментов, выделенных на множестве секущих линий, полно отражают яркостные и структурные свойства текстурного изображения.
Рассмотрена матрица частот распределения сегментов по длине и средней яркости, характеризующая закон первого порядка для распределения случайного яркостного поля.
Определены статистические признаки сегментов, которые содержат информацию о корреляционных свойствах исследуемой текстуры. К ним относятся матрицы смежности сегментов по длине и яркости с заданным параметром позиционирования, а также корреляционная функция плотности сегментов разных категорий в поле изображения.
Обеспечена инвариантность решения задачи распознавания относительно угла поворота, масштаба и освещенности сцены при регистрации изображения текстуры.
Предложено использовать среднеквадратичный и энтропийный показатели различия текстурных изображений в пространстве признаков - статистических характеристик сегментов.
Рассмотрены особенности применения нейронной сети Хемминга и векторной параметрической нейронной сети для распознавания текстурных изображений в построенном пространстве признаков.
Разработана оригинальная программная система, в которой реализована разработанная в диссертации технология обработки текстурных изображений и создан необходимый инструментарий для проведения исследовательской работы.
Основные научные результаты, выносимые на защиту
Новый принцип построения информативных признаков текстур, основанный на понятии "секущей линии" изображения и одномерных сегментов, выделенных вдоль секущих линий.
Построение статистических признаков текстурных изображений, включающих таблицу частот распределения сегментов по длине и яркости, а также признаки корреляционного типа.
Разработка алгоритмических средств распознавания текстурных изображений в построенном пространстве признаков с применением нейронной сети Хемминга и векторной параметрической нейронной сети.
Обеспечение инвариантности распознающей системы относительно угла поворота, масштаба и освещенности текстурной сцены при ее регистрации.
Программная система, предназначенная для выполнения исследований по изучению функциональных возможностей и точности распознавания текстурных изображений с использованием разработанной технологии.
Практическая значимость. Разработанный в диссертации методический подход дает возможность такой организации данных в базе текстурных изображений, которая позволяет осуществлять быстрый поиск текстур, близких к заданной по своим яркостным и структурным свойствам. Это позволяет решать ряд прикладных задач, связанных с обработкой и распознаванием текстурных изображений, в реальном времени анализа данных специалистами. Примером возможного использования предложенной технологии являются задачи медицинской диагностики (распознавание гистологических препаратов),
целенаправленный быстрый поиск в базе данных изображений по ассоциации с заданной текстурой и пр. Учитывая большой объем накопленных текстурных изображений в различных прикладных областях и необходимость оперативной работы с имеющимися данными, полученные в диссертации результаты имеют важное практическое значение.
Достоверность научных результатов. Достоверность научных результатов подтверждена данными компьютерного экспериментального исследования в разработанной программной среде TIC, которая была экспонирована на выставке "Телекоммуникации и новые информационные технологии в образовании" (Москва, МИФИ) в 2007 г.
Апробация работы. Основные положения и результаты диссертационного исследования докладывались и обсуждались на научных конференциях и семинарах: Научная сессия МИФИ (2004-2006 г.г.); XV международный научно-технический семинар «Современные технологии в задачах управления, автоматики и обработки информации» (Алушта, 18-25 сентября 2006 г.); IX всероссийская научно-техническая конференция «Нейроинформатика-2007» (Москва, 2007 г.); XI выставка-конференция «Телекоммуникации и новые информационные технологии в образовании» (Москва, 2007 г.). Ряд докладов, представленных на Научных сессиях МИФИ, были отмечены дипломами.
Публикации. По теме диссертационного исследования опубликовано 7 печатных работ.
Структура и объем работы. Диссертация состоит из Введения, четырех разделов, Заключения, библиографического списка и четырех Приложений. Основная часть диссертации содержит 128 страниц машинописного текста, включая 61 рисунок и 8 таблиц.
В разделе 1 диссертации дан аналитический обзор публикаций по теме диссертации. Рассмотрены различные алгоритмические подходы к описанию текстурных свойств изображений, сегментации и распознаванию изображений. Особое внимание уделено применению нейросетевых методов для распознавания изображений. Излагаются принципы построения нейронной сети Хемминга и векторной параметрической нейронной сети для решения поставленной в диссертационной работе задачи. Дается описание всех связанных с этими нейросетевыми архитектурами процедур, так как они используются и в настоящей работе.
Теоретические основы развитой в диссертации технологии распознавания текстурных изображений представлены в разделе 2. В нем определено понятие секущей линии изображения и описан способ выделения на секущих линиях одномерных
сегментов, характеризующихся своей длиной, средней яркостью, координатным положением и ориентацией в плоскости изображения. Массив выделенных на изображении сегментов используется для формирования информативных признаков изображения: таблицы распределения частот встречаемости сегментов по длине и яркости, а также признаков корреляционного типа (матрицы смежности сегментов по длине и яркости и корреляционные функции для плотности распределения сегментов разных категорий в поле изображения).
Благодаря переходу от пиксельного анализа текстурного изображения к анализу массива выделенных сегментов, в диссертации удалось построить алгоритмы преобразования сегментов по длине и яркости, обеспечивающие инвариантность решения задачи распознавания текстуры относительно угла поворота, масштаба и освещенности при регистрации изображений. Найденное алгоритмическое решение приведено в разделе 2.
Определение состава статистических признаков, которые с информационной точки зрения полно представляют свойства текстур, позволило ввести показатели близости/различия текстурных изображений в пространстве признаков. В диссертации в качестве такого показателя использован не только традиционный среднеквадратичный показатель, но и дифференциальная энтропия по Кульбаку [1].
Кроме того, в разделе 2 изложены особенности использования нейронной сети Хемминга и векторной параметрической нейронной сети для решения задачи распознавания текстур в пространстве статистических признаков одномерных сегментов.
Формальная постановка задачи распознавания текстурных изображений
В [13] предлагается новая метрика «усиленных» расстояний (boostedd istance metric) H(d), которая позволяет не только искать наилучшую функцию расстояния, удовлетворяющую распределению основных элементов, но и отражает наиболее важные особенности элементов относительно подобия. Для вектора признаков х, выполнена оценка подобия с использованием dBoost с отклонениями между векторами d = xi-xj. Каждый вектор расстояния имеет соответствующую метку ld І 1, если х, и х, в одном классе О иначе
Далее классификатор определяется метрикой расстояния т на признаковый элемент/с оцененным параметром 9, который может быть средним значением или порогом: d = hmjee{0,\}. «Усиленное» расстояние H{d) многократно обучается с разными метриками расстояния. Следовательно, выделяется расчетное подобие S(x,y) = Н(х,у), которое представляет собой оптимальную характеристику для классификации. 13 Информативные признаки для распознавания текстур
Информативные признаки играют важную роль для распознавания изображений. Все существующие системы распознавания изображений опираются на вычисление определенного набора признаков для оценивания сходства между изображениями.
Для распознавания текстур следует также ввести представительные информативные признаки текстурного поля. Существуют используемые в разных приложениях распознавания изображений признаки, которые характеризуют структурные свойства или статистическое содержание текстурного изображения. Рассмотрим распространенные информативные признаки текстурных изображений, которые вводятся в работах [10] - [19]. Очень популярным инструментом для текстурного анализа является матрица пространственной смежности, предложенная в 1973 Хараликом (Haralic Он предложил 14 признаков, которые построены на матрицах смежности. Среди них наиболее часто используются следующие признаки: энтропия, второй момент (энергия), контраст, однородность.
Эти признаки, извлеченные из матрицы пространственной смежности, могут быть представлены в четырех-мерным векторе признаков, использующемся для классификации текстур [14]. Яркостная матрица смежности С(/, j) представляет для заданного вектора смещения dx = (дк, ду) общее число пар пикселей, расположенных на смещении dxy и обладающих яркостями / и/. Матрица С(/, j) нормирована путем деления каждого элемента на общее число пар пикселей. С использованием яркостной матрицы смежности вычисляются текстурные признаки по следующим формулам [4]: Энтропия = -с(/,у) logC(/, Д (1.7) j Энергия = ЕС2( ./), (1.8) j Контраст=1( -у)2С(/,./) (1.9) J Однородность =gg ТА- (1Л0)
Практически яркостная матрица пространственной смежности вычисляется для разных значений d , а среди рассчитанных значений каждого из статистических показателей используются одно максимальное. Для использования матрицы пространственной смежности с цветными изображениями, следует преобразовать их к полутоновым. Для вычисления такой матрицы признаков требует много времени.
В работе [19] приведено быстродействующее вычисление Харалик-текстурных признаков, которое содержит два этапа. Первый этап является созданием матрицы пространственной смежности. После этого предлагается оптимизировать код с использованием рекурсивного блокирующего алгоритма. Блокирование здесь является разбиением исходного изображения на меньшие изображения. Полученные фрагменты изображения опять разделяются на меньшие части до тех по, пока не получится
основная часть. Матрицы пространственной смежности вычисляются для каждой основной части и объединяются для формирования матрицы для целого изображения.
При анализе текстурных изображений различают микроструктуру и макроструктуру. Эта классификация основана на размере примитива, создающего текстуры. Как микроструктура, так и макроструктура составляются из примитивов, которые содержат специфические геометрические формы, размеры и положения. Набором связанных пикселей является примитив, который характеризуется признаками. Самый простой примитив - это один пиксель с его полутоновым свойством. Крупность и ориентация являются важными признаками таких текстур. Крупность относится к размерам текстурных элементов. Если размер примитивного элемента большой, то тип текстуры представляет собой "крупность" или макроструктуру, иначе - тонкую или микроструктуру.
Решение задачи распознавания объектов на изображении зависит от выбора их числовых характеристик. Можно разбить используемые характеристики на следующие четыре группы: детерминированные, вероятностные, логические, структурные.
Детерминированные признаки - это такие характеристики объектов или явлений, которые имеют конкретные и постоянные числовые значения. Примером системы, где используются детерминированные признаки, является распознавание на конвейере деталей по отличию геометрических характеристик от нормативных значений, если ошибки измерений существенно меньше размеров этих деталей. Распознавание осуществляется путем сравнения полученных размеров с имеющимися в базе данных характеристиками деталей. Примерами детерминированных признаков в этом процессе могут быть размер, показатель формы и цвет объектов.
Вероятностные признаки - это характеристики объекта, имеющие случайный характер. С такими признаками в основном и имеют дело в природе и технике. Отличаются эти признаки тем, что в силу случайности соответствующей величины признак одного класса может принимать значения из области значений других классов, каждый из которых подлежит распознаванию в системе.
Таблица частот распределения сегментов по длине и яркости
В работах [44] - [56] описана параметрическая векторная нейронная сеть, обладающая большой емкостью памяти и способностью восстанавливать вектор при большом искажении. По существу параметрическая нейронная сеть представляет собой ассоциативную помять с нейронами типа Хопфилда, которые характеризуются более чем двумя разными состояниями [50]. Состояние каждого нейрона векторной сети представляет собой единичный вектор в -мерном пространстве R4, в отличие от обычного нейрона сети Хопфилда, характеризующегося скаляром со значениями ±1 или 0/1. Фактически векторная сеть - это двухслойный персептрон с N унарными входами и и унарными выходами. В работе [51] предложен идентификатор на основе векторного персептронного алгоритма. Этот идентификатор представляется перспективным для решения задачи диссертационной работы. Рассмотрим решаемую векторным идентификатором задачу. Имеется семейство JV-мерных многопараметрических образов {Хм\, искаженные образы которых предстоит идентифицировать: X„ = $цХ,х„г, ,х }, ц = \, М, х - некоторый единичный вектор, направленный вдоль одного из орт-векторов унарного векторного пространства, задающий состояние /-го нейрона. На вход сети подается искаженный вектор. Необходимо определить, к какому из эталонных векторов семейства \х } принадлежит данный входной вектор, т.е. определить его идентификатор - /л. Постановка задачи использования параметрического нейронного идентификатора векторов представлена на рис. 1.7. Рассмотрим структуру параметрической векторной нейронной сети, применяющейся для распознавания образов (рис. 1.7).
Каждый входной нейрон связан со всеми другими нейронами выходного слоя. На выходе получается вектор размерности п. Каждому образу X ставится в соответствие вектор YM =\} рі,у/12 -— У/т) число компонентов которого « = [log j+l достаточно для кодировки номера (идентификатора) данного образа. Y определяется так, что последовательность номеров орт-векторов -мерного векторного пространства, вдоль которых направлены единичные векторы у Уц1,-—,ут, представляет собой число // в #-ичной записи. Иными словами, Yp есть кодировка номера fi [51]. Этот вектор содержит коды разрядов десятичного числа - номера образа. Для построения векторной нейронной сети формируется модифицированный набор векторов \Хр] размерности (N+ri):
Под воздействием локального поля /-й выходной нейрон ориентируется вдоль орта, направление которого наиболее близко направлению внешнего поля. При этом восстанавливается кодирующий выходной вектор Ym. Обозначим через ак номер орта, вдоль которого направлен вектор утк. Тогда номер эталона, искажением которого я является вектор z, определится выражением т = akqk x ui После декодирования получается десятичный номер образа, которому принадлежит данный входной вектор. Структура параметрической векторной нейронной сети представлена на рис. 1.8.
Вектору состояния нейрона следует приписывать еще и знак, поскольку он может быть направлен вдоль или против соответствующего орта. Таким образом, состояние /-го нейрона описывается -мерным вектором. Если учитывается знак единичного вектора в сети, то локальное поле в формуле (1.32), действующее на Д-й нейрон со стороны сети, может быть рассчитано по следующей формуле:
Заметим, что в векторной параметрической сети не вычисляются показатели различия или близости текущего и эталонных изображений. Необходимые данные об эталонных изображениях заключены в матрице Т. Сеть генерирует код номера эталона, используя содержащиеся в Т корреляционные связи.
Многослойная нейронная сеть
Многослойные нейронные сети (МНС) среди различных нейросетевых архитектур наиболее часто используются в практических приложениях. Это объясняется, с одной стороны, принципиальной возможностью реализации на МНС произвольного непрерывного функционального преобразования входного сигнала, а с другой - разработкой эффективной вычислительной процедуры обучения, то есть настройки МНС [42]. Многослойная нейронная сеть принципиально может быть применена для распознавания текстурных изображений. Однако в рассматриваемом приложении размерность входного вектора признаков N и выходного вектора (число эталонных изображений) столь велики, что подбор архитектуры МНС и организация обучения представляют собой трудновыполнимую вычислительную задачу.
В [72] приведена классификация изображения на основании текстурных признаков с использованием многослойной нейронной сети. Используются 4 статистических признака матрицы Харалика (угловой второй момент, яркость, корреляция, и дисперсия) и 3 компонента полутонового цвета на входе нейронной сети. Сеть имеет 4 слоя, включающие 7 входов, II нейронов первого скрытого слоя, 15 нейронов второго скрытого слоя, и 5 выходных нейронов. Архитектура сети представлена на рис. 1.9.
Исходными данными для решения задачи распознавания текстур, решаемой в диссертационной работе, являются известные текстурные изображения, называемые «эталонными». Требуется построить алгоритмическое и программное обеспечение системы, которая произвольной входной текстуре ставит в соответствие один или несколько эталонов, которые имеют со входным изображением общие свойства по структуре яркостного поля.
Решение поставленной в диссертации задачи предполагает ответы на следующие вопросы:
Какие следует использовать признаки текстурного изображения, полно отражающие его яркостные и структурные особенности?
Как обеспечить инвариантность решения задачи распознавания относительно угла поворота, масштаба и освещенности при регистрации текстурного изображения?
Какой использовать принцип распознавания изображения по построенному вектору информативных признаков текстуры?
Какие следует принять алгоритмические решения, чтобы обеспечить ограниченную вычислительную сложность и возможность построения системы, работающей в реальном времени анализа данных специалистами?
Таким образом, ставится задача создания новой технологии обработки и распознавания текстурных изображений. Точность и вычислительная эффективность предлагаемых алгоритмических решений должны быть подтверждены экспериментально на специально разработанной для этой цели программной системе.
Функциональные задачи и требования к программе TIC
С использованием класса MyLine формируются секущие линии g,, где j = \,NQ , NQ - общее число секущих линий на изображении, вдоль которых выделяются одномерные сегменты. Число линий на изображении ограничено и не превышает 1000. Оценка точности распознавания зависит от выбора числа секущих линий. В систему TIC встроен модуль анализа сходимости статистических признаков изображения в зависимости от числа линий.
После расчета секущих линий вычисляется массив сегментов Sn, n = \JJs, на которых основано формирование матриц признаков для классификации. В классе MyLine сохраняются только координаты двух конечных точек каждой линии, поэтому для последующей одномерной сегментации необходимо вычислить все точки, принадлежащие линии, в соответствии с представленными в разделе 2 формулами. Координаты точек вдоль каждой линии и все линии в целом визуализируются на изображении (рис. 3.2).
Рис. 3.3. Секущие линии на текстурном изображении: й) линии случайно располагаются в поле изображения (число линий 100), 6) линии образуют прямоугольную решетку в поле изображения (угол 30% число линий 100) Для выделения сегментов вдоль секущих линий используется линейный оптимальный дифференцирующий фильтр с конечной "памятью". Он позволяет вычислить градиент яркости пикселей вдоль секущей линии изображения: где Lp - количество пикселей на -ой секущей линии, gk(i + j) и g k (і) - яркость и градиент яркости пикселя в центре "скользящего окна". Параметр "памяти" фильтра [2] полагается равным 5, j = - 2,+2 : и = (0.2;0.1;0;-0.!;-0.2). Границы сегментов индицируются пикселями, для которых абсолютные значения градиента существенно больше, чем для окружающих пикселей.
В системе Т1С для выделения границ сегментов используется также алгоритм с использованием 5-пиксельного скользящего окна [27]. После обработки значений яркости 5-й пикселей О], Оь Оз, 0\, 0$ получается одно значение в центре "скользящего окна". Центральный пиксель является индикатором существования или отсутствия границы.
Алгоритм предполагает вычисление максимального значения интенсивности в текущем окне. Если это максимальное значение не находится в положении Оз, этот пиксель не означает границу. Но если максимальное значение находится в положении От, и оно достаточно отличается от значений окружающих пигселей, то это положение рассматривается как граница. От, рассматривается как граница, если 03-02м или О3-0, / и О3-04 / илиО3-05 7
Значение t в системе задано равным 10 на основе экспериментального подбора наилучшего значения. После выполнения обработки "окно" смещается в следующее положение на один пиксель. Если ширина границы больше одного пикселя, то центральный пиксель считается границей.
Для каждого выделенного сегмента используется структура данных, содержащая его характеристики - длину, среднюю яркость и положение центра. Допустим, число сегментов равно Ns и л„ = ,/,7 = бй?} - матрица частот распределения сегментов по длине и яркости, / = 0,9 - номер интервала по длине, j = 0, 9 - номер интервала по яркости. По свойствам сегментов (длина и среднее значение яркости) создается таблица частот Аи. Рассмотрим каждую пару значений (!„,/„) сегмента Sn, где и=17л порядковый номер сегмента. Диапазон яркости [0, 255] разделяется на N, интервалов (в системе TIC полагается iV/ =10). Диапазон изменения длины сегментов [0, 200] разделяется на NL интервалов (200 - принятая в системе TIC максимальная длина выделенных сегментов на изображении). В каждом элементе а,у таблицы А„ рассчитывается частота попадания сегмента в интервал / по длине и интервал j по яркости. В таблице частот представлены границы интервалов для средних значений яркости сегментов (по столбцам) и интервалов для длины сегментов (по строкам). Таким образом, получаются абсолютные частоты распределения сегментов по длине и яркости. Сумма абсолютных частот всех элементов таблицы равна числу сегментов, выделенных на всех секущих линиях изображения: AZA =JVS
Пример матрицы абсолютных частот после выполнения алгоритма представлен на рис 3.4. Матрица относительных частот рассчитывается делением всех элементов на N. Для классификации используется матрица относительных частот. В дальнейшем она будет называться просто матрицей частот.
Примеры распознавания текстурных изображений в системе TIC
В разделе излагаются результаты вычислительных экспериментов, выполненных в системе TIC. Целью экспериментальных исследований является изучение вычислительных особенностей и точности представленного в диссертации (раздел 2) нового методического подхода к описанию свойств и распознаванию текстурных изображений. Сформулируем ряд вопросов, ответ на которые требует экспериментального обоснования:
Насколько полно характеризуют текстурное изображение признаки, введенные в диссертационной работе? Не является ли используемый в работе состав признаков избыточным, то есть возможно ли сокращение размерности пространства признаков? Насколько устойчивы используемые в качестве признаков статистические оценки? Как зависит точность этих оценок от числа секущих линий на изображении? Позволяет ли среднеквадратичный показатель из всего множества текстурных изображений базы данных четко выделять группу изображений, подобных заданному?
Насколько резкой/размытой является граница между двумя выделенными группами изображений с точки зрения среднеквадратичного показателя? Обладает ли энтропийный критерий подобия текстурных изображений требуемыми возможностями по их классификации? Какой из показателей - среднеквадратичный или энтропийный - обладает лучшими селектирующими свойствами? Какой точностью распознавания текстурных изображений в построенном пространстве признаков обладает нейронная сеть Хемминга? Какова точность распознавания текстурных изображений векторной параметрической нейронной сетью? Насколько быстродействующими являются алгоритмы, используемые на основных этапах: вычисление информативных признаков входного текстурного изображения и его распознавание по данным базы эталонов? Может ли разработанный в диссертации методический подход обеспечить решение задачи распознавания текстур в реальном времени анализа изображений специалистом?
В следующих далее подразделах подробно излагаются условия проведения вычислительных экспериментов и полученные результаты, формулируются выводы и даются практические рекомендации специалистам.
Для постановки вычислительных экспериментов средствами системы TIC была создана база эталонных изображений (БЭИ), включающая 80 изображений текстур разных типов. На рис. 4.1 приведен фрагмент БЭИ (каждое эталонное изображение представлено на рисунке своим фрагментом). Полный состав эталонов БЭИ приведен в Приложении 1. При создании БЭИ строились 500 секущих линий для получения надежных статистических оценок используемых признаков одномерных сегментов.
Как было отмечено в разделах 2 и 3, в набор признаков текстуры предлагается включить элементы таблицы частот, матрицы смежности по длине и яркости, а также корреляционные функции плотности распределения сегментов разных категорий в плоскости изображения. Возможность построения такого набора признаков заложена в систему TIC, однако для целей эксперимента на первом этапе достаточно ограничиться рассмотрением только таблицы частот.
Для проверки распознающих свойств построенной системы TIC на ее вход подавались текстурные изображения, не содержащиеся в базе данных. Система находит в БЭИ несколько (обычно мы будем рассматривать 5) изображений, которые с точки зрения используемого критерия имеют наибольшее сходство с входным изображением. Каждому из найденных в БЭИ изображений соответствует определенное значение критерия, так что путем их сравнения можно объективно оценить, какую часть из полученных изображений БЭИ можно действительно рассматривать как удовлетворительное решение поисковой задачи.
При проведении экспериментальных исследований варьировались следующие параметры и алгоритмы: число секущих линий на изображении, критерий подобия изображений, алгоритм распознавания, размерность таблицы частот (пространства признаков), входные изображения для поиска подобных эталонов в БЭИ.
В этом подразделе рассматриваются результаты серии экспериментов, которые устанавливают принципиальную полноту статистического описания текстурных изображений в предложенном пространстве признаков и возможность их распознавания. Эксперимент 1.
Входное изображение - кора дерева (рис. 4.2) - подвергается обработке с использованием 500 секущих линий. По выделенным сегментам строится матрица частот размерности [10 10]: 10 градаций длины сегментов и 10 градаций средней яркости. Анализируемое изображение отсутствует в базе эталонных изображений. Полным перебором текстурных изображений БЭИ (их статистических описаний) по среднеквадратичному критерию устанавливаются изображения, имеющие по своим яркостным и структурным свойствам наибольшее подобие входному изображению. На рис. 4.2 показаны 13 таких изображений БЭИ. Рядом с каждым изображением указан его порядковый номер в БЭИ. Визуальный анализ показывает, что в базе данных имеются 2 изображения с текстурой искомого типа с порядковыми номерами 1 и 46.
Поскольку секущие линии располагаются в поле изображения случайно, матрица частот не является детерминированной и меняется в разных испытаниях. Это означает, что в разных испытаниях поиск "наилучшего" текстурного изображения в БЭИ может приводить к разным результатам. Если предложенный набор признаков является полным и устойчивым с точки зрения статистической повторяемости в разных испытаниях, то следует ожидать надежный выбор в результате поиска указанных двух изображений. В Таблице 4.1 представлены результаты 10-и испытаний. Каждому испытанию соответствует один столбец. В разных строках каждого столбца указаны найденные номера изображений БЭИ в порядке убывания среднеквадратичных значений отклонений текущего изображения от найденных в БЭИ.
