Содержание к диссертации
Введение
1. Системный анализ состояния проблемы обработки снимков промышленных изделий 21
1.1. Анализ системы методов контроля качества и выявляемых ими дефектов 21
1.2. Анализ системы снимков промышленных изделий и дефектов на них 25
1.3. Анализ существующих компьютерных систем дефектоскопирования по снимкам промышленных изделий 31
1.4. Анализ системы методов выделения и анализа линейчатой структуры на цифровых изображениях и объектов на снимках промышленных изделий 37
Выводы по разделу 1 44
Постановка задач исследования 44
2. Преобразования изображений по линейчатым структурам 46
2.1. Основные понятия 46
2.2. Интегральное преобразование по сегменту полосы 49
2.3. Интегральные преобразования изображения по линии 53
2.3.1. Интегральные преобразования многомерного и двумерного изображения 53
2.3.2. Производное интегральное преобразование по линии 57
2.3.3. Интегральное преобразование по подобной кривой 60
2.3.4. Интегральное преобразование в пространство производных признаков линий 61
Выводы по разделу 2 67
3. Разработка методов выделения и анализа линейчатых образов, основанных на интегральных преобразованиях по линейчатым структурам
3.1. Метод выделения полос на основе ИПСП без вращения детектора 68
3.2. Метод выделения полос из сегментов различного масштаба на основе ИПСП 73
3.3. Метод воспроизведения изображений полос на основе интегрального преобразования по сегменту полосы 79
3.4. Метод вычисления кривизны образующей полосы 86
3.5. Разработка методов реализации интегральных преобразований по линиям 91
3.5.1. Методы реализации интегрального преобразования по линии
3.5.2. Методы реализации интегральных преобразований по аналитическим кривым 97
3.5.3. Методы реализации интегральных преобразований по отрезкам и ломаным 108
3.5.4. Методы реализации интегральных преобразований по подобным кривым 113
3.6. Методы выделения и вычисления признаков линейчатых образов на основе интегральных преобразований по линиям 118
3.6.1. Метод вычисления признаков образа линии на основе ИПЛ 118
3.6.2. Метод выделения линейчатых образов на основе обратного интегрального преобразования по линии 120
Выводы по разделу 3 121
4. Разработка алгоритмов обработки изображений на основе интегральных преобразований 123
4.1. Алгоритм выделения отрезков линий на полутоновых изображениях 123
4.2. Алгоритм выделения осевой линии контуров на полутоновых изображениях 130
4.3. Алгоритм выделения границ объектов как полос с помощью ИПСП 136
4.4. Алгоритм соединения точек перепадов яркости 140
4.5. Алгоритм подавления шума на полутоновых изображениях 143
4.6. Алгоритм подчеркивания границ объектов на полутоновых изображениях 145
4.7. Алгоритмы сегментации полутоновых изображений 148
Выводы по разделу 4 155
5. Экспериментальное исследование методов и алгоритмов обработки и анализа снимков, основанных на интегральных преобразованиях по линейчатым структурам 156
5.1. Исследование методов выделения и анализа полосовых образов 156
5.1.1. Моделирование полосовых образов 156
5.1.2. Оценка качества выделения и анализа полос по статистическим характеристикам 166
5.1.3. Оценка качества методов по геометрическим характеристикам полосовых образов : 170
5.2. Исследование методов вычисления параметров образов линий... 185
5.2.1. Оценка метода вычисления параметров линий, основанного на интегральном преобразовании по линии 185
5.2.2. Исследование методов выделения и вычисления параметров сегментов линий 188
5.3. Исследование алгоритмов обработки и анализа изображений 190
5.3.1. Формирование и обоснование тестовых изображений 190
5.3.2. Исследование алгоритма подавления шума 194
5.3.3. Исследование алгоритмов выделения границ объектов 196
Выводы по разделу 5 208
6. Практическое применение разработанных методов и алгоритмов для обработки и анализа дефектоскопических и металлографических снимков 210
6.1. Методика обработки и анализа снимков дефектов-трещин 210
6.1.1. Задачи обработки и анализа дефектоскопических снимков. 210
6.1.2. Обработка и анализ снимков трещин на основе разработанных методов 215
6.1.3. Статистический анализ снимков 218
6.1.4. Методика и примеры обработки дефектоскопических снимков трещин 222
6.2. Обработка и анализ рентгеновских снимков сварных соединений 231
6.2.1. Задачи оценки качества сварных соединений 231
6.2.2. Анализ образов дефектов на рентгеновских снимках сварных соединений
6.2.3. Методика и примеры обработки рентгеновских снимков сварных соединений 236
6.2.4. Результаты обработки рентгеновских снимков продольных сварных соединений в трубопроводных изделиях ОАО «Выксунский металлургический завод» 243
6.2.5. Результаты анализа рентгеновских снимков газопроводных трубопроводов стыковых соединений 254
6.3. Обработка и анализ металлографических снимков 258
6.3.1. Металлографические исследования снимков микроструктур 258
6.3.2. Применение интегральных преобразований по сегментам полос для обработки металлографических изображений 262
6.3.3. Методы и алгоритмы выделения признаков объектов на металлографических изображениях 268
6.3.4. Исследование информативности базовых и производных признаков объектов 273
6.3.5. Решение практических задач автоматического анализа и распознавания металлографических снимков 284 Выводы по разделу 6 307
Заключение 308
Литература
- Анализ системы методов выделения и анализа линейчатой структуры на цифровых изображениях и объектов на снимках промышленных изделий
- Интегральные преобразования многомерного и двумерного изображения
- Методы выделения и вычисления признаков линейчатых образов на основе интегральных преобразований по линиям
- Алгоритм подчеркивания границ объектов на полутоновых изображениях
Анализ системы методов выделения и анализа линейчатой структуры на цифровых изображениях и объектов на снимках промышленных изделий
В соответствии с ГОСТ 18353-79 [298] на промышленных предприятиях применяют методы неразрушающего контроля, разделяющиеся на девять видов: магнитный [299, 300, 301], электрический [302], вихретоковый [303, 304], радиоволновой [305, 306, 307], тепловой [308, 309], оптический [310, 311], радиационный [312, 313], акустический [314, 315, 316] и капиллярный [317].
Акустические методы контроля обычно используются для выявления и оценки параметров глубинных дефектов типа нарушения сплошности, расслоения, непроклепа, непропая; для измерения толщины изделия; для регистрации трещин; для контроля клеевых, сварных и паяных соединений, имеющих тонкую обшивку, приклеенную или припаянную к элементам жёсткости.
Радиоволновые методы применяются для определения толщины изделия (толщинометрия) и обнаружения несплошности материала изделия с минимальной площадью 1 см2.
Радиографический контроль применяют для определения внутренних дефектов в ответственных паяных изделиях, трещин в шве или паяемом металле, локального отсутствия припоя, пор и инородных включений. Капиллярный контроль применяется, в основном, для выявления поверхностных дефектов (трещины, поры и пр.) в жаропрочных сталях, алюминиевых, титановых и других немагнитных сплавах, керамических, композиционных и полимерных материалах.
Магнитный контроль предназначен для выявления поверхностных и подповерхностных (на глубине до 1,5 - 2 мм) дефектов типа нарушения сплошности материала изделия: трещины, волосовины, расслоения, не проварка стыковых сварных соединений, закатов и т.д.
Для теплового контроля выделяют следующие области применения: выявление внутренних несплошностей, контроль процессов литья черных металлов и стали, обнаружение источников потерь энергии в оборудовании, зданиях, тепловых сетях.
Методы электрического контроля позволяют определять дефекты различных материалов, измерять толщины стенок, покрытий и слоев, сортировать металлы по маркам, контролировать диэлектрические или полупроводниковые материалы.
Вихретоковый метод применяют для решения следующих задач: обнаружение трещин, раковин, неметаллических включений и других видов нарушений сплошности; измерение толщины объекта контроля, а так же толщины лакокрасочных, эмалевых, керамических, гальванических и других покрытий, нанесенных на электропроводящую основу.
Оптический метод предназначен для обнаружения различных поверхностных дефектов материала детали, скрытых дефектов агрегатов, контроля закрытых конструкций, определения геометрических параметров деталей и распознавания объектов по внешнему виду.
В мире имеется общая тенденция разработки средств визуализации результатов контроля [329, 330, 331, 332, 333]. Такие средства основаны на различных физических методах - ультразвуковом, радиоволновом, тепловом, магнитном и т. д. Это обусловлено тем, что представление данных о внутренней структуре изделий в виде изображения позволяет определить местоположение, размеры и форму дефектов, а, следовательно, позволяет оценить их реальную опасность. На основе анализа изображений решаются вопросы происхождения дефектов, и может быть скорректирована технология изготовления, принимаются решения о возможности ремонта или о возможности дальнейшей эксплуатации оборудования [334].
Первичная информация, получаемая на выходе большинства методов контроля, может быть приведена к изображению с использованием современных методов визуализации. Это относится, в первую очередь, к магнитным, радиоволновым, тепловым, радиационным, акустическим и капиллярным методам, и, естественно, к визуально-оптическим методам контроля.
Тот факт, что результаты работы различных методов контроля могут быть сведены к цифровому изображению, предоставляет возможность разработки универсальных методов автоматизации контроля, основанных на принципах цифровой обработки изображений.
Полученное каким-либо образом изображение может восприниматься и анализироваться непосредственно оператором контроля, а может фиксироваться фото- видео- датчиком в цифровом виде с возможностью дальнейшей обработки системой анализа изображений.
По описанию методов контроля качества выполнена их общая характеристика, сведенная в табл. 1.1. По данным, приведенным в таблице, можно видеть, что: — в большинстве случаев при контроле качества промышленных изделий объектом анализа является снимок; — необходимо измерение геометрических параліетров дефектов на снимках; — большинство дефектов различных видов обнаруоісиваются и анализируются по снимкалі. Из выше изложенного следует, что большинство методов контроля качества ориентированы на формирование выходной информации в виде изображения для дальнейшего визуального анализа человеком с целью обнаружения на них образов дефектов и определения их геометрических параметров.
Интегральные преобразования многомерного и двумерного изображения
Пусть R" - векторное пространство размерностью п (R — множество вещественных чисел). Множество функций вида/: R"- R назовем пространством сигналов. Назовем пространство Rn сигнальной областью (или областью изображения). Если размерность сигнальной области п = 2 (R ), то изображение является двумерным (плоским). Если п 2, то изображение будет многомерным. Пусть О с Rn — некоторое подмножество сигнальной области, a fix Q) обозначает его характеристическую функцию: [0,xeQ. Функцию j{x Q) будем рассматривать как бинарное изображение. Множество всех характеристических функций/: R" —» {0, 1} назовем пространством бинарных изображений. Допустим также случай, когда значение функции fix) меняется непрерывно в пределах от 0 до 1: fix) є [0, 1]. Значение fix) в таком случае будет показывать степень присутствия точки объекта Q в точке х.
Изображение, заданное характеристической функцией/: Rn — [0, 1], будем называть образом объекта, заданного множеством Q. Пусть р(х, у) = 0 - уравнение некоторой линии на плоскости R . Будем обозначать такую линию как ср. Изображение, заданное функцией \ 1, (р(х, у) = О, о, U ( .у) = назовем образом (или изображением) линии р.
Пусть х = х(?), у = y(t) - параметрическое уравнение линии (р. Множество точек, расположенных вдоль линии х = x(t), у = y(t) на расстоянии, не превышающем значение а (рис. 2.1), D = {(x0,y0)[(х0,у0) - (х(0,Я0) о-} = = {Оо .Уо)Оо - (0)2 + (у0 -КО)2 ст2} назовем областью полосы (или просто полосой), заданной этой кривой (сердцевиной полосы). х = x(t), y=y{t) Рис. 2.1. Область полосы.
Кривую х = x(t), у = y(t) будем называть образующей кривой (или просто образующей) полосы D. Если значение а является функцией а = o(f), то полосу D будем называть полосой с переменной шириной, так что 2o(f) - ширина этой полосы, изменяющаяся по образующей кривой х = x(t), у = y(t). Изображением полосы (или образом полосы) назовем сцену, заданную характеристической функцией х {05 1Ь 1,0с0, 0)є Д О Z(x0,y0) = [l,(x0 -x(t))2 +(yQ -y(t)f a2, [0. Профилем полосы D будем называть сечение в окрестности точки (х, у) поверхности z = %(х, у) нормальной плоскостью в пространстве R3 к образующей кривой х = x(t), у = y(t) в точке (х, у).
Ясно, что профиль изображения полосы D будет иметь прямоугольную форму. Обобщим понятие образа полосы, видоизменив ее профиль. Для этого будем полагать, что полосовое изображение состоит (точнее, интегрируется) из бесконечного множества ее профилей, расположенных вдоль кривой х = x(f), у = y(t). Пусть А(х) - профиль полосы, так что lim А(х) = 0. X— ±О0 Тогда характеристическая функция изображения полосы профиля А{х) определится как криволинейный интеграл: Х(Ч Уо)= \ А x=x(s), y=y(s) 1ф) (dy ds dx v ds J {.У хо; 8 (dx\ ds dy\ds J кУ хо) ds ф) где s - натуральный параметр образующей линии, 8 - дельта-функция, -оператор скалярного произведения векторов. Примеры изображения кривой, полосы с прямоугольным профилем и полосы, где А(х) - гауссиан, приведены на рис. 2.2 (а - образующая полосы, б - полоса с прямоугольным профилем, в - полоса с профилем гауссиана). а) б) в) Рис. 2.2. Полосовые образы. 2.2. Интегральное преобразование по сегменту полосы Сегментом полосы будем называть прямоугольник, обладающий следующими свойствами: 1) центр прямоугольника находится в точке образующей полосы; 2) две стороны прямоугольника параллельны касательной к образующей в этой точке и аппроксимируют края полосы. Обозначим полуширину сегмента как ст, полудлину - /, а угол наклона сегмента (который равен углу наклона нормали к образующей полосы в центре сегмента) - (9(рис. 2.3).
Функцию z = s(x, у,в, о), которая максимальным образом повторяет функцию изображения полосы z = х(х У) в каждой точке области ее сегмента в пространстве параметров х, у,в, ст, назовем детектором сегмента полосы (или просто детектором полосы). x = x(t),
Будем формировать детектор из функции двух переменных s: R — R, независящей от параметров в и ст. Пусть s(x,y,0, 1) = s(x, у), I - const, тогда s{x,yA а)= s Т(в) У cos# — sin б где Т( 9) = оператор (матрица) поворота на угол в. V; sin# cos в Таким образом, каждая поверхность 2 = s(x, у, в, о) получается поворотом поверхности z = s(x, у) на угол в вокруг оси Oz, ее масштабированием вдоль осей Ох и Оу с коэффициентами ст и / соответственно. Параметры awl будем называть масштабными коэффициентами (или просто масштабами) по ширине и длине соответственно. Если в = 0, а = / = 1 детектором, то детектор будем обозначать функцией s(x,y). Таким образом, можно сказать, что каждый сегмент полосы определяется следующими признаками: позицией (х, у), ориентацией в, масштабами а, 1 и детектором s(x, у). II U1 ґ\ Пусть \щ - норма функции six, у, в, о). Преобразование Щ-], ставящее в соответствие каждому изображению fix,у) его спектр параметров к(х0,у0,в,а) по правилу -І ОС (Я Кха,Уо,0,сг) = — \ \f{x,y)s{x-xQ,y-yQ,9,cr)dxdy, \\S\\ — оо —оо назовем интегральным преобразованием по сегменту полосы (ИПСП) S, заданной детектором s(x,y,9,a). Следует заметить, что введенное преобразование представляет собой свертку функцийДх у) и s(x,y,6,o): h= ifs). IN Пусть f\ix,y) = A-s(x-xi, у у\,в\,ст \). Параметр А назовем амплитудой сигнала/і(х, ).
Видно также, что все остальные отклики будут меньше А: V(x,y,0,а) Ф (х1 ,уь01,а,) h(x,y,0,сг) А = max h(x,y,0,cf) = h(xuyb0U(j{) = А. Таким образом, вследствие теоремы и свойств скалярного произведения спектральная функция h(xo,yo,0,cf) будет принимать максимальное значение в точке (хо,уо,0,(т), тогда и только тогда, когда поверхность функции исходного изображения fix У) будет наилучшим образом повторять поверхность детектора s(x,y,0,o), где (х0,у0), 0, т -позиция, ориентация и полуширина сегмента полосы соответственно.
Исходя из изложенного, для вычисления признаков сегмента полосы 0О, (То в каждой точке изображения (х, у) необходимо решить следующую задачу оптимизации: h(x, у, 0, о) —» max О в 2я, ОЇ G У2, где сг\, т2 — минимальное и максимальное значения полуширины полосы на исходном изображении соответственно. Задача решается различными методами в разделе 3.
Методы выделения и вычисления признаков линейчатых образов на основе интегральных преобразований по линиям
Обобщим теперь понятие интегрального преобразования на случай, когда известно несколько признаков линий на изображении f{x,y). Пусть {В,(х,у)} — множество функций некоторых к (к т) признаков образа линии (например, угол наклона нормали, кривизна и др.), bt{a) - тот же признак линии (fix,у, а) = 0 с параметрами а1з а2,...,ат в точке (х,у).
Преобразование, ставящее в соответствие изображению fix, у) его спектр параметров по правилу h{a) = { Дх, y)fl D[B1 (х, у) - Ъ1 {aWs, назовем производным интегральным преобразованием по кривой ср.
Термин «производное» введен потому, что используются сигнатурные признаки как производные функций первого и второго порядка.
Второй множитель в интеграле преобразования накладывает ограничение на то, чтобы значения известных признаков изображения совпадали со значениями признаков линии, по которой осуществляется преобразование.
Пусть известно направление нормали к предполагаемой кривой каждой точки изображения (например, направление градиента яркости, если рассматривать контуры площадных объектов на исходном изображении в качестве анализируемых линий [12]). Обозначим угол направления как Ф(х,у)(Ф:Я2- [0,2ті)). Модифицируем преобразование Н , так, чтобы угол Ф(х, у) совпадал с углом наклона нормали к кривой ср(х,у, а) = 0: Ко) = f/( , У) [Ф(х, У) 4V P(X У а№ / где V = 9 д) /К7(Л V —,— - оператор градиента, ZV(-) - оператор угла наклона дх ду) вектора градиента. Назовем данное преобразование градиентным интегральным преобразованием по кривой ср(х, у, а) = 0.
Принцип градиентного преобразования заключается в том, что для построения параметрического пространства рассматриваются только те точки изображения, в которых направление нормали к образам линий совпадает с направлением вектора градиента линии, по которой выполняется интегрирование, в той же точке.
Обобщим градиентное преобразование для поверхности в «-мерном пространстве. Пусть Rm - спектральная область; (р{х, а) = 0 - уравнение поверхности. Преобразование Нф : Ьг{И\ [0, 1]) - L2{R"\ R), ставящее в соответствие каждому бинарному изображению Дх) с функцией направления градиента Ф(х) его спектр параметров h(a) по правилу й(я) = Н, [/( )] = = J... \f(x)5[ p{x3 a)]D[0(x) - Z(V p(x, a))]dx = R" g(x)-Vrp(x,a) = \...\f{x)5[(p{x,a)]D R" dx, \g(x)\\V p(x,a)\ назовем градиентным интегральным преобразованием по поверхности. -г, ч/ ч у/гт / чч , g(x)-4(p(x,a) Выражения 0(x)-Z(V p(x, а)) и 1 - f г принимают значение \g(x)\\V(p(x,a)\ 0 при совпадении направлений векторов градиентов изображения Дх) и поверхности (р{х, а) = 0 в точке х. Исходя из свойства скалярного произведения векторов [11], выражение g(x)-V(p{x,a) г , лі і J, г = cos[Z(g-(x), v p(x, а))\ (т.е. косинусу угла между векторами \g(x)\\V(p(x,a)\ этих градиентов). Использование кривизны в интегральном преобразовании по линии Кривизна линии по определению [8]: ds где d6 и ds - приращение угла наклона касательной и приращение длины кривой в точке (х, у) соответственно. Если кривая задана параметрически, то К = d2y dt2 dx dt dyd\ dt dt2 X \(dx \dt ; 2 + (dy) Kdt j 2 3 Кривизна является довольно важной характеристикой линии - зная функцию кривизны можно описать линии инвариантно к позиции и ориентации. Рассмотрим, как возможно реализовать интегральное преобразование по линии, зная ее кривизну в каждой точке изображения.
Пусть к: R2- R- функция кривизны линий на изображении Дл:, у). Запишем производное интегральное преобразование по линии, усовершенствовав градиентное преобразование так, чтобы кривизна к (х, у) совпадала с кривизной линии, для которой выполняется преобразование h{a) = \Дх, y)D[ b(x, у) - Z(Vcp(x, у, a))}D f л Щ к(х У)-\—г\ ds ds Следует отметить, что касательная к линии ортогональна градиенту, поэтому кривизну можно найти, зная градиент: ds _ 1 dg ds K = где g - значение градиента в точке линии ср(х, у, а) = 0: g=V(p(x,y,a). 2.3.3. Интегральное преобразование по подобной кривой Пусть U a R — множество точек некоторой линии. Назовем линию, заданную множеством U, эталоном. Введем оператор А, выполняющий преобразования подобия (растяжение в s раз, поворот на угол ср и сдвиг на вектор (хо о)):
Алгоритм подчеркивания границ объектов на полутоновых изображениях
Интегральное преобразование по отрезку
Существует большой класс изображений, которые созданы непосредственно человеком, например, рукописи, чертежи, схемы, карты. Главной особенностью таких изображений является то, что основные объекты, составляющие главную сцену, можно представить набором отрезков. К таким объектам относятся ломаные линии, контуры многоугольников, прямолинейные части сложных образов.
Пусть L - множество точек отрезка. Известно, что для описания отрезка требуется четыре параметра. В нашем случае будем задавать отрезок L координатами концевых точек (хь _yi) и (х2, уг).
Для вычисления признаков (хь у\) и (лг2, уг) возможно использовать интегральное преобразование по отрезку L. Однако при четырех параметрах ИПЛ становится довольно трудоемким.
Воспользуется тем фактом, что отрезок является частью прямой линии (отрезок и прямая имеют два общих параметра). Из этого следует, что вычисление признаков отрезка можно разложить на два этапа: 1) вычисление признаков прямой, как двух первых параметров отрезка; 2) вычисление остальных двух параметров отрезка, лежащего на найденной прямой линии. Исходя из изложенного, будем задавать отрезок L четырьмя другими параметрами: 0, р- угол наклона и длина нормали, построенной к отрезку L (в том числе и к прямой /, L с /); t\, t2 - расстояния до концов отрезка по прямой / от нормали (рис. 3.17).
Вычисление параметров множества образов отрезков Будем теперь полагать, что исходное изображение Дх, у) содержит не один, а множество отрезков различных признаков. Возможен также случай, когда на изображении присутствуют отрезки, лежащие на одной и той же прямой.
Используя интегральное преобразование по отрезку, предложим схему анализа множества изображений отрезков, представленную на рис. 3.18.
Здесь каждый локальный максимум в спектральном пространстве ИПП будет соответствовать отрезку или множеству отрезков, лежащих на одной прямой. Найдя каждый такой максимум в спектре ИПП, мы определим множество параметров в, р для каждой прямой.
Для каждой прямой строим характеристическую функцию, которая является профилем изображения fix, у) по этой прямой:
Если изображение содержит шумовые линии и отрезки имеют разрывы, то возможна фильтрация характеристических функций. Шумы подавляются обычным усредняющим фильтром. Поиск перепадов в характеристических функциях дает координаты концов отрезков.
Интегральное преобразование по сегменту линии Зададим отрезок параметрически через уравнение прямой (х = х0 -1 sin в, \у = Уо +t cos 0 таким образом, что -г t г. Такой отрезок с центром в точке (х0, уо), полудлиной г и углом наклона нормали к нему в будем называть сегментом линии. Важным является то, что сегментом линии можно аппроксимировать части сложных линий неизвестного вида.
Интегральное преобразование по сегменту линии (ИПСЛ) L запишется как К& о, .Уо) = J/(x, y)ds =, L г = jf(x0 s me,y0 +t cos 9)dt = —r = Д/0, y)8[x -x0+t sin 0] x R2 x S[y - yQ cos 0]dxdy, -r t r. Применяя методы накопления, отсечения фона и параметрического разрешения получаем алгоритм ИПСЛ: VX Є [0, Xmax) V Є [0, ;Итах) I Ax У) 0 V#6 [0S7C) Vte [-r,r] h{6, XQ, уо) = h(0, xo, уо) +j{x, y)dxdy \ XQ = t sm.6 + x, yo = cos в + у. Если известен угол наклона нормали в каждой точке изображения (Ф : R2 - [0,27г))5 то возможно градиентное интегральное преобразование по сегменту линии (ГИПСЛ):
