Содержание к диссертации
Введение
Глава 1 Анализ методов и средств контроля качества объектов 9
1.1 Виды контроля качества и их особенности 9
1.2 Основные методы неразрушающего контроля 10
1.3 Металлографические исследования снимков микроструктур 22
1.4 Состояние задачи автоматизации визуального контроля 26
1.5 Общая структура и основные компоненты СТЗ визуального контроля .32
Глава 2 Разработка методов и алгоритмов выделения базовых и производных признаков плоских объектов и предварительной обработки изображения 46
2.1 Необходимость вычисления дополнительных базовых и производных признаков объектов 46
2.2 Выбор и обоснование тестовых изображений 47
2.3 Алгоритмы вычисления признаков плоских объектов 49
2.3.1 Площадные признаки 50
2.3.2 Линейные характеристики 55
2.3.3 Моментные характеристики 61
2.3.4 Способ формирования наборов производных признаков объектов, инвариантных к повороту, переносу и изменению масштаба объектов 64
2.4 Алгоритмы предварительной обработки изображения 67
Глава 3 Исследование стабильности и информативности базовых и производных признаков объектов 76
3.1 Методика исследования стабильности признаков объектов 76
3.2 Исследование стабильности площадных характеристик объектов 79
3.3 Исследование стабильности линейных характеристик объектов 89
3.4 Исследование стабильности моментных характеристик объектов 99
3.5 Методика исследования информативности признаков объектов 101
3.6 Исследование информативности признаков объектов 105
Глава 4 Решение практических задач автоматического анализа и распознавания металлографических и дефектоскопических снимков . 115
4.1 Структура экспериментальной системы автоматического анализа и распознавания микроструктуры 115
4.2 Алгоритмы работы блоков системы 116
4.3 Решение задачи определения процентного соотношения феррита и перлита в стали 121
4.4 Решение задачи анализа неметаллических включений в стали 128
4.5 Решение задачи анализа структуры отливок из чугуна 131
4.6 Решение задачи анализа дефектов сварных швов 138
4.7 Решение задачи анализа дефектов на снимках теплового контроля 141
Заключение 146
Литература 150
Приложение
- Основные методы неразрушающего контроля
- Выбор и обоснование тестовых изображений
- Исследование стабильности площадных характеристик объектов
- Алгоритмы работы блоков системы
Введение к работе
Актуальность работы. Процесс контроля качества изделий, заготовок, материалов и т.д. является составной частью практически любого промышленного технологического цикла.
Среди большого количества методов неразрушающего контроля качества основными являются: магнитный, электрический, вихретоковый. радиоволновой, тепловой, визуально-оптический, радиационный, акустический и контроль проникающими веществами. Как в России, так и за рубежом оценка результатов этих методов преимущественно осуществляется визуальным способом, с использованием возможностей человеческого зрения. Этот способ малопроизводителен и субъективен, в основном, он дает качественную оценку дефектов и отклонений от стандартов. Попытки автоматизации визуальных методов контроля качества делаются давно и постоянно. В этом плане усиленно решаются вопросы автоматизации определения внешних дефектов деталей и изделий. Для этого создаются системы технического зрения (СТЗ), которые позволяют автоматизировать процесс контроля внешних дефектов деталей и изделий.
Исследование особенностей методов неразрушающего и разрушающего контроля качества показывает, что результатами большинства этих методов являются снимки (изображения) объектов и их дефектных областей. Поэтому СТЗ и современные методы и алгоритмы обработки цифровых изображений, могут быть успешно использованы для автоматизации анализа снимков, получаемых на выходе различных методов контроля качества.
Анализ состояния задачи автоматизации обработки дефектоскопических снимков, получаемых на выходе неразрушаюших методов контроля и металлографических снимков, получаемых на выходе разрушающих методов контроля, показали, что этому вопросу уделено недостаточно внимания и поэтому уровень автоматической обработки и анализа указанных снимков очень низок, в то время как вопрос повышения производительности и объективности оценки дефектов исключительно остро стоит во всех отраслях промышленности.
В связи с этим разработка методов и алгоритмов, технических и программных средств автоматизации обработки, анализа и распознавания дефектоскопических и металлографических снимков с использованием современных СТЗ и методов цифровой обработки изображений является актуальной задачей.
Целью диссертационной работы является разработка, исследование и практическое применение методов, алгоритмов и программных средств обработки, анализа и распознавания дефектоскопических и металлографических снимков.
Исходя из цели работы, поставлены следующие задачи исследования:
Исследование состояния задач автоматизации контроля качества, а именно - задач обработки, анализа и распознавания металлографических и дефектоскопических снимков.
Анализ основных методов и алгоритмов цифровой обработки изображении и распознавания образов, используемых в СТЗ для визуального контроля.
Разработка методов и алгоритмов выделения базовых признаков ПЛОСКІГХ объектов, не использовавшихся ранее в СТЗ визуального контроля для расширения набора информативных характеристик объектов.
Разработка способа формирования производных признаков объектов, инвариантных к повороту, переносу и изменению масштаба (ПТТМ) объектов и исследование стабильности полученных признаков.
Разработка и исследование метода построения информативной системы признаков для распознавания объектов на дефектоскопических и металлографических снимках.
Разработка и практическое применение системы автоматической обработки, анализа и распознавания металлографических и дефектоскопических снимков.
Методы исследования. В работе использованы методы теории множеств, дискретной математики, математической статистики, цифровой обработки изображений и теории распознавания образов.
Научная новизна. В результате проведенных исследований разработаны:
Метод формирования информативных систем признаков плоских объектов, инвариантных к НИМ. на основе которого решена задача автоматического распознавания объектов сложной формы с металлографических снимков;
Методика исследования стабильности базовых и производных признаков плоских объектов к НИМ. позволяющая автоматически определять устойчивость характеристик к преобразованиям заданною набора объектов;
Алгоритм определения длины и ширины плоского объекта, позволяющий вычислять эти характеристики независимо от формы и ориентации объекта на изображении.
Практическая ценность работы. Результаты работы позволяют:
Вычислять базовые и производные признаки плоских объектов и исследовать стабильность полученных характеристик к ППМ с использованием сравнительно небольшого количества тестовых объектов;
Формировать большое количество инвариантных к ППМ характеристик плоских объектов и информативную систему таких признаков, которая может быть использована при распознавании плоских объектов сложной формы:
На основе анализа металлографических снимков автоматически решать задачи определения процентного соотношения основных состав-
ляюших различных марок стали, оценки неметаллических включений в стали, а также анализа структуры отливок из чугуна;
Автоматически определять параметры дефектов на снимках, полученных радиографическими и тепловыми методами неразрушаюшего контроля.
Строить системы автоматической обработки, анализа и распознавания дефектоскопических и металлографических снимков, получаемых любым из существующих методов контроля.
Реализация результатов исследования. Разработанные алгоритмы и система анализа металлографических и дефектоскопических снимков внедрены в производство, о чем свидетельствует акт, приведенный в приложении к диссертации.
Апробация работы. Материалы диссертационной работы докладывались и обсуждались на научных конференциях преподавателей МИВлГУ (г. Муром. 2005-2008 гг.), на Международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (г. Рязань. 2005 г.), а также на Международном симпозиуме «Надежность и качество» (г. Пенза, 2005 г.).
Публикации. Основные результаты диссертации опубликованы в 16 работах, в том числе в 2 статьях в журналах из списка ВАК и одной монографии. Получены 2 патента на полезные модели и одно свидетельство о регистрации программы для ЭВМ.
На зашиту выносится:
Результаты оценки состояния задачи автоматизации дефектоскопических и металлографических снимков с использованием СТЗ и методов цифровой обработки изображений;
Метод формирования наборов безразмерных производных признаков плоских объектов;
Метод определения стабильности базовых и производных признаков плоских объектов к Ш1М;
Способ определения длины и ширины плоского объекта произвольной формы, инвариантный к ППМ:
Результаты экспериментальных исследований, подтверждающих теоретические разработки.
Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка литературы из 145 наименований и трех приложении. Общий объем работы составляет 183 страницы, 85 рисунков. 19 таблиц.
Основные методы неразрушающего контроля
Для выявления дефектных деталей и изделий используются как простой осмотр внешнего вида объекта контроля (визуальный контроль), так и специально разработанные методы, позволяющие обнаруживать и классифицировать внутренние дефекты, а также анализировать микроструктуру материала.
Согласно ГОСТ 16504-81 [62] объектом контроля может являться единичное изделие или партия изделий, а также макет или модель изделия. Главным признаком объекта контроля является то, что по результатам его испытаний принимается то или другое решение по этому объекту - о его годности или забраковании, о возможности предъявления на следующие испытания, о возможности серийного выпуска и другие.
В соответствии с ГОСТ 16504 [62] виды контроля систематизируются следующим образом.
В зависимости от этапа процесса производства выделяют входной, операционный, приемочный и инспекционный виды контроля.
Входным контролем называется контроль материалов, комплектующих изделий и готовой продукции, поступивших на предприятие-потребитель от других предприятий или участков производства.
Операционный контроль - контроль продукции во время выполнения или после завершения определенной производственной операции, например шлифовки, закалки, сварки, склеивания и т.п.
Контроль готовой продукции, по результатам которого принимается решение о ее пригодности к использованию или поставке, называется приемочным.
Под инспекционным понимается контроль, осуществляемый специально уполномоченными лицами с целью проверки эффективности ранее выполненного контроля.
По полноте охвата контролем выделяют сплошной, выборочный, летучий, непрерывный и периодический виды контроля.
Контроль каждой единицы продукции, осуществляемый с одинаковой полнотой, называется сплошным. Контроль выборок или проб из партии или потока продукции называется выборочным. Под летучим понимается контроль, проводимый в случайное время. При непрерывном контроле поступление информации о контролируемых параметрах происходит непрерывно.
При периодическом контроле поступление информации о контролируемых параметрах происходит через установленные интервалы времени.
В зависимости от влияния на объект контроля различают разрушающий и неразрушающий контроль.
Наиболее массовым способом контроля является сплошной неразрушающий контроль, который позволяет инспектировать качество всех изделий без их повреждения или разрушения.
В соответствии с ГОСТ 18353-79 [63] неразрушающий контроль разделяется на девять видов: магнитный [64 - 66], электрический [67], вихретоковый [68, 69], радиоволновой [70 - 72], тепловой [73, 74], оптический [75, 76], радиационный [77, 78], акустический [79 - 81] и контроль проникающими веществами [82, 83].
Для акустических методов контроля применяют звуковые колебания с частотой от 50 Гц до 50 МГц (наиболее часто применяют ультразвуковой диапазон: 30 кГц - 50 МГц) [1].
Акустические методы контроля обычно используются для выявления и оценки параметров глубинных дефектов типа нарушения сплошности, расслоения, непроклёпа, непропая; для измерения толщины изделия; для регистрации трещин; для контроля клеевых, сварных и паяных соединений, имеющих тонкую обшивку, приклеенную или припаянную к элементам жёсткости.
Согласно исследованиям [84] в восточно-европейских странах ультразвуковой контроль занимает главенствующее положение. На его долю приходится 32 % объема контроля всех изделий. Но, несмотря на высокий уровень автоматизации труда в развитых странах, доля ручного ультразвукового. контроля остается наибольшей.
Преимущества акустических методов контроля заключаются в их оперативности, экологической безопасности и возможности обнаружения скрытых дефектов, что позволяет сравнительно просто встраивать систему контроля в существующий производственный цикл и упрощает использование портативных переносных дефектоскопов. Выходные данные контроля могут быть представлены в виде изображений для визуального анализа человеком (примеры таких изображений приведены на рисунке А. 1 приложения А.).
Основным недостатком акустических методов контроля является то, что из-за сложного характера функции, используемой для оценки дефектов и зависимости чувствительности ультразвуковых дефектоскопов от типа дефектов требуется предварительная калибровка прибора под конкретный тип дефекта и ожидаемые его размеры. Оценка параметров дефектов других типов при этом становится невозможной. Также затруднен контроль деталей сложной формы [2].
Методы радиоволнового контроля используют взаимодействие электромагнитного излучения радиоволнового диапазона с изучаемым объектом. На практике наибольшее распространение получили сверхвысокочастотные методы (СВЧ методы), использующие диапазон волн от 1 до 100 мм [5].
Радиоволновые методы применяются для определения толщины изделия (толщинометрия) и обнаружения нарушения сплошности материала изделия с минимальной площадью 1 см" [5].
Основным достоинством СВЧ-дефектоскопии является возможность выявления скрытых дефектов. К недостаткам можно отнести: низкую разрешающую способность; сложность отработки методики для расшифровки результатов контроля изделия; ограничение области исследования радиопрозрачными материалами; необходимость перенастройки дефектоскопа для достижения максимальной чувствительности при изменении характеристик объектов контроля.
Выбор и обоснование тестовых изображений
Для отработки алгоритмов выделения признаков и проверки их стабильности и информативности необходимо было разработать тестовые объекты (рисунки Б.1 - Б.ЗО). Набор тестовых изображений должен удовлетворять следующим условиям:
Объекты на изображении не должны накладываться друг на друга (для разделения наложенных объектов используются алгоритмы распознавания другого типа);
Объекты на изображении должны быть плоскими, т.е. они должны состоять не менее чем из 9 связных точек;
Ширина любого компонента объекта (дыра, выступающая часть) должна составлять не менее трех точек. Это ограничение обусловлено тем, что при анализе объекта строится его контурное представление, что может быть затруднительно при наличии на объекте тонких деталей;
Объект не должен касаться границ изображения, так как в таком случае он считается не вошедшим в поле зрения системы целиком.
Для тестирования должны быть использованы как объекты с известной геометрической формой (треугольник, прямоугольник, круг, трапеция и т.д., так и фигуры с произвольной формой границы. Простые геометрические примитивы позволят наглядно убедиться в работе алгоритмов распознавания и упростят поиск их недостатков в случае неправильной работы. Объекты произвольной формы более сложны для обработки и анализа. Именно такие объекты чаще всего встречаются на дефектоскопических снимках и снимках микроструктуры, а также в других практических задачах. Хорошие результаты при работе с ними позволят говорить о применимости разработанных методов и алгоритмов к решению реальных задач распознавания и классификации.
При выборе тестовых объектов также необходимо учитывать специфику признаков, применяемых при распознавании. Так, использование характеристик, связанных с выпуклой оболочкой объектов, требует отдельного рассмотрения объектов выпуклой формы (для которых выпуклая оболочка совпадет с границей самого объекта) и невыпуклых объектов. Наличие либо отсутствие в объекте дыр также способно повлиять на некоторые характеристики, используемые для распознавания.
Для тестирования были созданы 30 изображений, каждое из которых содержит 20 различных объектов (полный перечень тестовых объектов приведен в приложении Б). Все тестовые объекты разделены на 6 следующих классов: выпуклые объекты известной геометрической формы без дыр; выпуклые объекты известной геометрической формы с дырами; выпуклые объекты произвольной формы без дыр; выпуклые объекты произвольной формы с дырами; невыпуклые объекты произвольной формы без дыр; невыпуклые объекты произвольной формы с дырами.
Поскольку подавляющее большинство фигур с известной геометрической формой являются выпуклыми, то невыпуклые объекты известной формы не выделялись в отдельную группу.
Определение 2.3. Дырой называется связная область множества точек с нулевым значением, расположенная внутри плоского объекта.
Определение 2.4. Под базовыми признаками понимаются характеристики, определяемые непосредственно по изображению плоского объекта, его выпуклой формы и описанного вокруг него прямоугольника. Использование производных от объекта форм (выпуклая форма, описанный прямоугольник) позволяет увеличить количество вычисляемых признаков, повышая таким образом универсальность системы распознавания.
Все базовые признаки можно разделить на количественные, площадные, линейные и моментные. К количественным признакам относятся число дыр в объекте, степень вложенности объекта, число заливов в выпуклой форме объекта.
Исследование стабильности площадных характеристик объектов
На рисунке 3.2 показано одно из тестовых изображений, использованных при исследовании стабильности признаков (невыпуклые объекты произвольной формы без дыр). Рисунок 3.2 - Одно из тестовых изображений без дыр Объектам на рисунке присвоены номера, полученные ими при маркировке. В качестве примера в таблице 3.1 приведены результаты вычисления базовых и производных признаков объекта № 10, полученные при некоторых из 85 состояний объекта, а именно: - в исходном состоянии; - при повороте на угол ф=0 и коэффициенте масштабирования т=1.2; - при повороте на угол ф=40 и коэффициенте масштабирования т=0.8; - при повороте на угол ф=40 и коэффициенте масштабирования ш=1; - при повороте на угол ф=40 и коэффициенте масштабирования т=1.2; - при повороте на угол ф=130 и коэффициенте масштабирования т=1.2. Аналогичные таблицы сформированы и для других 19 объектов на изо бражении с рисунка 3.2 при их измененных состояниях, а также для остальных 80 невыпуклых объектов произвольной формы (рисунки Б.21 -Б.25). На рисунке 3.3 приведен график зависимости отклонения признака SBbm/S, позволяющий наглядно оценить стабильность признака при ППМ объектов.
Алгоритмы работы блоков системы
В разработанной системе цифровой видеодатчик предназначен для получения изображения объектов (микроструктуры металла и т.п.) и преобразования его в цифровой вид. При обработке и анализе изображений микроструктур датчик представляет собой камеру в паре с металлографическим микроскопом, которые могут быть объединены конструктивно в одно устройство, предназначенное для получения цифровых снимков микроструктуры. При вводе дефектоскопических снимков камера подключается к тому или иному устройству, дающему изображение дефектного участка.
С датчика изображение поступает на блок предварительной обработки, который предназначен для подготовки полученного с камеры полутонового изображения к выделению признаков и распознаванию объектов. При этом с изображения удаляется шум, оно сегментируется (бинаризуется) [15 - 19] и к нему применяются операции бинарной морфологии для удаления оставшихся шумовых фрагментов [16]. Если в данный блок поступает бинарное изображение, то его сегментация не производится, выполняется только удаление шума [16, 19].
Медианная фильтрация позволяет удалить с изображения высокочастотные шумовые составляющие небольшого размера [16, 19 — 23]. В случае металлографических снимков это частицы пыли, попавшие на исследуемый образец либо в оптическую систему микроскопа. На дефектоскопических изображениях шум обычно образуется из-за грязи, пыли или плохого качества используемого видеодатчика.
Сегментация предназначена для выделения на исследуемом изображении областей, принадлежащих объектам. При исследовании снимков микроструктуры, например по ГОСТ 3443 [61], в качестве объектов для изучения используются включения каких-либо частиц. На рисунке 4.2 это включения графита. В подобном случае процедура сегментации должна выделить на изображении области, принадлежащие исследуемым частицам, что осуществляется пороговым разбиением обрабатываемого изображения. При этом точки, яркость которых меньше используемого порога считаются принадлежащими объекту, все прочие точки - считаются точками фона. Сегментированное изображение показано на рисунке 4.2а. духе и на исследуемом образце, а также в результате дефектов оптических систем используемого оборудования.
Для удаления подобных дефектов используются операции бинарной морфологии (2.37). Сначала удаляются темные объекты малого размера. При этом к изображению последовательно применяются операции эрозии и условного наращивания. Затем на полученном изображении заполняются небольшие дыры в объектах. Для этого к нему сначала применяется операция наращивания, а затем - условной эрозии.
В этих операциях используется квадратная маска, размер которой может быть подобран в зависимости от размера изображения и параметров объектов, которые должны быть удалены. В описываемой системе была выбрана маска 5x5. В результате применения морфологических операций получилось улучшенное изображение, показанное на рисунке 4.26.
На этом этап предварительной обработки изображения заканчивается, и начинается вычисление характеристик. Для этого на изображении выделяются плоские объекты, под которыми понимаются связные области, состоящие не менее чем из 9 темных точек. После выделения объектов вычисляются их базовые характеристики в исходном состоянии.
