Содержание к диссертации
Введение
ГЛАВА 1. Обзор методов и алгоритмов обработки изображений для систем технического зрения промышленных робототехнических комплексов 13
1.1. Постановка задачи разработки алгоритмов обработки изображений в системах технического зрения промышленных робототехнических комплесков 13
1.2. Анализ методов и алгоритмов сегментации контуров изображений объектов 17
1.3. Анализ признаков распознавания образов по контурам изображений объектов 25
1.4. Анализ методов распознавании 34
1.5. Анализ методов оценки положения и ориентации объектов 36
Выводы по главе 1 42
ГЛАВА 2. Алгоритмы контурной сегментации изображений объектов 44
2.1. Математическая модель преобразования оптических сигналов системах технического зрения 44
2.2. Разработка алгоритмов контурной сегментации изображений 48
2.2.1. Комбинированный алгоритм на основе метода Канни 49
2.2.2. Комбинированный алгоритм с использованием оператора Превитта 50
2.2.3. Морфологическая обработка в комбинированных алгоритмах контурной сегментации изображений 53
2.3. Анализ алгоритмов выделения контуров изображений промышленных деталей 61 Стр.
2.3.1. Анализ выделения контуров изображений комбинированным алгоритмом на основе метода Канни 61
2.3.2. Анализ выделения контуров изображений комбинированным алгоритмом с использованием оператора Превитта 66
2.3.3. Сравнительный анализ эффективности алгоритмов выделения контуров изображений объектов 69
Выводы по главе 2 76
ГЛАВА 3. Алгоритмы распознавания объектов по контурам изображений 77
3.1. Структурная схема алгоритма распознавания на основе анализа контуров изображений объектов с использованием фурье-дескрипторов 77
3.2. Сравнительная оценка эффективности алгоритмов распознавания при различных методах контурной сегментации 81
3. Исследования влияния линейных искажения на эффективность алгоритма распознавания 87
3.4. Выбор рабочего словаря признаков 89
3.4.1 Методика выбора рабочего словаря признаков на основе линейного дискриминантного анализа 90
3.4.2. Численные эксперименты по выбору рабочего словаря признаков 94
3.4.2.1. Численный эксперимент на цветных изображениях 94
3.4.2.2. Численные эксперименты на базе бинарных изображений 96
Выводы по главе 3 101
ГЛАВА 4. Алгоритмы оценки параметров положения и ориентации объектов 102
4.1. Алгоритм оценки параметров положения и ориентации объектов на основе метода главных компонент
4.2. Алгоритм оценки положения и ориентации объектов на основе степенных моментов 106
4.3 Оценка погрешности алгоритмов оценки положения и ориентации контуров изображений объектов 108
Выводы по главе 4 112
ГЛАВА 5. Методика проектирования СТЗ промышленных робототехнических комплексов 113
5.1. Проектирование системах технического зрения на основе блочно-иерархического подхода 113
5.2. Обоснование технических требований к системах технического зрения в составе промышленного робототехнического комплекса 115
5.3. Проектирование систем технического зрения на системотехническом уровне 120
5.3.1. Анализ исходных данных для проектирования систем технического зрения 120
5.3.2. Расчёт параметров устройства регистрации изображений 122
5.3.3. Требования к параметрам электронной вычислительной машины, входящей в состав программно-аппаратных средств систем технического зрения 126
Вывод по главе 5 127
Основные результаты диссертации 128
Список литературы
- Анализ методов и алгоритмов сегментации контуров изображений объектов
- Комбинированный алгоритм с использованием оператора Превитта
- Сравнительная оценка эффективности алгоритмов распознавания при различных методах контурной сегментации
- Оценка погрешности алгоритмов оценки положения и ориентации контуров изображений объектов
Анализ методов и алгоритмов сегментации контуров изображений объектов
Полученное изображение подвергается пороговой обработке с использованием двух порогов Т1 иТ2, причем Т1 Т2. Пиксели гребня, значение интенсивности в которых больше Т2, называются сильными, а пиксели, значения которых попадают в интервал \Т1, Т2 ], называются слабыми. Алгоритм формирования контура завершается морфологической операцией, в процессе которой к сильным пикселям добавляются слабые, которые 8-связаны с сильными пикселями.
Как показано в [24], сглаживание значений интенсивности повышает помехоустойчивость детектора Канни, но снижает точность выделения контуров объектов изображения. Поэтому авторами работы [24] предложено для подчеркивания перепадов интенсивности изображения использовать вейвлет-преобразование, сохраняющее помехоустойчивость методов контурной сегментации изображений, подвергнутых сглаживанию, и в меньшей степени снижающее точность выделения контуров объектов. В качестве показателя помехоустойчивости предложенного метода использовался критерий Прэтта [25], а точность выделения контуров оценивалась показателем близости между границами тестового идеально сегментированного изображения и изображения, сегментированного предложенным методом обработки [26]. Авторами работы [24] показано, что положительный эффект от предложенного вейвлет-преобразования достигается только для частных случаев, когда отношение сигнала к шуму по мощности превышает значение, равное 5, а также при условии, когда ширина перепада границы превышает 3 пикселя. В остальных случаях метод Канни даёт лучшие результаты, по сравнению с предложенным авторами [24] методом контурной сегментации. Наличие большого числа алгоритмов выделения границ, часть из которых была рассмотрена выше, обусловило задачу их сравнительного анализа. Чаще всего критерием сравнения является визуальное качество полученных с помощью тех или иных алгоритмов контурных рисунков. При этом обработке подвергается одно или несколько «эталонных» изображений. Визуальное качество оценивается по тому, насколько правильно контурный рисунок отражает реальные границы областей, а также по качеству получаемых контурных линий. Качество границ оценивается непрерывностью линий контуров, их толщины, количеством ложных точек (шумовые составляющие). Несмотря на субъективность такого анализа алгоритмов, он, тем не менее, в ряде случаев является единственно возможным.
На основе анализа характеристик дифференциальных операторов, проведённого в [12], сделаны следующие выводы: - увеличение размера маски приводит к росту помехоустойчивости оператора; - по реакции на идеальный ступенчатый перепад наилучшими являются операторы с масками Собеля и Превитта; - операторы Собеля и Превитта превосходят по вероятности правильной классификации точек границ другие операторы; - все операторы выделяют в 1,6-2 раза больше точек, чем их оказывается на границе. Наиболее предпочтителен в этом смысле оператор Собеля, а наихудшими показателями качества обладает оператор Робертса.
Таким образом, для выделения контуров – границ изображения объектов, наиболее приемлемыми являются алгоритмы на основе градиентных методов пороговой сегментации, в том числе, алгоритм Собеля, Превитта, Кирша, Уоллиса, а также алгоритм на основе метода Канни (детектор границ Канни). В результате применения этих алгоритмов к изображению получается контурный препарат объекта. На контурном препарате обычно наблюдаются разрывы, а также точки и штрихи, которые образуют помеховый фон. В некоторой степени количество возникающих на контурном изображении элементов, не принадлежащих конурам, может быть уменьшено путем применения медианной или логической фильтрации, но добиться их полного устранение не удается. Этот недостаток имеется практически у всех известных методов выделения контуров, основанных на использовании лапласиана, а также градиентов, которые известны как метод Робертса, Превитта, Собеля, Кирша, Уоллиса [3,18]. Не свободен от этого недостатка и метод Канни [19], которому, как показано в [20], известные методы уступают по качеству выделения контуров. В связи с этим задача разработки более совершенных алгоритмов, свободных от перечисленных выше недостатков, является актуальной.
Комбинированный алгоритм с использованием оператора Превитта
Обратная кинематическая задача по определению требуемого состояния (положения и ориентации) захватного устройства решается в системе координат робота OvXvYvZv по заданному исходному состоянию этого устройства. Требуемое для выполнения операции захвата положение захватного устройства рассчитывается с учётом всех матриц перехода Т%, Т, Т0К, Т путём их последовательного перемножения. где ср — угол ориентации объекта в рабочей плоскости, а (х0, у0) координаты начала системы координат, связанной с объектом. Следовательно, в СТЗ должна решаться задача оценки положения и ориентации системы координат, связанной с объектом. Но для решения этой задачи нужно принять условия, согласно которым выбирается положение начала системы координат и ориентация её осей относительно регистрируемого изображения.
В [35] описан ряд нашедших применение на практике методик определения некоторых характерных точек внутри изображения объекта с помощью набора отдельных датчиков, заранее устанавливаемых в нужных местах согласно результатам предварительного анализа конкретной партии объектов. Измерив пространственные координаты нескольких выбранных точек объекта, можно определить начало системы координат, связанной с объектом и её ориентацию. Методам определения ориентации по относительным положениям каких-либо двух выделенных точек изображения объекта присущ общий недостаток, связанный с тем, что на стадии обучения СТЗ нужен достаточно квалифицированный оператор, способный правильно выбрать и указать нужные «характерные точки» объектов. Кроме того, как отмечено в [36], на практике трудно добиться высокой точности измерения координат локальных особенностей изображения.
Более рациональным способом определения положения начала системы координат, связанной с объектом, является совмещение его с центром «тяжести» (хс,ус) изображения объекта. Этот способ широко применяется в промышленной робототехнике [33]. Ориентация объекта (угол р) определяется более сложным способом. Существуют разные способы задания ориентации, например, через направление оси минимального или максимального радиуса-вектора, а также вектора, соединяющего центр «тяжести» объекта с какой-либо характерной точкой. Кроме этого, известен способ задания ориентации объекта относительно углового положения эталонного изображения. Тогда оценку угла ориентации объекта - системы координат 0oXoYoZo, определяется путём сопоставления текущего и эталонного изображений. Рассмотрим суть наиболее рациональных методов определения начала системы координат, связанной с объектом и ориентации осей этой системы.
Определение начала координат методом центра «тяжести». Как известно [34, 35], координаты центра «тяжести» плоской фигуры S определяются следующим образом: область отсчетов с ненулевыми значениями функции яркости. Полученные выражения отражают уже статистический подход к нахождению нового начала координат - оно определяется как средняя величина координат присутствующих на изображении точек.
Методы определения ориентации системы координат. Определение ориентации в СТЗ промышленных роботов чаще всего решается в предположении, что объекты находятся на известной рабочей плоскости (столе, конвейере) в одном из устойчивых состояний.
Известен [8, 9] метод определения ориентации объектов по их двумерным изображениям с использованием степенных моментов функций, по которым определяются главные оси центрированного изображения. Угол наклона оси объекта к горизонтальной оси определяется по формуле
Сравнительная оценка эффективности алгоритмов распознавания при различных методах контурной сегментации
Из результатов численного эксперимента с алгоритмом №2 следует, что выполняемая на этапе предварительной обработки адаптивная винеровская фильтрации исходного изображения при соответствующем подборе размера маски фильтрующего окна обеспечивает эффективное подавление аддитивных помех, при котором осуществляется визуально хорошее качество выделения контуров объектов.
Сравнительный анализ эффективности алгоритмов выделения контуров изображений объектов
В соответствии с постановкой задачи диссертационной работы алгоритмы выделения контуров изображений объектов - алгоритмы контурной сегментации, составляют только часть общего алгоритма, основной задачей которого является распознавание образов объектов (промышленных деталей), а также определения их линейных и угловых координат. Поэтому эффективность алгоритмов выделения контуров изображений объектов следует оценивать по конечному результату, связанному с выполнением с основными задачами. Такие исследования приведены в ниже следующих главах диссертации. Тем не менее, предложенные комбинированные алгоритмы могут быть полезны для решения и других задач, связанных с цифровой обработкой изображений. Поэтому в данном подразделе изложены результаты сравнительного анализа известных и предложенных комбинированных алгоритмов выделения контуров изображений объектов.
При сравнительной оценке качества алгоритмов контурной сегментации следует определить: тип изображений, который характеризуется однородностью текстуры, цвета и другими свойствами; условия регистрации изображений объектов, которые в первую очередь связаны с неравномерностью фона и наличием аддитивных помех в изображении; показатели, характеризующие качество контуров изображений.
Общий подход к оценке качества работы метода, не учитывающий конкретного приложения, состоит в тестировании методов на общей базе изображений, для которых известна «правильная» сегментация. Например, база изображений Berkeley Segmentation Dataset [57] насчитывает более 1000 изображений, отсегментированных вручную 30 разными людьми. В [58] приводится описание базы изображений и приведены различные подходы определения количественной меры соответствия сегментированного контура «правильному» или эталонному контуру изображения объектов.
Здесь мы ограничимся визуальной оценкой качества выделенных контуров изображений относительно простых объектов. Показателями качества контуров изображений, выделенных различными алгоритмами будем считать: отсутствие разрывов в контурах границ изображений объектов; отсутствие линий в пределах контуров границ изображений объектов; отсутствие ложных контуров за пределами границ изображений объектов.
Перечисленными показателями будем оценивать качество выделения контуров при больших и малых значениях пикового отношения сигнала к шуму, а также в условиях пространственно-равномерного и неравномерного распределения фона, при наличии которого регистрируются изображения.
В этом подразделе проведены результаты сравнительного анализа следующих алгоритмов выделения контуров: алгоритма на основе метода Канни - детектора Канни, а также предложенных в работе комбинированных алгоритмов №1 и №2. На Рисунке 2.18 приведены примеры выделения контуров объектов, зарегистрированных на равномерном фоне и при пиковом отношении сигнала к шуму// = 30, с использованием алгоритма на основе детектора Канни, а также комбинированных алгоритмов №1 и №2.
Особенностью исходных изображений является наличие размытия границ, обусловленных расфокусировкой при регистрации.
В детекторе Канни параметр фильтрации изображения имел значение 7 = 1,6, значение нижнего порога равнялось Т1 = 0,005 , а верхнего - Т2 = 0,2. Из рисунка 2.18 следует, в изображениях контуров, полученных алгоритмом на основе детектора Канни, имеются разрывы границ изображений, а также линии в пределах контуров границ изображений объектов. В изображениях контуров, полученных комбинированными алгоритмами №1 и №2 такие дефекты отсутствуют.
Оценка погрешности алгоритмов оценки положения и ориентации контуров изображений объектов
В диссертации рассматривается функциональный аспект проектирования СТЗ, который включает в себя виды работ, связанные с разработкой и выпуском документации, отражающей принципы действия объекта проектирования и алгоритмы обработки данных. Функциональный аспект проектирования СТЗ разделяется на ряд иерархических уровней, в том числе, функционально-логический, системотехнический, схемотехнический и компонентный.
На вышестоящем, функционально-логическом уровне, объектом проектирования является робототехнический комплекс, в состав которого (см. Рисунок 1.1) входят: технологическое оборудование, конвейер, манипулятор, СТЗ и ЭВМ с соответствующим программным обеспечением (информационная система).
На системотехническом уровне объектом проектирования является собственно СТЗ, в состав которой входят устройство регистрации изображений, а также программно-аппаратные средства обработки данных.
На схемотехническом уровне объектом проектирования являются оптическая система СТЗ, блоки аналоговой и цифровой обработки в устройстве регистрации.
На компонентном уровне объектами проектирования могут быть отдельные элементы, входящие, например, в состав оптической системы СТЗ или элементы, входящие в состав электронных блоков.
Проектирование на каждом из иерархических уровней заключается в разработке структурных схем, математических моделей каждого из элементов этих схем, описывающих их функционирование, формулировке на этой основе целевой функции проектирования и определении вектора переменных проектирования a = (a 1,..., am ) T . Переменными проектирования ai являются параметры элементов структурной схемы каждого из иерархических уровней проектирования. Целевая функция проектирования Q{a) представляет собой зависимость показателя Q качества объекта проектирования от вектора переменных проектирования. Основными процедурами, выполняемыми в процессе проектирования, являются анализ, как правило, многовариантный, и параметрическая оптимизация. Целью выполнении этих процедур является определение значения оптимального вектора переменных проектирования, при котором достигается экстремум показателя качества.
Определённые на каждом вышестоящем уровне проектирования значения переменных проектирования, являются показателями качества, которые задаются в ТЗ для проектирования на нижестоящем уровне. Таким образом, все иерархические уровни оказываются взаимосвязанными для обеспечения технических требований робототехнического комплекса.
В рамках настоящей диссертации интерес представляет методика проектирования СТЗ, которая ограничивается проектированием на функционально-логическом и системотехническом уровнях.
Обоснование технических требований к СТЗ в составе промышленного робототехнического комплекса
В общем случае целью проектирования промышленного робототехнического комплекса (РТК) на функционально-логическом уровне является определение его состава, алгоритма функционирования и технических требований к его составным частям. При постановке задачи обоснования технических требований к СТЗ, входящей в состав РТК, будем полагать, что состав комплекса и алгоритм его функционирования определён. Будем также считать, что технические требования всех составных частей РТК, кроме СТЗ, известны.
Как отмечалось выше, для решения поставленной задачи требуется на основе метода математического моделирования сформулировать целевую функцию проектирования, как зависимость показателя качества РТК от переменных проектирования.
Общепринятым показателем эффективности промышленного РТК является его производительность, определяемая как количество годной продукции, изготавливаемой за единицу времени. Если предположить, что скоростные показатели промышленного РТК определяются только производительностью технологического оборудования, то как показатель эффективности РТК можно использовать значение частоты возникновения брака, которая в пределе равна вероятности РБ = Р(Б) события Б, заключающегося в возникновении бракованных деталей. Можно ввести в качестве показателя эффективности РТК вероятность Р(Б) = 1 - Р(Б) отсутствия брака, что соответствует вероятности выпуска годной (качественной) продукции. Будем полагать, что значение этого показателя эффективности задано в ТЗ на проектирование промышленного РТК в виде условия Р(Б) if3.
Алгоритм функционирования РТК включает следующую последовательность операций: 1) выбор (сортировка) нужной детали на конвейере; 2) определение координат и угловой ориентации распознанной детали на конвейере; 3) захват и передача детали на технологическое оборудование; 4) технологические операции; 5) возврат детали на конвейер. СТЗ, функционирующая в составе информационной системы промышленного РТК, выполняет операции сортировки - распознавания, деталей и измерения их координат и угловой ориентации. Брак в такой ситуации может возникнуть по следующим причинам: 1) неправильно распознана деталь на конвейере при априори заданной номенклатуре этих деталей
