Содержание к диссертации
Введение
Глава 1. Состояние вопроса измерений на основе обработки изображений в системах бесконтактных, оптических, измерений 10
1.1. Системы бесконтактных оптических измерений 10
1.2. Метрологическое обеспечение и источники погрешностей систем бесконтактных оптических измерений 17
1.3. Современные методы обработки и улучшения изображений 20
Глава 2. Организация экспериментами исследование влияния калибровки и компонентов оптической системы на случайные и систематические погрешности измерений 31
2.1. Используемое оборудование и программное обеспечение 32
2.2. Калибровка измерительной системы 38
2.3. Получение экспериментальных данных 39
2.4. Исследование влияния калибровки и компонентов оптической измерительной системы на погрешности измерений 49
2.4.1. Исследование влияния объектива 49
2.4.2. Исследование влияния камеры 51
2.4.3. Исследование влияния освещения 54
2.4.4. Исследование влияния калибровки системы 57
2.4.5. Исследование влияния программного обеспечения 60
2.4.6. Исследование пространственной, трехмерной зависимости погрешностей 61
Глава 3. Количественная оценка качества изображения и обработка контуров измеряемых объектов методами нечеткой логики 65
3.1. Нечеткие множества и нечеткая логика 65
3.2. Количественная оценка качества изображения методами нечеткой логики 72
3.3. Обработка контуров измеряемых объектов методами нечеткой логики 77
Глава 4. Корректировка систематических погрешностей систем бесконтактных оптических измерений 85
4.1. Корректировка данных измерений 85
4.1.1. Корректировка систематических погрешностей при использовании оптических измерительных систем с монохроматическими камерами 87
4.1.2. Использование корректировки в различных областях изображения 90
4.1.3. Влияние выбора количества областей, делящих изображение, на систематические погрешности после корректировки 93
4.1.4. Корректировка систематических погрешностей при использовании оптических измерительных систем с цветными камерами 94
4.1.4.1. Трехсенсорные системы 94
4.1.4.2. Камеры с массивом цветных фильтров Байера 96
4.1.5. Пространственная, трехмерная корректировка систематических погрешностей 97
4.2. Прецизионная корректировка геометрических искажений цифровых изображений 102
4.2.1. Способ корректировки геометрических искажений 102
4.2.2. Корректировка геометрических искажений монохроматических изображений 105
4.2.3. Корректировка геометрических искажений цветных изображений 106
4.2.3.1. Корректировка геометрических искажений изображений, полученных при использовании трехсенсорной системы 106
4.2.3.2. Корректировка геометрических искажений изображений, полученных при использовании массива цветных фильтров Байера 108
Заключение 111
Список литературы 114
Приложение 123
- Современные методы обработки и улучшения изображений
- Нечеткие множества и нечеткая логика
- Пространственная, трехмерная корректировка систематических погрешностей
- Корректировка геометрических искажений изображений, полученных при использовании массива цветных фильтров Байера
Современные методы обработки и улучшения изображений
В настоящее время имеется большой перечень работ, посвященных обработке изображений: В.П.Дьяконов [15-17], Д.Форсайт, Ж. Понс [42], Р. Гонсалес и Р. Вудс [9,67], Л. Шапиро [45], Дж. Стокман [87] и многие другие. Описаны различные методы обработки и улучшения изображений [59,78,81,88]. К пространственным методам улучшения изображений относятся градационные преобразования, гистограммная обработка, улучшение на основе арифметико-логических операций, пространственная фильтрация, сглаживающие пространственные фильтры, пространственные фильтры- повышения резкости, а также комбинирование приведенных методов.
К градационным преобразованиям относятся преобразование изображения в негатив, логарифмические преобразования, степенные преобразования, преобразования на основе кусочно-линейных функций. К процессам гистограммной обработки относятся эквализация гистограммы, приведение гистограммы, локальные улучшения, также используется гистограммная статистика для улучшения изображений. К улучшениям на основе арифметико-логических операций относятся вычитание и усреднение изображений. К сглаживающим пространственным фильтрам относятся линейные сглаживающие фильтры и фильтры, основанные на порядковых статистиках. В пространственных фильтрах, повышения резкости используются градиент и оператор Лапласа.
К частотным методам улучшения изображений относятся сглаживающие частотные фильтры, частотные фильтры повышения резкости и гомоморфная фильтрация. К сглаживающим частотным фильтрам относятся идеальные фильтры низких частот, фильтры низких частот Баттерворта и Гауссовы фильтры низких частот. К частотным фильтрам повышения резкости относятся фильтры высоких частот Баттерворта, Гауссовы фильтры высоких частот, Лапласиан в частотной области и нерезкое маскирование.
К методам восстановления изображений относятся оценка искажающей функции, инверсная фильтрация, фильтрация по Винеру, фильтрация на основе минимизации сглаживающего функционала со связью, среднегеометрический фильтр, а также геометрические преобразования. Для подавления шумов на основе пространственной фильтрации используются усредняющие фильтры, фильтры, основанные на порядковых статистиках и адаптивные фильтры. Для подавления периодического шума на основе частотной фильтрации используются режекторные фильтры, полосовые фильтры и узкополосные фильтры. Для анализа искажающей функции используется оценка на основе визуального анализа изображений, эксперимента и моделирования. Для геометрических преобразований используются пространственные преобразования и интерполяция значений яркости [10].
Работа с цветными изображениями также имеет свои особенности [5,27]. Для обработки изображений используются вейвлеты [37], фракталы [6,41] и нечеткая логика [76,89]. Сжатие изображений [38], морфологическая обработка изображений, сегментация изображений [11, 52], представление и описание изображений [29,75], распознавание образов [1, 43, 44], а также художественная обработка [31] используются при работе с изображениями.
В работе особое внимание уделяется калибровке оптических систем, геометрическим преобразованиям и перерастрированию изображений. В работах многих авторов в основном при обработке изображений корректируется дисторсия. Следующие работы посвящены решению данного вопроса: Р. Цай [90] - учет радиальной дисторсии, Ю. Хейккила и О. Сильвен [72], Р. Годдинг [68,69] - нахождение радиальной и тангенциальной дисторсии, Дж. Фрайер [65, 66] и Д. Браун [64] - методы, позволяющие определить параметры дисторсии на основе использования точек базиса, Р. Хартлей и С. Канг [70] - использование неплоской решетки для калибровки, учет радиальной дисторсии. Также вопросом калибровки оптических систем занимались К. Фрезер [60-63], Т. Нома [82], Т. Кларке [57], В. Вестер-Эббингхаус [92, 93], А. Хабиб [71] и многие другие.
В работе Ф. Ремондино и К. Фрезер «Методы калибровки цифровых камер: обзор и сравнение» [86] приведен обзор методов калибровки цифровых камер, уделяется внимание корректировке радиальной и тангенциальной дисторсии, при рассмотрении хроматических аберраций учитывается только радиальная дисторсия.
В работе Р. Н. Гельмана и А. Л. Дунца «Лабораторная калибровка цифровых камер с большой дисторсией» [12], а также в работе Р. Н. Гельмана, М. Ю. Никитина, А. Л. Дунца «Опыт использования и калибровки цифровых камер при совместной аэрофотосъемке с АФА» [13] корректируются оптические системы с большой дисторсией.
Для оценки дисторсии интерес представляет работа Р. Н. Гельмана, М. Ю. Никитина, А. Л. Никитина «Об учете дисторсии при обработке видеоизображений» [14].
В работах В. И. Юрченко «Об учете систематических искажений неметрических снимков» [49], «Исследование моделей учета систематических искажений неметрических снимков с самокалибровкой» [50] и «Усовершенствование способа аналитический обработки неметрических снимков» [51] рассмотрены существующие методы учета систематических искажений снимков, а также предложен способ позволяющих скорректировать искажения для решения задач геодезии и картографии.
В диссертационной работе В. М. Демидова «Методы и средства цифровой коррекции изображения в оптико-электронных системах визуализации» [18] решается задача компенсации дефектов элементов матрицы и минимизации шумов.
В докторской диссертации СВ. Дегтярева «Теоретические основы, алгоритмы и устройства повышения качества предварительной обработки видеоинформации в системах технического зрения» [19] широко рассмотрен вопрос повышения качества обработки изображений, а также калибровки систем технического зрения.
В работе А. Л. Шатохина «Исследование методов калибровки цифровых камер» [46] для калибровки оптической системы для всей поверхности снимка использовались полиномы следующего вида: х = аг ОД + а2х + а3у + а4х2 + а5у2 + а6ху + а7х2у + а8ху2 + а9х3 + а10у3 у = Ь±- ОД + Ъгх + Ь3у + Ь4х2 + Ь5у2 + Ь6ху + Ь7х2у + Ь8ху2 + Ь9х3 + Ь10у3, где х ,у -поправки в измеренные значения координат точек снимка, х,у-координаты точек снимка, а, Ъ — коэффициенты корректировки. Данные полиномы описывали все точки снимка, не осуществлялось деление на области, в результате работы программы искажения были скорректированы с 30 мм до 5 мм. Также данный вид полинома используется в работе
«Геометрическая коррекция цифровых снимков» [47], для перерастрирования используется метод аппроксимация по ближайшему соседнему пикселю. В результате точность определения координат увеличилась только в 2-3 раза, при. этом авторами отмечалось, что «такая относительная ошибка годится лишь для решения, некоторых геодезических задач».
В диссертационной работе К. В. Ежовой «Автоматизация коррекции фотограмметрической дисторсии проекционных оптических систем» [20] разработана система ортогональных 4-х мерных полиномов типа полиномов Цернике, которые позволяют описать отдельные компоненты дисторсии, данный метод позволяет на этапе производства оптической системы ускорить процесс юстировки и повысить ее точность.
По данной теме существует ряд патентов. Следует отметить патент «Способ адаптивной калибровки радиальной дисторсии оптической подсистемы системы технического зрения» [39], в котором описан вид калибровки, позволяющий определять и корректировать радиальную дисторсию на основе матричных приемников в автономном режиме без использования специального калибровочного объекта.
В патенте Е. И. Бугаенко, М. И. Труфанов «Способ автоматического определения и коррекции радиальной дисторсии на цифровом изображении» [4] определяется и корректируется радиальная дисторсии, предложен способ увеличения скорости определения коэффициентов радиальной дисторсии. В работе выделяют изображение контуров, выделяют три точки на них и рассчитывают коэффициенты радиальной дисторсии, составляют гистограмму зависимости частот повторяемости от величины коэффициентов, определяют значение коэффициентов как среднее значение коэффициента с максимальной частотой повторяемости.
Нечеткие множества и нечеткая логика
Нечетким множеством А является множество упорядоченных пар Х,ДА(Х) , где х-элемент универсального множества X, ЦА(Х) - функция принадлежности данного элемента к X [94].
Функция принадлежности Цд(х) ставит в соответствие каждому из элементов х Є X некоторое действительное число из интервала [0, 1], данная функция определяется в форме отображения JJ-A X—»[0, 1]. В зависимости от цели и решаемой задачи функция принадлежности выбирается субъективно.
Высотой нечеткого множества называется величина hA=sup{jj.A(x)}, супремум берется по всем значениям функции принадлежности для х Є X. Высота нечеткого множества равна некоторому действительному числу из интервала [ОД]. Для конечных нечетких множеств высота нечеткого множества равна максимальному значению их функции принадлежности.
Носителем нечеткого множества A={x,iA(x)} является множество As, элементы которого имеют отличные от нуля функции принадлежности ЦА(Х)Х).
Ядром нечеткого множества А={Х,ЦА(Х)} является множество Аь для элементов которого Аг = {х Є Х UA(X)=1} [28].
Функция принадлежности является унимодальной на интервале [a,b]cR, если она непрерывна на интервале [а,Ь] и существует непустой интервал [c,d]c[a,b], в котором a c d b, а также на интервале [а,с] при а с функция UA(X) строго монотонно возрастает, на интервале [d,b] при d b функция (iA(x) строго монотонно убывает, на интервале [c,d] функция ЦА(Х) принимает свое максимальное значение, т.е. относительно интервала [a,b] xm Є [c,d] является точкой максимума функции принадлежности, точка xm Є А называется модальным значение (модой) нечеткого множества А. Если функция принадлежности Цл(х) является унимодальной, то нечеткое множество A={x,jj.A(x)} - унимодальным [28].
Для нечетких множеств A={x,j.iA(x)} И В={Х,ЦВ(Х)} определяются следующие отношения [28]:
1. Равенство нечетких множеств (А=В). А={х,цА(х)} и В={х,ив(х)} равны, когда для х Є X их функции принадлежности принимают равные значения ІА(Х)= И«(Х).
2. Нечеткое подмножество (АВ). Нечеткое множество А={х,и.А(х)} является подмножеством нечеткого множества B={X,UB(X)}, в случае, если для хЄХ ІЛ(Х) ЦВ(Х) И значения функции принадлежности первого не превосходят соответствующих значений функции принадлежности второго.
3. Пересечение двух нечетких множеств (АпВ). Пересечением А={х,и.А(х)} И B XJUBCX)} является третье нечеткое множество С={х,(хс(х)} с функцией принадлежности л,с(х)=тіп{л,А(х),р,в(х)} для хЄХ.
4. Объединение двух нечетких множеств (AUB). Объединением А={х,д,А(х)} И В={Х,ІВ(Х)} является третье нечеткое множество D={x,fiD(x)} с функцией принадлежности }х0(х)=тах{цА(х),цв(х)} для хЄХ.
5. Разность двух нечетких множеств (AVB). Разностью А={х,цА(х)} и B={X,UB(X)} является нечеткое множество Е={х,цЕ(х)} с функцией принадлежности ц.Е(х)=тах{ц.А(х) - ц.в(х),0} для хЄХ.
6. Дополнением (А) нечеткого множества A={X,JIA(X)} является нечеткое множество А = {х, Цд(х)} с функцией принадлежности и,А(х) = 1— (1А(х) для хЄХ.
Нечетким покрытием нечеткого множества называется система нечетких подмножеств 3(A) = {AfcAfc Q А], если объединение подмножеств 3(A) совпадает с данным нечетким множеством Ufc Ak = А [28].
Нечеткая и лингвистическая переменные. Нечеткая переменная является кортежем а,Х,А , где а - название нечеткой переменной, X - область определения, А={Х,ЦА(Х)} - нечеткое множество, описывающее значения, которые может принимать нечеткая переменная а [28].
Лингвистическая переменная является кортежем 3,T,X,G,M , в котором Р - название лингвистической переменной; Т - множество ее значений (термов), каждое из которых представляет собой название отдельной нечеткой переменной а; X - область определения нечетких переменных; G - процесс образования из множества Т новых значений; М -процесс, ставящая в соответствие новому значению лингвистической переменной некоторое осмысленное содержание [28].
Нечеткая величина является нечетким множеством В={х,и.в(х)}, которое заданно на множестве действительных чисел R.
Основные типы функций принадлежности. Как правило, используются функции принадлежности, которые описываются в виде простой математической функции, хотя не существует никаких ограничений при их выборе [28].
Кусочно-линейная функция принадлежности состоит из отрезков прямых линий, образуя непрерывную или кусочно-непрерывную функцию. Наиболее используемыми являются «треугольная» и «трапециевидная».
Треугольная функция принадлежности задается [28]: П-образные функции принадлежности по форме напоминают сглаженную трапецию. П-образная функция принадлежности задается [28]: /П10; а, Ь, с, d) = fs(x; a, b) fz(x; с, d), где а, Ъ,с,d-числовые параметры а b с d, которые принимают действительные значения, используется арифметическое произведение значений функций. Используются любые Z- и S-образных функций принадлежности. Функция принадлежности порождает нормальное выпуклое нечеткое множество с ядром [Ь,с] и носителем (a,d).
П-образная функция принадлежности также задается [28]: fU2(x; а, Ь, с, d) = fsz(x; a, b) fsz(x; с, d), где a,b,с,d-числовые параметры а b « \с\ d, которые принимают действительные значения при а 0, с 0.
Пространственная, трехмерная корректировка систематических погрешностей
В данном случае корректировка систематических погрешностей осуществлялась для всей рабочей области оптической измерительной системы. Здесь учитывалась зависимость систематических погрешностей координат X,Y от координаты Z. Данный вид корректировки использовался для систем с нетелецентрическими объективами, а также для увеличения точности измерений, осуществляемых при использовании телецентрических объективов в области телецентрии, а также за ее пределами. Практически получалось программное увеличение области телецентрии объектива. При значительном удалении от центра телецентрии изображения получались размытыми, что привело к увеличению величины случайных погрешностей и возможности возникновения грубых погрешностей. Данный вид корректировки можно использовать для измерения объектов, которые имеют ступенчатую структуру. Также он подходит для последовательного измерения объектов различной высоты, при этом нет необходимости каждый раз настраивать систему под высоту измеряемого объекта.
Для осуществления процесса корректировки были получены систематические погрешности всей рабочей области измерительной системы. Для этого эталон помещался в центр телецентрии объектива или определенное начальное положение, если использовался нетелецентрическии объектив, производилась калибровка системы, осуществлялось измерение значений координат центров окружностей эталона, эталон смещался от/к оптической системе, производилось измерение значений координат центров окружностей, процесс повторялся (раздел 2.4.6). После определения систематических и случайных погрешностей вся рабочая область оптической измерительной системы делилась на более мелкие области. Разделение происходило по количеству окружностей эталона рис. 4.20.
Количество окружностей в области могло быть произвольной, но не менее 9 окружностей в одной области (по 3 в каждом направлении X,Y,Z). Составлялась система уравнений (4.1). Для значений координат центров каждой окружности эталона в зависимости от области расположения окружности составлялись два уравнения вида.
Решением системы уравнений являлись 20 коэффициентов для каждой области (10 коэффициентов для координаты X и 10 для координаты Y). При разделении всей рабочей области измерительной системы, например, на 16 областей рассчитывались 320 коэффициентов. Количество областей определялось для каждой измерительной системы в отдельности в зависимости от требований, условий и задач измерений. При дальнейших измерениях различных объектов данные коэффициенты использовались в зависимости от области, где располагается измеряемый объект для корректировки систематических погрешностей всей рабочей области оптической измерительной системы.
Абсолютные погрешности измерений значений координат центров окружностей эталона (в области телецентрии и за ее пределами) представлены на рис. 4.21. Абсолютные погрешности измерений после корректировки в области телецентрии представлены на рис. 4.22. Систематические погрешности в области телецентрии до и после корректировки представлены на рис. 4.23.
При удалении от области телецентрии объектива изображения получались размытыми, что привело к увеличению величины случайных погрешностей и отразилось на размере погрешностей после корректировки. Максимальная абсолютная- погрешность измерений после корректировки за пределами области телецентрии составила 1,3 мкм, максимальная систематическая! погрешность - менее 2 мкм.
В. случае, когда координата Z измерялась по изображению и в оптической системе присутствовала аберрация кривизна поля изображения, для координаты Z осуществлялась корректировка по аналогии с X, Y. Для определения координаты Z в OSPREY использовался алгоритм анализа резкости фрагмента изображения измеряемого объекта (длины перехода на границе объекта), на основе которого определялось расстояние от центра телецентрии или начального положения до объекта. Если объект находился в центре телецентрии объектива, то длина перехода на границе объекта была минимальной. Аберрация объектива кривизна поля изображения приводит к неравномерной резкости по полю изображения. Если фокусировка осуществлялась на центр изображения, то объекты по краям были не резкими, следовательно, если производилось измерение расстояния от измерительной системы до объекта, который находился не в центре, то в определении координаты Z появлялась дополнительная систематическая погрешность. Чтобы определить ее значение,, необходимо поочередно сфокусироваться на окружность в центре изображения, далее на соседние окружности и так далее от центра к границам изображения.
Для корректировки координаты Z в систему уравнений (4.1) включались для значений координат центров каждой окружности дополнительные уравнения вида.
Решением системы уравнений являлись 30 коэффициентов для каждой области (10 коэффициентов для координаты X, 10 коэффициентов для координаты Y и 10 коэффициентов для координаты Z). При разделении всей рабочей области измерительной системой, например, на 16 областей рассчитывались 480 коэффициентов. В рассматриваемом примере абсолютна погрешность измерений координаты Z была скорректирована с 12 до 2 микрометров.
Корректировка геометрических искажений изображений, полученных при использовании массива цветных фильтров Байера
Пиксели сенсора с массивом цветных фильтров Байера регистрирует 25% синей части спектра, 25% красной части и 50% зеленой. Т. к. процесс восстановления значений яркости недостающих пиксель приводит к нежелательным последствиям, изображения из каждого канала обрабатывались в «сыром» RAW-формате. Чтобы объединить три канала в одно изображение использовались все пиксели из синего и красного каналов и только половина пикселей зеленого канала. Пиксели из каждого канала были смещены в одно среднее положение. Смещение привело к увеличению геометрических искажений изображений, которые были скорректированы вместе с первоначальными искажениями в каждом канале. Для каждого канала рассчитывались свои коэффициенты. Монохроматические изображения в каждом канале обрабатывались, как описано в разделе 4.2.1, далее три скорректированных монохроматических изображения объединялись в одно цветное изображение. Алгоритм корректировки геометрических искажений цветных изображений, полученных с помощью камеры с массивом цветных фильтров Байера, представлен на рис. 4.30.
На рис.4.31 представлено увеличенное изображение одной окружности эталона до и после корректировки геометрических искажений.
Систематические погрешности до и после корректировки геометрических искажений изображений, полученных с помощью камеры с массивом цветных фильтров Байера, представлены на рис.4.32.
Максимальные систематические погрешности, измеренные в красном канале 11,5 мкм, в зеленом 9, в синем 3 мкм. Максимальная систематическая погрешность, измеренная по скорректированному изображению, для синего и зеленого каналов составила менее 1 мкм, для красного менее 2 мкм (для середины области телецентрии).
