Содержание к диссертации
Введение
1. Модель формирования цифрового изображения в оптической системе видеокамеры 14
1.1. Вводные замечания 14
1.2. Модель формирования цифровых изображений на основе перспективной проекции 15
1.2.1. Аффинные преобразования в трехмерном пространстве 18
1.2.2. Перенос 19
1.2.3. Масштабирование 19
1.2.4. Поворот 20
1.2.5. Поворот вокруг произвольной оси 21
1.2.6. Модель камеры 22
1.2.7. Матрица перспективной проекции 22
1.2.8. Прямоугольная и слабая перспективная проекции 26
1.3. Алгоритм Левенберга-Марквардта 28
1.3.1. Постановка задачи 28
1.3.2. LMA как комбинация простейшего градиентного метода и метода Гаусса-Ньютона 30
1.3.3. LMA как метод доверительных интервалов 33
1.4. Краткие выводы 34
2. Решение задачи калибровки цифровой видеокамеры 36
2.1. Вводные замечания 36
2.2. Обработка цифровых изображений в задаче калибровки видеокамеры 37
2.2.1. Процедура распознавания калибровочных полос 39
2.2.2. Преобразование Хафа для обнаружения линий на цифровом изображении 41
2.2.3. Автоматический анализ аккумулятора преобразования Хафа43
2.2.4. Обнаружение непрерывных линий 45
2.2.5. Отбор корректных пар прямых 47
2.2.6. Анализ штрихового кода линий 50
2.2.7. Генерация возможных кодовых последовательностей 53
2.2.8. Автоматическое определение интервала дискретизации кодовой последовательности 56
2.2.9. Надежность обнаружения линий 60
2.2.10. Повышение быстродействия преобразования Хафа 62
2.3. Вычисление положения цифровой видеокамеры методом Левенберга-Марквардта 66
2.4. Точность определения координат видеокамеры 69
2.5. Краткие выводы 72
3. Вычисление трехмерных координат точек объекта по двумерным цифровым изображениям 73
3.1. Вводные замечания 73
3.2. Предварительная цифровая обработка кадров входной видеопоследовательности 73
3.2.1. Предварительная фильтрация 74
3.2.2. Получение разностного кадра 76
3.2.3. Цифровая обработка изображений разностных кадров методом анализа гистограмм 78
3.3. Решение задачи обнаружения гауссова видеоимпульса на цифровом изображении 81
3.3.1. Оптимальные методы 82
3.3.2. Аппроксимирующие методы 89
3.4. Аппроксимация набора точек плоскостью 97
3.5. Вычисление трехмерных координат точек поверхности объекта 98
3.6. Анализ погрешностей, возникающих в системе 100
3.7. Метод пространственно-временной обработки 105
3.7.1. Разработка алгоритма применения пространственно-временной обработки в разрабатываемой системе 107
3.7.2. Анализ результатов работы метода 110
3.8. Краткие выводы 114
4. Цифровая обработка результатов сканирования 116
4.1. Вводные замечания 116
4.2. Преобразование облака точек в карту высот 116
4.3. Триангуляция Делоне 122
4.4. Наложение текстуры 131
4.5. Совмещение результатов сканирования 132
4.5.1. Метрика точка-точка 134
4.5.2. Поиск решения методом наименьших квадратов 136
4.5.3. Метрика точка-плоскость 137
4.5.4. Сравнение метрик точка-точка и точка-плоскость 138
4.6. Анализ получаемых моделей 139
4.6.1. Анализ качества пайки элементов поверхностного монтажа 139
4.6.2. Анализ форм деталей 140
4.6.3. Согласование форм 141
4.7. Фильтрация выходных моделей 141
Заключение 145
Литература 148
- Модель формирования цифровых изображений на основе перспективной проекции
- Обработка цифровых изображений в задаче калибровки видеокамеры
- Предварительная цифровая обработка кадров входной видеопоследовательности
- Анализ качества пайки элементов поверхностного монтажа
Введение к работе
Актуальность темы
В настоящее время трехмерные модели объектов широко используются в различных областях человеческой деятельности — в науке и технике, медицине, системах виртуальной реальности, обучении и искусстве. Современное машиностроение слЪжно представить без систем автоматического проектирования (САПР), наиболее полно использующих потенциал трехмерного моделирования для разработки и производства деталей и механизмов. Следующий качественный этап развития цифрового телевидения — переход на стереоскопические технологии, использующие трехмерные модели объектов. Бесконтактное измерение геометрических параметров объектов — один из основных методов ряда отраслей науки и техники, таких как дефектоскопия, технический контроль, метрология [1-3].
Во многих задачах, использующих трехмерное моделирование, возникает необходимость в получении трехмерных моделей реально существующих объектов. В таком случае требуется технология сканирования реального объекта (печатной платы, корпуса прибора, человеческого лица, здания, деталей механизмов и т.д.) для получения виртуальной трехмерной модели, представляющей собой цифровое геометрическое приближение его формы. Существует несколько методов такого сканирования, самый распространенный из них - оптическая лазерная триангуляция [4-9].
На практике оптическая лазерная триангуляция - один из самых точных и быстрых способов получения трехмерных моделей реальных предметов [10-14]. Она является одним из методов лазерной дальнометрии. Метод оптической лазерной триангуляции основан на освещении объекта лазерным лучом и регистрации отраженного от объекта излучения с помощью ПЗС/КМОП-матрицы или иного регистрирующего оборудования. В наиболее распространенном случае форма объекта определяется путем вычисления координат точек линии, образованной проекцией растянутого в линию лазерного луча на сканируемый объект при условии пространственного
разнесения лазера и регистрирующей видеокамеры [15-17]. В таком случае лазерная линия будет повторять форму объекта в точке падения (рис. 1). Зная информацию о взаимном расположении источника лазерного излучения и регистрирующей видеокамеры, возможно вычисление реальных трехмерных координат точек поверхности сканируемого объекта путем обработки изображений, поступающих с видеокамеры. Полная модель сканируемого объекта получается путем смещения лазерной линии вдоль всей его поверхности.
Рис. 1. Принцип работы системы оптической лазерной триангуляции: 1) сканируемый
объект; 2) лазер с цилиндрической линзой; 3) лазерный луч; 4) картинная плоскость
видеокамеры; 5) проекция лазерного луча на картинную плоскость видеокамеры,
повторяющая форму объекта
Лазер, точка падения лазера на поверхности объекта и регистрирующая видеокамера образуют в пространстве треугольник, зная параметры которого можно вычислить расстояние до облучаемого лазером участка поверхности сканируемого объекта, поэтому данный метод назван триангуляции (от латинского «triangulum» - треугольник). Метод триангуляции известен с древних времен и использовался для геодезических задач, оценки расстояния до плавучих объектов и т.д. В пассивной триангуляции для вычисления координат используется только зрительное определение азимута до интересующего объекта. Позже появились методы активной триангуляции - на объект направлялся луч света с известным углом относительно положения наблюдателя. При применении источника света (в т.ч. лазера) в задаче
триангуляции измерения ведутся в видимом диапазоне, поэтому данный метод получил название оптической триангуляции. Следует отметить, что триангуляционные измерения могут приводиться так же в СВЧ-диапазоне или с использованием звуковых волн. Например, с помощью триангуляционных методов радиолокации в СВЧ-диапазоне космическими аппаратами возможно получение карт рельефа планет солнечной системы.
С появлением лазеров метод оптической триангуляции получил качественный скачок. Узкий спектр и малое расхождение лазерного пучка позволили значительно повысить точность, а так же расширить диапазон измеряемых расстояний в триангуляционных измерениях. Когерентные свойства лазерного излучения позволяют использовать его для триангуляционных измерений в диапазоне от десятков километров до нанометрового диапазона.
Для оценки расстояния до объекта в задаче оптической лазерной триангуляции можно использовать линейный ПЗС (или КМОП) сенсор для определения положения лазерного пятна [18]. Однако для задачи сканирования формы объекта более эффективным является метод определения положения точек лазерной полосы на двумерном изображении (в отличие от лазерного пятна на линейном сенсоре), поэтому в качестве регистрирующего элемента должна использоваться двумерная решетка регистрирующих элементов, например, в составе цифровой регистрирующей видеокамеры. В связи с этим в данной работе в качестве входных данных рассматривается последовательность цифровых изображений, снимаемых регистрирующей видеокамерой [19].
Для получения координат точек необходимо первоначально вычислить координаты и параметры видеокамеры (произвести ее калибровку) [20-22], т.е. решить задачу определения ее местоположения в пространстве [23, 24]. В большинстве существующих систем для этого используется объединение лазера и видеокамеры в единый блок, в такой системе взаимное расположение лазера и видеокамеры известно изначально, а для позиционирования
видеокамеры относительно сканируемого объекта используются дорогостоящие координатно-измерительные машины.
Однако возможна и более гибкая схема построения устройства, в которой жесткая связь между лазером и видеокамерой отсутствует, их взаимное положение произвольно, отсутствует так же и координатно-измерительная машина. В такой системе вся информация о положении и параметрах видеокамеры в каждый момент времени должна быть получена только путем анализа цифровых изображений, снимаемых самой видеокамерой-, то есть информация, ранее получаемая путем с использованием координатно-измерительных машин, должна получаться путем цифровой обработки изображений. Данная задача должна быть решена с достаточной точностью даже в условиях низкого качества входных изображений, так как ошибки на этапе определения местоположения видеокамеры ведут к ошибкам1 во всей результирующей модели.
Далее, путем цифровой обработки изображений с видеокамеры необходимо произвести также и обнаружение луча лазера. Данные, получаемые видеокамерой, кроме полезного цифрового' изображения лазерного луча содержат различные виды шума, паразитных засветок, искажений формы луча. От точности и эффективности определения положения лазерного луча зависит точность всего метода сканирования. Данной задаче, принадлежащей к классу задач выделения импульса на фоне шумов, посвящено множество фундаментальных работ по статистической радиотехнике: Тихонова В.И. [26], Репина В.Г. и Тартаковского Г.П. [27], Вайнштейна Л.А. [28], Уайлда Д.Дж. [29]. Методам определения импульсов с гаусоподобной структурой уделяется также внимание в работах Краснова В.Н [30], ЧураковаЕ.П. [31], Трифонова А.П. [32], Пальчика О.В. [34] и зарубежных авторов [35].
Таким образом, данные, ранее получаемые путем механических измерений, в рассматриваемой системе вычисляются исключительно путем цифровой обработки- изображений, поступающих с видеокамеры. От эффективности алгоритмов, применяемых на данном этапе, в значительной
степени зависит точность и эффективность всего устройства сканирования. Трехмерные координаты поверхности сканируемого объекта так же получаются путем анализа цифровых изображений с видеокамеры для нахождения положения лазерного луча. Точность применяемых на данном этапе алгоритмов напрямую влияет на качество результирующей модели.
В настоящий момент на рынке отсутствуют готовые системы оптической лазерной триангуляции, работающие по вышеописанной схеме с произвольным положением лазера и видеокамеры, способные работать в условиях присутствия естественного фона позади сканируемого объекта и при наличии шумов во входном видеоряде. Вследствие этого, цифровая обработка сигналов, получаемых в системе оптической лазерной триангуляции с произвольным положением лазера и камеры, как на этапе калибровки, так и на этапе сканирования, является сложной и актуальной радиотехнической задачей.
Поэтому целью работы является исследование существующих и разработка новых алгоритмов цифровой обработки сигналов с целью повышения точности и эффективности систем оптической лазерной триангуляции. Для достижения указанной цели решаются следующие задачи:
разработка общей концепции построения устройства;
разработка и анализ эффективного алгоритма калибровки (определения местоположения и параметров) видеокамеры для задачи лазерной триангуляции;
анализ и выбор наиболее эффективных методов определения положения гауссова (лазерного) видеоимпульса на фоне шумов применительно к широкому диапазону условий сканирования;
разработка методики предварительной цифровой обработки изображений для предобработки анализируемых в задаче триангуляции видеопоследовательностей;
разработка методов постобработки триангуляционных данных с целью повышения точности результатов;
разработка методики автоматического определения положения источника
лазерного излучения, используя цифровые изображения с регистрирующей видеокамеры;
анализ вычислительной эффективности и результативности различных методов предобработки и постобработки триангуляционных данных с целью построения системы, работающей в реальном масштабе времени;
реализация предлагаемых алгоритмов на практике и анализ их эффективности.
Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки одномерных и двумерных сигналов, статистической теории радиотехнических систем, методы математического моделирования, вычислительной геометрии в пространстве, теории вероятностей и математической статистики. Для практического использования алгоритмов применялась их реализация на языке программирования Object Pascal на базе ЭВМ общего назначения.
Достоверность полученных результатов. Достоверность полученных в работе результатов прошла неоднократную проверку методами математического моделирования и путем сравнения результатов, получаемых предлагаемым триангуляционным и классическими методами геометрических измерений. Они показали высокую степень соответствия параметров цифровых моделей и реальных объектов.
Научная новизна. В рамках диссертационной работы получены следующие новые научные результаты:
разработана схема построения устройства, позволяющая автоматизировать определение положения лазера и видеокамеры и осуществить получение трехмерных моделей объектов с необходимой точностью без использования специализированных механических средств позиционирования лазера и регистрирующей видеокамеры;
разработан алгоритм калибровки видеокамеры в реальном времени, работающий в широком диапазоне ракурсов и конфигураций калибровочного шаблона;
разработан специальный тип калибровочных шаблонов и калибровочных меток для алгоритма калибровки видеокамеры, позволяющий производить их надежное обнаружение и дифференциацию;
разработан алгоритм автоматического выбора порога на этапе пороговой обработки разностных изображений, использующий информацию о производной гистограммы изображения;
разработан метод, позволяющий применить алгоритм пространственно-временной обработки сигналов в системе с автоматическим определением положения лазера с использованием только изображений, получаемых регистрирующей видеокамерой.
Практическая значимость. Применение методов и алгоритмов, разработанных в рамках данной работы, позволяет реализовать на практике построение эффективной системы лазерной триангуляции с использованием минимума технических средств и без использования специальных навыков у оператора, осуществляющего сканирование. На основе результатов исследования создан программный продукт, осуществляющий процедуру сканирования объектов в реальном масштабе времени на базе ЭВМ общего назначения без применения специализированных аппаратных средств обработки триангуляционных сигналов или средств позиционирования лазера и видеокамеры. Данный программный продукт прошел процедуру государственной регистрации программного обеспечения под наименованием «SoltScan».
Основные положения, выносимые на защиту:
алгоритм калибровки цифровой видеокамеры по калибровочным шаблонам с автоматическим определением их конфигурации;
алгоритм обнаружения калибровочных меток при различных ракурсах регистрирующей видеокамеры, наличии помех, при различных условиях освещения и качества оптической системы видеокамеры;
алгоритм автоматического выбора порога на этапе пороговой обработки разностных изображений, использующий информацию о производной
гистограммы изображения;
методика адаптации алгоритма пространственно-временной цифровой обработки сигналов применительно к системе триангуляции, не требующей специальных методов позиционирования лазера и осуществляющей определение положения лазерного луча с использованием только изображений, получаемых регистрирующей видеокамерой;
конфигурация алгоритмов предобработки и постобработки регистрируемых цифровых изображений и триангуляционных данных, позволяющих реализовать систему триангуляционного сканирования на базе ЭВМ общего назначения в реальном масштабе времени.
Апробация работы. Результаты работы обсуждались на следующих научно-технических семинарах и конференциях:
Девятой, десятой и одиннадцатой международных научных конференциях и выставках «Цифровая обработка сигналов и ее применение» (г. Москва, 2007-2009 гг.). Все три доклада награждены дипломами.
Третьей и четвертой международной научно-технической конференции «Современные телевизионные технологии. Состояние и направления развития» (г. Москва, МНИТИ, 2006 г., 2008 г.).
15-й международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (г. Рязань, 2008 г.).
Всероссийском научно-техническом семинаре «Системы синхронизации, формирования и обработки сигналов для связи и вещания» (г. Ярославль, 2008 г.).
15-й международной научно-практической конференции «Информационные средства и технологии» (г. Москва, МЭИ, 2007 г.).
Публикации. По теме диссертации опубликовано 11 научных работ, из них статья в центральном журнале, рекомендованном ВАК, статья в рецензируемом журнале, статья в сборнике научных трудов, переводная статья в зарубежной печати, 7 докладов на научных конференциях российского и
международного уровней. Кроме того, имеется свидетельство о государственной регистрации программного обеспечения, разработанного в рамках выполнения работы.
Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 102 наименования. Она изложена на 157 страницах машинописного текста, содержит 75 рисунков и 5 таблиц.
Благодарности. Автор выражает слова глубокой благодарности своему
научному руководителю доценту ЯрГУ Андрею Леонидовичу Приорову за
помощь на всех этапах выполнения данной работы и заведующему кафедрой
динамики электронных систем ЯрГУ профессору Юрию
Александровичу Брюханову за постоянную поддержку во время обучения в аспирантуре и подготовки данной диссертации. Отдельная благодарность профессорам Ю.В. Скачко, В.П. Дворковичу, А.А. Ланнэ, В.В. Витязеву, М.А. Щербакову, д.т.н. А.В. Дворковичу, М.К. Чобану, В.И. Джигану, работы которых оказали значительное влияние на формирование взглядов автора в данном научном направлении. Эти взгляды формировались также в совместной работе с коллегами по лаборатории «Цифровые цепи и сигналы» кафедры динамики электронных систем ЯрГУ, среди которых особенно хочется отметить В.В. Хрящева, А.Н. Тараканова, Ю. Лукашевича, И. Апалькова, В. Кобелева, Е. Саутова, А. Моисеева, С. Ульдиновича, В. Волохова, И. Мочалова.
Модель формирования цифровых изображений на основе перспективной проекции
В этом разделе обсуждается математическая модель формирования цифровых изображений на основе перспективной проекции [23, 24]. Эту модель особенно легко построить для описания взаимосвязи точек в системе координат видеокамеры С с точками в действительной системе координат изображения R.
Начнем рассмотрение с простого одномерного случая, представленного на рис. 1.1.Тем не менее, эта одномерная модель применима к ряду реальных задач, например, для описания получения изображений плоской земной поверхности с самолета с помощью видеокамеры, оптическая ось которой направлена вертикально вниз.
Наблюдаемая точка В проектируется в точку изображения Е. Начало системы координат видеокамеры расположено в точке О. Расстояние между точками О и В, измеренное вдоль оптической оси, равно расстоянию Zc между точками О и А. Образ точки В смещен от центра изображения на расстояние х{ вдоль оси Хг Фокусное расстояние объектива равно f. Учитывая подобие треугольников, запишем уравнение:
Из уравнения (1.1) следует, что действительная координата точки на двумерном изображении (размер объекта) равна пространственной координате точки (размеру одномерного объекта), взятой в масштабе, равном отношению фокусного расстояния к расстоянию до объекта.
Если вычислить координаты образов всех точек, лежащих на одинаковом расстоянии от видеокамеры, то будет получено изображение, представляющее собой уменьшенную копию двумерного плоского объекта. Эта модель применима к таким прикладным задачам, как анализ микроскопических изображений, аэрофотосъемок, или обработка изображений отсканированных документов.
Процесс формирования изображения удобнее рассматривать на картинной плоскости изображения, а не на действительной плоскости изображения, которая по отношению к наблюдаемому объекту расположена позади объектива. Изображение на действительной плоскости перевернуто относительно наблюдаемого объекта, а на картинной плоскости имеет ту же ориентацию, что и объект. Картинная плоскость изображения - это воображаемая плоскость, расположенная на расстоянии/от оптического центра в направлении наблюдаемой сцены. Образы объектов на картинной и действительной плоскостях изображения имеют одинаковые размеры и отличаются только направлением. На рис. 1.1 точки С и D на картинной плоскости изображения соответствуют точкам F и Е на действительной плоскости изображения. Уравнение перспективной проекции справедливо для точек на обеих плоскостях изображений. Начиная с этого момента и далее, построение изображений будет рассматриваться на картинной плоскости.
Схема перспективной проекции трехмерной сцены на двумерную плоскость приведена на рис. 1.2.
Уравнения (1.2) для координатных направлений х и у получены с использованием тех же соотношений подобных треугольников, что и в одномерном случае. Проекционное отображение трехмерного пространства на плоскость не является однозначным. Все трехмерные точки, лежащие вдоль одного проектирующего луча, будут проектироваться в одну и ту же точку двумерного изображения. Поэтому на двумерном изображении теряется существенный объем пространственной информации, задача восстановить которую и является непосредственной целью разработки системы оптической лазерной триангуляции. Математическая модель в виде уравнений (1.2) может использоваться в компьютерных алгоритмах для определения множества всех трехмерных точек на проектирующем луче, проходящем через точку изображения (xt,yt).
Уравнения (1.2) описывают взаимосвязь точек в трехмерной системе координат видеокамеры с точками в двумерной действительной системе координат изображения. Для записи уравнений перспективной проекции в системе координат объекта или в мировой системе координат требуется применять преобразования систем координат, которые будут рассмотрены далее.
Аффинные преобразования в трехмерном пространстве широко применяются не только в трехмерном машинном зрении, но и в робототехнике, в системах виртуальной реальности. Основными преобразованиями являются перенос, поворот, масштабирование и сдвиг. Для удобства вычислений воспользуемся однородными координатами, т.е. вместо трехмерных координат точки [Рх,і ,Р,] будем работать с ее однородными координатами [sPx,sPy,sPz,s] (где s — ненулевой масштабный множитель, обычно s = 1). В данном разделе у имен точек часто используются верхние индексы, так как требуется работать с большим количеством координатных систем. Далее набор преобразований будет расширен за счет проекционных преобразований, отображающих трехмерное пространство на двумерное: перспективное, ортографическое и слабое перспективное преобразования.
Для определения расположения узлов системы триангуляции относительно друг друга и относительно трехмерных объектов сцены, а также для записи правил манипуляции с их координатами необходимы математические методы для работы с координатами точек в различных системах координат. Иногда будет использоваться удобная форма записи для обозначения системы координат, в которой описывается точка, и «направления» преобразования координат. Например, преобразование точки модели МР из модельной системы координат в мировую систему координат WT обозначим Т Форма записи (1.3) удобна для рассмотрения перемещения объектов и для их сопоставления. В простых случаях, когда выбор системы координат очевиден, эта запись будет упрощаться.
При переносе компоненты вектора переноса (x0,y0,z0) складываются с координатами точки Р в системе координат 1 для получения координат точки Р в системе координат 2:
С помощью матрицы трехмерного масштабирования по каждому из направлений системы координат можно задать различные масштабные множители. При замене единиц измерений или при однородном масштабировании для получения экземпляра модели заданного размера все они одинаковы
Обработка цифровых изображений в задаче калибровки видеокамеры
Для решения задачи калибровки видеокамеры необходимо реализовать эффективный алгоритм распознавания для определения положения меток на поверхности калибровочного шаблона, по которым будет производиться калибровка видеокамеры. Калибровочный шаблон должен представлять собой жесткую структуру заранее известной конфигурации с нанесенными на нее калибровочными метками. Калибровочные метки должны представлять собой объекты, расположение которых на картинной плоскости видеокамеры могло бы быть с необходимой точностью вычислено путем анализа только одного изображения, снимаемого видеокамерой. С учетом данных требований была выбрана специальная структура калибровочных шаблонов, примеры которых показаны на рис. 2.2.
При реализации данного алгоритма необходимо учитывать тот факт, что структура калибровочного шаблона может меняться для учета различных пропорций сканируемого объекта. Если сканируемый объект является вертикально вытянутым, то метки на калибровочном шаблоне рационально располагать слева и справа от объекта. При сканировании объекта, вытянутого горизонтально, метки должны располагаться сверху и снизу от объекта. Поэтому система распознавания меток на шаблоне должна автоматически определять тип найденных меток. Так же, для эффективной работы системы с изображениями низкого качества, калибровочные метки должны обладать относительно большой протяженностью для их надежного обнаружения.
С учетом этих требований в качестве калибровочных меток использованы контрастные полосы специальной структуры. Для вычисления положения видеокамеры таких полос на изображении должно быть несколько, в связи с чем необходимо использование процедуры дифференциации одних полос от других. В качестве атрибута для процедуры дифференциации на центральную ось каждой полосы наносится штриховой код, проанализировав который возможно определить, какая именно полоса была в данный момент обнаружена. Различные типы калибровочных полос показаны на рис. 2.3.
Задача автоматизированного обнаружения контрастных калибровочных полос, показанных на рис. 2.3, может быть эффективно решена с использованием преобразования Хафа [23] после проведения процедуры детектирования краев в изображении [37, 38, 40].
На первом этапе работы алгоритма производится детектирование краев -вычисление модуля градиента изображении [39,41]. Анализ экспериментальных данных позволяет сделать вывод о том, что наибольшей эффективностью применительно к распознаванию калибровочных полос обладают операторы Собеля и Превитта.
Операторы Собеля и Превитта являются дифференциальными операторами для двумерных изображений: преобразовывается в пересекающиеся линии определенной толщины на изображении градиента.
Если рассматривать пример на рис. 2.4, то для определения положения калибровочных меток необходимо получить параметры протяженных горизонтальных линий, составляющих длинные стороны приведенных на рисунке калибровочных полос. Данные линии могут быть обнаружены с помощью преобразования Хафа.
Применение операторов Собеля и Превитта позволяет достичь большей надежности работы алгоритма обнаружения калибровочных полос, чем использование более сложного и обычно более эффективного в задаче детектирования краев оператора Кэнни [42, 43]. Эта особенность объясняется тем, что оператор Кэнни в стандартной конфигурации на выходе дает ребра толщиной в один пиксель [48]. Как будет показано далее, для надежного обнаружения прямой такой толщины с помощью преобразования Хафа эта линия должна быть идеально прямой, что крайне редко достигается на практике, особенно при относительно большой протяженности детектируемой линии. В свою очередь, операторы Собеля или Превитта дают края толщиной в два и более пикселя, поэтому при небольшом отклонении формы линии от идеальной прямой она по-прежнему эффективно обнаруживаются с помощью преобразования Хафа [44], к тому же данные операторы обладают меньшей вычислительной сложностью.
Преобразование Хафа представляет собой метод обнаружения особенностей в изображении. В качестве особенности может выступать геометрическая фигура или фрагмент изображения. Преобразование заключается в переводе информации из координатного пространства анализируемого изображения в пространство так называемого аккумулятора.
Аккумулятор - некоторое накопительное пространство с размерностью, равной числу параметров для однозначного задания искомой особенности. Например, любая прямая на изображении может быть параметризирована с помощью двух параметров — удалением от начала координат R и наклоном относительно вертикальной оси в. В таком случае прямая задается уравнением R = xsin(e) +ycos(B). Следует отметить, что под прямой в данном случае понимается линия неограниченной длины, проходящая через все изображение.
Преобразование Хафа для поиска таких прямых заключается в переводе информации об изображении из пространства координат (х,у) в пространство аккумулятора в координатах (R,0). Аккумулятор в данном случае представляет собой двумерный массив, значения элементов которого соответствуют вероятности обнаружения на исходном изображении прямой с соответствующими параметрами (И,в) (см. пример на рис. 2.5). Такое представление аккумулятора делает преобразование Хафа очень близким к преобразованию Радона.
Предварительная цифровая обработка кадров входной видеопоследовательности
Наибольшая доля шумов в получаемой трехмерной модели возникает вследствие шумов матрицы видеокамеры, шума при отражении лазерного луча (шум «зернистости») и ошибок на этапе регистрации данных (например, вследствие сжатия регистрируемых изображений перед процедурой анализа). Результат влияния этих погрешностей выражается в виде эффекта зашумления поверхности объекта и приводит к неровностям сразу на всей поверхности регистрируемой модели (например, модель идеально плоской пластинки в результате выглядит «шершавой»).
Амплитуда этих искажений напрямую зависит от шумов, присутствующих в анализируемой видеопоследовательности, содержащей изображение лазерного луча. Из-за влияния как минимум трех факторов, напрямую искажающих форму лазерного импульса (шум матрицы видеокамеры, шум «зернистости» лазера, искажение вследствие сжатия видеопоследовательности), шум в результирующей модели носит сложный характер и не может быть сведен к какому-то одному типу (например, аддитивному гауссову шуму).
При анализе характера данных шумов можно сделать вывод о возможности уменьшения их амплитуды с помощью использования алгоритмов частотной фильтрации в рамках одного изображения, регистрируемого видеокамерой. Здесь учитывается тот факт, что изображение регистрируемого лазерного луча обычно обладает протяженностью от нескольких пикселей до десятков пикселей, а шум матрицы видеокамеры носит высокочастотный характер. Поэтому, применив к изображению фильтр нижних частот (ФНЧ), амплитуда шумов будет уменьшена.
Также возможно применение медианной фильтрации и других методов нелинейной обработки изображений с целью уменьшения шума. Следует отметить, что исходя из требования работы системы в реальном времени, алгоритм фильтрации должен быть вычислительно простым. В табл. 3.1 приведены результаты применения наиболее быстрых и эффективных алгоритмов такой фильтрации.
Для анализа уровня результирующих шумов используется а -среднеквадратичное отклонение (СКО), вычисляемое по формуле: При использовании методов фильтрации, приводящих к заметному сглаживанию элементов изображения, наблюдается эффект сглаживания резких перепадов формы результирующей модели. Для анализа влияния этого эффекта производилось измерение величины сглаживания тестовой ступеньки высотой 1 мм (рис. 3.1). Пример влияния фильтрации входной видеопоследовательности на качество входной модели показан на рис. 3.2.
При жестких требованиях к скорости работы наиболее эффективным алгоритмом фильтрации является применение в качестве ФНЧ усреднения области 3x3 пикселя. При использовании медианной фильтрации острые ребра в модели сглаживаются в меньшей степени, однако вычислительная сложность этого алгоритма выше.
На изображении, поступающем с регистрирующей видеокамеры, кроме изображения лазерного луча содержится так же неинформативный фон. Примеры кадров с видимым неинформативным фоном показаны на рис. 3.3. Фон, не содержащий изображение лазерного луча, должен быть удален. В алгоритме вычитания неинформативного фона используется тот факт, что видеокамера в процессе сканирования не меняет своего положения, поэтому фон, не освещенный перемещающимся лазерным лучом, так же остается неизменным на протяжении всей анализируемой видеопоследовательности. Поэтому поиск лазерного луча необходимо производить не напрямую на изображениях с регистрационной видеокамеры, а на так называемых разностных кадрах. Разностный кадр - это дифференциальный кадр, из которого вычтен постоянный фон. В качестве изображения фона используется первоначальное изображение с видеокамеры, на котором отсутствует лазерный луч.
Обозначим как Ck(iJ) к-й кадр входной видеопоследовательности с регистрирующей видеокамеры, и как C0(i,j) - первоначальное изображение с видеокамеры, на котором отсутствует лазерный луч. Тогда дифференциальным кадром Dk(i,j) будет являться результат выполнения операции: видеопоследовательности вычитается постоянная для всех кадров составляющая с момента регистрации первого кадра. Результат выполнения данной операции представлен на рис. 3.4.
Видно, что на получаемом после выполнения описанной процедуры разностном кадре амплитуда неинформативного фона значительно уменьшается, однако все равно остается ненулевой. Оставшийся фон состоит из составляющих, не являющихся постоянными во время выполнения сканирования.
Анализ качества пайки элементов поверхностного монтажа
В настоящий момент подавляющее большинство электронных изделий изготавливается с помощью малогабаритных элементов поверхностного монтажа. Процесс пайки этих элементов автоматизирован и сопряжен с вероятностью брака, особенно при использовании припоя без содержания свинца (технология lead-free). К возможным видам брака относится отсутствие элемента, смещение элемента или приподнятость над контактной площадкой. Эти виды брака можно обнаруживать с помощью применения системы лазерной триангуляции. После сканирования поверхности распаянной печатной платы анализируется форма трехмерной модели в местах расположения элементов. Отличие формы модели от заданной будет свидетельствовать о наличии дефекта пайки данного элемента. Примеры получаемой модели и обнаружения дефектов пайки приведены на рис. 4.18.
Трехмерная модель готового объекта может сравниваться с идеальной компьютерной моделью для получения данных об отклонении формы объекта от заданной. Например, анализ трехмерной модели детали автомобиля после операций штамповки позволяет выявить дефекты формы детали и вовремя исключить возможность брака. Так же появляется возможность упростить процедуру экспертизы повреждений деталей автомобиля. Данные об отклонении формы могут анализироваться как визуально, так и с помощью автоматизированной экспертной системы. Пример получаемых данных для последующего анализа приведен на рис. 4.18.
Анализ отклонений формы автомобильной двери: а) сканированная модель; б) градациями цвета показана величина отклонений формы от заданной
Оптическая лазерная триангуляция представляет собой удобный и точный инструмент для снятия «слепков» существующих объектов. Потребность в виртуальных «слепках» существующих объектов возникает при требовании точного совпадения форм изготавливаемых объектов с существующими. Например, такое требование возникает при изготовлении различных переходников и дополнительного оборудования для автомобилей. В качестве примера можно привести этапы создания переходной рамки- для установки нештатной магнитолы в автомобиль. На первом этапе сканируется-часть штатной торпеды автомобиля. Далее в полученную трехмерную модель вносятся изменения с целью изготовить посадочное место под нештатное оборудование. Далее полученная трехмерная модель служит ;лекалом для изготовления пластиковой рамки, в точности подходящей на штатное место автомобиля.
Несмотря на применение предварительной цифровой фильтрации входных изображений, рассмотренных в предыдущем разделе, на результирующей модели присутствуют искажения, вызванные неполным подавлением шума входной видеопоследовательности [19, 95].
Карта высот, полученная по алгоритму из пункта 4.2, фактически представляет собой полутоновое цифровое изображение, соответственно к ней также применимы алгоритмы цифровой фильтрации изображений с целью уменьшения шума. В качестве эффективных в рассматриваемой задаче алгоритмов можно выделить методы частотной фильтрации (рис. 4.20) и нелинейные методы, например медианную фильтрацию (рис. 4.21). В программном пакете, реализованном на базе рассматриваемых в данной
Для оценки эффективности применения фильтров использовалось вычисление среднеквадратичного отклонения а относительно идеально ровной пластинки. Как и в случае предварительной фильтрации входной видеоинформации, применение методов фильтрации карты высот кроме положительно эффекта уменьшения шума приводит так же и к отрицательному эффекту искажения модели. При обработке ФНЧ и медианной фильтрации острые края в выходной модели сглаживаются, поэтому для оценки данного эффекта так же определялась величина Ах сглаживания тестовой ступеньки. Анализ результатов работы методов позволяет сделать вывод о высокой эффективности частотной фильтрации при условии отсутствия в выходной модели резких перепадов рельефа (например, данный метод эффективен в задаче сканирования человеческого лица). Однако при сканировании объектов с мелкими деталями или резкими перепадами рельефа низкочастотная фильтрация приводит к заметному сглаживанию данных деталей, и более предпочтительным методом становится медианная фильтрация. Результаты измерений эффективности методов на практике приведены в табл. 4.1. вычислительной геометрии (а не цифровой фильтрации), поэтому их рассмотрение выходит за рамки данной работы.
Результатом исследований, проведенных в рамках диссертационной работы, является разработка ряда новых и анализ существующих алгоритмов цифровой обработки сигналов в задаче оптической лазерной триангуляции. Применение разработанных алгоритмов цифровой обработки изображений для калибровки видеокамеры по специальным калибровочным шаблонам, фильтрации фона во входной видеопоследовательности, пространственно-временной обработки, классических алгоритмов цифровой фильтрации входной видеопоследовательности, методов определения положения гауссова видеоимпульса, цифровой фильтрации выходных моделей, а также специальных алгоритмов вычисления трехмерных координат и построения трехмерной сетки позволили создать на практике эффективную систему сканирования объектов для получения их трехмерных цифровых моделей с минимальным набором компонентов.
Разработанная с применением указанных алгоритмов система обладает высокой точностью и не требует специализированных механических устройств (например, координатно-измерительных машин) позиционирования лазера и видеокамеры. Система полноценно работает в случае, когда источник лазерного излучения на весу держит в руках оператор, осуществляющий сканирование. Алгоритм автоматически в реальном времени вычисляет положение руки оператора с источником лазерного излучения и определяет трехмерные координаты точек поверхности сканируемого объекта. В качестве калибровочного шаблона с минимальной потерей точности может быть использован распечатанный на обычном принтере лист бумаги, согнутый под прямым углом. Алгоритм остается работоспособным и при значительном уровне шумов во входной видеопоследовательности, например при использовании в регистрирующей видеокамере низкокачественной КМОП-матрицы. Разработанный алгоритм калибровки видеокамеры как метод определения ее положения и внутренних параметров применим не только в задаче оптической лазерной триангуляции, но и в других задачах технического зрения.
Таким образом, в качестве основных можно выделить следующие результаты: разработан алгоритм цифровой обработки изображений для эффективного обнаружения калибровочных меток в широком диапазоне ракурсов видеокамеры, условиях наличия шума и низкого качества изображения; разработана структура специальных калибровочных шаблонов, позволяющих производить калибровку видеокамеры при наличии шума, геометрических искажений и в случае низкого качества изображений, получаемых регистрирующей видеокамерой; разработан специализированный тип калибровочных меток, позволяющий выполнить их надежное обнаружение на цифровом изображении и произвести дискриминацию одних меток от других; разработан алгоритм автоматического выбора порога на этапе пороговой обработки разностных изображений, использующий информацию о производной гистограммы изображения; разработан алгоритм, позволяющий применить метод пространственно-временной обработки сигналов в задаче лазерной триангуляции с произвольным положением лазера и видеокамеры; проанализированы существующие оптимальные и неоптимальные методы нахождения положения лазерного видеоимпульса на цифровом изображении, произведено сравнение их точности и скорости работы в различных условиях с целью определения наиболее эффективного метода, применимого в разработанной системе;
