Содержание к диссертации
Введение
Глава 1. Анализ состояния проблемы 15
1.1. Обоснование применения компьютерного зрения 15
1.1.1. Активные устройства 15
1.1.2. Пассивные устройства 17
1.2. Использование изображений для измерения и реконструкции 17
1.2.1. Сложности в применении методов визуальной метрологии 17
1.2.2. Недостатки фотограмметрических методов 18
1.2.3. Измерения по одиночному изображению 18
1.2.4. Измерения по двум изображениям 20
1.2.5. Измерения по трем и более изображениям 23
1.3. Основные понятия проективной геометрии 24
1.3.1. Обозначения 24
1.3.2. Однородные координаты 25
1.3.3. Точечная камера 26
1.3.4. Двойное отношение 27
1.3.5. Томография 28
1.3.6. Бесконечно удаленные точки 29
1.3.7. Бесконечно удаленные прямые Оглавление З
1.4. Анализ ошибок 31
1.4.1. Ковариационные матрицы ограниченных величин 31
1.4.2. Метод распространения ошибок 32
1.4.3. Статистическое оценивание в задачах компьютерного зрения 33
1.4.4. Определение параметров геометрической модели 34
1.4.5. Вычислительные схемы 35
1.4.6. Теоретический предел точности 36
1.4.7. Оценка максимального правдоподобия 37
1.4.8. Линейная геометрическая модель 39
1.4.9. Ренормализация 40
1.4.10. Инвариантность анализа ошибок 42
Глава 2. Измерение высоты объекта 44
2.1. Введение 44
2.2. Постановка задачи 45
2.3. Геометрический метод решения
2.3.1. Последовательность вычислений 48
2.3.2. Определение вертикальной бесконечно удаленной точки и горизонтальной бесконечно удаленной прямой 48
2.3.3. Определение эталонной точки 49
2.3.4. Определение высоты объекта 50
2.3.5. Анализ ошибок 51
2.3.6. Недостатки геометрического метода 54
2.3.7. Достоинства метода определения параметров геометрической модели 2.4. Решение методом определения параметров геометрической модели 55 2.4.1. Последовательность этапов 55
2.5. Определение бесконечно удаленной точки пучка прямых Оглавление 4
2.5.1. Постановка задачи 57
2.5.2. Теоретический предел точности 60
2.5.3. Алгоритм вычисления теоретического предела точности 60
2.5.4. Оценка максимального правдоподобия 63
2.5.5. Алгоритм вычисления оценки максимального правдоподобия 65
2.5.6. Геометрическая коррекция точек пучка 70
2.6. Определение бесконечно удаленной прямой базовой плоскости 72
2.6.1. Постановка задачи 72
2.6.2. Теоретический предел точности 73
2.6.3. Алгоритм вычисления теоретического предела точности 74
2.6.4. Оценка максимального правдоподобия 76
2.6.5. Алгоритм вычисления оценки максимального правдоподобия 78
2.7. Определение эталонных точек на прямой изображения объекта 81
2.7.1. Определение оценок эталонных точек 81
2.7.2. Определение теоретического предела точности 84
2.8. Определение томографии 85
2.8.1. Постановка задачи 85
2.8.2. Теоретический предел точности 88
2.8.3. Алгоритм вычисления теоретического предела точности 88
2.8.4. Оценка максимального правдоподобия 92
2.8.5. Алгоритм вычисления оценки максимального правдоподобия 93
2.9. Определение высоты объекта 94
2.9.1. Определение теоретического предела точности 94
2.9.2. Определение оценки высоты объекта 95
Глава 3. Экспериментальное исследование 96
3.1. Постановка задачи 96
3.1.1. Подбор экспериментального материала Оглавление 5
3.2. Численное моделирование на синтетических изображениях 97
3.2.1. Постановка задачи 97
3.2.2. Определения 99
3.2.3. Краткое описание вычисляемых величин 99
3.2.4. Синтетическая модель 104
3.2.5. Зашумленная сцена 104
3.2.6. Определение бесконечно удаленной точки пучка прямых 105
3.2.7. Определение бесконечно удаленной прямой ПО
3.2.8. Геометрическая коррекция точек пучка 115
3.2.9. Определение эталонных точек на прямой изображения объекта 119
3.2.10. Определение томографии 122
3.2.11. Определение высоты объекта 125
3.2.12. Ручной выбор точек на синтетическом изображении 127
3.2.13. Измерение высоты при использовании различных эталонов 128
3.2.14. Зависимость от фокусного расстояния камеры 128
3.3. Коррекция радиальной дисторсии 131
3.3.1. Формулы преобразования 131
3.3.2. Определение коэффициентов радиальной дисторсии 132
3.3.3. Объектив „Зенитар-М" 133
3.3.4. Объектив ,ДЭпитер-2М" 134
3.4. Реальные изображения 135
3.4.1. Реальная сцена №1 135
3.4.2. Реальная сцена №2 136
3.4.3. Описание экспериментов 136
Глава 4. Программная реализация метода и его практическое применение 141
4.1. Программная система измерения высоты Height Measurer 141
4.1.1. Представление данных 141
4.1.2. Пользовательский интерфейс 142
4.1.3. Измерение высоты 143
4.1.4. Программа определения параметров радиальной дисторсии 145
4.2. Применение метода
4.2.1. Измерение высоты людей 146
4.2.2. Измерение высоты архитектурных объектов 146
Заключение 149
Литература
- Основные понятия проективной геометрии
- Определение вертикальной бесконечно удаленной точки и горизонтальной бесконечно удаленной прямой
- Определение эталонных точек на прямой изображения объекта
- Программная система измерения высоты Height Measurer
Основные понятия проективной геометрии
В случае, если внутренние параметры камер неизвестны, можно получить только проективную структуру сцены [31]. На изображениях могут быть найдены соответствующие точки и, следовательно, может быть оценена эпиполяр-ная геометрия. Матрицы проекции могут быть вычислены по фундаментальной матрице, но только с точностью до проективного преобразования.
Для измерения пространства по паре изображений необходимо осуществить метрическую реконструкцию сцены. Для преобразования проективной структуры в евклидову необходима некоторая дополнительная геометрическая информация о сцене [29].
Имея пару некалиброванных изображений, камеры могут быть откалиброваны при помощи анализа соответствующих точек на двух изображениях. Хартли (Hartley) разработан метод автокалибровки камер, в котором внутренние параметры камер полагаются постоянными [36]. Все внутренние параметры камер, за исключением фокусного расстояния считаются также известными. Фокусное расстояние вычисляется совместно с относительным положением камер. Для калибровки не нужны какие-либо специальные устройства.
Кендеринг и Ван Дорн ввели понятие афинной структуры, полученной по двум некалиброванным изображениям. Авторы предложили метод восстановления структуры по движению, который может быть переформулирован, как параллакс движения.
В [50] Мунс и др. (Moons et al.) предложили метод определения трехмерной афинной структуры по двум перспективным изображениям, полученным камерами, положение которых отличается лишь сдвигом (или, что то же самое, полученные неподвижной камерой при движущемся объекте). На изображениях должны быть видны изображения пяти точек.
В [55] Шапиро и др. (Shapiro et al.) определили эпиполярную геометрию пары афинных камер и представили надежный алгоритм вычисления специального вида фундаментальной матрицы для афинных камер. Для оценки неопределенности вычисленного положения камер была использована статистическая модель шума. Для вычисления положения камер использовался метод наименьших квадратов.
В [63] Циссерман и др. предложили метод афинной и метрической калибровки сте-реокамеры при движении двух камер как единого целого. Для калибровки нет необходимости в каких-либо специальных объектах в сцене, внутренние параметры и взаимное положение камер вычисляются в автоматическом режиме. Метод не требует вычисления нелинейных уравнений Круппы (Кшрра) [28,43].
В [62] Жанг и др. (Zhang et al.) предложили метод автокалибровки стереокамеры и метрической реконструкции сцены используя, как и в предыдущей рассмотренной работе, движение пары камер как целого, но в этом случае использовалась упрощенная модель камеры: считалось известным положение главной точки. Подобные методы в силу избыточности информации, получаемой от стереокамеры, позволяют получить более надежные результаты калибровки, чем при использовании одиночной камеры.
В [26] Фажера и др. исследуют метод перехода от проективной к афинной и, далее, к метрической структуре по парам изображений, используя геометрические ограничения, такие, как параллельность, ортогональность и известные отношения отрезков прямых.
Для восстановления трехмерной структуры сцены достаточно двух изображений. Добавление третьего изображения позволяет ввести дополнительные ограничения и уменьшить неопределенность восстановленной структуры. В частности, при использовании трех и более изображений можно использовать вместо соответствующих точек соответствующие прямые, что невозможно сделать, имея только два изображения. Более того, использование большего количества изображений позволяет проверить справедливость соответствия элементов, полученного по двум первым изображениям.
Одним из первых исследователей, обратившихся к использованию более двух изображений был Фажера. В [28] Фажера и др. представили метод автокалибровки камеры используя тройки изображений. Авторы показали, что камера может быть откалибрована, при помощи изображений окружающей среды путем отслеживания движения некоторого количества выбранных точек на последовательности изображений, получаемых по
Основные понятия проективной геометрии мере движения камеры. При этом внутренние параметры камеры в процессе движения считаются постоянными. Для работы метода нет необходимости в знании траектории движения камеры. Параметры камеры определяются путем решения уравнений Круппы.
Восстановление трехмерной структуры по многим изображениям было рассмотрено Шашуа (Shashua) в [12,56,57]. В [38,59] используется трифокальный тензор связывающий три изображения. Трифокальный тензор также применяется при создании изображения с третьего положения камеры при известных двух [27].
В [37] представлен метод калибровки камеры по трем или более изображениям, полученным при помощи вращающейся камеры. В методе не используется эпиполярная геометрия, не имеющая смысла при отсутствии сдвига между положениями камер. Процесс калибровки основан на последовательностях изображений, внутренние параметры камер считаются постоянными.
Определение вертикальной бесконечно удаленной точки и горизонтальной бесконечно удаленной прямой
Эталон и объект представляют собой отрезки, параллельные друг другу и не параллельные базовой плоскости, одним концом лежащие на ней (стоящий человек, мебель, колонны, балконы, и т.п.). Высотой эталона или объекта называется длина соответствующего отрезка.
В сценах, созданных руками человека, преобладают перпендикулярные базовой плоскости эталоны и объекты. Поэтому базовую плоскость будем условно называть горизонтальной, а эталоны и объект, перпендикулярные ей — вертикальными[. Концы эталонов и объектов, лежащие на базовой плоскости, условно назовем нижними, а не лежащие — верхними1. Если эталоны и объект перпендикулярны базовой плоскости, высота есть просто расстояние от верхней точки до базовой плоскости.
Будем называть пучок прямых, параллельных эталонам и объекту вертикальным пучком, а его бесконечно удаленную точку—вертикальной бесконечно удаленной точкой. Рассмотрим множество различных пучков, параллельных базовой плоскости. Бесконечно удаленные точки этих пучков лежат на горизонтальной бесконечно удаленной прямой базовой плоскости.
Предположим, что изображение сцены (рис. 2.16) получено при помощи точечной перспективной камеры. Внешние и внутренние параметры камеры неизвестны, следовательно изображение является некалиброванным.
Задача 2.1. Найти высоту объекта по его изображению, зная высоты эталонов, положение изображений базовой плоскости, эталонов и объекта.
Пусть tb есть изображение объекта, а ТВ есть объект в пространстве (рис. 2.1). Пусть х — точка на изображении, ее однородный вектор будем обозначать х = (х, у, w)T. Пусть 1 — прямая на изображении, ее однородный вектор будем обозначать 1 = (А, В, С)Т. Введем на на прямой изображения объекта координатную систему х, состоящую из единственной координатной оси (рис. 2.2), началом координат которой положим изображение нижней точки b объекта. За положительное направление примем направление от
Что не означает, что необходима перпендикулярность базовой плоскости и объекта, эталонов. 2Что не означает, что объект и эталоны должны лежать по одну сторону от базовой плоскости. нижней точки b к верхней точке t. Однородный вектор точки х в координатной системе х будем обозначать хх = (хх, wx)T. Векторы х их связаны соотношением хх = Z[x] (операция Z[] определена в приложении А.7).
Пусть X — точка в пространстве. Введем на прямой объекта в пространстве координатную систему X, состоящую из единственной координатной оси, началом координат которой положим нижнюю точку В объекта. За положительное направление примем направление от нижней точки В к верхней точке Т. Однородный вектор точки X в координатной системе X будем обозначать Хх = (Хх, Wx)T Так как точка В лежит на базовой плоскости, координаты точек в координатной системе X являются их высотами над базовой плоскостью. Положение прямой объекта в пространстве относительно камеры неизвестно, оно задается неизвестной матрицей перспективной проекции, следовательно неизвестна зависимость Хх от X. Для определения высоты знания этой зависимости не требуется.
Геометрический метод решения задачи был предложен Пресманом и др. (Proesmans et al.) [53]. Для определения соответствия точек на прямой объекта в пространстве и ее изображении применялось двойное отношение. Метод был впоследствии развит Кри 2.3. Геометрический метод решения Рис. 2.3. Определение горизонтальной бесконечно удаленной прямой минизи и др. (Criminisi et al.) [21], которые предложили использовать вместо двойного отношения томографию. В [20,22] Криминизи приведен метод оценки точности определения высоты, основанный на методе распространения ошибок [32].
Вертикальная бесконечно удаленная точка р может быть определена, как точка пересечения прямых tb и trbr р = tb х trbr = (t х b) х (tr x br). (2.1) 2.3. Геометрический метод решения а) б)
Определение эталонной точки, а) Точка I на прямой объекта в пространстве соответствует высоте hr эталона ТГВГ. б) Точка і на изображении прямой объекта. Горизонтальная бесконечно удаленная прямая 1 может быть определена, как прямая, проходящая через бесконечно удаленные точки р и р пучков, параллельных базовой плоскости (рис. 2.3). 1 = р(1)хр(2). (2.2) Бесконечно удаленные точки пучков определяются, как точки пересечения прямых пучка, каждая из которых определяется двумя точками на изображении р« = х? х 4) х (х? х х41}). р = (xf х xf) х (xf х xf). (2.3) 2.3.3. Определение эталонной точки Пусть ТГВГ есть эталон, высота которого hr. Определим положение эталонной точки І, соответствующей высоте hr, на прямой изображения объекта. В пространстве прямые ТГЪГ и ТВ параллельны. Проведем через точку Тг прямую, параллельную прямой ВГВ. Точка I ее пересечения с прямой ТВ находится на высоте hr от горизонтальной плоскости.
На изображении прямые brb и tri пересекаются в точке q на горизонтальной бесконечно удаленной прямой базовой плоскости (рис. 2.3). Горизонтальная бесконечно удаленная прямая определяет ориентацию базовой плоскости относительно плоскости
Определение эталонных точек на прямой изображения объекта
Экспериментальное исследование влияния предположения 2.1 на откорректированные точки приведено в 3.2.8. Если Дхі и Дхг удовлетворяют уравнению (2.103), коррекция в первом приближении принимает вид Х\ = х\ — Дхь Х2 = Х2 - Дхг- Однако, таких решений может быть бесконечно много. Выберем среди них оптимальное [42], т.е. такое, для которого сумма квадратов расстояний Махаланобиса минимальна Последние выражения имеют чисто теоретический смысл, так как содержат искомые истинные значения точек xi и х2, а также ковариационные матрицы У[хі] и У[х2], вычисленные в этих точках. Тем не менее можно получить приближение, заменив истинные значения точек xj и х2 и ковариационные матрицы V[xi], У[х2] имеющимися хь х2 и V[xi], V[x2]. Однако, при такой замене, приближенные значения xi и х2, полученные при помощи коррекции (2.106) могут не удовлетворять уравнению (2.103). Для того, чтобы уравнение (2.103) выполнялось, выполним следующие итерации: 1) Вычисляем коррекцию (2.106) и откорректированные значения Xi и х2, 2) Если уравнение (2.103) выполняется, возвращаем xi и х2, л А 3) Иначе заменяем xi и х2 на откорректированные значения xi и х2, а ковариационные матрицы У[хі], У[х2] на ковариационные матрицы У[хі], У[х2] в точках xi и х2 V[xi] = PXlV[xi]PXl, У[х2] = РХ2У[х2]РХ2, (2.108) где РХ1 и РХ2 матрицы проекции на касательные пространства в точках Xi и х2 соответственно, 4) Переходим к шагу 1.
Выделим на изображении несколько пучков прямых, в пространстве параллельных базовой плоскости и определим их бесконечно удаленные точки и их ковариационные матрицы. Множество таких бесконечно удаленных точек представляет собой бесконечно удаленную прямую. Для определения бесконечно удаленной прямой необходимо иметь как минимум два различных пучка. Пусть {ра}, а = 1,..., iV, однородные векторы бесконечно удаленных точек, лежащих на одной бесконечно удаленной прямой и V[pa] их ковариационные матрицы. Задача 2.4. 1) Найти оценку 1=(АДС)Г (2.110) однородного вектора бесконечно удаленной прямой 1, для которой (неизвестные) истинные значения Ї и ра удовлетворяет системе уравнений Fa = (p«,i)=0, а = 1 N, (2.111) 2) Определить ковариационную матрицу V[l] оценки однородного вектора бесконечно удаленной прямой. Утверждение 2.2. Задача 2.4 является задачей определения параметров линейной геометрической модели.
Так как уравнения (2.111), выражающие геометрические ограничения задачи определения бесконечно удаленной прямой, являются скалярными произведениями вектора данных ра на вектор параметров 1, задача 2.4 является задачей определения параметров линейной геометрической модели. Утверждение 2.2 доказано.
Предположение 2.2. Для определения оценки однородного вектора бесконечно удаленной прямой можно использовать оценки бесконечно удаленных точек ра и их ковариационные матрицы V[pa], полученные при помощи метода, представленного в 2.5.
Данное предположение необходимо проверить, так как в дальнейшем изложении предполагается, что бесконечно удаленные точки ра являются экземплярами из распределений, определяемых ковариационными матрицами У[ра], причем ковариационные матрицы не являются случайными величинами. Оценки ковариационных матриц V[pa] являются случайными величинами, так как получены по случайным величинам — точкам на изображении. Экспериментальная проверка данного предположения проведена в 3.2.7
Определим теоретический предел точности бесконечно удаленной прямой базовой плоскости. Согласно утверждению 2.2, задача определения бесконечно удаленной прямой является задачей определения параметров линейной геометрической модели ( 1.4.8). Следовательно, теоретический предел точности, определяемый неравенством Крамера-Рао, имеет вид
Определение бесконечно удаленной прямой базовой плоскости Последние выражения являются частным случаем выражений (1.36)-(1.38) для задачи определения параметров линейной геометрической модели.
Вычислим теоретический предел точности бесконечно удаленной прямой базовой плоскости .
Для обеспечения численной стабильности алгоритма проведем следующее преобразование бесконечно удаленных точек: сместим начало координат в центр масс и отмас-штабируем координаты таким образом, чтобы точки лежали внутри единичной окружности. Пусть
Для вычисления коэффициентов Wa по формуле (2.114) необходимо знать истинное значение однородного вектора бесконечно удаленной прямой Ї. Если вместо 1 в (2.114) подставить приближенное значение однородного вектора бесконечно удаленной прямой 1 , то можно вычислить приближенные значения коэффициентов Wa, по которым можно вычислить следующее значение 1 , и т.д.
Программная система измерения высоты Height Measurer
Пусть {pab a — 1 iV, истинные значения однородных векторов бесконечно удаленных точек (2.49), лежащих на одной бесконечно удаленной прямой. Вычислим истинное значение Ї однородного вектора бесконечно удаленной прямой и теоретический предел точности У[ї] бесконечно удаленной прямой (2.6.3.2). Проведем следующий опыт К раз. Получим і-ю зашумленную сцену (3.2.5). Пусть рИ, a — 1,..., N, — оценки бесконечно удаленных точек, У[р ] — соответствующие ковариационные матрицы и о — оценки уровня шума /-го набора. Точки р], вообще говоря, не лежат на одной прямой.
Вычислим однородный вектор Р і-ш зашумленной бесконечно удаленной прямой и соответствующую ковариационную матрицу У[\Щ (2.6.4). В алгоритме вычисления бесконечно удаленной прямой предполагается, что ковариационные матрицы бесконечно удаленных точек являются величинами неслучайными. Однако, если ковариационные матрицы получены на основании случайных величин — зашумленных точек пучка, они
Численное моделирование на синтетических изображениях 111 также являются случайными величинами. Для определения степени влияния данного предположения, вычислим бесконечно удаленную прямую, заменив оценки ковариационных матриц бесконечно удаленных точек (2.102) их истинными значениями (2.66), полученными при вычислении теоретического предела. Будем обозначать такие бесконечно удаленные точки pj a, их ковариационные матрицы V[p[ a]. Бесконечно удаленную АГЛ АГ--1 прямую, полученную по ним, будем обозначать \\ , ее ковариационную матрицу — V[1,J]. Так как в реальных задачах истинные значения ковариационных матриц бесконечно удаленных точек неизвестно, вычислим бесконечно удаленную прямую в предположении, что ковариационные матрицы бесконечно удаленных точек известны с точностью до постоянной, взяв за таковые оценки ковариационных матриц бесконечно удаленных точек. Будем обозначать такие бесконечно удаленные точки pSa, их ковариационные матрицы У[Ря«]- Бесконечно удаленную прямую, полученную по ним, будем обозначать 1 , ее ковариационную матрицу — V[lj ] и оценку уровня шума о .
Для сравнения с нашим методом вычислим однородный вектор 1 бесконечно удаленной прямой по методу наименьших квадратов. Для К зашумленных сцен вычислим средние однородные векторы бесконечно удаленной прямой і, it, ls, їй и их экспериментальные ковариационные матрицы V[l], V\\t], У Us], V[\is] для каждого из трех способов и метода наименьших квадратов. Процесс вычисления средних значений единичных векторов и их ковариационных матриц представлен в приложении А. 8. Вычислим средние ковариационные матрицы
В таблице 3.4 представлена зависимость параметров бесконечно удаленной прямой от количества бесконечно удаленных точек (рис. 3.1)2. В таблице приведены среднеквадратичные отклонения теоретических пределов V[l], экспериментальных ковариационных матриц для метода наименьших квадратов V[l ], средних У[1], V[lt], V[\s] и экспериментальных V[\], V{lt], V[}s] ковариационных матриц для трех способов вычисления однородного вектора бесконечно удаленной прямой, средний уровня шума os для третьего способа и смещения от истинного значения Д , Ai, Aif, K\s для трех способов вычисления однородного вектора бесконечно удаленной прямой. на рис. приведены только три из них
Экспериментальные ковариационные матрицы метода наименьших квадратов превышают теоретический предел. Экспериментальные ковариационные матрицы первого способа превышают теоретический предел, а средние оценки ковариационных матриц первого способа занижены по сравнению с теоретическим пределом. Источник неточности первого способа в использовании при определении бесконечно удаленной прямой оценок ковариационных матриц бесконечно удаленных точек пучков вместо неизвестных истинных значений. Оценки ковариационных матриц стремятся к теоретическому пределу в среднем для большого количества опытов, но отдельные значения могут сильно отличаться от него (рис. 3.2г,д).
