Содержание к диссертации
Введение
1 Анализ требований, предъявляемых к изображениям стереопары 10
1.1 Особенности формирования стереоизображения 10
1.2 Требования, предъявляемые к параметрам изображений стереопары 16
Выводы 23
2 Разработка методов совмещения изображений стереопары 24
2.1 Исследование возможности совмещения изображений стереопары с использованием современных компьютерных программ 24
2.2 Метод совмещения стереопары, основанный на корреляции изображений 33
2.3 Метод совмещения стереопары, основанный на применении детекторов точечных особенностей изображений 43
2.4 Исследование эффективности разработанных методов и алгоритмов совмещения изображений стереопары 52
Выводы 61
3 Автоматизированный контроль параметров изображений стереопары 62
3.1 Разработка метода автоматического контроля и коррекции распределения параллаксов в изображениях стереопары 62
3.2 Автоматизация подбора параметров стереосъемки и юстировки положения съемочных камер 79
Выводы 88
4 Цифровая коррекция параметров изображений стереопары 90
4.1 Автоматический контроль и цифровая коррекция рассогласования масштабов изображений стереопары 90
4.2 Автоматический контроль и цифровая коррекция поворота одного изображения стереопары относительно другого 107
4.3 Исследование эффективности разработанных методов и алгоритмов контроля и коррекции геометрических параметров изображений стереопары 123
Выводы 135
Заключение 136
Список литературы 138
- Требования, предъявляемые к параметрам изображений стереопары
- Метод совмещения стереопары, основанный на корреляции изображений
- Автоматизация подбора параметров стереосъемки и юстировки положения съемочных камер
- Автоматический контроль и цифровая коррекция поворота одного изображения стереопары относительно другого
Требования, предъявляемые к параметрам изображений стереопары
Для того чтобы стереоизображение воспринималось комфортным, необходимо обеспечить выполнение ряда требований, предъявляемых как к параметрам съемки двух ракурсов, так и параметрам сформированной стереопары.
Одним из главных условий комфортного восприятия стереоизображения является выполнение требований к параллаксам стереопары. Так, параллакс одноименных точек изображений предметов, видимых в плоскости рампы, и на регистрирующем материале и на экране должен быть равен нулю [23], а объекты, воспринимаемые в предэкранном и заэкранном пространствах, должны демонстрироваться с соблюдением предельных значений горизонтальных параллаксов [24; 21].
Для объектов, воспринимаемых за экраном, положительный горизонтальный параллакс на экране (PГ) не должен превышать значение, равное базису зрения В р [23; 26]. При значении параллакса, равному базису зрения, объект, находящийся в заэкранном пространстве, воспринимается как бесконечно удаленный, а зрительные оси глаз человека, направленные на данный объект, пересекаются в бесконечности, т.е. являются параллельными друг другу. Рассматривание стереоизображений с параллаксом, превышающим базис зрения, вызывает дивергенцию (расхождение) зрительных осей глаз [28], что является причиной утомляемости зрителей, а при увеличенных углах дивергенции происходит разрушение стереоскопического эффекта. Таким образом, для воспроизведения объекта, находящегося в бесконечности, необходимо, чтобы горизонтальный параллакс на экране был равен базису зрения (P+со = ВЗР). Г- фузионный угол (угловая величина зоны стереоскопической глубины), равен 70 [40].
Зона стереоскопической глубины - область пространства, воспринимаемая без двоения объектов при неизменном положении точки фиксации взгляда, т.е. область, в пределах которой возможна фузия. Фузия - процесс слияния мозгом изображений на сетчатках двух глаз в единый образ [40]. При условии, что расстояние до первого ряда в стереозале не должно быть меньше высоты изображения, то для экрана, например, с размерами 8,5 4,8 м при расстоянии 5 м от экрана до первого ряда зрительских мест, расчетное значение PL I M э составляет 116 мм, что на 80% превышает нормированное значение положительного параллакса, равное базису зрения [40].
Чтобы изображение стереопары на экране воспринималось резким, глаза зрителя должны быть всегда аккомодированы на плоскость экрана, а конвергированы на изображение пространственного объекта, которое при наличии горизонтального параллакса не совпадает с плоскостью экрана [16; 34]. Данное рассогласование проявляется в наибольшей степени для участков стереоизображений, сформированных перед экраном (т.е. при воспроизведении объектов ближнего плана), у которых горизонтальный параллакс имеет отрицательное значение (Рэ ). Если расстояние, на котором воспринимаются такие объекты, составляет примерно треть расстояния между зрителем и экраном, то длительное их рассматривание может вызвать ощущение дискомфорта, а при более близких расстояниях - утомление, боль в глазах, головную боль и разрушение стереоскопического эффекта.
На практике значение отрицательных горизонтальных параллаксов на экране не должно превышать 15 базисов зрения (ВЗР), т.е. 15 расстояний между зрачками зрителя (65325 мм), что как раз и обусловлено возможностью зрительного аппарата человека на разрыв плоскостей аккомодации и конвергенции [25]. При этом часто при расчетах параметров стереосъемки максимально допустимым значением отрицательного горизонтального параллакса на экране принимают 65 мм [26]. Для формирования стереоизображения, восприятие которого будет комфортным для зрителей, надо не только соблюдать требования, предъявляемые к значениям горизонтальных параллаксов, но также необходимо, чтобы изображения стереопары были идентичными по таким параметрам, как контраст, цвет, масштаб и резкость. Важно, чтобы изображения стереопары имели одинаковое разрешение и не имели геометрических искажений и вертикального смещения одноименных точек, определяемого как вертикальный параллакс [41] (рисунок 1.1).
Метод совмещения стереопары, основанный на корреляции изображений
Экспериментальное исследование эффективности разработанных методов совмещения изображений стереопары проводилось на кадрах стереопар, имеющих различный размер, разрешение, степень сжатия, наличие шума в изображениях, различные сюжеты, а также кадрах стереопары, снятых при различном освещении.
Так, осуществлялось совмещение стереопар, имеющих одинаковый сюжет, но различный размер: 25921944, 20481536, 16001200 и 640480 пикселов. На рисунке 2.32А представлена исходная стереопара размером 25921944 пикселов. Данные изображения совмещались по выбранному объекту (шкатулка) с заданием нулевого горизонтального параллакса двумя разработанными методами: одним – основанным на корреляции изображений (объект выделялся по двум точкам аналогично тому, как показано на рисунке 2.32Б), другим – основанным на применении детекторов точечных особенностей изображений.
На рисунке 2.33 показана итоговая сформированная стереопара, исходные изображения которой имели размер 25921944 пикселов. На представленном рисунке видно, насколько точно выполнено совмещение изображений по выбранному объекту (шкатулка). Вертикальный и горизонтальный параллаксы выбранного объекта, измеренные в пикселах, равны нулю.
Стереопара, совмещенная по выбранному объекту (шкатулка) при помощи разработанных методов (А), ее фрагмент (Б)
Измерения длительности совмещения стереопар разработанными методами (без учета времени, затраченного на выделение объекта, который по замыслу должен быть расположен в плоскости рампы) проводились автоматически в программной среде MATLAB.
Как видно из представленных на рисунке 2.34 диаграмм, процесс совмещения стереопары методом корреляции требует наибольших затрат времени, и длительность его выполнения во многом зависит от размера исходных изображений. Совмещение стереопары методом, основанным на применении детекторов точечных особенностей изображений, выполняется достаточно быстро, что особенно проявляется для кадров стереопары с высоким разрешением. В отличие от корреляционного метода, данный метод не требует уменьшения разрешения исходных изображений, а значит, полученный результат будет более точным. Совмещение стереопары методом на основе детектора точечных особенностей изображения FAST даже при размере исходных изображений 25921944 пикселов не превышает 1 с. Совмещение изображений стереопары детектором SURF занимает большее количество времени, так как данный детектор обнаруживает достаточно большое количество сопряженных точек.
При этом, размер исходных кадров практически не влияет на точность совмещения стереопары как методом, основанным на корреляции изображений, так и методом с использованием детектора точечных особенностей изображений.
Диаграммы зависимости длительности выполнения совмещения стереопары (tВ) от размеров исходных изображений (R)
Результаты совмещения изображений стереопары, имеющих различную степень сжатия (формата JPEG [45]), наличие шума в изображениях, различные сюжеты, совмещения кадров стереопары, снятых при различном освещении и кадров видеопоследовательности с размытием движущихся объектов приведены в Приложении Г.
Из приведенных в Приложении Г рисунков видно, насколько точно выполнено совмещение кадров стереопары, не зависимо от их качества и изображенного сюжета. При этом время, затраченное на совмещение стереопары, практически не зависит от качества изображений. Так, длительность совмещения кадров размером 25921944 пикселов методом, основанным на корреляции изображений, для всех уровней компрессии составила около 6 с, а для кадров размеров 640480 пикселов – около 0,5 с. Совмещение стереопары методом, основанным на применении детекторов точечных особенностей изображений, в зависимости от того, какой детектор применялся для нахождения сопряженных точек, длилось от 0,9 с (детектор FAST) до 4 с (детектор SURF).
Следует отметить, что в случае совмещения стереопары с наличием шума в изображениях методом, основанным на обнаружении сопряженных точек, в качестве детектора используется алгоритм SURF (рисунок 2.35). Детектор точечных особенностей FAST при сильной зашумленности изображений не сможет обнаружить достаточного количества ключевых точек (рисунок 2.36).
Сопряженные ключевые точки полутоновых изображений левого и правого кадров стереопары, обнаруженные детектором SURF с использованием алгоритма RANSAC для выделенного объекта Рисунок 2.36 – Сопряженные ключевые точки полутоновых изображений, обнаруженные детектором FAST по всему полю стереопары
Если на кадрах стереопары изображено множество повторяющихся объектов, то осуществлять совмещение данной стереопары методом, основанным на применении детекторов точечных особенностей изображений, возможно только при уменьшении разрешения исходных кадров. Даже при размере изображений 1024732 пикселов выполнение операций по обнаружению сопряженных ключевых точек подобных изображений займет достаточно большое количество времени.
Разработанные методы совмещения изображений стереопары позволяют также измерить горизонтальный и вертикальный параллаксы изображенных объектов на неразделенной анаглифной стереопаре.
В качестве примера определим значения горизонтального и вертикального параллаксов некоторого объекта на уже совмещенной стереопаре [76], например, фонаря (рисунок 2.37). Для этого необходимо выделить из данной стереопары отдельно красную составляющую (рисунок 2.38А), а также зеленую с синей (рисунок 2.38Б), разделив, таким образом, ее на левое и правое изображения, а затем применить один из описанных ранее алгоритмов. На рисунке 2.39 показаны градиенты изображений выделенного объекта, на рисунке 2.40 – изображение матрицы, полученной в результате их корреляции.
Автоматизация подбора параметров стереосъемки и юстировки положения съемочных камер
Значение максимально допустимого базиса съемки определяется из пропорции параллаксов и базисов (при неизменном фокусном расстоянии съемочных объективов и дистанции рампы) так, чтобы при проекции на экран параллаксы стереопары не превышали своих допустимых значений, и выполнялись условия комфортного восприятия стереоизображения зрителями.
Так, максимальный базис стереосъемки B С MAX , мм, не должен превышать свои допустимые значения, определенные по следующим формулам: где ВС - базис стереосъемки, с которым осуществлялась предварительная съемка стереопары, мм; ВЗР- базис зрения, мм; PL Г I MЭ - максимально допустимый отрицательный горизонтальный параллакс на экране, определенный на основании формулы (4), мм; PM A XЭ и PM A XЭ - максимальные значения положительного и отрицательного горизонтальных параллаксов изображений стереопары, соответственно, при проекции на экран, мм; Определяются по формулам: Рхэ=Рх , (37) э= А (38) где / и Р[ х– максимальные значения положительного и отрицательного горизонтальных параллаксов стереопары, соответственно, выраженные в пикселах; Вэ - ширина изображения на экране, мм; be - размер изображений стереопары по ширине, предназначенных для проекции на экран, выражен в пикселах. Определенное, таким образом, по формулам (35) и (36) значение максимально допустимого базиса съемки носит скорее справочный, нежели обязательный характер, так как выбор базиса зависит, в первую очередь, от масштаба изображения объекта на экране. д) в случае, если по результатам автоматического расчета положительные горизонтальные параллаксы на экране будут превышать значение базиса зрения (Pj+cc Взр), композицию кадра можно ограничить фоном и осуществить контроль распределения параллаксов.
Предложенная методика подбора параметров стереосъемки позволяет также автоматизировать процесс юстировки положения съемочных камер. Так, например, если в изображениях стереопары присутствует вертикальный параллакс, появление которого не вызвано сдвигом съемочных камер по высоте, и значения которого в левой, центральной и правой частях изображений отличаются друг от друга, автоматически будет осуществляться контроль и коррекция разномасштабности и взаимного поворота изображений. По автоматически определенным значениям рассогласования масштабов и угла поворота одного из изображения стереопары будет меняться фокусное расстояние и поворот одной из камер.
В случае применения при съемке зеркального стереорига, по умолчанию, масштаб изображения, полученного камерой, снимающей в отраженных лучах, будет автоматически корректироваться (увеличиваться или уменьшаться) под масштаб изображения, полученного камерой, снимающей на просвет. Аналогично при коррекции поворота: камера, снимающая в отраженных лучах, будет поворачиваться по отношению к камере, снимающей на просвет. Так как в зеркальном стереориге съемочные камеры не установлены на одной плоскости, а разнесены в пространстве, существует большая вероятность поворота одной камеры относительно другой, и коррекция взаимного поворота в данном случае является весьма актуальной. Методы контроля и коррекции рассогласования масштабов и взаимного поворота изображений рассмотрены в главе 4 данной диссертационной работы.
Таким образом, следуя алгоритму подбора параметров стереосъемки классической методики и применяя разработанные методы контроля и коррекции параллаксов, можно формировать изображения стереопары, параметры которых будут соответствовать требованиям комфортного восприятия стереоизображения зрителями.
1. На основе выполненных исследований показано, что методы цифровой обработки с применением детекторов точечных особенностей изображений позволяют автоматически определить распределение параллаксов в изображениях стереопары.
2. По значениям вертикальных параллаксов, определенных по всему полю стереопары, можно автоматически проконтролировать наличие в изображениях стереопары геометрического рассогласования (разномасштабность и взаимный поворот). 3. Разработан метод и алгоритм автоматического определения максимального размера экрана, на который может проецироваться стереопара с соблюдением условий комфортного восприятия стереоизображения зрителями, основанный на цифровом контроле параллаксов в изображениях стереопары.
4. Предложены методы и алгоритмы цифровой коррекции параллаксов стереопары, позволяющие осуществлять ее проекцию на экран, размер которого превышает максимально допустимое значение.
5. Разработана методика автоматизации подбора параметров стереосъемки, основанная на цифровом контроле параллаксов в изображениях стереопары. Предложенная методика упрощает расчет параметров, проводимый по классической методике, и позволяет после выбора объекта в плоскости рампы автоматически определить максимально возможный базис стереосъемки и границы глубины комфортно воспринимаемого пространства.
Автоматический контроль и цифровая коррекция поворота одного изображения стереопары относительно другого
Для того чтобы совместить изображения, полученные после коррекции геометрического рассогласования, необходимо определить значения параллаксов по всему полю стереопары. Для этого воспользуемся разработанным методом контроля распределения параллаксов, который был описан в главе 3 данной диссертационной работы.
По координатам сопряженных точек изображений стереопары, обнаруженных при помощи детекторов точечных особенностей изображений (рисунок 4.43), по формулам (15) и (16) (без учета нежелательных посторонних точек) автоматически определяются значения горизонтальных и вертикальных параллаксов по всему полю стереопары. Среди данных значений автоматически выбирается минимальное, медианное или максимальное значение горизонтального параллакса, в зависимости от желаемого результата.
В данном случае, при совмещении стереопары сдвиг одного изображения относительно другого по горизонтали будет равен минимальному (медианному или максимальному) значению горизонтального параллакса, а сдвиг по вертикали будет равен вертикальному параллаксу той точки, горизонтальный параллакс которой равен выбранному значению.
На основании полученных значений формируется конечный размер итоговых кадров стереопары, и, таким образом, происходит совмещение 132 стереопары по объекту, имеющему минимальное, медианное или максимальное значение горизонтального параллакса.
Рисунок 4.43 – Сопряженные точки полутоновых изображений левого и правого кадров стереопары, полученных после коррекции геометрического рассогласования, обнаруженные детектором SURF
На рисунке 4.44 показано итоговое анаглифное изображение, сформированное при помощи разработанного метода контроля и цифровой коррекции параметров изображений стереопары, совмещенное по объекту, имеющему медианное значение горизонтального параллакса.
На представленном рисунке можно заметить, насколько точно выполнена коррекция геометрического рассогласования изображений, вертикальные параллаксы всех изображенных объектов, измеренные в пикселах, равны нулю.
Задав ширину экрана, для проекции на который предназначена данная стереопара, можно автоматически осуществить контроль и коррекцию параллаксов стереопары методом, описанным в главе 3 данной диссертационной работы.
Длительность выполнения совмещения и цифровой коррекции изображений размером 2048 1536 пикселов, составило около 25 с. Из них большая часть времени была затрачена на контроль и коррекцию поворота (12,5 с) и рассогласования масштаба (8,8 с).
В отличие от разработанных методов, программа “Zoner 3D Photo Maker” не смогла осуществить коррекцию геометрического рассогласования данных изображений стереопары, представленных на рисунке 4.41, а у итоговой стереопары, полученной после совмещения в программе “StereoPhoto Maker”, остался значительный перекос кадров (рисунок 4.45). автоматизировать и осуществить с высокой точностью контроль и, если необходимо, коррекцию рассогласования масштабов изображений стереопары и поворота одного изображения относительно другого, сохраняя исходное соотношение горизонтальных параллаксов. Также, выделив желаемый объект, разработанные методы позволяют выставить для него нулевые вертикальный и горизонтальный параллаксы, или же задать данному объекту другой положительный (или отрицательный) горизонтальный параллакс, и получить стереоизображение с различным пространственным расположением.
Все операции предложенного алгоритма выполняются полностью автоматически, за исключением первых шагов, когда оператору требуется выделить область изображения. При этом, если совмещение стереопары осуществляется не по выделенному объекту, а по объекту, имеющему определенное значение горизонтального параллакса, отдельно выделять объект не требуется.
Так как разработанные методы контроля и цифровой коррекции геометрического рассогласования изображений заключаются в использовании детекторов точечных особенностей изображений, эффективность которых экспериментально доказана в главе 2 данной диссертационной работы, можно сделать вывод, что данные методы будут применимы также к изображениям, имеющим высокую степень сжатия, зашумленным изображениям и кадрам стереопары, снятым при различном освещении.
Предложенные методы и алгоритмы могут быть востребованы в программах по монтажу и обработке изображений стереопары, в видеоконтрольных устройствах съемочных камер или в устройствах оценки качества видеопоследовательности. Они также могут использоваться не только в стереокино, стереофотографии и стереотелевидении, но практически во всех областях, где требуются контроль и коррекция геометрического рассогласования изображений, и где применяются методы их цифровой обработки.
Проведенные в диссертационной работе исследования были направлены на разработку методов контроля и цифровой коррекции параметров изображений стереопары, применение которых позволит обеспечить условия комфортного восприятия стереоизображения зрителями.
Обобщая результаты выполненных исследований, необходимо отметить следующее:
1. Разработаны методы и алгоритмы совмещения стереопары, основанные на цифровой обработке изображений и позволяющие автоматически с высокой точностью выставить для выделенного объекта нулевой вертикальный параллакс и необходимое значение горизонтального параллакса, и, таким образом, сформировать стереопару с различным пространственным расположением объектов в воспринимаемом стереоизображении.
2. Предложен метод автоматического контроля распределения параллаксов в изображениях стереопары, основанный на применении детекторов точечных особенностей изображений и позволяющий определить, на экране какого размера можно демонстрировать ту или иную стереопару с целью выполнения условий комфортного восприятия стереоизображения. Для возможности проекции стереопары на экран, размер которого превышает максимально допустимое значение, предложены алгоритмы цифровой коррекции параллаксов стереопары
