Содержание к диссертации
Введение
1. Стереоскопические изображения. анализ методов компрессии стереотелевизионных сигналов 14
1.1 Особенности зрительного аппарата человека. Стереоскопическое зрение.. 14
1.2 Факторы, влияющие на качество восприятия стереоэффекта 18
1.3 Воспроизведение стереоскопических изображений 20
1.4 Методы компрессии стереотелевизионных сигналов 25
1.4.1 Теоретические сведения 25
1.4.2 Анализ методов компрессии стереотелевизионных сигналов 26
1.4.3 Анализ методов компенсации движения в динамических изображениях. 32
1.4.3.1 Метод полного перебора (Full Search) 33
1.4.3.2 Логарифмический, трехшаговый и двумерный логарифмический поиск (Logarithmic Search, Three Step Search, Two Dimensional Logarithmic Search)... 36
1.4.3.3 Четырехшаговый метод поиска (Four Step Search Algorithm) 37
1.4.3.4 Круговой поиск (Circular Zonal Search) 42
1.4.3.5 Поиск по ромбу (Diamond Search) 43
1.4.3.6 Алгоритмы с предсказанием 45
1.4.3.7 Иерархический поиск (Hierarchical Search Algorithm) 46
1.4.3.8 Метод фазовой корреляции (Phase Correlation) 49
1.5 Элементы кодирования видеоинформации современных стандартов компрессии 52
1.5.1 Стандарты MPEG 52
1.5.2 Методы кодирования видеоинформации стандарта MPEG-2 54
1.5.3 Особенности кодирования видеоинформации стандарта MPEG-4 61
1.5.3.1 Представление видеоинформации 63
1.5.3.2 Кодирование видеоинформации 66
2. Возможности метода компрессии стереотелевизионных сигналов с формированием разностного сигнала 75
2.1 Разностный сигнал 75
2.2 Особенности разностного сигнала 76
2.3 Избыточность разностного сигнала 79
2.4 Ошибки, характерные для метода с формированием разностного сигнала 85
3. Разработка методов компрессии стереотелевизионных сигналов с компенсацией параллакса 90
3.1 Выбор размера области присваивания 93
3.2 Выбор размера зоны анализа 94
3.3 Модификация методов компенсации движения 99
3.3.1 Метод полного перебора 99
3.3.2 Метод двойного поиска 101
3.3.3 Логарифмический метод поиска 101
3.3.4 Метод фазовой корреляции 103
3.3.5 Метод с предсказанием 105
3.4 Оценка вычислительной емкости 109
4. Экспериментальное исследование разработанных методов. внедрение методов в кодер стандарта MPEG -4 114
4.1 Исследование метода с формированием разностного сигнала 115
4.2 Исследование методов с компенсацией параллакса 118
4.2.1 Исходные условия для программной реализации методов 118
4.2.2 Анализ результатов программной реализации 119
4.2.2.1 Статические стереоскопические изображения 119
4.2.2.2 Выбор оптимальных методов 126
4.2.2.3 Динамические стереоскопические изображения 127
4.3 Особенности внедрения методов оценки параллакса в кодер стандарта MPEG-4 129
4.4 Экспериментальное исследование возможности сжатия стереотелевизионных сигналов. Объективная оценка результатов 131
4.5 Субъективная оценка качества стереоскопических изображений 134
4.5.1 Методика субъективной оценки 134
4.5.2 Схема экспериментальной установки 136
4.5.3 Обработка результатов субъективной оценки 136
4.5.4 Результаты субъективной оценки 138
Выводы 140
Заключение 142
Библиография 144
Приложения 153
- Факторы, влияющие на качество восприятия стереоэффекта
- Особенности разностного сигнала
- Модификация методов компенсации движения
- Исследование методов с компенсацией параллакса
Введение к работе
Стереоскопическая фотография, киносъемка, телевидение находят применение в тех областях науки и техники, где требуется наибольшая наглядность и выразительность отображения визуальной информации. Этот способ дает зрителю представление о наблюдаемой картине, минуя сложные вычисления и графические построения, которые необходимы для изучения пространственной картины при наличии нескольких отдельных проекций. Стереоскопический метод исследования используется для измерения расстояния до удаленных объектов, определения их пространственного расположения, рассматривания мелких и микроскопических объектов, идентификации объектов и в других не менее важных целях. Так, в астрономии, оценка пространственного расположения планет возможна почти исключительно по стереоскопическим снимкам.
Плоское изображение не дает зрителю полноты художественного восприятия, эффекта присутствия, не задействует полностью возможности зрительного аппарата. Если использовать стереоскопическое изображение, то удается устранить не только перечисленные недостатки, но и уменьшить латентный период1 оценки видеосцены в 1,1-1,2 раза [1], повысить точность оценки удаленности наблюдаемых деталей в 3 раза, повысить распознаваемость и дешифрацию объектов рассматривания [2]. Указанные характеристики могут быть важны для специализированных устройств, применяемых в практических целях.
Стремление создать изображение, обладающее эффектом объемности и телесности изображаемых предметов, появилось очень давно. Еще в XV в. Леонардо да Винчи занимался этим вопросом, пытаясь дать ему научное объяснение. А первые работы по созданию устройств, позволяющих реализовать стереоскопический эффект, относятся к середине XIX столетия.
1 Латентный период - время от момента воздействия какого-либо раздражителя до появления ответной реакции
8 Тогда были впервые созданы зеркальный и линзовый стереоскопы.
К XX веку, в результате использования новых мелкоструктурных растровых оптических систем, были найдены способы воспроизведения стереоскопических изображений без применения специальных очков для просмотра (п. 1.3). Кроме того, был разработан метод построения объемной картины, который позволял не только ощутить ее объем, но и рассматривать ее с различных ракурсов.
В нашей стране работы по использованию принципа стереовидения в телевидении начались в 1949 г. на кафедре телевидения Ленинградского электротехнического института связи им. проф. М.А. Бонч-Бруевича (ЛЭИС) под руководством проф. П.В. Шмакова. Их результатом стал выпуск в 1952 г. первой в СССР промышленной установки стереоскопического черно-белого телевидения, а в 1959 г. прошла успешные испытания стереоскопическая установка цветного телевидения [3,4].
При передаче стереоскопического изображения понадобилась удвоенная, по сравнению с обычным телевидением, полоса частот канала связи. Поэтому в дальнейшем основное внимание исследователей переключилось на разработку таких систем, которые позволяли бы получать на приемном конце объемное изображение приемлемого качества, используя для этого как можно меньший объем передаваемой информации.
С учетом этого, на кафедре в 1962 г. была разработана система стереоскопического телевидения (ССТ) с совмещенными спектрами частот левого и правого кадров стереопары и использованием квадратурной модуляции поднесущей [3, 4]. Полоса частот для передачи стереопрограммы была использована стандартная - 6 МГц.
В настоящее время работы по проектированию и созданию ССТ в Санкт-Петербургском государственном университете телекоммуникаций (СПб ГУТ) продолжаются. В последние годы коллективом кафедры телевидения была разработана однообъективная система стереоцветного
9 телевидения [5]. Ее особенность состоит в том, что изображение передается в цвете, а сам сигнал организован так, чтобы не создавать заметных помех при приеме стереоизображения на обычные цветные и черно-белые телевизоры.
Интерес к стереоскопии существует не только в России, но и за ее пределами. Во многих странах ведутся разработки по созданию новых ССТ и методов компрессии стереоскопических изображений. Основная задача - как можно более компактное представление информации об объеме с максимальным сохранением качества изображения.
Использование компьютерной техники и методов цифровой обработки видеоинформации дало новые пути решения этой проблемы. В частности, возможности компрессии сигналов цифрового телевидения показали его большое преимущество там, где еще недавно позиции аналоговых систем казались незыблемыми. Считалось, что главный недостаток цифрового телевидения заключен в слишком высоких по интенсивности потоках данных, для передачи которых нужны сверхширокополосные каналы. Однако вскоре выяснилось, что цифровой поток избыточен. При сокращении различных видов избыточности, в стандартную полосу телевизионного сигнала можно поместить несколько каналов цифрового вещания [6].
Видеоизображениям в цифровой форме соответствуют большие объемы данных. Это усложняет задачу разработки программно-аппаратных средств. Требования быстрой передачи данных встречают ряд проблем, связанных с техническими характеристиками используемой аппаратуры: недостаточной емкостью запоминающих устройств, ограниченной пропускной способностью каналов передачи данных, недостаточным быстродействием вычислительной техники и так далее. В таких ситуациях важную роль играет особый вид обработки сигналов изображений - их кодирование с целью сокращения объема (компрессии) данных.
«Правильное» решение вопроса компрессии видеосигналов дает коммерческое и техническое преимущество готового устройства (кодека),
10 которое обеспечивает высокое качество изображения, надежность и/или универсальность, по сравнению с конкурирующими разработками. Поэтому существует заинтересованность в эффективных методах кодирования. Это касается таких областей, как вещание, коммуникации, развлечения и других.
При компрессии сигналов изображений стереопары кроме пространственной, временной и визуальной необходимо также учитывать бинокулярную избыточность. Ее наличие объясняется подобием изображений стереопары.
В настоящее время разработан ряд методов, позволяющих учесть такого рода корреляцию. В большинстве случаев эти методы основаны на предварительной обработке стереопары.
Например, при сжатии сигналов изображений стереопары, вместо одного из изображений можно кодировать сигнал их разности. По сравнению с исходными изображениями он обладает меньшей энтропией и позволяет выполнить сжатие с большей эффективностью (гл. 2).
Другим примером служит анализ стереоскопических изображений с целью поиска подобных участков. Здесь так же, как и в первом случае, сигнал одного кадра кодируется независимо, а второй сигнал заменяется информацией о векторах параллакса1 и набором ошибок поиска векторов (гл. 3).
Также нередко используются некоторые бинокулярные особенности человеческого зрения. Учитывая это свойство, можно представить изображения стереопары в компактном виде, что приведет лишь к небольшому снижению качества. Более подробно перечисленные методы рассмотрены в п. 1.4.
Для сжатия сигналов, полученных в результате предварительной обработки изображений стереопары, используют, как правило, существующие методы компрессии цифровых сигналов. Самые распространенные и эффективные из них объединяются в стандарты. В настоящее время наиболее
Под термином вектор параллакса понимается величина смещения, которое имеет блок одного из изображений стереопары по отношению к подобному блоку другого изображения.
распространены стандарты группы MPEG: MPEG-2 и созданный позднее MPEG-41 (п. 1.5.2,1-5.3).
Известно несколько работ, в которых рассматривают возможность сжатия стереотелевизионных сигналов с использованием стандартов компрессии. Например, в [7] предлагается использовать один из масштабируемых уровней стандарта MPEG-2. В алгоритме учитываются бинокулярные свойства человеческого зрения, что дает дополнительное сокращение видеопотока.
В работе [8] для сокращения объема информации исследовалось кодирование разности сигналов изображений стереопары кодером MPEG-2. Также была исследована возможность определения параллакса с помощью метода фазовой корреляции.
Известна практическая реализация объектно-ориентированного кодирования объемных видеоизображений на основе MPEG-2 [9]. К недостаткам метода относится большая вычислительная емкость, а его характеристики зависят от сюжета.
В 1996 г. группой MPEG был разработан профиль стандарта MPEG-2 для компрессии стереотелевизионных сигналов - MPEG-2 Multiview Profile [10], но эффективность его использования на практике оказалась невысокой (п. 1.4).
Работ по практическому использованию стандарта MPEG-4 для компрессии стереотелевизионных сигналов известно мало. Связано это, в первую очередь, с тем, что он был разработан позже MPEG-2. В ходе многочисленных испытаний по компрессии одинакового объема информации с сохранением сходного качества, результаты кодера стандарта MPEG-4 превзошли результаты кодера MPEG-2. Особенно это касается низких скоростей цифрового потока [11]. Оценка причин более эффективной работы кодера стандарта MPEG-4 выполнена в п. 1.5.3.
Здесь и далее под MPEG-2 и MPEG-4 понимаются те их части, которые отвечают за работу с видео, соответственно: 13818-2 и 14496-2.
Стандарт MPEG-4 достаточно универсален, что достигается за счет определенной схемы представления видеоданных. Помимо реализации традиционных схем кодирования видеоинформации, он предлагает возможности по организации видеоконференций, интерактивных программ, созданию и работе с искусственными аудиовизуальными объектами.
По сравнению с MPEG-4, стандарт MPEG-2 обладает меньшей универсальностью. Он получил наибольшее распространение в области вещательного цифрового телевидения и DVD1-видео. Однако используемые технологии, оставаясь все еще эффективными, заметно устарели. На смену MPEG-2 в дальнейшем должен придти другой стандарт, обладающий лучшими показателями компрессии и возможностью работы с разнообразным видеоматериалом. Одним из основных претендентов называется стандарт MPEG-4 [12].
Учитывая тот факт, что спецификация стандартов MPEG-2 (не считая MPEG-2 Multiview Profile) и MPEG-4 не дает рекомендаций для работы со стереоскопическими изображениями, оставляя решение этой задачи сторонним разработчикам, целесообразно создание новых методов компрессии стереотелевизионных сигналов, по-возможности совместимых со стандартами сжатия цифровых сигналов MPEG-2 и особенно MPEG-4.
Использование современных достижений в области обработки изображений позволит добиться более эффективного сокращения избыточности сигналов стереоскопических изображений. Это, в свою очередь, даст положительный результат, выражающийся в достижении более высокой степени компрессии сигналов изображений стереопары при сохранении качества стереоскопического изображения на том же уровне.
Необходимо выделить основные стадии решения поставленной задачи:
1. Изучение особенностей зрительного аппарата человека и стереоскопического зрения.
1 Цифровой многофункциональный диск (Digital Versatile Disk, DVD).
Анализ существующих способов компрессии видеосигналов и стереотелевизионных сигналов. Оценка возможности использования современных наиболее эффективных методов компенсации движения для компенсации параллакса.
Анализ элементов кодирования современных стандартов компрессии с целью оценки возможности их использования при кодировании стереотелевизионных сигналов.
Разработка новых методов компрессии стереотелевизионных сигналов для их совместного использования с алгоритмами кодирования MPEG-2 и особенно MPEG-4.
Исследование статистических свойств разности сигналов изображений стереопары с целью оценки эффективности метода ее передачи.
Разработка новых методов компенсации параллакса.
Внедрение разработанных методов в кодер стандарта MPEG-4.
Экспериментальное исследование разработанных методов с целью их апробации при работе с реальными стереотелевизионными изображениями.
На защиту выносятся:
Возможности сокращения избыточности стереотелевизионных сигналов с помощью алгоритмов формирования разностного сигнала и компенсации параллакса с оценкой их эффективности.
Разработанные быстрые методы определения параллакса стереоскопических изображений: логарифмический поиск, метод на основе фазовой корреляции с иерархическим поиском, метод с предсказанием на основе фазовой корреляции.
Методика кодирования стереотелевизионных сигналов на основе кодера, отвечающего стандарту MPEG-4 (XVID).
Результаты кодирования стереотелевизионных сигналов при помощи кодера стандарта MPEG-4 (XVID).
Факторы, влияющие на качество восприятия стереоэффекта
На качество восприятия человеком стереоэффекта влияет множество факторов. Среди них можно выделить основные.
Во-первых, это четкость вертикальных границ предметов рассматриваемого сюжета. Такое условие необходимо, поскольку рельеф может быть различим только в результате параллактической разности очертания контуров изображений, получаемых на сетчатке правого и левого глаза. Чем четче будут границы объектов, тем сильнее стереоскопический эффект.
Во-вторых, значительную роль играет освещение рассматриваемой панорамы. При неравномерном освещении, высвечивающим большое количество мелких деталей и контуров, достигается лучший результат, чем при равномерном, или слабом сумеречном свете, когда стереоскопическая картина начинает утрачивать свою объемность. Можно заметить, что второй фактор связан с первым, т.е. освещение панорамы оказывает прямое влияние на четкость границ составляющих ее предметов.
В-третьих, на пространственное впечатление оказывает влияние контраст окраски предметов. Цветные стереоскопические изображения, в отличие от черно-белых, лучше передают пространство и рельеф.
В-четвертых, при удалении предметов от человека, когда стереоэффект мелких деталей уже исчезает, изображение в целом остается объемным из-за стереоэффекта крупных деталей [3].
Кроме перечисленных факторов, вспомогательными при пространственной ориентации являются видимая величина предметов, линейная перспектива, воздушная перспектива, заполнение свободного пространства между предметами, загораживание одних предметов другими [14]. Все они в разной степени влияют на объемное восприятие пространства.
По сравнению с обычными изображениями, качество восприятия стереоскопических изображений менее подвержено влиянию флуктуационных помех. Это можно пояснить следующим образом. Помехи обычного изображения связаны с его деталями, поскольку лежат в одной плоскости с ними. Помехи же объемного изображения воспринимаются отдельно от его деталей, лежащими в другой плоскости пространства. Это объясняется их беспорядочным расположением, а также малой вероятностью совпадения помехи одного изображения с аналогичной помехой и той же деталью другого изображения. Поэтому они представляются как лежащие в другой плоскости и менее заметны, чем в случае обычного изображения. Однако при достаточно малых отношениях сигнал/шум, когда наблюдение обычного изображения невозможно, объемное изображение также не получается [3].
Здесь же необходимо заметить, что если качество одного изображения стереопары хуже другого, то качество стереоскопического изображения приближается к лучшему из них.
При рассмотрении особенностей восприятия стереоскопического эффекта, важно отметить эффект бинокулярного смешения цветов. Он возникает при воздействии на глаз человека разным излучением, в результате чего возникает ощущение нового цвета.
Бинокулярное смешение цветов отличается от смешения цветов, происходящего при монокулярном наблюдении [14]. Так, например, если один глаз видит белое поле, а другой смотрит на черную поверхность, то у человека возникает ощущение серого глянца, сменяющегося иногда впечатлениями то черного, то белого поля. Возникает ситуация, когда зрительная система не может объединить изображения на двух сетчатках, происходит полное или частичное отвергание одного из образов. Эта своеобразная игра, в которой оба цвета воспринимаются поочередно, носит название «борьба полей зрения» [17]. Особенно сильно такой эффект проявляется при рассматривании цветных и блестящих предметов, если блеск их поверхностей воспринимается неодинаково левым и правым глазом. На основе этого, используя стереоскопическое изображение, можно передать цветной блеск кристаллов, что невозможно сделать при помощи обычного плоского изображения.
Под стереоскопическими изображениями понимаются такие изображения, которые позволяют получить пространственное впечатление с такой же степенью локализации глубины, как при естественном рассматривании реального пространства. Если изображение обладает меньшей локализацией глубины, то такое изображение принято называть рельефным.
Получить впечатление об объеме можно как на основе реального, так и мнимого, плоского изображения предмета. В первом случае это должна быть физически существующая копия предмета. Второй случай не подразумевает реального существования предмета. Объемность воссоздается в сознании зрителя, для чего каждому глазу предъявляется плоское изображение, сфотографированное соответственно с точки зрения правого и левого глаза. Такие парные изображения называются стереоскопической парой. Примеры стереопар показаны на рис. 1.2.Задача передачи отдельных изображений стереопары соответствующему глазу является основной при воспроизведении стереоскопических изображений.
Особенности разностного сигнала
Чтобы выполнить анализ особенностей СПР и определить его отличия от исходных сигналов, нужно проиллюстрировать разность сигналов яркости левого и правого изображений стереопары, представленных на рис. 2.3, а. Сюжет является традиционным, содержит как мелкие детали, так и крупные. Таким образом, все выводы, которые будут сделаны для показанных изображений, скорее всего, будут справедливы и в общем случае. На рис. 2.3, б показан результат операции вычитания. Поскольку динамический диапазон представленного сигнала [-255, 255] в два раза выше динамического диапазона членов разности - [0, 255], то для корректного отображения динамический диапазон разностного сигнала уменьшен вдвое, а уровень нуля поднят на 128.Можно отметить, что разностный сигнал описывает в основном контуры объектов. Их сильная заметность объясняется резкими световыми переходами на границах объектов. С увеличением величины параллакса толщина контуров возрастает.
Наблюдаются отдельные зоны, содержащие результат разности между разноименными объектами кадров стереопары. Они могут иметь произвольную форму, а их размеры определяются величиной параллакса и степенью сложности сюжета.
Можно видеть, что большую часть площади на рис. 2.3, б занимают нулевые или близкие к нулю значения разности. Этот факт подтверждает статистическую избыточность видеоизображений - значительную корреляцию и предсказуемость данных, когда большая часть изображения приходится на области с плавно меняющейся или постоянной яркостью [78]. При вычитании такие площади дают нулевые значения.
Для цветоразностных сигналов все выводы, сделанные для сигнала яркости, будут также справедливы.
В основе построения способов кодирования визуальной информации лежит учет статистической зависимости между отдельными отсчетами [88]. Необходимо оценить характер разностного сигнала и возможности для его эффективного кодирования.
При визуальной оценке рис. 2.3, б можно отметить неравномерное распределение амплитуд отсчетов с максимумом в нулевом значении. Т.е. вероятность появления нулевых и близких к нулю значений в разностном сигнале очень высока.
Если рассмотреть распределение уровней яркости исходных изображений, то теоретически можно предположить равновероятное появление значений отсчетов в интервале [0, 255].
Опираясь на это, можно оценить возможность построения эффективных кодов для кодирования исходных изображений стереопары и сравнить результат с кодированием СПР. Пусть значение отсчетов в каждой точке (х,у)представляется случайной функцией F(x,y), а отсчет а есть случайная величина, выбранная из конечной генеральной совокупности X = {xbx2,...Xj,...,xn}. Здесь «-множество возможных состояний системы X, принимаемых элементами с вероятностями р(х1),р(х2),...,р(хі),...,р(хп). Для
Исходные изображения. Если предположить, что отсчеты сигнала яркости независимы, и каждый из них принимает х{ = е значения с
Анализ формулы (2.2) показывает, что большая часть информации связана с теми исходами, которые маловероятны. При равной вероятности появления всех отсчетов сигнала яркости для изображений стереопары, т.е. при р(х,) = Мп, Н{Х) = п бит и Я = Ятах.
В таком случае, согласно теории Шеннона, для системы не существует способов кодирования, использующих количество информации меньше значения п. И потенциальные возможности переноса информации полностью реализованы.
Однако, согласно исследованиям телевизионных изображений, вероятность значений отсчетов неодинакова (Н Нтак). Учитывая этот факт,можно сократить объем информации до полутора раз [88].СПР. Как было отмечено, в разностном сигнале преобладают нулевые и близкие к нулю значения отсчетов, т.е. вероятность их появления велика. Тогда, согласно (2.2) можно сделать обоснованный вывод о его меньшей информационной избыточности.
Для подтверждения этого нужно вычислить энтропию для нескольких стереоскопических сюжетов (рис. 2.4) и для СПР каждого из них (рис. 2.5). С этой целью была разработана программа на языке Си в среде Borland C++ Builder 5.0. Основная часть программы приведена в прил. 2.Расчет энтропии представленных изображений выполнен по формулегде р(х()- вероятность появления /-го уровня квантования, котораяоценивалась исходя из общего количества отсчетов изображения и числа отсчетов /-го уровня.
Результаты вычисления значения энтропии, полученные по формуле (2.3), сведены в табл. 2.1. Анализ значений показывает, что СПР обладает меньшей энтропией, по сравнению с исходными изображениями стереопары. Величина энтропии зависит от особенностей изображения - чем больше крупных предметов, а значит и плавных изменений яркости, тем она меньше. Так, энтропия СПР сюжета «Манеж», имеющего по сравнению с сюжетом «Композиция» множество мелких деталей, больше. Энтропия СПР сюжета «Туннель» имеет среднее значение.
Для трех представленных сюжетов максимум относительной избыточности достигает 29%.
Таким образом, представляется более выгодной передача именно СПР вместо одного из кадров стереопары. Цветоразностные сигналы также имеет смысл передавать, используя представленную в данном разделе технику.
Модификация методов компенсации движения
На рис. 3.5 иллюстрируется метод полного перебора для оценки параллакса стереоскопических изображений. На каждой позиции зоны анализа определяется значение (1.1), а затем по минимуму этой функции определяется наилучшее положение блока. S - количество операций сравнения для поиска одного блока в зоне анализа. Тогда общее число операций сравнения по (1.1), необходимых для оценки параллакса двух кадров стереопары, можно определить какгде Width и Height соответственно горизонтальные и вертикальные размерыкадра стереопары, block_size - размеры области присваивания. Для методаполного перебора значение S совпадает с горизонтальными размерами зоны анализа.
Из (3.3) видно, что вычислительная емкость как метода полного перебора, так и любых других методов определения параллакса будет зависеть от размера области присваивания и количества операций сравнения в зоне анализа. Подробнее этот вопрос рассмотрен в п. 3.4.
Результаты работы метода полного перебора традиционно используются как образец при разработке новых методов анализа и компенсации движения в динамических изображениях [50, 95]. Поэтому в экспериментальной части настоящей работы точность оценки параллакса и затраченное на это время при использовании метода полного перебора целесообразно принять за эталон.
Как и в рассмотренном в п. 1.4.3.1 методе двойного поиска, предлагается выполнять полный перебор в ограниченной области зоны анализа, границы которой определяются на первом этапе работы (рис. 3.6).
Для этого зона анализа разбивается на несколько секторов (на рисунке их три) и в каждом из них по критерию (1.1) выполняется сравнение области присваивания с отмеченным блоком сектора.На втором этапе исследования параллакса продолжаются методом полного перебора в том секторе, где было найдено лучшее совпадение.
Нужно отметить, что точность поиска векторов смещения блоков напрямую зависит от правильности выбора сектора поиска на первом этапе. Поэтому для получения лучших результатов необходимо увеличивать число секторов, в которых выполняется первичный анализ. Зависимость правильности оценки параллакса от количества секторов анализа будет исследована экспериментально.
Разработанный алгоритм работы логарифмического метода оценки параллакса показан на рис. 3.7, а. Поиск начинается в центре зоны анализа и вокруг него с шагом, равным половине ртах (начало обозначено цифрой «1»).
Лучшая позиция определяется по минимуму (1.1). Затем поиск повторяется уже вокруг нее, но с шагом, уменьшенным в 2 раза. И так до тех пор, пока не будет выполнено уточнение в один пиксель.Алгоритм работы двумерного логарифмического поиска показан на рис. 3.7, б. Единственное его отличие от логарифмического метода состоит в том, что если лучшая позиция на текущем шаге оказалась не в центре участка анализа, она становится центром для дальнейшего поиска с тем же шагом. логарифмическим методом
Предполагается, что логарифмические методы должны дать точность определения параллакса близкую к двойному поиску, но с более высокой скоростью.
Разработанный метод определения параллакса с использованием фазовой корреляции построен на тех же математических принципах, которые были представлены в п. 1.4.3.8. Поэтому необходимо отметить только его особенности.
В левом кадре определяется область сравнения (рис. 3.8), размеры которой соответствуют зоне анализа в правом кадре, и в центре которой расположена область присваивания. Затем выполняются математические операции, результатом которых будет матрица коэффициентов корреляции. Та величина сдвига, которая соответствует максимальному из них и есть искомая величина параллакса.
Может случиться так, что на корреляционной поверхности будут получены несколько близких по значению коэффициентов. Пример такой ситуации показан на рис. 3.9. На левом изображении стереопары (рис. 3.9, а) показана область присваивания, а на правом - зона анализа. На рис. 3.9, б показана найденная корреляционная поверхность. Два максимальных пика соответствуют двум вариантам смещения блока. На правом изображении они отмечены внутри зоны анализа: один вариант - сплошной линией (передний план - пасть льва), другой - пунктирной (задний план - фон). Лучшее соответствие найдено на той позиции, где пик максимален.Возможен вариант, что разность по критерию (1.1) между областью присваивания и блоком, найденным по максимальному коэффициенту корреляции, будет больше, чем полученная при такой же операции, но
Исследование методов с компенсацией параллакса
Особенностью среды Matlab, в которой была выполнена программная реализация разработанных методов, является нахождение БПФ только дляматриц, размер которых равен 2V, где v - натуральное число. Это условие стало определяющим при выборе размеров зоны анализа и разрешения тестовых изображений.
Размеры зоны анализа зависят от величины максимально допустимого параллакса и размера области присваивания (3.2). Если размеры области присваивания определены как квадрат 8x8 и 16x16 пикселей, то величина максимально допустимого параллакса зависит от разрешения изображения (3.1). В табл. 3.1 представлены значения максимально допустимого параллакса для разрешений изображений, соответствующих простому расширенному профилю MPEG-4, который было решено взять за основу.
Из приведенных в табл. 3.1 вариантов разрешений в качестве тестовых стереопар выбраны изображения размером 352x288. В этом случаегоризонтальный размер зоны анализа (3.2) максимально близок к 26 =64 при размере области присваивания 8x8 и 16x16 пикселей. Таким образом, горизонтальный размер зоны анализа для всех методов, участвующих в эксперименте, равен 64 пикселям.
Для каждого метода выполнен анализ по трем выбранным выше характеристикам: PSNR, Н, t для размера области присваивания 16x16 пикселей. Для перспективных методов проделаны опыты для области присваивания 8x8 пикселей и с полупиксельной точностью поиска.
Для выяснения лучшего из критериев, которые предлагает выражение (1.1), в алгоритмы реализации методов компенсации параллакса введена опция нахождения вектора параллакса для области присваивания по двум критериям: SSDn SAD.
Метод двойного поиска реализован для трех и пяти секторов анализа.Работа метода фазовой корреляции исследована для коэффициентов У = 0 (2 пика), у = 0,5, у = 0,7, j = \ (1 пик) (п. 3.3.4), а также помимо предложенного в п. 3.3.4 варианта реализации, оценена эффективность работы метода фазовой корреляции совместно с иерархическим поиском. Рассмотрены два способа получения иерархической структуры, приведенные в п. 1.4.3.7.
Программная реализация разработанных методов в среде Matlab, учитывающая все приведенные в данном разделе аспекты, приведена в прил. 3. Тестовые стереоскопические изображения и первые кадры динамических сюжетов, использованных в эксперименте, представлены в прил. 4.
Для выполнения анализа полученных результатов (табл. П. 5.1, прил. 5), были произведены следующие операции:1. Для PSNR сначала определялось его исходное значение между кадрамистереопары (PSNRycx), а затем вычислялось его улучшение при использованииметодов анализа параллакса.2. Для Я за 100% выбиралось ее максимальное значение (худший случай),которое по (2.2) для выбранной зоны анализа в 64 пикселя равно64—log9 64 = 6.64 23. Для / за 100% было принято время анализа методом полного перебора.
В каждом случае полученные величины усреднялись по всем тестовым изображениям. Средняя величина каждого из параметров в этом случае показала общую эффективность разработанных алгоритмов независимо от сюжета. Все перечисленные преобразования были призваны повысить наглядность сравнения между собой разработанных алгоритмов (табл. 4.2). На рис. 4.2 выполнено графическое представление полученных результатов. На рис. 4.3 показан пример нахождения векторов параллакса для сюжета «Манеж» разными методами.
При анализе данных эксперимента (табл. 4.2), были сделаны следующие выводы:1. Метод двойного поиска не рекомендуется для практического использования. По показателю PSNR он показал худшие значения, значительно уступая по этому параметру всем остальным реализациям методов. Увеличение секторов анализа лишь незначительно улучшает результат.2. Среди логарифмических методов на первое место можно поставить простой логарифмический метод. При высокой скорости работы он позволяет получить достаточно высокие значения PSNR, близкие к лучшим, полученным в настоящем эксперименте. Двумерный логарифмический метод дал удовлетворительные результаты: при большем времени анализа меньшие значения PSNR.3. Метод фазовой корреляции показал лучшие значения PSNR и Н при сравнительно большом времени оценки. Нужно отметить тот факт, что вектора параллакса (рис. 4.3) достаточно точно отражают его реальное значение. Эта особенность выражается в более низких значениях энтропии результата, по сравнению с другими методами.
Среди различных исследованных величин коэффициента j (п. 3.3.4),оптимальным по трем параметрам можно назвать значение j = 0,5.
Как показали результаты эксперимента, уменьшить время анализа параллакса методом фазовой корреляции при сохранении высоких показателей PSNR и Н можно совместным использованием метода фазовой корреляции и иерархического поиска. При этом время поиска и PSNR сравнимы с оценки параллакса (критерий выбора векторов параллакса: SAD)Рис. 4.3. Визуализация векторов параллакса, определенных для сюжета «Манеж» методом: аполного перебора; б) логарифмическим; в) двумерным логарифмическим; г) фазовойкорреляции (j = 0,5); д) фазовой корреляции с иерархическим поиском (j = 0,5) результатами логарифмического метода, а Я- на 40% меньше.
На основе приведенных выводов можно предположить, что по совокупности различных параметров метод фазовой корреляции с иерархическим поиском является оптимальным среди рассмотренных методов определения параллакса. Он рекомендуется к использованию в тех задачах, где каждый из трех оцененных здесь параметров обладает одинаковым весовым коэффициентом. Окончательные выводы об оптимальности того или иного рассмотренного метода можно сделать опираясь на специальную методику, которая рассмотрена далее (п. 4.2.2.2).
Помимо основных исследований разработанных методов, для наиболее перспективной части из них был выполнен анализ вычисления векторов параллакса с полупиксельной точностью и размером области присваивания 8x8 пикселей. Как показал эксперимент, в случае полупиксельной точности это приводит к некоторому повышению PSNR при повышении Я и времени анализа.
При переходе от области присваивания 16x16 пикселей к области присваивания 8x8 пикселей время работы всех методов увеличивалось в среднем в 3 раза при небольшом повышении PSNR. На методы фазовой корреляции с иерархическим поиском такой переход оказывал негативное влияние, что закономерно: методы фазовой корреляции улучшают свои результаты при увеличении зоны анализа.
Из двух критериев SSD и SAD в дальнейших исследованиях использовался SAD, как менее ресурсоемкий и дающий близкие результаты к SSD. Можно заметить, что в табл. 4.2 время анализа по SAD и SSD достаточно близко, однако разница будет увеличиваться с увеличением числа анализируемых стереопар.
Для методов, основанных на фазовой корреляции, использование SSD или SAD не оказало такого влияния на время оценки стереопары, как на остальные методы анализа параллакса. Это связано с тем, что эти критерии используются
