Содержание к диссертации
Воспроизведение многоракурсного телевизионного изображения растровым способом 17
Получение многоракурсного телевизионного изображения... 18
Требования к параметрам растра для применения с матричными устройствами воспроизведения 33
Применение матричного дисплея для воспроизведения многоракурсного изображения растровым способом 41
Формирование сигнала кодированного изображения
Предварительная пространственная фильтрация телевизионного изображения 45
Разработка модели расчета параметров линзового растра и
Оценка качества изображения при смещении наблюдателя в
Типы матриц для использования совместно с линзовым растром 99
Определение координат тестовых и опорных цветов
Назначение фильтрации 122
Формирование двумерной функции фильтра для различных вариантов построение стереоскопических дисплеев 129
Методика статистического эксперимента 138
Выбор условий наблюдения 138
Выбор способа выражения мнения о качестве 141
анализ свойств растров из цилиндрических линз с целью выяснения особенностей их использования совместно с матричным дисплеем;
определение особенностей и необходимой точности расчета параметров линзового растра;
разработка методики расчета параметров линзового растра и создание на ее основе программы, как инструмента для вычисления параметров растра и анализа качества объемного изображения;
исследование качества изображения, формируемого стереоскопическим монитором, при смещении наблюдателя в пространстве, а также при изменении любого из параметров линзового растра;
определение требований к параметрам матричных дисплеев, используемых для создания растровых стереоскопических экранов;
анализ особенностей применения матричных дисплеев различных видов и с различной структурой субпикселей в составе стереоскопического монитора;
исследование влияния различных алгоритмов дискретизации на качество стереоскопического изображения;
разработка адаптивной модели предварительной обработки исходных изображений отдельных ракурсов с целью подавления нежелательных артефактов элайзинга (наложения спектров) при дискретизации в процессе формирования кодированного изображения;
экспериментальная оценка сепарационных свойств линзовых растров, а также экспериментальное определение профиля антиэлайзингового фильтра, позволяющего добиться наилучшего соотношения между четкостью изображения и заметностью повторных контуров для различных классов изображений.
Математическая модель сепарации изображений линзовым растром и реализованная на ее основе программа «Lenticular Screen», позволяющая рассчитывать параметры растра и исследовать его сепарационные свойства.
Рекомендации по выбору вида, типа и структуры субпикселей матричного дисплея, а также шага и наклона линз растра для получения объемного изображения с заданными характеристиками.
Методика анизотропной фильтрации и обоснование выбора параметров пространственного фильтра для повышения качества воспроизводимого объемного изображения по трем заданным критериям.
Алгоритм адаптивной фильтрации, позволяющий определять наиболее подходящий тип фильтра для обрабатываемого в текущий момент времени изображения.
На основе разработанной методики создана программа Lenticular Screen, которая позволяет определить параметры линзового растра (и вычислить допуски их изменения) для получения максимального (или заданного) значения интегрального коэффициента сепарации при наблюдении экрана из любой заданной точки пространства. Кроме того, вышеуказанная программа позволяет качественно и количественно определить сепарирующие свойства растра благодаря возможности построения двух видов сепарационных функций (по полю экрана и в пределах области наблюдения).
В работе исследуется изменение качества цветопередачи матриц типа «TN+film» жидкокристаллических дисплеев на основе семейства полученных экспериментально диаграмм направленности яркости, что позволяет оценить степень искажения цветопередачи в дополнительных зонах видения. Подобные исследования в ранее опубликованных работах не встречаются.
Описаны возможные варианты совмещения линзового растра с матричным дисплеем для получения заданного количества ракурсов при отсутствии окраса изображений в основные цвета (красный, зеленый или синий). Для сравнения качества изображений, формируемых экранами с различным углом наклона линзовых растров, приведены соответствующие сепарационные функции, чего ранее не было представлено из-за отсутствия подходящей методики оценки коэффициента сепарации.
Предлагается использовать анизотропную двумерную фильтрацию исходных изображений отдельных ракурсов в тех случаях, когда частоты дискретизации этих изображений значительно отличаются для разных пространственных направлений. Подобных предложений в ранее опубликованной литературе не встречается.
Основные особенности растрового способа воспроизведения стереотелевизионных изображений 26
1.4.1.1. Влияние типа матрицы ЖК-дисплея на качество
цветопередачи многоракурсного изображения 41
1 А. 1.2. Разделение цветовых составляющих многоракурсного изображения при использовании матричных дисплеев без чередования цвета пикселей по вертикали 42
из сигналов изображений отдельных ракурсов 43
исследование их влияния на качество многоракурсного изображения 48
Разработка программы, как инструмента для расчета параметров растра и анализа качества изображения 65
3. Исследование влияния параметров матричного дисплея на
3.3.2.1. Исследование диаграмм направленности яркости
ячеек матриц «ТМ+Шш» 103
Цифровая фильтрация изображений ракурсов 122
4. Вопросы практической реализации автостереоскопического
монитора 136
Введение к работе
Актуальность работы
Стереоскопические телевизионные системы (СТС), способные воспроизводить изображение трехмерным, позволяют иметь более полное представление о передаваемом объекте, улучшая достоверность передачи и приближая нас к условиям естественного восприятия окружающей действительности, а также предоставляют дополнительную информацию о пространственном расположении предметов, что необходимо в тех случаях, когда невозможно или опасно присутствие человека на объекте передачи, например, при исследовании внутренних поверхностей атомных реакторов или управлении беспилотным летательным аппаратом [1,2].
Достижения последних лет в области высоких технологий, а также значительно возросший уровень развития техники, являются важнейшими стимулами к развитию стереотелевизионных систем. С другой стороны, прогресс в создании элементной базы, развитие вещания программ телевидения высокой четкости и успехи в области сжатия видеоинформации позволяют поднять стереоскопическое телевидение на более высокую качественную ступень. Указанные обстоятельства обуславливают интенсификацию работ в этом направлении инженеров различных стран.
Приоритет в области стереоскопического телевидения принадлежит России, поскольку основные принципы в данной области были предложены еще в середине 50-х годов прошлого века выдающимся ученым нашей страны проф. П. В. Шмаковым [3]. Так, в 1952 г. на базе ЛЭИС была выпущена первая промышленная установка для воспроизведения черно-белого стереоскопического изображения, а в 1959 г. получено цветное стереоскопическое изображение. Также кафедрой телевидения Санкт- Петербургского государственного университета телекоммуникаций им. проф. М. А. Бонч-Бруевича (СПбГУТ) изучались вопросы создания однообъективной
СТС [4,5] и проблемы сжатия информационного потока стереоскопического изображения [6-9].
В сентябре 2007 г. в СПбГУТ на расширенном заседании Ученого совета по предложению профессора М. И. Кривошеева было сформулировано обращение в Министерство связи и информационных технологий включить в федеральную целевую программу развития телерадиовещания новое направление — вещательную систему объемного телевидения, а 29 февраля 2008 г. в СПбГУТ состоялся первый рабочий семинар. В мае 2008 г. по предложению России на собрании ИК 6 (исследовательской комиссии службы вещания) МСЭ-Р (международный союз электросвязи, сектор радиосвязи) принят Вопрос Изучения по цифровому объемному (3D) телевизионному вещанию.
Одной из наиболее сложных проблем, сдерживающих развитие стереоскопического телевидения, является задача создания устройства воспроизведения объемного изображения. Экраны, использующие анаглифный, эклипсный и поляроидный способы сепарации изображений, имеют ряд недостатков, в частности, требуют наглазных устройств (очков) и позволяют воспроизводить только 2 ракурса. Растровый принцип селекции свободен от указанных недостатков, однако до недавнего времени, из-за жестких требований к устройству формирования кодированного изображения, растровые экраны применялись исключительно в составе громоздких просветиых проекционных систем [10].
С появлением и развитием в последние годы матричных дисплеев, таких, как, например, плазменная панель (PDP) и жидкокристаллический монитор (LCD), ситуация изменилась кардинальным образом. Такие дисплеи имеют строго периодичную структуру элементов изображения, а таюке позволяют управлять яркостью любого из субпикселей в отдельности, и, следовательно, могут использоваться для создания компактных растровых мониторов, не требующих очков и позволяющих наблюдать объект съемки более чем с двух ракурсов. Благодаря указанным достоинствам, разработка и совершенствование
растровых мониторов на сегодняшний день является наиболее перспективным направлением развития стереоскопических отображающих устройств.
Состояние и оценка ранее выполненных исследований
Растровый способ воспроизведения статичных стереоскопических изображений известен очень давно. Например, в 1941 г. щелевой растр был применен для воспроизведения динамичного стереоскопического изображения — в кинотеатре «Москва» демонстрировался стереокинофильм «Концерт». При этом использовалась безочковая проекция на растровый экран из светопоглощающей проволоки, разработанный и сконструированный сотрудниками московского научно-исследовательского кино-фото института (НИКФИ) под руководством С. П. Иванова.
Использование более сложных оптических растров на основе сферических и цилиндрических линз для получения объемного изображения предложил в 1908 г. французский физик Габриэль Липман (Gabriel Lippmann). В 40-е гг. изучением основных свойств линзовых растров занимался сотрудник НИКФИ Н. А. Валюс. В 1970 г. лаборатория этого института демонстрировала " свой линзовый растр на всемирной выставке «Экспо-70» в г. Осака (Япония). В 1972 г. на кафедре телевидения ЛЭИС на основе двух растров из цилиндрических линз, изготовленных в НИКФИ, был создан просветный экран, который использовался для воспроизведения многоракурсного телевизионного изображения [11-13].
Необходимо отметить, что в рассмотренных выше случаях кодированное изображение формируется оптически — с помощью линзового растра, поэтому проблема согласования параметров растра и кодированного изображения, представляющая собой сложную задачу, не требовала изучения и в указанных выше работах не рассматривалась. По этой же причине не исследовались вопросы, касающиеся влияния параметров матричного дисплея на качество цветопередачи объемного изображения, а также вопросы цифровой обработки
исходных изображений отдельных ракурсов при их дискретизации в процессе формирования кодированного изображения.
Проблемами создания линзорастровых экранов на основе матричных дисплеев заинтересовались в начале 90-х годов инженеры и ученые Японии (фирмы NHK, Sharp), Германии (фирма SeeReal Technologies, институт Генриха Герца в Берлине, университет Фридриха Шиллера в Йене) и США (фирма Stereographies). Общие вопросы построения автостереоскопических дисплеев представлены в работах научных сотрудников фирм SeeReal Technologies [14], Stereographies [15, 16] и NewSight [17, 18]. В институте Генриха Герца и университете г. Касселя разработаны устройства автоматической подстройки положения линзового растра относительно матричного дисплея за счет определения положения глаз наблюдателя [19-22]. Сотрудниками исследовательской лаборатории японской фирмы NHK занимаются, преимущественно, проблемами создания стереоскопических дисплеев высокого разрешения [23, 24].
Таким образом, вопросам разработки автостереоскопических дисплеев за рубежом уделяется пристальное внимание. При этом, однако, в открытой печати, докладах и на конференциях излагаются лишь общие принципы, в то время как вопросы технической реализации, методики и алгоритмы расчетов рассматриваются исключительно в пределах исследовательских лабораторий разработчиков.
Учитывая вышесказанное, можно сделать вывод о необходимости решения основных проблем, возникающих в процессе разработки растрового стереоскопического монитора на основе матричного дисплея.
Цель и задачи работы
Целью настоящей диссертационной работы является исследование и разработка методов построения растрового стереоскопического монитора на основе матричного дисплея. Для достижения поставленной цели в диссертационной работе решаются следующие основные задачи:
Основные положения, выносимые на защиту:
Научная новизна и новые полученные результаты
1. Разработана оригинальная методика определения параметров линзового растра, основанная на принципе обратимости распространения света и определении сепарационных свойств любой области растра за счет исследования траектории преломляемых лучей в пространстве. При таком подходе автоматически учитываются все виды аберраций, а также тот факт, что большинство лучей, падающих на цилиндрическую линзу, не лежат в горизонтальной плоскости сечения растра.
Описанные в опубликованных ранее работах методы расчета параметров линзовых растров просветных экранов опираются на так называемую оптику Гаусса для параксиальных пучков, не учитывают боковое смещение луча и аберрации линз и потому неприменимы в случае использования растра совместно с матричным дисплеем.
Использование упрощенных геометрических построений из оптики Гаусса, описанных в опубликованных ранее работах, не позволяет вычислить коэффициент сепарации и, следовательно, определить сепарационные функции и допуски на параметры растра.
6. Предлагается использовать адаптивную предварительную фильтрацию изображений, при которой функция профиля фильтра изменяется динамически в зависимости от спектрального состава обрабатываемого изображения. Функции профилей фильтров для изображений с различной структурой (различным спектральным составом) определены в работе экспериментально. Описаний подобных предложений в опубликованных ранее работах не встречается.
Практическая значимость работы
Разработанная методика расчета параметров растра и написанная на ее основе программа «Lenticular Screen» могут применяться в следующих случаях: при создании линзовых растров для матричных дисплеев, при формировании кодированных изображений под заданный линзовый растр в стереофотографии, для исследования сепарационных свойств линзовых растров при смещении наблюдателя, изменении любых параметров растра или матричного дисплея, а также для изучения траекторий световых лучей, преломляемых плосковыпуклой линзой.
Программа «Lenticular Screen» зарегистрирована в ФИПС (свидетельство №2007614180), была отмечена грамотой на конкурсе «Опто 2004» и получила положительные отзывы при ее демонстрации на семинаре «Optical and Image Processing Technologies for Advanced TV and Displays» в исследовательском центре «Samsung Electronics» в Москве в 2007 году.
Результаты исследований диаграмм направленности излучения ячеек жидкокристаллических дисплеев с матрицами типа «TN+Film» могут использоваться в образовательном процессе высших учебных заведений, при написании учебников и учебных пособий.
Результаты исследований влияния профиля фильтра на качество формируемого изображения и предложенные алгоритмы фильтрации, реализованные в программе «Line Image», могут использоваться при формировании кодированного изображения в линзорастровых автостереоскопических экранах и в растровой стереофотографии.
Разработанные автором программы «Lenticular Screen» и «Line Image» внедрены в учебный процесс Невинномысского политехнического института и СПбГУТ, а также применяются для различных исследований в компании «Самсунг электронике» и в лабораториях научно-исследовательского кинофотоинститута (ОАО «НИКФИ»), что подтверждено1 соответствующими актами внедрения.
Апробации работы и публикации
Основные результаты работы докладывались на 12-й, 13-й и. 16-й всероссийской научно-технической конференции «Современное телевидение» в Москве в 2004, 2005 и 2008 гг.; на 60-й, 61-й, 62-й и 63-й научно-технической конференции, посвященной Дню Радио, (СПбГЭТУ «ЛЭТИ») в 2005, 2006, 2007 и 2008 гг.; на 4-й, 5-й и 6-й международной конференции «Телевидение: передача и обработка изображений» (СПбГЭТУ «ЛЭТИ») в 2005, 2007 и 2008 гг.; конференции Санкт-Петербургской секции IEEE «Radio — that connects Time. 110 Anniversary of Radio Invention» в 2005 году; семинаре «Optical an image processing technologies for advanced TV and displays» в исследовательском центре фирмы Samsung в Москве в 2007 г., а также на 56-й, 57-й, 60-й и 61-й научно-технической конференции* профессорско-преподавательского состава, научных сотрудников и аспирантов СПбГУТ в 2004, 2005, 2008 и 2009 гг.
Всего было выполнено 19 докладов, материалы 14 из которых опубликованы.
Материалы, отражающие основное содержание и результаты диссертационной работы, опубликованы в виде статей в «Трудах учебных заведений связи» (СПбГУТ), «Изв. вузов России. Радиоэлектроника» (СПбГЭТУ «ЛЭТИ») и различных отраслевых журналах — всего в 9 работах, в том числе в 5 (пяти) изданиях из перечня, рекомендуемого ВАК.
Вклад автора в разработку проблемы
Соискателем представлена к рассмотрению разработанная методика расчета параметров линзового растра, произведена оценка сепарационных свойств линзового растра; определены требования к матричному дисплею; используемому совместно с линзовым растром, предложен алгоритм адаптивной фильтрации при формировании кодированного изображения. Основные научные результаты и выводы, содержащиеся в диссертации, получены автором самостоятельно.
Структура диссертации и краткое содержание ее глав
Диссертация состоит из введения, четырех глав, заключения и списка литературы, включающего 84 наименования. Работа содержит 181 страницу машинописного текста, 101 рисунок и 13 таблиц.
Во введении обоснована актуальность темы, указана научная новизна исследований, сформулированы цели и задачи работы, приведена общая структура диссертации.
В первой главе описаны принципы построения многоракурсных телевизионных^ систем и основные особенности, растрового способа воспроизведения стереоскопических изображений. Рассматривается возможность применения' матричных дисплеев для формирования кодированного изображения.
Вторая глава диссертации посвящена разработке модели расчета параметров линзового растра, применяемого совместно с матричным дисплеем, а также исследованию качества многоракурсного изображения. Приведено краткое описание компьютерной программы Lenticular Screen, основанной на разработанной методике и используемой в качестве инструмента для расчета параметров растра и анализа его сепарационных свойств. Произведен точный расчет параметров линзового растра для типичного матричного дисплея.
Третья глава диссертации посвящена исследованию влияния параметров матричного дисплея на качество многоракурсного изображения. Приводится краткое описание разработанной программы Line Image, предназначенной для создания кодированного изображения, предварительной фильтрации исходных изображений и оценки ее эффективности. Получены аналитические выражения двумерной частотной функции фильтра для различных вариантов построения стереоскопических мониторов.
В четвертой главе производится экспериментальная оценка сепарационных свойств линзового растра, а также экспериментальное определение профиля антиэлайзингового фильтра для изображений с различной структурой (спектральным составом).
1. ВОСПРОИЗВЕДЕНИЕ МНОГОРАКУРСНОГО
ТЕЛЕВИЗИОННОГО ИЗОБРАЖЕНИЯ РАСТРОВЫМ СПОСОБОМ
1.1. Предварительные замечания
Под многоракурсным телевизионным изображением мы будем понимать такое изображение, которое содержит в себе информацию более чем об одном ракурсе одного и того же объекта. При этом, в зависимости от количества ракурсов и особенностей восприятия их изображений наблюдателем, возможно применение следующих терминов. Стереоскопическое изображение — это такое многоракурсное изображение, которое содержит в себе информацию о двух ракурсах объекта, и при смещении положения наблюдателя по горизонтали исключена возможность просмотра изображения одного ракурса сразу двумя глазами. Многостереопарное изображение — это такое многоракурсное изображение, которое содержит в себе информацию более чем о двух ракурсах объекта, и при смещении положения наблюдателя по горизонтали исключена возможность просмотра изображения одного ракурса сразу двумя глазами. Необходимо отметить, что количество стереопар, которые может наблюдать зритель, зависит не только от количества воспроизводимых ракурсов, но и от особенностей их восприятия в пространстве. Например, рассмотрим многостереопарное изображение, состоящее из шести ракурсов. Если ширина зон видения отдельных ракурсов удовлетворяет условию >0/2 зв < Ь0, (/зв— ширина зоны видения, Ь0 — глазной базис), то наблюдатель при смещении видит изображения соседних ракурсов: 1-2, 2-3 и т.д. — всего пять стереопар. Если ширина зон видения отдельных ракурсов удовлетворяет условию b0/4 зв <Ь0/3, то наблюдатель видит при смещении комбинации
изображений 1-4, 2-5, 3-6, т. е. всего три ракурса.
Стереоскопические и многостереопарные изображения могут создавать ощущение «трехмерности» и объема, поэтому к ним применимы термины объемное или 3D (3-Dimensional) изображение.
1.2. Принцип построения многоракурсных телевизионных систем
Похожие диссертации на Исследование и разработка методов построения растрового стереоскопического монитора на основе матричного дисплея
