Содержание к диссертации
Введение
Глава 1. Анализ подсистемы видеотрансляций, как элемента глобальной сети передачи данных 19
1.1 Основные величины, описывающие передачу видео в компьютерных сетях 19
1.2 Особенности передачи цифрового видео в беспроводных сетях 23
1.3 Поиск путей повышения качества принимаемого видео 25
1.4 Формулировка задач исследования 28
Глава 2. Системный анализ процесса передачи видео по беспроводным сетям 31
2.1 Основные этапы передачи видео по сети 31
2.2 Эффект нарушения порядка следования пакетов 38
2.3 Расчет длительности деджитерного буфера 44
2.4 Зависимость качества видео от характеристик сети 48
2.5 Выбор оптимальной скорости потока видеотрансляции 51
2.6 Выводы к главе 2 54
Глава 3. Экспериментальная проверка результатов системного анализа процесса передачи 55
3.1 Цели и задачи экспериментального исследования 55
3.2 Обоснование выбора метода оценки качества видео 57
3.3 Схемы экспериментов в беспроводных сетях 75
3.4 Методика анализа полученных данных 79
3.5 Расчет коэффициентов линейного приближения 86
3.6 Качественные характеристики беспроводных сетей 88
3.7 Выводыкглавез 90
Глава 4. Дублирование ключевых кадров 91
4.1 Пути улучшения качества передаваемого видео з
4.2 Алгоритм улучшения качества передаваемого видео 94
4.3 Идентификация ключевых кадров в rtp видеопотоке 98
4 .4 Оценка эффективности процесса дублирования пакетов 103
4.5 Результаты эксперимента по дублированию пакетов 104
4.6 Область применения исследований 107
Выводы к главе 4 109
Заключение 111
Список использованных источников 1
- Особенности передачи цифрового видео в беспроводных сетях
- Формулировка задач исследования
- Расчет длительности деджитерного буфера
- Расчет коэффициентов линейного приближения
Введение к работе
Актуальность темы
Технологии передачи видео в IP сетях используются более 20 лет, но, тем не менее, существует ряд проблем, особенно в беспроводных сетях, препятствующих повсеместному использованию подобных сервисов. Согласно данным Cisco Visual Networking Index ежегодный прирост Интернет трафика на беспроводных устройствах составляет более 250%. К 2013 году его объем увеличится в 66 раз по сравнению с 2008 годом и составит 5,4% от всего IP-трафика в Интернет. К 2013 году различный видео контент будет составлять 64% всей информации, переданной на беспроводные сети в мире.
Отсутствие проводов и привязки к конкретному месту делают мобильный Интернет популярным и удобным. Технологически каналы Интернет доступа в беспроводных сетях позволяют пользоваться большинством сервисов. Но мобильность накладывает свои ограничения в первую очередь на сервисы последнего поколения, такие как приложения реального времени, мультимедиа, Интернет телевещание и т.д. Их внедрение ограничивается качественными параметрами беспроводных сетей: значительным процентом потерь пакетов и большими значениями сетевого джиггера (вариации задержки пакетов). Эти сети малопригодны для передачи данных в режиме реального времени, так как мультимедийный трафик чрезвычайно чувствителен к подобным искажениям. Пакеты потокового видео теряются при передаче по сети, изменяют порядок следования и т.д. На получаемом видеоизображении появляются множественные искажения, происходит рассинхронизация потока, что приводит к искажениям изображения, а иногда и к полной остановке воспроизведения видео.
Анализ системных связей процесса передачи видео (см. рисунок 1) позволяет выявить три фактора, влияющих на итоговое качество видеоизображения: фактор оборудования, фактор сети и фактор восприятия. Множество исследователей, среди которых Z. Wang, М.Н. Pinson, S. Wolf, А.В. Watson, Д.С. Ватолин, работают над методами оценки качества видеоизображения (фактор восприятия). М. Claypool, Р. Calyam, В.В. Прохоров, изучали влияние характеристик сети передачи данных, на качество видео на приемной стороне (т.е связь сетевого фактора и фактора восприятия). W. Tan, A. Zakhor, G. De Los Reyes, J. Robinson и другие в начале века вносили свои предложения в области повышения качества передаваемого видео с помощью избыточности и особых методов распространения видео трафика по сети (влияние сетевого фактора на фактор восприятия). Многие из этих методов в настоящее время уже являются стандартами.
В предшествующих работах не исследовалось одновременное влияние всех трех факторов, как и не была выявлена численная зависимость между различными
I 1) фактор оборудования I
параметрами, описывающими каждый из системных компонентов (см. рисунок 1). Такая задача в настоящее время крайне востребована. К примеру, поставщикам IPTV необходимо прогнозировать качество видео на стороне клиента, чтобы избежать негативных отзывов клиента и отказа от услуг. Делать это с помощью видео анализаторов очень трудоемко и дорого, но можно судить о качестве видео изображения, зная характеристики сети в момент передачи и параметры кодирования.
3) фактор восприятия I
I Видеокамера
2) сетевой фактор ((?))
Пользователь
Сервер цифровых видео потоков
Персональный компьютер
Беспроводная точка доступа
Непрерывный дискретный Кодирование Отправка пакетов Передача Приём пакетов Деджиттерный " Декоди- Отображение
видеоряд видеоряд видео с видео по сети с видео буфер рование
Основные переменные для каждого фактора:
I I.W.B I p,j,D I Qu^.Qmos і
ill і
Рисунок 1 - Системные связи, влияющие на качество передачи видео.
На рисунке 1 показаны основные переменные, влияющие на качество связи: W -размер RTP (Real-time Transport Protocol, транспортный протокол реального времени) пакета, Б; I - межпакетный интервал, с; р - процент потери пакетов при прохождении по сети, %; j - сетевой джиггер, с; D - задержка пакетов при прохождении по сети, с; В - пропускная способность канала, Мбит/с; Qmos -качество видео на приёмной стороне с точки зрения человеческого восприятия, баллы от нуля до пяти; Q^eai - максимальное качество видео для кодека, баллы от нуля до пяти.
В данной работе процесс передачи видео по беспроводной сети исследуется с учетом трех основных факторов: оборудования, сети и восприятия. Это даёт возможность сказать, какая беспроводная сеть лучше или хуже подходит для передачи потокового видео. В работе предлагаются методы повышения качества видео при передаче по беспроводным сетям, реализованные на основе системного анализа трёх факторов: оборудования, сети и восприятия.
Результаты исследования соответствуют следующим пунктам паспорта научной специальности 05.13.01 - Системный анализ, управление и обработка информации (технические системы и связь):
пункту 2 - «Формализация и постановка задач системного анализа, оптимизации, управления, принятия решений и обработки информации», а именно:
Разработан метод расчёта критерия оценки качества передачи видеопотоков по беспроводным сетям, учитывающий параметры кодирования и сетевые характеристики.
Предложен метод дублирования ключевых кадров для повышения качества передачи видео по беспроводным сетям и соответствующий алгоритм дублирования пакетов.
пункту 4 - «Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации», а именно:
Разработан метод и соответствующий алгоритм определения пакетов, несущих информацию ключевых кадров в видеопотоках, закодированных кодеками MPEG-2, MPEG-4 и WMV9.
пункту 5 - «Разработка специального математического и программного обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации», а именно:
Разработано специализированное программное обеспечение (утилита), позволяющее, исходя из параметров оборудования и характеристик беспроводной сети в момент передачи данных, принимать решение о применении управления передачей информации в виде метода дублирования ключевых кадров.
Объект исследования - система видеотрансляций по беспроводным сетям.
Предмет исследования - процесс передачи видео по беспроводным сетям.
Целью работы является разработка алгоритмов обработки информации для повышения качества передачи видео в системах видеотрансляций по беспроводным сетям.
Для достижения поставленной цели в диссертационной работе решаются следующие задачи:
-
Исследование связей в системе передачи видео через беспроводные сети и выделение влияющих факторов и переменных.
-
Формирование критерия оценки качества передачи видеоизображения с учётом ограничений системы параметрами кодирования и сетевыми характеристиками.
-
Сбор информации о значимых переменных с помощью экспериментального исследования процесса передачи видео по беспроводным сетям.
-
Разработка алгоритмов повышения качества передачи видео и программного комплекса, реализующего указанные алгоритмы.
-
Оценка эффективности применяемых алгоритмов с помощью экспериментального исследования.
Методы исследования
В диссертационной работе для разработки критерия оценки качества передачи видео, сравнения сетей и проверки метода дублирования ключевых кадров используются экспериментальные методы исследования. Для нахождения вероятности переупорядочивания пакетов в сети используются методы теории вероятностей и математической статистики. Для оценки качества видео используются стандарты международного союза электросвязи (ITU-R ВТ.500-13).
Основные положения диссертации, выносимые на защиту:
-
Метод расчёта критерия оценки качества передачи видео потоков по беспроводным сетям, учитывающий параметры кодирования и сетевые характеристики.
-
Метод дублирования ключевых кадров для повышения качества передачи видео по беспроводным сетям и соответствующий алгоритм дублирования пакетов.
-
Метод и алгоритм определения пакетов, несущих информацию ключевых кадров в видеопотоках, закодированных кодеками MPEG-2, MPEG-4 и WMV9.
Научная новизна работы
В диссертации получены следующие научные результаты:
-
Предложен новый метод расчёта критерия оценки качества передачи видеопотоков по беспроводным сетям, учитывающий параметры кодирования и сетевые характеристики.
-
Предложено использовать метод дублирования ключевых кадров для повышения качества передачи видеопотоков по беспроводным сетям.
-
Предложен новый метод определения пакетов, несущих информацию ключевых кадров в видеопотоках, закодированных кодеками MPEG-2, MPEG-4 и WMV9, а также соответствующий алгоритм и программное обеспечение.
Практическая ценность работы
Результаты, полученные в данной диссертационной работе, могут быть использованы для повышения качества вещания сервисов потокового видео в системах Интернет видеотрансляций, могут быть применены для улучшения качества передачи видеоизображения с беспилотных самолетов и спутников, а так же могут применяться провайдерами IPTV для прогнозирования качества видеоизображения на стороне пользователя.
Разработана система Интернет видеотрансляций, в которой значительно повышены характеристики устойчивости к сетевым ошибкам.
По итогам работы в СГАУ развернут комплекс Интернет телевещания, а также вещания на мониторы в корпусах университета. Неоднократно проводились прямые трансляции научных мероприятий в СГАУ, а также трансляции для компаний «Радио Самара-Максимум», «Радио Шансон-Самара», ОАО «МегаФон» и других.
Система видеотрансляций внедрена в ОАО «МегаФон», что подтверждается актом внедрения.
Апробация работы
Результаты диссертации докладывались и обсуждались на международной конференции «IEEE IFIP Wireless Days 2011» в г.Ниагара-Фолс, Онтарио, Канада; на международной конференции «IEEE International Symposium on Image/Video Communications over fixed and mobile networks 2010» в г.Рабат, Марокко; на региональной научно-практической конференция «Проблемы передачи информации в телекоммуникационных системах» (г.Волгоград, 2011); на международной конференции с элементами научной школы для молодёжи «Перспективные информационные технологии для авиации и космоса» (г.Самара, 2010); на XVII конференции представителей региональных научно-образовательных сетей «RELARN - 2010» (г.Нижний Новгород - г.Углич); на крупнейшей Европейской международной конференции в области компьютерных сетей «TERENA Networking Conference 2010» (г. Вильнюс, Литва); на XVII Всероссийской научно-методической конференции «Телематика'2010» (г. Санкт-Петербург); на Всероссийской молодёжной научной конференция с международным участием «X КОРОЛЕВСКИЕ ЧТЕНИЯ» (г.Самара, 2009); на Всероссийской научно-технической конференции «Актуальные проблемы радиоэлектроники и телекоммуникаций» (г.Самара, 2009); на XVI Всероссийской научно-методической конференции «Телематика'2009» (г. Санкт-Петербург); на XVI конференции представителей региональных научно-образовательных сетей «RELARN - 2009» (г.Москва - г.Санкт-Петербург).
Работа была поддержана грантами РФФИ 10-07-09286-моб_з и 12-07-31242-мола.
Публикации
По теме диссертации опубликованы 15 работ, четыре из которых в изданиях, рекомендованных ВАК Минобрнауки России. Две статьи на английском языке по итогам докладов сделанных на конференциях IEEE, которые индексируются Scopus (одна в WoS). На работу «Influence of Distortions of Key Frames on Video Transfer in Wireless Networks» в системе Scopus имеется одна международная ссылка (Е. Aguiar and etc., Real-time QoE prediction for multimedia applications in Wireless Mesh Networks II IEEE Consumer Communications and Networking Conference. - 2012. - P. 592-596.).
Структура и объём диссертации
Диссертация состоит из введения, четырех глав, заключения и списка литературы. Работа изложена на 120 страницах машинного текста, содержащих 56 рисунков и 16 таблиц. Список использованных источников насчитывает 76 наименований.
Особенности передачи цифрового видео в беспроводных сетях
Беспроводная компьютерная сеть представляет собой технологию, позволяющую организовать вычислительную сеть, полностью соответствующую стандартам проводных сетей, таких как Ethernet, без использования кабельной проводки между узлами сети. В качестве носителя информации в таких сетях выступают радиоволны СВЧ-диапазона.
Наиболее распространенными и вошедшими в обиход на сегодняшний день являются беспроводные компьютерные сети стандартов Wi-Fi (IEEE 802.1 la/b/g/n, как правило, используются в публичном доступе стандарты b и g), 3G (UMTS/WCDMA - повсеместно используется российскими операторами связи, CDMA200(MMT-MC, TD-CDMA/TD-SCDMA, DECT и UWC-136) и WiMAX (802.16d - фиксированный WiMAX, 802.1 бе - мобильный WiMAX). Именно они будут рассмотрены в диссертации.
Сети стандартов GPRS/EDGE не рассматриваются по причине их малой пропускной способности (теоретический максимум 171,2 кбит/с для GPRS и 474 кбит/с для EDGE, на практике же скорость доступа, как правило, колеблется от 16 до 128 кбит/с), что делает невозможным передачу видеосигнала. Bluetooth является стандартом персональной сети, радиус действия которой не превышает 10м (однако существует более мощное оборудование с улучшенными характеристиками). Разработан специально для соединения двух портативных устройств (например, двух телефонов) и из-за сферы применения не рассматривается в данной диссертационной работе.
Сети четвертого поколения (4G) LTE в данный момент не введены в повсеместную коммерческую эксплуатацию и данное оборудование труднодоступно, по этой причине данная сеть тоже не была охвачена в работе.
Существует серьезное препятствие для повседневного использования видеосервисов в беспроводных сетях - плохое качество связи. Характеристики беспроводных сетей: большой процент потерь пакетов и вариация задержки (сетевой джиттер) делают их малопригодными для передачи данных в режиме реального времени, так как мультимедийный трафик чрезвычайно чувствителен к подобным искажениям. Пакеты потокового видео теряются при передаче по сети, изменяют порядок следования из-за значительной вариации задержек пакетов. На получаемом видеоизображении появляются множественные цветные пятна, происходит рассинхронизация потока, что приводит к искажениям изображения, а иногда и к полной остановке воспроизведения видео [47][48].
Вышесказанное определяет беспроводные сети в отдельную подгруппу сетей с плохими характеристиками качества связи (потери пакетов порядка 10% и джиттер около ЗОмс), в отличие от Ethernet, ADSL и других сетей, где потери пакетов стремятся к нулю, а джиттер не превышает 4мс. Соответственно протоколы передачи и алгоритмы кодирования видео будут вести себя в таких сетях совершенно иначе, давая низкое качество видеосигнала на приемной стороне.
В связи с тем, что видеопотоки реального времени при прохождении по каналам связи искажаются, одной из важнейших задач является численное определение качества получаемого на приемной стороне видео. Существует два основных подхода к оценке качества видео Q:
Объективное сравнение - когда на ЭВМ проводится математическое сравнение оригинального кадра с полученным после передачи и по одному из алгоритмов (PSNR, Delta, MSE, MS AD, SSIM, VQM и другие) выставляется оценка.
Субъективное сравнение - метод, при котором качество видеоизображения оценивается людьми, исходя из их личного восприятия, согласно правилам проведения теста (DSIS, DSCQS, SCACJ, SAMVIQ, MSUCQE).
Как было сказано ранее в разделе 1.1, наиболее часто используются для повышения качества передаваемого по сети видео повторный запрос и буфер для упорядочивания пакетов.
Данный функционал берет на себя транспортный протокол TCP (Transmission Control Protocol, протокол управления передачей). Он перезапрашивает потерянные пакеты, устраняет дублирование, производит упорядочивание, а также осуществляет контроль размера и скорости передачи пакетов. Но при этом на работу данных алгоритмов затрачивается время, к которому очень чувствительны потоки реального времени. Пока пакет будет перезапрошен и упорядочен, он потеряет свою актуальность и станет просроченным, что вызовет ошибки в воспроизведении видео. Кроме того, для данного протокола доступны лишь одноадресное вещание и вещание между клиентами, а широковещание и групповое вещание, применяемые в IPTV к нему не применимы.
Для вещания видео в реальном времени применяется протокол RTP (Realtime Transport Protocol, Транспортный протокол реального времени), который является надстройкой над UDP (User Datagram Protocol, Протокол пользовательских дейтаграмм). В своём заголовке он несет информацию о типе кодирования, временные метки и порядковые номера пакетов. Работа по восстановлению данных после пересылки полностью ложится на принимающую программу, например, видео проигрыватель.
Видеопотоки (см. рисунок 1.5) представляют собой кадры видеопоследовательности, сжатые видеокодеком - это программа, реализующая алгоритм сжатия (уменьшения размера) видео информации для последующего восстановления сжатых данных видеодекодером.
В настоящее время подавляющее число IPTV каналов транслируется в стандарте MPEG-2, что объясняется приемлемым качеством изображения при значительном уменьшении размера передаваемой информации (примерно в 40 раз, но зависит от выбранных параметров кодирования), а также дешевизной и распространенностью оборудования, работающего с данным стандартом.
Также наблюдается постепенный переход на MPEG-4, с которым можно добиться либо повышения качества изображения при аналогичном объеме информации, либо уменьшения объема информации с сохранением уровня качества.
Стандарты Н.264 (MPEG-4 Part 10) и Windows Media Video 9 получили значительно меньшее распространение (примерно один телевизионный канал в Н.264 из ста). В основном это происходит из-за проприетарных лицензий и большим требованиям к аппаратному обеспечению. Тем не менее, в быстроразвивающемся Интернет сообществе всё чаще для трансляций используются именно эти форматы. На момент начала исследования (2009 год) трансляцию по стандарту Н.264 организовать не представлялось возможным из-за значительных (на то время) аппаратных требований и отсутствия программного обеспечения для данных целей.
Для исследования в работе были выбраны кодеки, представляющие собой три класса: устаревший, современный и кодек будущего - это MPEG-2, MPEG-4 и WMV9 соответственно.
Транспортный поток (см. рисунок 1.5) представляет собой контейнер, в который помещаются потоки видео, аудио данных, субтитры, а также информация о типе содержания, используемых кодеках, скоростях потоков, синхронизирующие метки, информация для исправления ошибок и другие произвольные свойства. Для публичных трансляций в IPTV чаще других применяется стандарт MPEGS. Для Интернет трансляций в формате WMV9 чаще применяется стандарт ASF, разработанный компанией Microsoft. Именно MPEGS и ASF будут применяться при проведении тестов в настоящей работе. Необходимо отметить, что не было выявлено существенной разницы в качестве видео на приемной стороне между этими стандартами.
Ранее в главе было отмечено, что невозможно использовать повторный запрос потерянных пакетов, как метод повышения качества видео, при трансляции в реальном времени. Это означает, что необходимо предусмотреть дублирование какой-то части (возможно, полностью) информации видеопотока, для повышения качества на приемной стороне без перезапроса.
Формулировка задач исследования
Прогрессивная развертка характеризуется тем, что передача осуществляется полными кадрами.
Чересстрочное видео приспособлено для отображения на аналоговых устройствах с электронно-лучевой трубкой. Для отображения на современных плазменных и жидкокристаллических телевизорах, а также на мониторе компьютера (даже если используется монитор с электронно-лучевой трубкой) чересстрочность видео должна быть устранена с помощью специальных алгоритмов (Bob, Yadif и др.). При этом качество видео ухудшится по сравнению с тем же видео в прогрессивном формате.
Количество кадров, которые должны быть показаны за одну секунду, называется частотой кадров Fr. Часто это значение соответствует 24, 25 и 30 кадрам в секунду. Последовательность отдельных изображений с видеокамеры (чаще всего в формате DV - Digital Video) кодируется одним из цифровых кодеков (MPEG-2, MPEG-4 или WMV) в сжатый видеопоток и разбивается на пакеты для передачи по сети. Качество сжатого видео Qlcieai как правило хуже исходного и обычно колеблется от 4 до 4,7 балла по шкале MOS(ccbuiKy на 1 главу). Для несжатого видео с хорошей камеры это значение равно 5 баллов по шкале MOS.
Используемым оборудованием и его настройками определяются межпакетный интервал {/„} и размер пакета {Wn}. Как правило, размер пакета {Wn} является фиксированной величиной для всех пакетов видеопотока. Пакет может быть, как полностью заполнен видеоданными, метками синхронизации времени и служебной информацией, так и содержать "бесполезные данные". Это сделано для равномерности нагрузки на сеть передачи данных, чтобы исключить пики активности и неактивности и минимизировать межпакетный джиттер. Qideal- качество видео без воздействия потерь пакетов р и сетевого джиггера ; , QNOS- качество видео на приемной стороне с точки зрения человеческого восприятия. Ухудшение качества видео после передачи по сети: AQMOS= Qideal- QMOS Рисунок 2.5 - Декомпозиция фактора восприятия.
Для устранения искажений, вызванных неравномерностью доставки пакетов (джиттером), на приёмной стороне применяется алгоритм буферизации. В течение некоего периода времени пакеты накапливаются, и восстанавливается порядок их следования. Затем происходит декодирование полученной последовательности пакетов в кадры несжатого видео.
В исследованиях, которые проводились ранее, учитывались только два фактора из указанного списка. В работе [20] качество видео конференций анализировалось по шкале MOS (Mean Opinion Score). Качество принимаемого видео сравнивалось с показателями качества сетевого соединения.
На рисунке 2.7 представлена система оценки аудиовизуального качества GAP, описанная в работе [20]. Согласно этой работе, существующая пятибалльная система оценок MOS не удобна для проведения экспертной оценки (визуальной оценки группой людей). Например, пользователю трудно определить - 4,3 балла поставить видеофрагменту или 3,6. Чаще для этих целей служит психовизуальная шкала R, по которой эксперт должен указать степень своей удовлетворенности от качества видео в процентах. Но в работе также указано, что для эксперта удобней всего руководствоваться понятиями "хорошо", "приемлемо" и "плохо" в отношении качества видео. Соотношение всех трех шкал приведено на рисунке 2.7.
В диссертации ищется связь качества принимаемого видеоизображения по шкале MOS с характеристиками сети в момент передачи видео. При этом учитываются различные кодеки (фактор оборудования). Учитываются все характеристики сети передачи данных, которые влияют на качество получаемого видео (сетевой фактор). Анализируется исходное и полученное видеоизображения с точки зрения восприятия человека (фактор восприятия), то есть в работе анализируется взаимосвязь всех трех факторов.
На первом этапе сервер цифровых видеопотоков формирует RTP пакеты из обработанных кодеками аудио и видео данных и отправляет их через сеть Интернет на беспроводную точку доступа. На этом этапе на видеопоток накладываются задержка пакетов от 30 до 150мс, сетевой джиттер от 5 до Юме и потери пакетов около 0,1%. Эти характеристики в каждом конкретном случае различны и зависят от удаленности сегментов сети друг от друга, от загруженности каналов и других факторов. Приведенные значения являются усредненными и могут выходить за указанные границы. Например, значения параметров будут меньше (качество сети лучше) в случае нахождения начального и конечного сегментов сети территориально в одном городе, при этом передача данных не будет осуществляться по междугородним магистралям. Значения параметров будут больше (качество сети хуже) в часы максимальной загрузки каналов связи или во время аварий. В целом характеристики сети на данном этапе согласно работе [20] являются приемлемыми для передачи видео в реальном времени с хорошим качеством.
На втором этапе RTP пакеты, пришедшие на точку доступа, передаются по беспроводной сети на компьютер, где это видео воспроизводится. Вследствие конкурирующего трафика, коллизий в сети Ethernet, а также радиопомех при беспроводной передаче сетевой джиттер достигает значений в диапазоне от 20 до 50мс, при этом потери пакетов могут достигать 10%, а задержки пакетов в некоторых случаях - более ЗООмс. Согласно работе [20] такие характеристики сети малопригодны для передачи видео реального времени.
Расчет длительности деджитерного буфера
Рисунок 3.8- Анализ изображений 3.1 согласно метрике MSSSIM. Метрика 3-Component SSIM [49] (3SSIM, оценка изображений с учетом структурного сходства с учетом трех дополнительных факторов) - изображение делится на области текстур, краёв и ровных участков, для каждой из которых вычисляется SSIM, а затем общий индекс. То есть метрика учитывает, что человек воспринимает разницу в качестве на резких участках изображения значительно сильнее, чем на ровных. На рисунке 3.9 показана разница между изображениями на рисунках 3.1а и 3.16 с использованием метрики 3SSIM. Чем светлее область, тем больше она отличается в обработанном кодеком видеофайле. При этом синий цвет обозначает ровные участки, зеленый - края, а красный - области текстур.
Анализ изображений 3.1 согласно метрике 3SSIM. Ещё одной метрикой оценки качества видео является VQM [50] (Video Quality Evaluation, оценка качества видео). Она основана на модифицированном дискретном косинусном преобразовании с заранее заданными коэффициентами. Метрика базируется на предложениях А.Б. Уотсона [13][12] [14] по учету свойств зрительного восприятия человека. На рисунке 1.14 показана разница между изображениями на рисунках 3.1а и 3.16 с использованием метрики VQM. Чем светлее область, тем больше она отличается в обработанном кодеком видеофайле.
Анализ изображений 3.1 согласно метрике VQM. Также существуют метрики, оценивающие не численные различия изображений и не восприятие с точки зрения человека, а их качественные характеристики, такие как четкость и блочность. Это бывает полезно, так как известно, что многие алгоритмы кодирования, в частности MPEG, при малом битрейте потока "замыливают" изображение и на нем появляются многочисленные квадратные блоки с явно видными границами цвета. К примеру, на рисунке 3.11 показана разница между изображениями на рисунках 3.1а и 3.16 с использованием метрики MSU Blurring [18]. Красным цветом обозначены области, где исходное изображение чётче обработанного кодеком, а зеленым цветом, где обработанное изображение чётче исходного. Как видно из рисунка 1.15 с помощью этой метрики сложно сказать, насколько ухудшилось качество изображения. В отличие от других метрик MSU Blocking [18] оценивает визуальную блочность одного изображения, а не сравнивает между собой два изображения, на рисунке 3.12а показана визуальная блочность изображения 3.1а, а на 3.126 блочность изображения 3.16 с использованием метрики MSU Blocking [18]. Чем ярче область, тем более заметна блочность на изображении. а) блочность исходного изображения б) блочность обработанного кодеком изображения Рисунок 3.12 - Анализ изображений 3.1 согласно метрике MSU Blocking.
По рисунку 3.12 можно визуально увидеть, что блочность изображения, обработанного кодеком значительно больше, чем у исходного изображения. Кроме того метрика позволяет сравнить блочность обоих изображений численно.
Чтобы понять, чем же плохи простые метрики наподобие MSE, PSNR и чем хороши более сложные, учитывающие большее количество параметров метрики SSIM, MSSSIM, 3SSIM и VQM, необходимо рассмотреть пример [4] на рисунке 3.13. В каждой строке приведены изображения с почти одинаковыми значениями MSE. Чем ниже строка, тем сильнее уровень шума и больше значение MSE. Шум различается по столбцам. Фактически в качестве шума было использовано наложение текстуры. Слева направо размер этой текстуры увеличивается. В левой колонке очень частые мелкие искажения размером всего 1-2 пикселя, а в правой колонке самые крупные искажения, которые представляют собой несколько ярких и тёмных пятен. MSE
Визуально по рисунку 3.13 можно сказать, что в каждой строке кроме первой находятся изображения с разным качеством. И чем ниже ряд, тем заметнее становится это различие. В каждом столбце выделены изображения с примерно одинаковым качеством с точки зрения восприятия человеком. В таблицы 3.1-5 сведены численные значения метрик MSE, SSIM, 3SSIM, MSSSIM и VQM. В каждой таблице выделена строка, соответствующая выделенному на рисунке 3.13 изображению.
Из таблиц 3.1-5 видно, что метрика MSE в большинстве случаев не соответствует восприятию человека. Метрики SSIM, 3SSIM и MSSSIM показывают одинаковые значения на всех выделенных изображениях, что является хорошим результатом соответствия восприятию человека. Но показания данных метрик нелинейны и лишь показывают, какое изображение имеет больше искажений, а какое меньше. Указанная информация не даёт представления о том, как будет восприниматься видеоизображение человеком, так как одни значения метрики будут соответствовать разному восприятию качества человеком. Кроме того, человек воспринимает видеофрагмент целиком, как совокупность кадров, а метрика позволяет оценить каждый кадр в отдельности, но не даёт представления о том, как воспринимается видеофрагмент целиком. В примере метрика VQM показала большое отклонение, что является плохим результатом.
При передаче по сети с плохими характеристиками качества видеопоток сильно искажается, кадры теряются и на изображении появляются цветные пятна, может появиться "дрожание" и изменение порядка следования кадров. Всё это приводит к тому, что оригинальное и полученное видеоизображения не совпадают покадрово (чаще в полученном видео меньше кадров). Таким образом сравнить кадр исходного видео именно с тем же кадром после передачи в полученном виде становится нетривиальной задачей, подчас крайне трудно выполнимой на ЭВМ. Поэтому в рассматриваемом в данной работе случае объективное сравнение будет применяться только для вычисления Qideai, а также для уточнения показаний экспертов в тех случаях, где это возможно. В качестве метрики будет использоваться SSIM, как наиболее соответствующая человеческому восприятию [17]. Качество метрики MSSSIM сильно зависит от выбранного видеоматериала, а метрика 3SSIM показывает схожие с SSIM характеристики при значительном увеличении количества вычислительной нагрузки.
Идея субъективного тестирования (Mean Opinion Score - MOS) состоит в том, что сжатое видео передается через сеть Интернет и беспроводную сеть стандартов Wi-Fi, 3G или WiMAX. Полученное после передачи видео, демонстрируется группе экспертов, которые выставляют оценки (от единицы — при плохом качестве, до пяти - при хорошем качестве), основываясь на своих впечатлениях от качества.
В рекомендациях ITU [51] подробно описаны общие принципы проведения субъективных оценок. Они включают информацию по настройке, яркости, контрастности, разрешения и размера монитора, информацию по цветности фона и яркости источников света, а также многие другие параметры. Приведены рекомендации по выбору тестовых материалов.
В начале каждого испытания, экспертам разъясняются правила проведения тестов. Затем выдается тренировочная видеопоследовательность, отличная от рабочей. Эксперты должны понять алгоритм, а также, соотношение визуального качества определенной оценке. Продолжительность одного сеанса просмотра не должна превышать получаса. В начале следующего сеанса тренировочная демонстрация повторяется. ITU-R ВТ.500-13 [51] предлагает два основных метода проведения оценок: DSIS и DSCQS.
DSIS (Double Stimulus Impairment Scale) - метод с двумя источниками воздействия с использованием шкалы искажений. Эксперту показывают сначала исходное видео, а затем видео с искажениями, а затем просят оценить искаженное видео относительно оригинала.
Расчет коэффициентов линейного приближения
Для отбрасывания пакетов на приемной стороне утилита анализирует адрес источника в поле 4 и идентификатор пакета в поле 2. В случае если пакет с аналогичным адресом и идентификатором уже пришел ранее, значит, анализируемый пакет отбрасывается, так как является дубликатом. Процедура отбрасывания дублирующих пакетов не зависит от видео кодека, которым закодировано видео в этих пакетах.
Для оценки объема, занимаемого ключевыми кадрами в видеопотоке, воспользуемся программой VirtualDub. Она умеет подсчитывать объем, занимаемый ключевыми и референсными кадрами в видео файлах, как это показано на рисунке 4.10. В данном случае открыт один из файлов, используемый для передачи по сети в экспериментах диссертации. Он закодирован кодеком MPEG-4. Пунктирной линией выделены подсчеты программы: 253 Кбайт -суммарный размер всех ключевых кадров в файле, 3466 Кбайт - суммарный размер всех референсных (неключевых) кадров. То есть ключевые кадры занимают примерно 7% трафика видеопотока.
Дальнейший анализ экспериментального видео, закодированного кодеками MPEG-2 и WMV9, также выявил соотношение ключевых кадров в видеопотоке в 7%.
В процессе исследования, уже с помощью разработанной утилиты, так же был проанализирован процент ключевых кадров в реальном видеопотоке. В итоге при трансляции видео по сети ключевые кадры занимают 7% от всего трафика видеопотока, что подтверждает результаты, полученные ранее с помощью VirtualDub.
Кроме видео файлов, которые использовались в тестах, были проанализированы различные другие случайные файлы из сети Интернет (см. таблицу 4.1). Файлы хорошего качества, подобные тем, что используются в данной работе, имеют также 7% ключевых кадров. В файлах очень хорошего качества, видео высокого разрешения (Full High Defenition Video), DVD9 видео, ключевые кадры могут занимать 10-20% от общего размера всех кадров. Но чаще в сети Интернет распространены видео файлы для обычных CD дисков, а также потоковое видео "ЗбОр" (то есть 360 строк в прогрессивной развертке). В таком видео объем ключевых кадров составляет всего 1-4%.
Для проверки гипотезы о том, что дублирование ключевого кадра приведет к значительному улучшению качества видео, была проведена серия экспериментов, план которых приведен на рисунке 4.11. Утилита, описанная в предыдущем разделе, позволяет дублировать кадры на передающей стороне и отбрасывать их на приемной стороне. Данное программное обеспечение было установлено как на сервере, так и на клиенте в беспроводной локальной сети стандарта Wi-Fi (IEEE 802.1 lg). Указанный стандарт был выбран для проведения эксперимента в связи с широкой доступностью оборудования, поддерживающего этот стандарт.
Каждый фрагмент видео, закодированный кодеком MPEG-2, MPEG-4 (DivX) или WMV9, передавался через локальную сеть трижды: первый раз без дублирования пакетов, второй раз с дублированием только пакетов содержащих информацию ключевых кадров, третий раз с дублированием всех пакетов. На приемной стороне дублирующие кадры отбрасывались, а видео записывалось и затем анализировалось его качество по шкале MOS, как это было описано ранее в разделе 3.3.
Следует отметить, что редакции VideoLan VLC, начиная с января 2011 года, самостоятельно отбрасывают дублирующие пакеты. При получении RTP пакета с порядковым номером N, автоматически будут отбрасываться все последующие пакеты с порядковыми номерами меньше N, пришедшие с того же IP адреса. Нарушение порядка следования пакетов, обусловленное сетевым джиттером, приводит к потере всех неупорядоченных RTP пакетов. Поэтому разработанная утилита отбрасывает только те пакеты, номера которых совпадают с полученными ранее, не обращая внимания, является ли номер пришедшего пакета больше номера предыдущего пакета.
В результате проведения эксперимента, описанного в разделе 4.4, на приемной стороне были записаны видеофайлы после передачи видео по сети в трех режимах: без дублирования пакетов, с дублированием пакетов содержащих информацию ключевых кадров и с дублированием всех пакетов. Затем по методике, описанной в разделе 3.3, для полученных файлов было найдено среднеарифметическое значение MOS и проведено сравнение с оригинальным не поврежденным видео. Данные по ухудшению качества видео д2 в беспроводной сети Wi-Fi для различных вариантов дублирования приведены в таблице 4.2.
Дублирование ключевых кадров увеличивает объем передаваемой информации приблизительно на 7%, а качество связи улучшается почти в 3 раза (по данным эксперимента на сети Wi-Fi). Низкие показатели качества, полученного при дублировании всех кадров видео, объясняются увеличением объема передаваемой информации в два раза. Чем больше скорость потока, тем больше процент потерь пакетов, причем зависимость не линейна, а процент потерь пакетов растет опережающими темпами при росте средней загрузки сети. Кроме того, эффект нарушения порядка следования пакетов также усиливается при уменьшении межпакетного интервала видеопотока.
Результаты экспериментов во второй главе, а также универсальность метода повышения качества видео, позволяют предполагать, что аналогичные сети Wi-Fi результаты будут достигаться в сетях 3G и WiMAX. Эксперименты на указанных сетях не проводились в связи с тем, что трудоёмкость организации эксперимента и последующего анализа полученных данных, а так же стоимость и сложность получения необходимого оборудования не оправдывают возможный получаемый результат. Тем не менее, проведённые минимальные эксперименты, без сбора статистики, а лишь с визуальным наблюдением показали, что на сетях 3G и WiMAX наблюдается улучшение качества передачи видео при использовании дублирования ключевых кадров.
Похожие диссертации на Разработка алгоритмов обработки информации в системах видеотрансляций по беспроводным сетям
