Содержание к диссертации
Введение
Глава 1. Состояние проблемы передачи потоковых сервисов в широкополосных системах беспроводного доступа. постановка задачи исследования 11
1.1 Характеристика потокового видео 11
1.1.1 Понятие потокового трафика 11
1.1.2 Характеристика стандарта кодирования видео Н.264 14
1.2 Трансляция потокового видео по сетям широкополосного беспроводного доступа 18
1.2.1 Эволюция сетей широкополосного беспроводного доступа 18
1.2.2 Основные протоколы передачи потокового видео 20
1.2.3 Инкапсуляция Н.264 в ЯТР пакеты 22
1.2.4 Особенности трансляции потокового видео по сетям широкополосного беспроводного доступа 23
1.3 Модели ошибок в сетях широкополосного беспроводного доступа 26
1.4 Оценка качества потокового видео 30
1.4.1 Методы субъективной оценки 31
1.4.2 Методы объективной оценки 32
1.4.3 Метрики и показатели оценки качества изображений 34
1.4.4 Методика оценки качества 35
1.5 Постановка задачи исследования 36
Глава 2. Разработка программного обеспечения для оценки качества потокового видео в системах широкополосного беспроводного доступа 38
2.1 Разработка программно-аппаратного комплекса для оценки качества потокового видео 38
2.1.1 Структура комплекса для оценки качества потокового видео 40
2.1.2 Представление исходных файлов и формат видео 41
2.1.3 Функциональные модули ПАК 42
2.1.4 Оценка качества видео 52
2.2 Исследование систем широкополосного беспроводного доступа для передачи потокового видео с помощью ПО N8-2 59
2.3 Исследование помехоустойчивости широкополосных систем беспроводного доступа с помощью ПО МаЙаЬ 62
2.4 Выводы по главе 2 75
Глава 3. Исследование влияния помехоустойчивости на качество потокового видео стандарта н.264/аус при передаче в системах широкополосного беспроводного доступа 77
3.1 Экспериментальные исследования качества видео стандарта Н.264/АУС при передаче по широкополосной сети беспроводного доступа с помощью ПАК 77
3.2 Влияние битовых ошибок на визуальное качество потокового видео 82
3.3 Влияние пакетных ошибок на визуальное качество потокового видео 86
3.4 Влияние длины группы ошибок на качество потокового видео 89
3.5 Исследование пакетирования ошибок в каналах широкополосного беспроводного доступа на качество передачи потокового видео 93
3.5.1 Разработка марковской модели пакетирования ошибок в каналах широкополосного беспроводного доступа при передаче потокового видео.94
3.5.2 Результат имитационного моделирования пакетирования ошибок с помощью марковской модели 103
3.6 Выводы по главе 3 108
Глава 4. Разработка рекомендаций по улучшению качества оценки потокового видео 111
4.1 Разработка аналитической модели распространения ошибки 111
4.2 Влияние пространственно-временных характеристик на визуальное качество потокового видео 117
4.3 Оценка качества видеопотока в условиях рассинхронизации 131
4.4 Выводы по главе 4 147
Заключение 149
Список литературы 151
Список сокращений 161
Приложение 1 164
- Трансляция потокового видео по сетям широкополосного беспроводного доступа
- Исследование систем широкополосного беспроводного доступа для передачи потокового видео с помощью ПО N8-2
- Влияние битовых ошибок на визуальное качество потокового видео
- Влияние пространственно-временных характеристик на визуальное качество потокового видео
Введение к работе
Актуальность темы. Начиная с внедрения первых коммерческих продуктов в Интернете в 1995 г. наблюдается бурный рост услуг по передаче мультимедийных данных. Основную долю ресурсов при передаче занимают потоковые данные. Привлекательность потоковой передачи данных очевидна: аудио- и видеоматериалы наглядно доносят информацию в легко воспринимаемом виде. Подача материала в видеоформате очень эффективна в торговле, рекламе, при обучении и инструктировании. Для компаний это означает увеличение дохода, большую эффективность и меньшие затраты на доставку информации. Традиционный способ доставки файлов из сети с помощью загрузки недостаточно удобен для аудио- и видеоданных даже с учетом того, что клиентские соединения становятся быстрее. Часто скорости передачи недостаточны для загрузки видеофайлов, размер которых составляет десятки мегабайт. Решение проблемы больших файлов существует вот уже несколько лет: потоковая технология. Сегодня термином «потоковое видео» (streaming video) обозначают технологии сжатия и буферизации данных, которые позволяют передавать видео в реальном времени через сети связи. В последние годы наблюдаются развитие и бурный рост технологий, использующих в качестве транспорта беспроводные технологии широкополосного доступа, которые являются серьезной альтернативой сотовым системам связи.
Это стремительное увеличение определило новую сложную задачу по поддержанию качества обслуживания при трансляции видео. Существенный вклад в разработку цифровых систем сжатия и обработки изображений, а также методов и аппаратуры измерения качества в цифровых телевизионных системах внесли отечественные ученые: В. П. Дворкович, А. В. Дворкович, Ю. Б. Зубарев, С. И. Катаев, М. И. Кривошеев, Б. А. Локшин, В. Н. Безруков, а также зарубежные специалисты: Г. Салливан, С. Винклер, М. Рис, Дж. Вудс, Т. Вайгэнд, А. Таурапис, А. Бовик и др.
Основным недостатком передачи видео по беспроводным сетям является отсутствие достаточной синхронизации между оригинальной последовательностью и декодированной на приемной стороне копией. Из-за агрессивной среды передачи пакеты данных могут претерпевать серьезные искажения или вообще теряться. На сегодняшний день не существует стандартных подходов к определению влияния комплекса ошибок на качество передачи предоставляемых сервисов.
Указанные проблемы в соединении с коммерческим успехом заставляют проводить исследования, направленные на эффективное, стабильное и масштабируемое кодирование и передачу видео по нестабильным сетям, к которым относятся, в частности, беспроводные технологии широкополосного доступа.
Таким образом, исследование влияния ошибок в каналах широкополосного беспроводного доступа на визуальное качество потокового видео является актуальным.
Объект исследования – телекоммуникационные системы.
Предмет исследования – качество услуг, предоставляемых широкополосными системами беспроводного доступа при передаче потокового видео.
Цель работы: оценка влияния ошибок в каналах широкополосного беспроводного доступа на качество потокового видео стандарта H.264/AVC и разработка рекомендаций по выбору параметров системы обработки и регистрации с целью обеспечения заданного качества восприятия видеоинформации.
Научные задачи работы:
1) оценка качества потокового видео стандарта H.264 /AVC в системах широкополосного доступа методами имитационного моделирования с помощью разработанного программно-аппаратного комплекса (ПАК) и дополнительного программного обеспечения в среде NS-2 и MatLab Simulink;
2) исследование влияния битовых, пакетных, группирующихся ошибок в каналах беспроводного доступа на качество потокового видео стандарта H.264/AVC экспериментальными методами и методами имитационного моделирования;
3) рекомендации по улучшению качества восприятия потокового видео стандарта H.264/AVC в условиях пространственно-временной неоднородности видеоконтента и нарушения синхронизации видеопоследовательностей при регистрации в условиях воздействия ошибок в канале передачи.
Методы исследования. Теоретические исследования проведены с использованием методов теории информации, теории вероятности, математической статистики, случайных процессов, теории телетрафика, теории массового обслуживания. Экспериментальная часть работы основана на численных методах машинного моделирования и вычислительного эксперимента с использованием языков программирования высокого уровня. Для численного анализа, проведения оценки и промежуточных вычислений применялись программные комплексы MatLab и NS-2. Обработка видеопоследовательностей, оценка качества видеоизображений производились методами имитационного моделирования.
Достоверность научных положений, выводов и практических рекомендаций результатов исследований, полученных автором диссертации, подтверждена строгостью применяемых математических методов, положительными рецензиями на работы, опубликованные в центральной печати, апробацией на научных конференциях, совпадением основных теоретических научных положений с результатами экспериментальных исследований, их повторяемостью и контролируемостью.
Научная новизна и теоретическая значимость работы состоит в следующем:
1. Разработанные алгоритмы оценки качества восприятия потокового видео стандарта H.264/AVC в каналах беспроводного широкополосного доступа на основе обработки экспериментальных данных и разработанной Марковской модели пакетирования ошибок позволили исследовать влияние как одиночных битовых, так и группирующихся ошибок.
2. Выполненные исследования влияния одиночных и группирующихся ошибок передачи на ухудшение качества позволили получить зависимости качества восприятия потокового видео от вероятности возникновения одиночных и статистических характеристик группирования ошибок.
3. Выполненные исследования влияния различных сюжетных групп стандарта H.264/AVC на воспринимаемое качество при передаче по сетям показали, что необходимо учитывать не только качество транслируемого и впоследствии декодируемого видеопотока, но и содержание видеоконтента, зависящее как от параметров кодека, так и статистики ошибок в каналах беспроводного доступа.
Практическая ценность работы и использование ее результатов:
1. Выполнены исследования зависимости качества видео от характеристик широкополосных беспроводных каналов связи, результаты которых могут быть использованы операторами связи при проектировании и эксплуатации различных видеоуслуг.
2. В программных средах MatLab Simulink и NS-2 созданы имитационные системы, позволяющие оценить помехоустойчивость при передаче видео и мультимедийной информации на базе комплексного учета основных особенностей стандарта IEEE 802.16.
3. На основе программной реализации разработанных алгоритмов создан программно-аппаратный комплекс, позволяющий проводить оценку качества потокового видео с учетом помехоустойчивости среды передачи.
4. Разработаны рекомендации по выбору параметров системы обработки и регистрации потокового видео стандарта H.264/AVC как в условиях одиночных битовых ошибок, так и при группировании ошибок в каналах беспроводного широкополосного доступа, что позволило получить количественные оценки эффективности декодирования видео в зависимости от информационных и индивидуальных характеристик кодеков в реальном масштабе времени.
Реализация и внедрение результатов работы.
Полученные результаты диссертационной работы внедрены в ФГУП СНПО «Элерон», о чем свидетельствует соответствующий акт внедрения.
Положения и результаты, выносимые на защиту:
1) численные значения вероятностей одиночных, пакетных и группирующихся ошибок, возникающих в сетях широкополосного беспроводного доступа при передаче потокового видео, позволяющие гарантировать объективное качество в определенном диапазоне;
2) разработанная Марковская модель с девятью состояниями, описывающая процесс пакетирования ошибок в каналах широкополосных систем беспроводного доступа при передаче потокового видео, позволившая оценить качество потокового видео в реальных условиях передачи;
3) увеличение «битрейта» в большей степени сказывается на качестве видеопоследовательностей вида «статичная сюжетная группа» (ССГ), тогда как для видеоизображений с движущимися элементами заметного выигрыша в качестве не наблюдается. Присутствие ошибок с вероятностями BER < 10–4 не влияет на качество декодирования видеопоследовательностей «статичной сюжетной группы», но проявляется в «малоподвижной сюжетной группе» и ярко выражено в «высокодинамичной сюжетной группе»;
4) методы «вставки» нулевых значений и «склейки», которые позволяют оценить полученное качество видео стандарта H.264/AVC различных сюжетных групп в условиях нарушения синхронизации.
Апробация работы. Основные положения диссертационной работы докладывались и обсуждались:
на IV Международной научно-практической конференции «Электронные средства и системы управления. Опыт инновационного развития», Томск, 2007 г.;
на VI Международной научно-практической конференции «Информационные технологии и математическое моделирование», Томск, 2007 г.;
на Международной научной конференции по естественнонаучным и техническим дисциплинам, Йошкар-Ола, 2008 г.;
на ХХI Международной научно-практической конференции «Математические методы в технике и технологиях», Саратов, 2008 г.;
на VIII Всероссийской научно-технической конференции «Динамика нелинейных дискретных электротехнических и электронных систем», Чебоксары, 2009 г.;
на IV, V отраслевых научных конференциях-форумах «Технологии информационного общества», Москва, МТУСИ, 2010–2011 гг.;
на Международном конгрессе «Коммуникационные технологии и сети», Москва, МТУСИ, 2010 г.;
на ХVIII Международной научно-технической конференции «Информационные средства и технологии», Москва, МЭИ, 2010 г.
Публикации. По результатам исследований опубликованы 22 печатные работы, девять из них в изданиях, рекомендованных ВАК РФ.
Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы, включающего 168 наименований. Работа представлена на 163 страницах, содержит 95 рисунков, 14 таблиц и приложения объемом 14 страниц.
Трансляция потокового видео по сетям широкополосного беспроводного доступа
С появлением в настоящее время новых компаний-операторов услуг широкополосного доступа к сетям передачи данных общего пользования проникновение данных услуг к потребителям явно не достаточное Это обусловлено прежде всего, тем, что проводные средства, такие как xDSL, и кабельные сети имеют ограниченные возможности из-за дороговизны и трудности доставки услуг к потребителю, а изготовители оборудования радиодоступа пока не готовы к производству систем по общим стандартам. На рис. 1.8 представлена диаграмма развития стандарта за последние 5 лет с указанием наиболее приоритетных направлений развития технологии на ближайшее будущее. На диаграмме можно видеть, что основной целью WiMAX Forum на ближайшие несколько лет является развитие спецификаций мобильного WiMAX и, в частности, разработка спецификации стандарта 802.16т — наиболее перспективного из серии стандартов 802.16. WiMAX, как и другие технологии связи, является естественным продолжением развития технологий беспроводной связи.
Диаграмма, приведенная на рис. 1.9 иллюстрирует эволюцию беспроводных сетей передачи данных на пути к 4С-сетям, являющимся на сегодняшний день наиболее перспективными разработками
Безусловно, что с появлением Wi-Fi (IEEE 802.11) технологии стали появляться множества точек доступа к магистральным проводным сетям по беспроводному интерфейсу. В настоящее время практически любой отель, аэропорт или целый микрорайон обладает покрытием Wi-Fi доступа на всей своей территории. Вместе с тем имевшиеся в стандарте ограничения по скорости обмена данными, радиусу действия, количеству каналов и стоимости развертывания инфраструктуры пока не позволили стать сетям Wi- Fi тотальной угрозой сотовым сетям с одной стороны и проводным сетям с другой. Несмотря на значительные преимущества и введение новых, более современных версий стандарта ограничения Wi-Fi будут заменениы только новыми магистральными стандартами обмена данными вроде WiMAX
В секторе сотовых сетей основным конкурентом WiMAX остаются такие технологии, как универсальная система мобильной связи UMTS (Universal Mobile Telecommunication System) и EV-DO (EVolution - Data Optimized), основанные на кодовом разделении каналов CDMA.
Благодаря повышенной компрессии, новейший стандарт видеокодирования H.264/AVC позволяет транслировать видео в низкоскоростных сетях без заметного ухудшения качества, что позволяет использовать этот стандарт для видеоприложений в беспроводных сетях [16, 29, 71, 80,145]
Вполне удобной средой для передачи потокового видео являются ГР-сети, благодаря требованиям к задержке и скорости передачи данных [121]. Как правило, стандартная IP сеть не зависит от способа реализации физического и канального уровней и может работать с их различными протоколами. Поэтому эти уровни не обсуждаются.
На сетевом уровне IP-сети используют интернет-протокол IP (от англ. Internet Protocol) [90]. Заголовок IP-пакета имеет размер 20 байтов и защищен контрольной суммой. Полезная информации при этом остается не защищенной. Максимальный размер IP-пакета равен 64 кБ, но этот размер редко используется, поскольку максимальный размер пакета сети MTU (от англ. Maximum Transfer Unit) ограничен.
На транспортном уровне видеоданные обычно передаются по транспортному протоколу UDP (от англ. User Datagram Protocol) [91], который, в отличие от протокола TCP (от англ. Transmission Control Protocol) [92], не гарантирует успешную доставку пакетов. Тем не менее, он широко применяется для передачи потокового видео и в видеотелефонии, вследствие малой задержки при передаче. Обычно, обнаружение ошибки при передаче по UDP выполняется подсчетом контрольной суммы.
На уровне приложений передача потокового видео обеспечивается следующими основными протоколами [140]: протокол передачи в режиме реального времени RTP (от англ. Realime Transport Protocol) — пакетно-ориентированный транспортный протокол доставки данных в режиме реального времени, включая видео и звук [110]. протокол управления в режиме реального времени RTCP (от англ. RealTime Control Protocol) — протокол управления, созданный для совместной работы с RTP, он помогает осуществлять синхронизацию видео и звука, обеспечивать качество обслуживания (QoS). протокол потоковой передачи в режиме реального времени RTSP (от англ. Realime Streaming Protocol) -— протокол управления для инициализации и направления потоковых данных от видеосервера, реализующий возможности «удаленного управления» [111].
Исследование систем широкополосного беспроводного доступа для передачи потокового видео с помощью ПО N8-2
При моделировании беспроводного канала связи необходимо учитывать множество дестабилизирующих факторов среды передачи, таких как наложение белого гауссовского шума (AWGN), многолучевое распространение, замирание сигнала, интерференция и множество других Невозможно представить сигнал, полученный на приемнике, лишь как исходный сигнал, неискаженный никакими воздействиями среды Результаты и достоверность работы модели напрямую зависят от построения канала связи, поэтому наиболее важно использование крайне точной модели, приближенной к реальным условиям [8, 15, 16, 56]
Точную модель возможно получить на примере развернутой сети WiMAX стандарта IEEE 802.16е с использованием базовой и абонентской станций, общая схема подключений которой представлена на рис.2.8.
Моделирование ошибок возникающих в реальной сети возможно изучить с помощью имитационного комплекса Network Simulator 2 (NS-2) [50], который позволяет обеспечить необходимый уровень моделирования и получить требуемые характеристики производительности сети NS-2 удовлетворяет требованиям процесса гибкого моделирования, поскольку совмещает в себе язык готовых скриптов и язык программирования С++, с помощью которых описываются объекты моделирования (узлы, каналы, генераторы фонового трафика и др.), параметризованные из реальных измерений. На рис.2 9 представлена функциональная схема взаимодействия ПАК с NS-2.
Сеть имитируется программой N8-2, включающей в себя несколько объектов (агентов). Объект МуТгаГПсТгасе используется для вычисления типа и размера кадра видеотрассы, генерируемого модулем ВП. Кроме того, этот объект разбивает видеокадры на пакеты и отправляет их на уровень 1ЮР в соответствующее время, согласно параметрам настройки пользователя, определенным при моделировании
По существу, Му1Л)Р является объектом 1ГОР Этот объект записывает в файл отправляемой трассы время передачи каждого пакета, id пакета, и размер полезной нагрузки пакета (см табл 2 2) Работа объекта MyUDP аналогична рабоге программ TCP-dump или Win-dump, проводимой в реальных сетях
Объект MyUDPSink - объект приема пакетов фрагментированных кадров, отправленных MyUDP Этот объект записывает время, id пакета и размер полезной нагрузки каждого полученного пакета в файл трассы приема (табл 2 3).
Вариант имитации широколосной сети беспроводного доступа стандарта IEEE 802.16 в пакете программ NS-2 показан на рис 2 Особенностью представленной имитации беспроводной сети является оценка передачи видеопотока без и с учетом влияния фонового трафика Используется два типа фонового трафика - FTP и CBR FTP трафик передается по TCP протоколу со скоростью передачи данных 512 кб/сек. CBR трафик передается по UDP протоколу со скоростью передачи данных 256 кб/сек Пропускная способность между видео сервером и базовой станцией равна 2 Мб/сек и с задержкой 10 мс. Листинг сети в NS-2 представлен в приложении 1.
Встроенные средства ПАК позволяют производить имитацию двух основных типов ошибок возникающих в беспроводных сетях: 1. Имитация битовой ошибки. Имитация передачи по беспроводному каналу с моделью "аддитивного белого Гауссовского шума" AWGN или моделью Гильберта-Эллиота GE (от англ. Gilbert-Elliott). При имитации определенный бит в последовательности искажается (инвертируется) с заданной вероятностью. Используемое значение вероятности описывают показателем количества ошибочных битов BER (от англ. Bit Error Rate). Генератор ошибок eg.exe производит искажение файла трассы передачи с определенной вероятностью и моделью распределения ошибок следующим образом: eg.exe [трасса передачи] [трасса приема] [видео трасса] [модель ошибок] [поток ошибок]
Таким образом, генерируется файл трассы приема с указанием потерянных пакетов. 2. Имитация ошибки информационного пакета. Можно производить ручное удаление UDP пакетов из файла трассы приема. Это позволяет исследовать работу кодека и проанализировать изменение визуального качества при потере информационных пакетов. При этом приемный и неискаженный файл можно получить при передаче по "идеальному" каналу с неограниченной полосой пропускания и отсутствием задержки и затем вручную удалить определенные пакеты.
Другой удобной средой моделирования радиоканала является программная среда MATHWORKS MATLAB и пакет визуального моделирования SIMULINK. Среда MATLAB является интерактивной системой для выполнения расчетов, ориентированной на работу с массивами данных. Система использует математический сопроцессор и допускает возможность обращения к программам, написанным на языках Fortran, С и С++. Пакет визуального моделирования Simulink является пакетом расширения среды Matlab и позволяет осуществлять моделирование поведения динамических линейных и нелинейных систем путем графической сборки любой системы из отдельных блоков, хранящихся в стандартных библиотеках Simulink.
Таким образом, MATLAB Simulink позволяет смоделировать сложные системы канала беспроводной связи, такой как WiMAX IEEE 802.16, путем формирования отдельных блоков и подсистем, для которых можно задавать собственные параметры.
Систему WiMAX в среде MATLAB Simulink условно можно представить в виде трех основных частей: передатчик, приемник и канал связи (рис.2.11).
Подробная блок-схема имитируемой системы WiMAX представлена на рис. 2.12. Имитации проводились с учетом реальных условий. С целью расчета производительности системы моделирование проводилось при различных сценариях влияния общих параметров.
К основным параметрам, влияющим на помехоустойчивость системы WiMAX. можно отнести следующие [84, 127, 136]: Коэффициент кодирования; Тип модуляционного манипулирования; Скорость передвижения пользовательского терминала; Схема передачи по радиоканалу SISO/MIMO (Single-Input SingleOutput/Multiple Input Mltiple Output); Применение вспомогательных технологий AMC (Adaptive Modulation and Coding).
Результаты имитационного моделирования представлены в виде зависимости вероятности появления ошибочных бит (BER) от соотношения энергии одного бита ЕЬ сигнала к спектральной плотности мощности шума No в канале передачи. Данную зависимость можно принять за меру КПД моделируемой системы, из-за больших энергетических затрат для передачи, при высоком показателе соотношения энергии на бит к шуму.
При моделировании по умолчанию использовались следующие параметры канала: Частота нисходящих передач 2 ГГц; полоса пропускания канала 20 МГц, коэффициент длины циклического префикса G=l/16, что соответствует небольшой задержке распространения сигнала; тип модуляции и коэффициент кодирования, соответствующие режиму АМСЗ.
Параметры моделирования: Остановка моделирования при достижении 5000 принятых ошибочных бит; Остановка моделирования при достижении 1 106 принятых бит; Предельные значения уровня Eb/No [-5;30] дБ с шагом 1 дБ.
Влияние битовых ошибок на визуальное качество потокового видео
Беспроводные каналы связи характеризуются случайно распределенными и независимыми битовыми ошибками. Для имитации беспроводного канала с данным типом ошибок часто применяют модель "аддитивного белого Гауссовского шума" или AWGN, при которой определенный бит в последовательности искажается (инвертируется) с заданной вероятностью Используемое значение описывают вероятностью появления ошибочных битов BER.
Различные значения BER по-разному влияют на качество потокового видео. При сравнении исходного и искаженного видеопотока возможно вычислить влияние битовой ошибки на конечное качество видео.
С целью исследование влияния битовой ошибки на полученное качество было проведено имитационное моделирование передачи 30- минутного видео (табл 3.1) через широкополосную беспроводную сеть стандарта IEEE 802.16 со случайными битовыми ошибками в канале Схема эксперимента показана на рис. 3.7.
ПАК. Моделирование беспроводной сети со случайными битовыми ошибками в канале производилось с помощью программы VCDemo [33]. Имитация передачи видео потока через беспроводную сеть выполнялась согласно модели OSI на известных уровнях: прикладном, транспортном, сетевом, канальном и физическом.
На прикладном уровне модели OSI производится кодирование/декодирование и пакетирование видеопотока. Видеопоток делится на пакеты переменной длины размером до 1500 байтов, добавляя при этом 12- байтовый заголовок RTP. При добавлении заголовка RTP к данным, битовый поток MPEG сегментируется таким образом, чтобы стартовые коды MPEG содержались в начале пакетов данных. На транспортном уровне моделируется протокол UDP, соответственно добавляя заголовок и контрольную сумму (8 байт). И далее на сетевом уровне добавляется 20-байтовый заголовок IP.
На канальном уровне связи моделируется протокол IEEE 802.16. Скорость передачи канала устанавливается равной 20 Мб/с. И наконец, на физическом уровне, производится имитация случайной битовой ошибки в канале (гауссовский шум) с заданной вероятностью BER. Для проведения моделирования закодированный видеопоток был разбит на RTP/UDP-пакеты с помощью инструментов программно-аппаратного комплекса.
Оценка качества производилась с помощью показателей PSNR и MOS, вычисленных с помощью инструментов программно-аппаратного комплекса [3]. Стандартная девиация качества по средним значениям PSNR вычислена по формуле (.1). где Ы- номер кадра, Р8№1 - среднее значение качества видеопоследовательности. На рис. 3.8 показано влияние показателя BER на качество потокового видео. Значения MOS
Показаны диапазоны значений ВЕЯ, в границах которых полученное качество было максимальным, т.е. равнялось исходному, и минимальным. Показано, что при ВЕЯ 3 10"5 ошибка не влияет на визуальное качество и может быть легко устранена декодерами и существующими способами защиты от ошибок. Дальнейшее изменение качества носит ступенчатый (последовательный) характер и уменьшается при увеличении ВЕЯ. При ВЕЯ = 4 10"3 потери пакетов достигают максимального значения и составляют более 99,9% от общего числа.
Анализируя результаты передачи потокового видео по имитируемой беспроводной сети с различными значениями ВЕЯ можно сделать следующие выводы: 1) При имитации беспроводного канала с моделью число битовых ошибок ВЕЯ 3 10"5 не влияет на качество видеопотока. При ВЕЯ 4 10"3 потери пакетов в сети достигают максимального значения и составляют не менее 99,9%. 2) Можно гарантировать объективное превосходное качество видеопотока при передаче по каналу с вероятностью появления битовой ошибки не более Ю"4, хорошее качество в диапазоне Ю"4 ... 4 10" , удовлетворительное качество в диапазоне от 4 10"4 ... 8 10"4, плохое качество в диапазоне 8 10 ... 1 10"3 и очень плохое при более 1 10"3. 3) Среднее качество трансляции видеопотока по реальным беспроводным сетям подверженным искажениям (например, при движении в условиях города) сопоставима имитации беспроводного канала с моделью А\ОЫ при ВЕЯ = 5 10"4. 4) Гистограммы распределения значений Р81Ж как при имитации, так и при трансляции по реальной сети в общем случае имеют двухгорбую форму. Один из максимумов характеризует значение РБКЛ видеопотока при отсутствии ошибок (декодер способен исправить битовые ошибки при их незначительном количестве в кадре). Второй максимум характеризует ухудшение РЭКЛ вследствие большого числа искаженных видеокадров в моменты замираний (декодер неспособен исправить большое количество битовых ошибок). По мере увеличения числа ошибок этот максимум возрастает за счет уменьшения второго. В процессе передачи, в зависимости от уровня ошибок значения того или иного максимума возрастает. Если ошибками в канале связи можно пренебречь распределение PSNR имеет один максимум. Эмпирические значения BER переходов от приемлемого качества к плохому, согласно таблице соответствия PSNR и MOS, представлены в табл. 3.3.
Влияние пространственно-временных характеристик на визуальное качество потокового видео
Растущая популярность передачи мультимедийных приложений привела к необходимости оптимизации распределения полосы пропускания телекоммуникационных сетей. В определенной степени качество воспроизведения видео зависит от типа сюжета этих приложений. Например, при просмотре таких высокодинамичных видеороликов, как спортивные игры или кинофильмы, необходимо обеспечивать более высокое качество, чем при просмотре статических сюжетов - новостей или видеоконференций, где более важно содержание. Современные телекоммуникационные сети должны уметь поддерживать различные приложения с разным уровнем QoS [24]. Требования QoS, как правило, определяются параметрами сетевого и прикладного уровней [70]. На прикладном уровне QoS зависит от разрешения, битрейта, скорости кадров, типа видео - и аудиокодека и т.д., а на сетевом уровне - от таких искажений, как задержка, джиттер, потеря пакета и т.д. Как правило, передача данных по проводным сетям, в которых полоса пропускания не ограничена, характеризуется очень низкой вероятностью появления ошибочных битов. Однако вследствие непредсказуемости условий передачи при трансляции приложений в реальном времени передача данных по беспроводному каналу имеет ряд особенностей [10, 73, 87]. Беспроводные каналы связи характеризуются случайно распределенными и независимыми битовыми ошибками. В связи с этим при имитации беспроводного канала часто применяют модель «белого шума», при которой определенный бит в последовательности искажается (инвертируется) с заданной вероятностью. В [28, 67, 68] показано влияние битовой ошибки при передаче на качество видео. Однако в известных источниках практически не рассматривается зависимость качества видео от типа сюжета, с учетом параметров сетевого и прикладного уровней сети.
В связи с этим актуальным является определение двух следующих величин: 1) минимального значения битрейта для всех типов сюжета при передаче по телекоммуникационным сетям для приемлемого QoS при пиковом отношении сигнал/шум PSNR 27 дБ, которое соответствует субъективной оценке качества MOS 3 [14]; 2) порогового (с точки зрения качества) числа ошибочных битов для всех типов сюжета, при котором воспринимаемое пользователями изображение остается приемлемым. Для решения этих двух вопросов видеоролики были объединены в группы по признаку пространственной и временной избыточности [77]. Затем была проведена экспериментальная трансляция видео по беспроводной сети при различных условиях передачи, в ходе которой определялся порог, соответствующий высокому, среднему и низкому качеству. Классификация сюжета. Видеопотоки объединяются в определенную сюжетную группу из-за сходства своих характеристик, поэтому можно организовать контроль за приоритетом и, следовательно, оптимизировать распределение полосы пропускания определенного видеопотока Автоматическая классификация видеосюжета позволит предсказать качество видео с определенной вероятностью Пространственно-временная характеристика видеосигнала определяет эффективность процедуры кодирования
В дополнение к методике оценки качества, представленной в [145], рекомендуется использовать вычисление временных и пространственных особенностей (рис. 4.4) для прогнозирования качества видео в соответствии с динамикой сюжета (т.е. пространственной сложности и временной активности изображения) на основе анализа ухудшения показателя MOS [70]. Сюжет каждого видеоклипа может существенно отличаться от других своей динамикой. В [132] был предложен пространственно-временной план, в котором каждый видеоклип (небольшой продолжительности и с однородным содержанием) может быть представлен в декартовой системе координат, где горизонтальная ось соответствует пространственной, а вертикальная ось — временной характеристике (рис. 4.5). Согласно этому подходу каждый видеоклип может быть отнесен к одной из следующих четырех категорий в зависимости от динамичности сюжета: малая пространственная активность - малая временная активность (верхняя левая часть сетки); высокая пространственная активность — малая временная активность (верхняя правая часть сетки); малая пространственная активность - высокая временная активность (нижняя левая часть сетки); высокая пространственная активность — высокая временная активность (нижняя правая часть сетки). Данная классификация неэффективна для длинных по времени видеопоследовательностей вследствие неоднородности содержимого, поэтом} видеопоследовательности классифицируются в зависимости от пространственного и временного изменения элементов изображения и по этому признаку объединяются в различные группы.
Вычисление временных изменений. Движение в видеоклипе характеризуется показателем суммы абсолютных различий SAD (от англ. Sum of Absolute Difference), который вычисляет попиксельную сумму абсолютных различий между двумя сравниваемыми кадрами и выражается формулой
