Содержание к диссертации
Введение
1 . Обзор критериев оценивания качества речи 11
1.1. Категории речи 11
1.2. Артикуляционные испытания 12
1.3. Объективные методы оценки разборчивости не усиленной речи 21
1.4.Объективные методы оценки разборчивости усиленной речи
1.5. Сравнение объективных методов оценки разборчивости 28
1.6. Оценка качества речи по ГОСТу 50840-95 29
1.7.Выводы 37
2. Приложение критериев качества восстановления речи к оцениванию качества ее пакетной передачи 38
2.1. Особенности пакетной передачи речи (на примере IP- 38 телефонии)
2.2. Оценка качества восстановления речи по критерию отношения сигнал/шум 42
2.3. Оценка качества восстановления речи по критериям разборчивости 47
2.4. Оценка качества восстановления речи по критерию MOS 49
2.5. Оценка качества восстановления речи по критериям Е- 50 модели
2.6.Выводы 59
3. Аналитическое оценивание качества восстановления речи в ip-телефонии 60
3.1 Оценка качества ІР-телефонии по критерию отношения сигнал/ шум 60
3.2 Оценка качества ІР-телефонии по критериям MOS и Е- модели 63
3.3 Сопоставление оценок качества ІР-телефонии 65
ЗАВыводы 72
4. Имитационное моделирование при оценивании качества восстановления речи в ір-телефонии 74
4.1 Сопоставление оценок качества восстановления речи в ІР-
телефонии, полученных с использованием имитационного и
аналитического моделирований 74
4.2. Сопоставление оценок качества восстановления активного состояния речи в ІР-телефонии, полученных с использованием имитационного и аналитического моделирований 78
4.3. Сопоставление оценок качества восстановления звуковых файлов эталонных слоговых таблиц с использованием имитационного и аналитического моделирования потери пакетов
и процесса восстановления 79
4.4. Выводы 81
5. Сопоставление объективных и субъективных оценок качества речи при аналитическом и имитационном моделировании ее пакетной передачи
5.1 Сопоставление объективных и субъективных оценок качества восстановления звуковых файлов эталонных слоговых таблиц при имитационном и аналитическом моделированиях потери пакетов и процесса восстановления 83
5.2. Сопоставление зависимостей слоговой разборчивости от отношения сигнал/шум, полученных с использованием объективных и субъективных методов оценивания качества восстановления речи 90
5.3. Выводы 91
6. Заключение 93
Список литературы
- Объективные методы оценки разборчивости не усиленной речи
- Оценка качества восстановления речи по критериям разборчивости
- Оценка качества ІР-телефонии по критериям MOS и Е- модели
- Сопоставление оценок качества восстановления активного состояния речи в ІР-телефонии, полученных с использованием имитационного и аналитического моделирований
Введение к работе
Актуальность темы. Развитие современных телекоммуникационных технологий и, в частности, IP-телефонии, связано с пакетной передачей речевой информации [1,35-43,58-60,67-75,81,84,85]. При этом на приемной стороне возможно возникновение коротких пауз в речи вследствие потери речевых пакетов в IP-сетях из-за невозможности переспрашивания. Плохое качество каналов связи и перегрузки в сетях приводят к частым потерям речевых пакетов, что, в свою очередь, вызывает ухудшение разборчивости, а иногда и полную невозможность речевого общения.
Искажение речевой информации, вызванное потерей речевых пакетов, зависит от типа кодеков, применяемых в шлюзах ІР-сети. От потери пакетов качество речи в большей степени зависит при использовании низкоскоростных кодеков по сравнению с высокоскоростными кодеками. Принято считать, что в ІР-телефонии хорошего качества допустимый уровень потери пакетов может составлять 1-3%, причем меньшее значение относится к низкоскоростным кодекам, а большее - к высокоскоростным.
Для сравнительной оценки качества передаваемой речевой информации разработаны различные методы.
Одним из них является метод MOS (Mean Opinion Score), характеризующий усредненный показатель мнений о качестве и представленный в Рекомендациях ITU-T Р.800 и Р.830 [8].
Другим методом оценки является использование единиц рейтинга R (Quality Rating) по сто балльной шкале. Международным союзом электросвязи была предложена Е-модель, описанная в рекомендации ITU-T G.107 [9], для расчета рейтинга R. Между MOS и R существует зависимость, представленная в [9].
Традиционным является метод, использующий критерий отношения сигнал/шум (ОСШ) на выходе воспроизводящего устройства и разборчивости [52-54,76,79].
Как будет показано ниже, существуют замечания, касающиеся как определения показателя R в Рекомендациях ITU-T, так и по поводу существенной несогласованности оценок качества пакетной передачи речи, предоставляемых критериями MOS и Е-модели и критериями ОСШ и разборчивости.
В связи с изложенными проблемами развития телекоммуникационных технологий анализ различных критериев оценки качества пакетной передачи речевой информации методами аналитического и имитационного моделирования представляется важной и актуальной научно-технической задачей.
Цель работы состоит в совершенствовании методики и критериев оценивания качества пакетной передачи речи путем использования аналитического и имитационного моделирований, выяснении физической сути различных подходов, используемых для оценки качества и выработке необходимых рекомендаций для практического применения используемых методов.
Реализуется следующая последовательность решения задач диссертационной работы:
1.Аналитический обзор критериев оценивания качества речи и их приложений к оцениванию качества пакетной передачи речевой информации.
2.Аналитическое оценивание качества восстановления речи в IP-телефонии по критерию отношения сигнал/ шум и критерию MOS и Е-модели.
3.Оценивание качества восстановления речи в ІР-телефонии на основе использования имитационного моделирования процессов потери пакетов речи и процессов ее восстановления.
4.Сопоставление объективных и субъективных оценок качества речи при аналитическом и имитационном моделировании ее пакетной передачи.
Исходная основа диссертации. Диссертация основывается на результатах:
- фундаментальных работ теории информации В.А.Котельникова,
Н.Винера, К. Шеннона и др.
- теоретических и прикладных исследований по цифровой
обработке и передаче непрерывных речевых со
общений Дж. Беллами, А.И.Величкина, М.Д.Венедиктова, Г.В.Вемяна,
В.Н.Гордиенко, Г.В.Горелова, А.Г.Зюко, Г.В. Кузнецова, М.В. Назарова,
В.А.Лёвина, И.А.Лозового, Н.И.Пилипчук, О.Н.Ромашковой (Луковой),
И.А.Шалимова, А.Ф. Фомина и др.
- теоретических и прикладных исследований цифровых средств и
систем передачи информации Л.А.Баранова, Л.Рабинера, А.П.Мановцева,
В.П.Яковлева и др.
Методы исследования. В работе использованы методы теории вероятностей, математического анализа, статистические методы обработки экспериментальных данных.
Научная новизна. Степень научной новизны диссертации
определяется тем, что она развивает теорию восстановления речевых сообщений
при их пакетной передаче при комплексном использовании аналитического и
имитационного моделирований, объективных и субъективных оценок качества
речи.
Практическая ценность разработанных в диссертации
математического аппарата и методов имитационного моделирования заключена
в предоставленной возможности получения объективных результатов оценки качества речи, использованных при анализе и проектировании конкретных цифровых систем пакетной передачи речевой информации.
Объективные методы оценки разборчивости не усиленной речи
Сравнение объективных методов оценки разборчивости Метод SIL используется для как усиленной, так и не усиленной речи. Метод целесообразен для оценки систем связи, но учитывает лишь один фактор, влияющий на разборчивость - шум.
Применение метода AI полезно для оценки систем связи по качественной шкале разборчивости от «отличной» до «неудовлетворительной». Однако, данный подход не достаточно точен для оценки в критических условиях и выделения лучшей из нескольких систем. Некоторые специфические искажения или шум, ухудшающие РР, не уменьшают значение AI.
Метод SII, во многом подобный AI, обладает рядом недостатков. Поздние отражения и эхо могут значительно исказить результаты измерений. SII, как и RASTI, проявляет тенденцию к искусственному занижению значения разборчивости, при частотном уплотнении каналов или других ограничениях. SII не учитывает низкочастотные (ниже 100 Гц) источники шумов маскирующих речь, даже в критическом режиме. SII не учитывает корректно нелинейные искажения.
Методы семейства STI, из-за особенностей формы испытательных сигналов и анализа, не учитывают корректно такие типы искажения как сдвиг частот (в устройствах типа предотвращающих акустическую обратную связь), умножение частот (в устройствах с однополосной модуляцией) и влияние систем типа вокодерных.
Рассмотрим ограничения использования для каждого из методов семейства STI.
Применение метода RASTI ограничено уровнями фонового шума и реверберации. Поэтому его использование должно быть ограничено случаями, например, применения вокодеров (LPC, CELP, RELP, и т.п.).
Главное достоинство метода RASTI в том, что он учитывает влияние эффектов реверберации, а также фонового шума на разборчивость. Кроме того метод RASTI легко реализуется аппаратно. По этой причине RASTI был принят во множестве Европейских стандартов и технических условий.
Оценка качества речи по ГОСТу 50840-95 В 1994 году Московским государственным университетом и воинской частью 93901 разработан ГОСТ Р 50840-95. Он принят и введен в действие постановлением Госстандарта России от 21.11.95 №579.
Стандарт регламентирует получение комплексной оценки качества передачи речи, основанной на методах измерения показателей разборчивости и качества. Комплексная оценка включает в себя значения слоговой разборчивости, показателя заметности искажения качества речи в тракте (аппаратуре) связи по методу парных сравнений относительно контрольного тракта, показателя заметности искажения шести селективных признаков (картавость, гнусавость и др.), а также ряда других оценок. Стандарт распространяется на телефонную проводную и радиосвязи, в которых используется аналоговый речевой сигнал. Включая в себя устройства, содержащие преобразователи речевого сигнала в цифровую форму, синтезаторы речи, данный стандарт устанавливает нормы качества передачи (воспроизведения) речи и методы измерений: - разборчивости речи методом артикуляционных измерений; - разборчивости речи методом артикуляционных измерений по таблицам неполных слогов (метод дописывания); - качества речи методом парных сравнений испытуемого и контрольного трактов; качества речи методом оценки величины заметности искажений селективных признаков; разборчивости, качества речи и узнаваемости голоса диктора метода парных сравнений; - фразовой разборчивости в испытуемом тракте при ускоренном в 1,4 - 1,6 раза по сравнению с нормальным темпом произнесения.
В данном стандарте применяются следующие термины с соответствующими определениями.
Под разборчивостью речи понимается относительное количество (в процентах) правильно принятых элементов (слог, слово, фраза) артикуляционных таблиц.
Термином «качество речи» обозначается величина, характеризующая субъективную оценку звучания речи в испытуемом тракте по сравнению, во-первых, со звучанием в контрольном тракте (принятым за 5 баллов), и, во-вторых, по сравнению со звучанием речи в другом тракте (в процентах предпочтения).
Узнаваемость голоса диктора определяется как величина, характеризующая степень сохранения субъективно воспринимаемых индивидуальных признаков голоса в испытуемом тракте.
Оценка качества восстановления речи по критериям разборчивости
Аппроксимация такой же зависимости, например, для сообщения на вьетнамском языке [4]: S = 23 + 81[1 - ехр (- 0,05 ОСШэкв )]. (2.2) В работе [5] приведены экспериментальные зависимости разборчивости от отношения сигнал/шум в условиях достаточно специфических испытательных тестов, в которых получено соотношение между А-взвешенным отношением S/N (ОСШ) для специальной лексики (односложные слова, предложения). На рис.2.5а изображены графики зависимости разборчивости слов, слогов от соотношения S/N для различных методов испытаний РР [5]. Эти зависимости приблизительны, поскольку на них оказывает влияние целый ряд таких факторов как тип испытательного материала, мастерство дикторов и аудиторов и др. Приведенные зависимости получены при участии хорошо подготовленных дикторов и аудиторов за 8 трёх часовых сессий. Цифрами на графике рис.2.5а обозначены кривые, полученные по результатам испытаний с использованием: 1.50-ти пар РВ слов; 2.256-ти односложных слов выбранных случайно из 50-ти вариантов; 3.50-ти наборов по 2 РВ слова; 4.Ключевых слов, воспроизводимые однократно; 5.1000 односложных РВ слов из наборов 100 слов; б.Смеси односложных логатомов из 100 РВ слов, составленных из 1000 возможных слогов.
Оценка качества восстановления речи по критерию MOS MOS (Mean Opinion Score) усредненный показатель мнений о качестве, представленный в Рекомендациях ITU Р.800 и Р.830 [8], -субъективная оценка, наиболее популярный из современных критериев оценки качества воспроизведения речи. Выражается в баллах по пятибалльной шкале (5-отличное, 4-хорошее, 3-удовлетворительное, 2-посредственное, 1-плохое качество речи). Оценка выше 3,5 баллов определяет высокое телефонное качество 3,0...3,5 - приемлемое, 2,5...3,0 -синтезированную речь. Несколько иные категории качества представлены ниже данными табл.2.4 и рис.2.7.
Критерий MOS используется для оценки качества речи независимо от других критериев, но наиболее часто применяется в связи с показателями качества, представленными Е- моделью МСЭ.
Оценка качества восстановления речи по критериям Е-модели Е-модель Международного союза электросвязи [9,11] - метод расчета предполагаемого качества передачи речи, основанный на совокупности объективных и субъективных испытаний. В основу Е-модели заложен метод учета фактора ухудшения за счет оборудования. Следует отметить, что указанный подход разработан после создания предшествующих моделей оценки качества передачи. Она была разработана специализированной группой Европейского Института стандартов в электросвязи (ETSI), под названием «Качество передачи речи от рта до уха».
Эталонное соединение, приведенное на рис.2.6, подразделяется на сторону передачи и сторону приема. Модель обеспечивает оценку качества разговора «от рта до уха» по субъективному восприятию его пользователем (абонентом) на стороне приема, как слушающим, так и говорящим. коэффициентов D учитываются отдельно для стороны передачи и стороны приема, и могут иметь разные значения. Параметры SLR, RLR и шум в канале Nc относятся к точке, определенной как точка с уровнем 0 дБр. Все прочие исходные данные рассматриваются как относящиеся либо ко всему тракту соединения, например, OLR (в любом случае это сумма SLR и RLR), число qdu, коэффициенты ухудшения за счет оборудования 1е и коэффициент преимущества А, либо только к стороне приема, например, STMR, LSTR, WEPL (для расчета эхо слушающего) и TELR.
Используются три параметра, связанные со временем (задержкой) передачи (распространения). Абсолютная задержка Та представляет общую (суммарную) задержку распространения сигнала в одном направлении между стороной передачи и стороной приема и используется для оценки ухудшения вследствие излишней длительности задержки. Средняя задержка распространения сигнала в одном направлении (в один конец) Т представляет задержку распространения сигнала между стороной приема (когда она является говорящей) и точкой тракта соединения, в которой происходит ввод в тракт сигнала, являющегося источником эхо. Задержка распространения сигнала «по кругу», т. е. в обоих направлениях Тг представляет только задержку в 4-х проводном шлейфе, где ухудшение качества происходит вследствие наличия эхо слушающего в результате «двойного отражения» сигнала.
Оценка качества ІР-телефонии по критериям MOS и Е- модели
Показатель R учитывает все шумы, связанные с пакетной передачей речи, шумы в помещении на передающей и приемной сторонах, Ds и Dr-факторы и т.п. Таким образом, по сути дела он представляет результирующее отношение сигнал/шум по мощности. Если из всех шумов, вызванных пакетной передачей речи, учитывать лишь шумы, создаваемые потерей пакетов (то есть пренебрегать задержкой пакетов и джиггером задержки), то формула (2.3) с учетом (3.6) и при Ro=95 дБ может быть переписана в виде:
Таким образом, ухудшение, вносимое в отношение сигнал/шум потерей пакетов определяется коэффициентом х= Рп/(Рп+ Bpl). Вызывает недоумение возможность использования такой грубой аппроксимации зависимости отношения сигнал/шум от вероятности Рп. Кроме того, мощность шумов, вызванных потерей пакетов, оказывается зависящей от мощности сигнала.
На рис.3.2 представлены графики зависимости коэффициента действительного ухудшения за счет оборудования от коэффициента потерь пакетов для некоторых типов кодеков [12]. Кодек G.711, с включенной функцией маскирования потерянных кадров (PLC), наиболее устойчив к потере пакетов по сравнению с тем же кодеком без функции маскирования. 60 Г
На примере именно этого кодека выполним сопоставление критериев в параграфе 3.3.
Вызывает недоумение форма представления коэффициента Ie,eff в рекомендациях ITU G.108, G.113 [11,12]. Ни Ie,eff, ни его составляющая 1е в случае представления конкретных их значений таблицами и графиками не выражаются в децибелах. А сами эти значения, представляемые графиками (с одной стороны) и таблицами, расчетными формулами (с другой стороны) не совпадают.
Для рассматриваемого кодека G.711 с PLC значения Ie,eff, полученные по графику рис.3.2 (Ie,effi) и рассчитанные (при 1е=0 и значении Вр1=25,1 из табл.3.1) по формуле:
Сопоставление оценок качества ІР-телефонии В нашем распоряжении имеются адекватные аппарат аналитического оценивания разборчивости в зависимости от отношения сигнал/шум и аппарат аналитического оценивания (по критерию отношения сигнал/шум) степени влияния на качество воспроизведения речи такого важного фактора, как потери речевых пакетов. Поэтому представляется целесообразным более точный учет влияния этого фактора в спектре существующих методов оценки качества пакетной передачи речи при сохранении в них подходов к оценке влияния двух других основных факторов: задержки и джиттера задержки речевых пакетов. Выполним сопоставление оценок качества реконструкции речевого сообщения при его пакетной передаче, предоставляемых двумя группами критериев: - критерии отношения сигнал/шум (ОСШ) и разборчивости; - критерии MOS и рейтинга R (Е-модель).
Сопоставление оценок будем производить на примере пакетной передачи речи в 1Р-телефонии. Для определения в первом приближении степени адекватности получаемых оценок будем использовать известные результаты. Результат № 1: В работе [7] утверждается, что приближенно можно считать, что при ІР-телефонии хорошего качества допустимый уровень потерь пакетов должен составлять Рп=1-3% (нижний предел относится к низкоскоростным кодекам, верхний - к высокоскоростным).
Результат № 2: В работе [20] по результатам физического эксперимента и субъективной оценки качества восстановления речи приведена зависимость MOS от вероятности Рп (табл.3.3). Категории качества речи приведены в табл.3.3 на основании табл.2.3 и рис.2.7.
Отметим, что данные работ [7] и [20] хорошо корреспондируются друг с другом. Хорошее качество обеспечивается при значениях Рп 0,03.
Используя методику оценки качества реконструкции речи, приведенную в параграфе 2.2, определяем зависимость отношения ОСШп мощности сигнала к мощности шума отбраковки от вероятности рп потери (отбраковки) речевого пакета длительностью Т 5 мс (табл.3.4).
Сопоставление оценок качества восстановления активного состояния речи в ІР-телефонии, полученных с использованием имитационного и аналитического моделирований
Как было отмечено в параграфе 1.6 вопросы получения комплексной оценки качества передачи речи, основанной на методах измерения показателей разборчивости и качества регламентирует ГОСТ Р 50840-95. По этому стандарту при использовании метода артикуляционных измерений применяются эталонные слоговые таблицы.
При проведении имитационного моделирования потери пакетов и процесса восстановления в работе использованы эталонных слоговые таблицы Б.560, Б.561, Б.562, Б.563, Б.564, Б.606, Б.607, Б.608, Б.609, Б.610, Б.616, Б.617, Б.618, Б.619, представленные в виде звуковых файлов, которые были преобразованы в файлы с отчетами.
В качестве массивов исходных данных используем реализации файлы с отчетами, дискретизированные с частотой =8000 Гц при равномерном квантовании отсчетов по уровню. Значения отсчетов задаются в долях от динамического диапазона сообщения. В качестве метода восстановления потерянных фрагментов речи использовался метод, когда потерянный в результате потери пакета фрагмент речи заменяется предыдущим той же длительности. Длительностью речевого пакета при моделировании составляет tnaK =20 мс.
Использованы значения вероятности потери пакета рп = 0,03 (для звуковых файлов, соответствующих таблицам Б.560, Б.561, Б.562, Б.563,
Б.564), рп = 0,07 (для звуковых файлов, соответствующих таблицам Б.606, Б.607, Б.608, Б.609, Б.610), рп= 0,1 (для звуковых файлов, соответствующих таблицам Б.616, Б.617, Б.618, Б.619 и Б.654).
При получении по формуле (4.6) аналитических оценок качества восстановления звуковых файлов эталонных слоговых таблиц, основываемся на приведенных в параграфе 3.1 для tnaK = 20 мс значениях гд=2,06-КГ9-5,10-1(Г3.
При сопоставлении оценок качества IP-телефонии, полученных с использованием имитационного и аналитического моделирований, имеет место высокая степень их совпадения. Относительная разность оценок по критерию ОСШ составляет 1,1% при моделировании отбраковки одиночных пакетов. Рассмотрение наиболее общего случая моделирования отбраковки нескольких пакетов подряд показывает, что относительная разница оценок составляет 3,2%.
2. При сопоставлении оценок качества восстановления активного состояния речи в IP-телефонии, полученных на основе использования имитационного и аналитического моделирований выявляется отсутствие необходимости специального учета активности при моделировании. Относительная разность имитационных оценок ОСШ для исходной реализации и реализации, полученной из исходной посредством удаления фрагментов пассивного состояния речи, составила 0,06%.
3. При сопоставлении оценок файлов эталонных слоговых таблиц с аналитического моделирований соответствие оценок. качества восстановления звуковых использованием имитационного и достигается достаточно хорошее
С целью изучения зависимости субъективных оценок качества восстановления речи от вероятности потери пакетов при пакетной передаче речи было выполнено имитационное моделирование процесса потери пакетов и процесса восстановления в постановке, описанной в параграфе 4.3.
Как уже отмечалось выше, при имитационном моделировании были использованы эталонные слоговые таблицы Б.560, Б.561, Б.562, Б.563, Б.564, Б.606, Б.607, Б.608, Б.609, Б.610, Б.616, Б.617, Б.618, Б.619 (ГОСТ Р 50840-95), представленные в виде звуковых файлов и преобразованные в файлы с отсчетами.
Использованы значения длительности пакета tnaK =20 мс и вероятности потери пакета рп =0,03 (для звуковых файлов, соответствующих слоговым таблицам Б.560, Б.561, Б.562, Б.563, Б.564), рп =0,07 (для звуковых файлов, соответствующих слоговым таблицам Б.606, Б.607, Б.608, Б.609, Б.610), рп =0,1 (для звуковых файлов, соответствующих слоговым таблицам Б.616, Б.617, Б.618, Б.619иБ.654).
В соответствии с ГОСТом Р 50840-95 измерения разборчивости речи артикуляционным методом проводила бригада операторов (аудиторов) из 10 человек, которые прослушивали на головные телефоны слоговые артикуляционные таблицы (подвергнутые искажениям и восстановленные в процессе имитационного моделирования). Слоги были воспроизведены в ритме один слог за время (3 ± 0,3) с.
