Содержание к диссертации
Введение
Раздел 1. Анализ существующих методов компрессии звуковых сигналов 11
Раздел 2. Математические модели и алгоритмы в схемах векторно-разностного кодирование звуковых сигналов 21
2.1 Векторно-разностное кодирование с двухуровневым квантованием ...24
2.2 ВР-кодирование с многоуровневым квантованием 29
2.3 Математические модели многоканального линейного предсказания в схемах ВР-кодирования 33
2.4 Быстрые алгоритмы решения систем линейных уравнений при кодировании звуковых сигналов с многоканальным линейным предсказанием 39
Раздел 3. Быстрые алгоритмы вычисления автокорреляционных функций звуковых 44
3.1 Быстрые алгоритмы АКФ на основе циклических матриц 46
3.2 Алгоритмы вычисления АКФ на основе моделей спектральной плотности-мощности через БПХ 58
3.3 Алгоритмы вычисления АКФ через функции среднего значения разности 61
3.4 Прямые алгоритмы вычисления АКФ с сокращенным количеством умножений 65
3.5 Быстрые алгоритмы вычисления АКФ на основе полиномиальных моделей 67
Раздел 4. Быстрая классификация звуковых сигналов при ВР-кодировании 70
4.1. Классификация звуковых сигналов на основе функций кратковременной энергии и функций кратковременного среднего значения сигнала 70
4.2. Определения величины периода звуковых сигналов через АКФиФСР 73
Раздел 5. Практические применения ВР методов кодирования аудиосигналов 85
Заключение 100
Список литературы 101
Приложение 1 105
Приложение 2 118
- Векторно-разностное кодирование с двухуровневым квантованием
- Быстрые алгоритмы решения систем линейных уравнений при кодировании звуковых сигналов с многоканальным линейным предсказанием
- Быстрые алгоритмы АКФ на основе циклических матриц
- Классификация звуковых сигналов на основе функций кратковременной энергии и функций кратковременного среднего значения сигнала
Введение к работе
Актуальность темы диссертации
Методы сжатия звуковых сигналов играют важную роль в цифровых мультимедийных приложениях, при организации голосовой связи, в компьютерных системах обучения и во многих других применениях компьютерных средств для управления и обработки информации.
В мультимедийных приложениях компьютерные средства сжатия аудио и видео данных нашли применение по трем главным причинам: - большой объем мультимедийных данных; сравнительно медленные сохраняющие устройства или программы, которые не могут проигрывать мультимедийные данные в реальном времени; недостаточно высокая пропускная способность вычислительной сети, чтобы осуществлять передачу в реальном времени.
Широкое применение методы сжатия аудио и видеоданных нашли в системах компьютерного обучения с озвученным сопровождением экранной информации. Особенно это касается проблемы создания системы открытого образования [1,2,3], обеспечивающей доступ к образовательным ресурсам посредством применения информационных образовательных технологий дистанционного обучения, реализуемых на вычислительных сетях [2]. Одной из актуальных задач, решаемых в системах дистанционного обучения, является оперативное создание учебно-методических материалов по избранной дисциплине и теме обучения [4].
Традиционные технологии подготовки компьютерных учебно-методических материалов включают рутинную процедуру формирования и редактирования текстовой, графической и другой информации с помощью соответствующих программ-редакторов. Это приводит к повышенным временным и финансовым издержкам. Существуют [4] более прогрессивные технологии оперативной подготовки учебно-методических материалов в компьютерных системах обучения, которые основаны на вводе экранной информации с помощью сканера, а звуковой информации с помощью
5 микрофона. В этом случае важную роль играют выбранные методы сжатия аудио и видеоинформации, поскольку объем таких данных без сжатия может быть регламентирован объемом предоставляемой оперативной и внешней памятью компьютера. "~" Важную роль играют методы сжатия при передаче звуковых сигналов по цифровым каналам связи в вычислительных сетях [5,6].
Для организации голосовой связи необходимо определить объем информации, передаваемый в единицу времени (количество бит/сек), потому что требуемая скорость передачи определяет многие качественные характеристики: стоимость и качество предоставляемых пользователю услуг, стоимость и конструктивные размеры абонентской аппаратуры, емкость сети передачи данных и др.
Следует заметить, что голосовая связь получила широкое применение в современном бизнесе. Постоянное общение с клиентами, дилерами, поставщиками требует постоянной и надежной связи между различными филиалами и центральным офисом. При этом рынки сбыта распространяются на различные страны и континенты. Географический масштаб компаний подчас настолько велик, что затраты на обеспечение связи составляют значительную долю в себестоимости продукции.
Информационные потоки в пределах компаний включают телефонные переговоры, факсимильную информацию и обмен данными. Очевидно, что для меньшего информационного потока требуется канал связи с меньшей пропускной способностью (скоростью передачи информации в условиях шумов), и следовательно потребуются меньшие затраты на обеспечение связи. Снизить требуемую пропускную способность можно за счет применения различных методов кодирования — сжатия информации и методов ее уплотнения (исключения «простоев» в линиях связи).
В современных устройствах реализованы различные алгоритмы кодирования речевых сигналов, рекомендованные Международным союзом электросвязи для конкретных скоростей передачи данных (стандарты кодирования речи)[7,8,9,10], а также алгоритмы для кодеков стандартных сетей передачи данных (GSM, Inmarsat) и национальные стандартные алгоритмы (стандарт США на скорость 4,8 Кбит/сек).
В настоящее время появляются новые конфигурации систем передачи данных на базе разнородного оборудования. Это объясняется появлением частных сетей и сетей передачи данных, специализированных на передачи речи. При создании таких сетей [11,12] возникает задача согласования компонентов оборудования для заданных схем организации связи — задача оптимизации по различным критериям - цене, набору «высоких технологий», компактности программно-аппаратных средств, удобству эксплуатации и др.
При создании кодирующих устройств пользуются такими критериями, как скорость цифрового потока, качество восстановленного (декодированного) сигнала, сложность кодирования и коммуникационные задержки.
Скорость цифрового потока определяется частотой дискретизации аналогового звукового сигнала. Например, для голосовых сигналов с частотой не превышающей 3400 Гц используется частота дискретизации 8 КГц. При этом на качество воспроизведения оцифрованного сигнала влияет количество уровней квантования, определяемое числом бит в представлении отсчетов сигнала - цифровым кодом. Так при использовании 8-битового цифрового кода и при частоте дискретизации 8 КГц скорость цифрового потока равна 64 Кбит/сек. В этом случае гарантируется качество речи аналогового телефонного сигнала, но из-за ограниченности общей ширины полосы канала, необходимо снижать скорость цифрового потока. Для этого используются алгоритмы сжатия речевых сигналов, основанные на математических моделях цифровых фильтров, квантизаторов, предсказателей и др. Сжатие ИКМ-сигнала заключается в нахождении более эффективного способа его передачи по каналу связи - уменьшении скорости цифрового потока при сохранении заданного качества восстановленного на приемной стороне речевого сигнала. Оценка качества восстановленного сигнала обычно осуществляется по субъективному
7 восприятию речи - средняя субъективная оценка, измеряемая по пятибалльной шкале.
Сложность кодирования звуковых сигналов зависит от сложности реализуемых алгоритмов сжатия и от ограничений, накладываемых на скоростные характеристики. Достижения в технологиях DSP позволяют реализовать сложные алгоритмы компрессии речевых сигналов, в том числе в однокристальных микросхемах [13,14]. Чаще всего критериями качества кодирующих устройств выступает стоимость, потребляемая мощность и конструктивные размеры.
Временные задержки в кодере и декодере также зависят от сложности реализуемых алгоритмов сжатия звуковых сигналов. В широковещательных аудио и видео приложениях временные задержки не имеют большого значения, но при работе по телефонному каналу общая задержка ограничена величиной 350-400 мс. В реальных цифровых каналах задержки составляют от 125 мкс в линиях ИКМ на 64 Кбит/с, и до 100 мс в некоторых узкополосных системах.
Существующие методы сжатия звуковых сигналов, которые нашли наибольшее практическое применение можно классифицировать следующим образом [15,16,17,18,19]: кодирование формы сигналов, подполосное кодирование, кодирование через ортогональные преобразования. Кодирование формы сигналов подразделяется на вокодерные [20] и разностные алгоритмы [16], которые в свою очередь могут быть использованы совместно с алгоритмами с линейным, в том числе с адаптивным предсказанием [21,22] и алгоритмы с векторным квантованием (CELP-алгоритмы) [23,24,25].
В работах [26,27] был предложен метод векторно-разностного кодирования речевых сигналов, математическими моделями которого служат векторно-разностные уравнения.
Согласно работам [15,17,19] экспериментальные исследования, проведенные по помехоустойчивости, по коэффициенту сжатия и качеству воспроизведенной речи к лучшим относятся алгоритмы с адаптивным предсказанием и алгоритмы с векторным квантованием (CELP).
Методы ВР-кодирования можно рассматривать как один из способов обобщения алгоритмов с адаптивным предсказанием и CELP-алгоритмов.
Предметом исследований в диссертационной работе являются методы векторно-разностного кодирования звуковых сигналов с многоканальным линейным предсказанием, быстрые алгоритмы вычисления автокорреляционных функций, сверток и решения систем линейных уравнений, заданных через теплицеву автокорреляционную матрицу.
Целью исследования является разработка методов и алгоритмов векторно-разностного кодирования на основе моделей линейных многоканальных систем и быстрых алгоритмов построения автокорреляционных матриц и решения заданных через них систем линейных уравнений,
В соответствии с поставленной целью в диссертации решались следующие задачи; разработка методов векторно-разностного кодирования на основе моделей многоканальных линейных систем; разработка быстрых алгоритмов вычисления автокорреляционных функций цифровых аудиосигналов; разработка быстрых алгоритмов классификации аудиосигналов в методах ВР-кодирования;
4. разработка программных моделей для экспериментальных исследований;
5. разработка практических применений методов и быстрых алгоритмов ВР-кодирования.
Научная новизна. В результате выполненных исследований предложены новые методы векторно-разностного кодирования на основе многоканальных линейных систем, которые являются более теоретически обоснованными и
9 обобщенными по сравнению с известными методами сжатия звуковых сигналов с векторным квантованием.
Предложены быстрые алгоритмы построения автокорреляционных матриц на основе функций средних значений разностей, у которых количество арифметических операций значительно меньше других быстрых алгоритмов.
Предложены быстрые алгоритмы определения величины периода основного тона речевых сигналов на основе функций среднего значения разностей.
Предложенные быстрые алгоритмы вычисления АКФ и классификации позволят создавать новые алгоритмы ВР-кодирования и повысить быстродействие известных алгоритмов сжатия аудиосигналов с линейным предсказанием.
Практическая ценность результатов исследований заключается в том, что математические модели и алгоритмы с помощью программных моделей апробированы на реальных аудиосигналах с различными параметрами.
Основные научные положения и результаты, выносимые на защиту :
1. Методы и быстрые алгоритмы ВР-кодирования с многоканальным линейным предсказанием.
2. Математические модели алгоритмов для вычисления автокорреляционных функций через быстрое преобразование Фурье, Хартли и функции среднего значения разности.
3. Математические и программные модели для быстрой классификации типов и определения параметров звуковых сигналов.
Апробация работы. По результатам диссертационной работы опубликована одна статья в сборнике трудов СПбТПУ и два доклада в сборнике трудов Всероссийской конференции.
Внедрение результатов.
1. Комплекс программ моделирования ВР-методов сжатия аудиосигналов (СПБГПУ).
Информационно-справочная система с речевым сопровождением (Туристическая фирма).
Компьютерная обучающая система с речевым сопровождением (СПБГПУ, СПБГЭТУ).
Векторно-разностное кодирование с двухуровневым квантованием
Традиционные технологии подготовки компьютерных учебно-методических материалов включают рутинную процедуру формирования и редактирования текстовой, графической и другой информации с помощью соответствующих программ-редакторов. Это приводит к повышенным временным и финансовым издержкам. Существуют [4] более прогрессивные технологии оперативной подготовки учебно-методических материалов в компьютерных системах обучения, которые основаны на вводе экранной информации с помощью сканера, а звуковой информации с помощью микрофона. В этом случае важную роль играют выбранные методы сжатия аудио и видеоинформации, поскольку объем таких данных без сжатия может быть регламентирован объемом предоставляемой оперативной и внешней памятью компьютера.
Важную роль играют методы сжатия при передаче звуковых сигналов по цифровым каналам связи в вычислительных сетях [5,6].
Для организации голосовой связи необходимо определить объем информации, передаваемый в единицу времени (количество бит/сек), потому что требуемая скорость передачи определяет многие качественные характеристики: стоимость и качество предоставляемых пользователю услуг, стоимость и конструктивные размеры абонентской аппаратуры, емкость сети передачи данных и др.
Следует заметить, что голосовая связь получила широкое применение в современном бизнесе. Постоянное общение с клиентами, дилерами, поставщиками требует постоянной и надежной связи между различными филиалами и центральным офисом. При этом рынки сбыта распространяются на различные страны и континенты. Географический масштаб компаний подчас настолько велик, что затраты на обеспечение связи составляют значительную долю в себестоимости продукции.
Информационные потоки в пределах компаний включают телефонные переговоры, факсимильную информацию и обмен данными. Очевидно, что для меньшего информационного потока требуется канал связи с меньшей пропускной способностью (скоростью передачи информации в условиях шумов), и следовательно потребуются меньшие затраты на обеспечение связи. Снизить требуемую пропускную способность можно за счет применения различных методов кодирования — сжатия информации и методов ее уплотнения (исключения «простоев» в линиях связи).
В современных устройствах реализованы различные алгоритмы кодирования речевых сигналов, рекомендованные Международным союзом электросвязи для конкретных скоростей передачи данных (стандарты кодирования речи)[7,8,9,10], а также алгоритмы для кодеков стандартных сетей передачи данных (GSM, Inmarsat) и национальные стандартные алгоритмы (стандарт США на скорость 4,8 Кбит/сек).
В настоящее время появляются новые конфигурации систем передачи данных на базе разнородного оборудования. Это объясняется появлением частных сетей и сетей передачи данных, специализированных на передачи речи. При создании таких сетей [11,12] возникает задача согласования компонентов оборудования для заданных схем организации связи — задача оптимизации по различным критериям - цене, набору «высоких технологий», компактности программно-аппаратных средств, удобству эксплуатации и др.
При создании кодирующих устройств пользуются такими критериями, как скорость цифрового потока, качество восстановленного (декодированного) сигнала, сложность кодирования и коммуникационные задержки.
Скорость цифрового потока определяется частотой дискретизации аналогового звукового сигнала. Например, для голосовых сигналов с частотой не превышающей 3400 Гц используется частота дискретизации 8 КГц. При этом на качество воспроизведения оцифрованного сигнала влияет количество уровней квантования, определяемое числом бит в представлении отсчетов сигнала - цифровым кодом. Так при использовании 8-битового цифрового кода и при частоте дискретизации 8 КГц скорость цифрового потока равна 64 Кбит/сек. В этом случае гарантируется качество речи аналогового телефонного сигнала, но из-за ограниченности общей ширины полосы канала, необходимо снижать скорость цифрового потока. Для этого используются алгоритмы сжатия речевых сигналов, основанные на математических моделях цифровых фильтров, квантизаторов, предсказателей и др. Сжатие ИКМ-сигнала заключается в нахождении более эффективного способа его передачи по каналу связи - уменьшении скорости цифрового потока при сохранении заданного качества восстановленного на приемной стороне речевого сигнала. Оценка качества восстановленного сигнала обычно осуществляется по субъективному восприятию речи - средняя субъективная оценка, измеряемая по пятибалльной шкале.
Сложность кодирования звуковых сигналов зависит от сложности реализуемых алгоритмов сжатия и от ограничений, накладываемых на скоростные характеристики. Достижения в технологиях DSP позволяют реализовать сложные алгоритмы компрессии речевых сигналов, в том числе в однокристальных микросхемах [13,14]. Чаще всего критериями качества кодирующих устройств выступает стоимость, потребляемая мощность и конструктивные размеры.
Быстрые алгоритмы решения систем линейных уравнений при кодировании звуковых сигналов с многоканальным линейным предсказанием
Компрессия аудио и видеосигналов получила широкое применение в составе мультимедийных технологий в компьютерных системах обучения, в том числе в системах дистанционного обучения, где могут быть использованы методы кодирования информации стандартными протоколами вычислительной сети. Один из вариантов технологий кодирования аудио и видеосигналов в вычислительной сети рассмотрен в работе [46]. Процесс создания озвученных компьютерных лекций или докладов включает следующие этапы: ввод графической информации (возможно с частью текстовой, рукописной либо печатной); ввод текстовой информации; ввод звуковых файлов; привязка звуковых файлов к графическим и текстовым файлам на уровне экрана. Используемые на каждом из этапов программные средства компьютера составляют систему инструментальных средств, включающих такие программы, как драйверы, текстовые и графические редакторы, программы сжатия и главную системную программу (оболочку), с помощью которой осуществляется контроль и управление всем процессом. По своей конфигурации система инструментальных средств относится к пакетам прикладных программ, структура которого приведена на рис. 5.1. Результатом работы пакета с инструментальными средствами являются обучающая программа в предметной области. Практика показывает, что в общей проблеме создания компьютерных лекций предметные программы занимают наиболее значительную часть во много раз превышающую системную часть. Предметная обучающая программа разрабатывается по методическим материалам, ориентированным на конкретную тему занятий либо лекцию, В данном разделе представлен один из примеров построения компьютерных программ обучения в предметной области со звуковым сопровождением экранной информации. Вашему вниманию представлена компьютерная обучающая программа «Математические и программные модели автокорреляционных функций (АКФ) и их применение для анализа речевых сигналов», Структура обучающей программы, изображенная на рис. 1, включает в себя следующие стадии 1. Задание видов АКФ и основных форм математических моделей, используемых для их вычислений, 2. Запись исходного (анализируемого) речевого сигнала в звуковой файл стандартного формата средствами мультимедиа. 3. Организация доступа к данным звукового файла средствами MathCAD. 4. Программирование (запись) математических моделей АКФ средствами MathCAD и исследование программными моделями реальных речевых сигналов. Заметим, что в данной программе демонстрируется применение АКФ для построения автокорреляционных матриц речевого сигнала, где используются смещенные оценки апериодических АКФ, которые в свою очередь могут быть определены через периодические АКФ.
Быстрые алгоритмы АКФ на основе циклических матриц
Быстрый алгоритм вычисления АКФ (рис. 3.12) обычно используется для малых значений {например,! N 8). Применительно к апериодическим АКФ, заданных выражением (3.7) в алгоритме по схеме (рис. 3.12) операция будет отсутствовать. При выборе соответствующих Д можно полагать, что в данном алгоритме вычисления АКФ 2N-\ операций умножения будут присутствовать только в блокеЛг2(Д) = Х(Д) (Д). По аналогии с циклическими свертками можно было бы продолжить анализ быстрых алгоритмов вычисления АКФ на основе полиномиальных моделей. Выводы к разделу 1. Систематизированы математические модели автокорреляционных функций, использованных для цифровой обработки звуковых сигналов. 2. Разработаны математические модели для быстрых алгоритмов вычисления АКФ: через БПХ и ФСР. 3. С помощью компьютерного моделирования показано, что оценки дополненных нормированных ФСР, вычисленных при одинаковых длине и величине смещения скользящего окна имеют незначительные отклонения от смещенных оценок нормированных апериодических АКФ. Общая задача классификации аудиоданных решается при автоматическом их поиске по ключевым словам, например при построении баз данных мультимедиа. В стандарте MPEG для аудиоданных сначала выявляются промежутки тишины, а затем осуществляется классификация на три типа: музыка, речь и аплодисменты [45]. При векторно-разностном кодировании звуковых сигналов требуется классифицировать их на три типа: пауза, вокализованный сигнал, шумоподобный (фрикативный) сигнал. Рассмотрим алгоритмы классификации для каждого из указанных типов звуковых сигналов, в том числе с возможностью сокращения количества арифметических операций. Классификация звуковых сигналов на основе функций кратковременной энергии и функций кратковременного среднего значения сигнала При обработке речевых сигналов выявление пауз на фоне шумов является одной из важных задач. Наиболее просто эта задача решается тогда, когда отношение сигнал/шум велико. Для классификации речевых сигналов нашли применение функция кратковременной энергии сигнала Еп и функция Мп кратковременного среднего значения сигнала (ФСС) [16].
Классификация звуковых сигналов на основе функций кратковременной энергии и функций кратковременного среднего значения сигнала
Существуют [4] более прогрессивные технологии оперативной подготовки учебно-методических материалов в компьютерных системах обучения, которые основаны на вводе экранной информации с помощью сканера, а звуковой информации с помощью микрофона. В этом случае важную роль играют выбранные методы сжатия аудио и видеоинформации, поскольку объем таких данных без сжатия может быть регламентирован объемом предоставляемой оперативной и внешней памятью компьютера.
Важную роль играют методы сжатия при передаче звуковых сигналов по цифровым каналам связи в вычислительных сетях [5,6].
Для организации голосовой связи необходимо определить объем информации, передаваемый в единицу времени (количество бит/сек), потому что требуемая скорость передачи определяет многие качественные характеристики: стоимость и качество предоставляемых пользователю услуг, стоимость и конструктивные размеры абонентской аппаратуры, емкость сети передачи данных и др.
Следует заметить, что голосовая связь получила широкое применение в современном бизнесе. Постоянное общение с клиентами, дилерами, поставщиками требует постоянной и надежной связи между различными филиалами и центральным офисом. При этом рынки сбыта распространяются на различные страны и континенты. Географический масштаб компаний подчас настолько велик, что затраты на обеспечение связи составляют значительную долю в себестоимости продукции.
Информационные потоки в пределах компаний включают телефонные переговоры, факсимильную информацию и обмен данными. Очевидно, что для меньшего информационного потока требуется канал связи с меньшей пропускной способностью (скоростью передачи информации в условиях шумов), и следовательно потребуются меньшие затраты на обеспечение связи. Снизить требуемую пропускную способность можно за счет применения различных методов кодирования — сжатия информации и методов ее уплотнения (исключения «простоев» в линиях связи).
В современных устройствах реализованы различные алгоритмы кодирования речевых сигналов, рекомендованные Международным союзом электросвязи для конкретных скоростей передачи данных (стандарты кодирования речи)[7,8,9,10], а также алгоритмы для кодеков стандартных сетей передачи данных (GSM, Inmarsat) и национальные стандартные алгоритмы (стандарт США на скорость 4,8 Кбит/сек).
В настоящее время появляются новые конфигурации систем передачи данных на базе разнородного оборудования. Это объясняется появлением частных сетей и сетей передачи данных, специализированных на передачи речи. При создании таких сетей [11,12] возникает задача согласования компонентов оборудования для заданных схем организации связи — задача оптимизации по различным критериям - цене, набору «высоких технологий», компактности программно-аппаратных средств, удобству эксплуатации и др.
При создании кодирующих устройств пользуются такими критериями, как скорость цифрового потока, качество восстановленного (декодированного) сигнала, сложность кодирования и коммуникационные задержки. Скорость цифрового потока определяется частотой дискретизации аналогового звукового сигнала. Например, для голосовых сигналов с частотой не превышающей 3400 Гц используется частота дискретизации 8 КГц. При этом на качество воспроизведения оцифрованного сигнала влияет количество уровней квантования, определяемое числом бит в представлении отсчетов сигнала - цифровым кодом. Так при использовании 8-битового цифрового кода и при частоте дискретизации 8 КГц скорость цифрового потока равна 64 Кбит/сек. В этом случае гарантируется качество речи аналогового телефонного сигнала, но из-за ограниченности общей ширины полосы канала, необходимо снижать скорость цифрового потока. Для этого используются алгоритмы сжатия речевых сигналов, основанные на математических моделях цифровых фильтров, квантизаторов, предсказателей и др.
