Содержание к диссертации
Введение
Глава 1. Обзор современных методов распознавания речи и оценивания достоверности результатов распознавания 13
1.1 Вероятностный подход к моделированию и распознаванию речи 13
1.1.1 Извлечение признаков речевого сигнала 14
1.1.2 Моделирование речевого сигнала на акустическом уровне 19
1.1.3 Моделирование языковых ограничений 22
1.1.4 Декодирование речевого сигнала 23
1.2 Методы оценки достоверности результатов распознавания 24
1.2.1 Элементарные оценки достоверности 26
1.2.2 Оценки достоверности на основе вычисления апостериорных вероятностей 29
1.2.3 Оценки достоверности на основе формирования отношения правдоподобия 31
1.3 Выводы 35
Глава 2. Оценки достоверности на основе отношения правдоподобия 37
2.1 Выбор моделей для построения отношения правдоподобия 37
2.2 Методы формирования оценок достоверности 40
2.2.1 Двухуровневый метод формирования оценок достоверности .42
2.2.2 Задание весовых коэффициентов 44
2.3 Обучение целевых и альтернативных моделей 47
2.3.1 Критерий обучения моделей 47
2.3.2 Обучение моделей методом градиентного спуска 49
2.3.3 Улучшенный алгоритм обучения моделей 51
2.4 Выводы 56
Глава 3. Экспериментальные применения 58
3.1 Корпус речевых данных FaVoR 58
3.2 Базовая система распознавания речи 62
3.2.1 Извлечение векторов признаков речевого сигнала 62
3.2.2 Акустические модели звуков речи 63
3.2.3 Модель языка для корпуса данных FaVoR 65
3.2.4 Эффективность распознавания для базовой системы 66
3.3 Результаты экспериментов 66
3.3.1 Оценка параметров целевых и альтернативных моделей 67
3.3.2 Применения предлагаемых методов формирования оценок достоверности 70
3.3.3 Сравнение эффективности предложенного метода с известными оценками достоверности 78
3.4 Выводы 81
Заключение 83
Библиография
- Извлечение признаков речевого сигнала
- Элементарные оценки достоверности
- Двухуровневый метод формирования оценок достоверности
- Извлечение векторов признаков речевого сигнала
Введение к работе
Прогресс современного общества в значительной мере обусловлен развитием автоматических и роботизированных систем. Компьютеры и микропроцессоры стали неотъемлемым атрибутом жизни людей в индустриально развитых странах. Научно-техническая проблема создания адекватных средств для взаимодействия человека с компьютерными системами приобрела в последние десятилетия важный социальный статус.
Одним из наиболее очевидных и перспективных путей организации взаимодействия человека с компьютером является использование человеческой речи, в частности, автоматическое распознавание речевых сообщений. Исследования по автоматическому распознаванию речи начались более пятидесяти лет назад, в середине прошлого века [19] и интенсивно продолжаются в настоящее время.
Первоначально основной целью автоматического распознавания речи была разработка методов точного преобразовании акустического речевого сигнала в текстовое сообщение для создания так называемой «фонетической пишущей машинки» [8].
С течением времени, с учетом опыта практической реализации систем распознавания речи, произошла переоценка целей и задач этой научной области, на передний план вышли вопросы распознавания и понимания естественной речи, а также создания диалоговых систем. В таких условиях наблюдаемый речевой сигнал может содержать, помимо известных системе слов, также различные акустические события, например, незнакомые слова, обрывки речи, кашель, смех и т.п.
Сейчас задача автоматического распознавания речи трактуется как преобразование речевых сообщений в адекватную речевому высказыванию последовательность действий, в том числе, орфографическую запись высказывания. Для диалоговых систем, например, систем резервирования билетов на транспорт, систем управления бортовой аппаратурой самолета или робототехнического устройства точная текстовая запись высказывания, вообще говоря, не требуется, здесь важно понять значения отдельных терминов. Например, для систем резервирования авиабилетов это могут быть имена пунктов вылета и прилета, дата и время полета.
Успехи в создании методов и технологий распознавания речи очевидны. С точки зрения известного японского специалиста С. Фуруи [28] наиболее значимыми научными и технологическими результатами, полученными за последние годы являются:
- переход от распознавания на основе шаблонов слов к статистическому моделированию речи с помощью Скрытых Марковских Моделей и п-грамм.
- переход от мер сходства на основе расстояний к мерам близости на основе правдоподобия
- использование дискриминантных методов для распознавания речи
- использование контекстно-зависимых акустических моделей звуков
- переход от распознавания изолированно произносимых слов к распознаванию слитной речи
- переход от систем распознавания с небольшими словарями к системам со словарями в десятки тысяч слов
- распознавание речи в условиях телефонного канала
- распознавание речи произвольного человека
- распознавание естественной речи
- распознавание речи в ситуациях полилогов
- понимание речевых сообщений
- развитие мультимодальных систем распознания речи
- реализация сложных систем распознавания целиком на уровне программного кода
- развитие специального программного обеспечения, его стандартизация
- появление коммерчески успешных продуктов с использованием распознавания речи Успехи, достигнутые научными коллективами, можно количественно измерить результатами (например, в терминах основной характеристики эффективности систем распознавания речи - вероятности пословной ошибки распознавания), которые получены при решении специально выбранных тестовых заданий. В следующей таблице приведены вероятности пословной ошибки распознавания для лучших лабораторных систем распознавания речи, которые были получены при испытаниях на четырех индикативных проблемно-ориентированных задачах. Для сведения также приведены характеристики сложности задач - размер словаря и перплексия (коэффициент ветвления) языка [40].
Таблица 1
Характеристики нескольких современных систем распознавания речи
Задача Размер словаря Перплексия языка Вероятность ошибки
Распознавание слитно произносимых цифр 11 11 0.5%
Деловые новости (читаемая речь) 20000 200 3%
Новости (читаемая речь) 64000 - 10%
Телефонные разговоры 64000 - 20%
Из представленных данных следует, что распознавание естественной произвольной речи, тем более в ограниченном по полосе частот, канале передачи, каким является телефонный канал, далеко от удовлетворительного: каждое пятое слово распознается неправильно. В этом нет ничего необычного, поскольку распознавание речи у человека неразрывно связано с ее пониманием и мультимодальной обработкой, то есть анализом смысла высказывания, учетом контекстной информации, мимики и т.п.
Основная причина относительно невысокой эффективности систем речевой технологии заключается в вариативности речевого сигнала, которая обуславливается, например, индивидуальными особенностями дикторов, характеристиками каналов связи, а также влиянием окружающей обстановки.
На эффективность автоматического распознавания речи также оказывают существенное влияние условия прикладной области, в частности, размер словаря. Как правило, словарь системы распознавания является замкнутым, то есть содержит все слова, которые могут быть произнесены и должны быть распознаны. Увеличение размера словаря, вообще говоря, снижает вероятность правильного распознавания.
Потребность распознавания естественной, неограниченной, по словарному составу, речи, приводит к тому, что требование правильного распознавания всего высказывания вряд ли осуществимо и обычно не требуется. Поскольку в данном случае словарь системы является открытым, необходимо предусмотреть возможность отказа системы от распознавания каких-то частей речевого высказывания, которые содержат новые, не входящие в словарь системы, выражения и слова. Таким образом, появляется необходимость решения проблемы идентификации в речевом потоке новых, так называемых, несловарных (OOV, «out of vocabulary») слов или иных акустических событий. Естественным способом решения этой проблемы является синтез так называемых оценок достоверности для результатов распознавания, на основе значений которых можно, в частности, идентифицировать OOV.
Под оценкой достоверности (английский термин «confidence measure») для некоторого результата распознавания речи, под которым может подразумеваться отдельное слово, звук или предложение, здесь и далее будет пониматься число, в интервале от 0 до 1, которое характеризует степень доверия или уверенности в правильности этого результата.
Применение оценок достоверности также может повысить эффективность использования традиционных систем распознавания речи, оперирующих с замкнутыми словарями. Часто эти системы используются как составная часть более крупных автоматических систем, например, управления робототехническими комплексами, доступа к информационным ресурсам, диалоговых систем. В этом случае существует возможность коррекции ошибок автоматического распознавания речи на основе дополнительной информации, которой располагает система верхнего уровня. Такая коррекция будет более успешна, если система распознавания речи предоставит расширенную информацию о результате распознавания, включающую не только предполагаемые слова, но и оценку их достоверности.
Важность решения проблемы построения эффективных оценок достоверности для систем распознавания речи увеличивается по мере дальнейшего прогресса в области речевых технологий. Это обстоятельство определяет актуальность исследований в этом направлении.
Цель диссертационной работы заключается в исследовании и разработке эффективных алгоритмов построения оценок достоверности для систем автоматического распознавания речи.
Достижение указанной цели предполагает решение следующих основных задач:
1. Исследование существующих методов моделирования и автоматического распознавания речи, а также известных методов построения оценок достоверности для систем распознавания речи.
2. Разработка новых методов и алгоритмов построения оценок достоверности результатов работы систем распознавания речи.
3. Программная реализация предлагаемых алгоритмов и проведение экспериментальных исследований их эффективности.
В качестве методов исследования использовались методы математического анализа, методы цифровой обработки сигналов, теории распознавания образов, теории вероятностей, методы кластеризации, теории оптимизации, теории формальных языков.
Научная новизна заключается в том, что предложен новый метод построения оценок достоверности для систем распознавания речи, который основан на построении дополнительных моделей распределения признаков речевого сигнала. Разработаны алгоритмы оценивания значений параметров дополнительных моделей, а также выбора оптимального количества их параметров.
Практическая ценность диссертации. Предложенный метод формирования оценок достоверности показал высокую эффективность при верификации результатов распознавания речи. Исследования были выполнены в рамках работ по проектам «Разработка и тестирование системы распознавания речевых команд управления в акустико-фоновой обстановке кабины пилота» и «Разработка и исследование методов распознавания речи на основе комбинированных моделей звуков» (гранты РФФИ № 06-08-1534 и №07-01-00657).
Основные научные результаты диссертации, выносимые на защиту:
1. Метод формирования оценок достоверности для систем распознавания речи, основная идея которого заключается в построении специальных (дополнительных) моделей распределения векторов признаков речевого сигнала.
2. Алгоритм оценивания параметров дополнительных моделей распределения по обучающей выборке
3. Алгоритм выбора оптимального количества параметров дополнительных моделей.
Апробация работы. Результаты диссертация докладывались на XII международной конференции «Речь и Компьютер» SPECOM 2007 (Москва, 2007 г.), на XIX сессии Российского Акустического Общества (Нижний Новгород, 2007 г.), на XIII всероссийской конференции «Математические методы распознавания образов» (Санкт-Петербург, 2007 г.), на VII Открытом немецко-российском семинаре «Распознавание образов и понимание изображений» (Эттлинген, 2007 г.), а также на семинаре отдела математических проблем распознавания образов и методов комбинаторного анализа ВЦ РАН (Москва, 2008 г.).
Публикации. По результатам диссертационной работы опубликовано 6 статей в научных изданиях [1-6].
Диссертационная работа состоит из введения, трех глав, заключения, двух приложений и библиографического списка использованных источников. Общий объем составляет 102 страницы, в том числе 13 рисунков и 20 таблиц. Библиографический список включает 85 наименований.
Первая глава диссертации является обзорной. В первом разделе рассмотрен вероятностный подход к моделированию и распознаванию речи. Выделены основные компоненты (модули) современных систем распознавания речи: модуль выделения акустических признаков, акустическая модель, языковая модель и модуль декодирования. Сформулированы основные требования к модулю выделения акустических признаков и описан метод формирования акустических векторов на основе мел-кепстрального анализа, который использован при проведении численных экспериментов в данной работе. Дано определение скрытой Марковской модели, которая используется для построения моделей звуков. Описаны методы построения моделей языка с помощью формальной грамматики и статистических N-грамм. Во втором разделе проведен анализ существующих методов формирования и измерения эффективности оценок достоверности результатов автоматического распознавания речи. Оценки достоверности условно разделены на 3 группы на основе способов их формирования. Первая группа состоит из т. н. элементарных характеристик, которые получаются в процессе распознавания речи. В качестве общеупотребительных примеров таких характеристик рассмотрены акустические оценки и плотность гипотез. Оценки достоверности второй группы основываются на апостериорной вероятности наблюдения распознанного слова при заданном наборе акустических векторов. Описаны методы оценки достоверности на основе вычисления априорной вероятности с помощью графа слов (Word Graph). К третьей группе относятся оценки достоверности на основе отношения правдоподобия с использованием специальных акустических моделей. Приведены описания оценок достоверности третьей группы. Для каждой из рассмотренных групп оценок приведены их положительные и отрицательные стороны, приведены численные результаты экспериментов.
Вторая глава посвящена описанию предлагаемых автором методов и алгоритмов формирования оценок достоверности. В первом разделе определены модели распределений векторов признаков, названные целевыми и альтернативными моделями. Описан метод формирования оценок достоверности для гипотезированных слов, который основан на использовании отношений правдоподобия для целевых и альтернативных моделей. Сформулирован критерий обучения целевых и альтернативных моделей. Показано, что обучение этих моделей можно проводить методом градиентного спуска и указаны недостатки такого подхода. Описан новый алгоритм обучения моделей, который свободен от указанных недостатков.
В третьей главе приведены результаты практического применения предложенных в работе методов и алгоритмов. В первом разделе дано описание корпуса речевых данных FaVoR. На основе данных корпуса FaVor сконструированы три выборки данных: обучающая, настроечная и тестовая. Обучающая выборка, предназначена для обучения моделей звуков. Настроечная выборка используется для обучения целевых и альтернативных моделей. На тестовой выборке производилась оценка эффективности предложенных методов формирования оценок достоверности. Приведены характеристики каждой из выборок данных. Во втором разделе описаны модули базовой системы распознавания речи, основанной на вероятностном подходе. Модуль извлечения векторов признаков преобразует входной речевой сигнал в последовательность векторов признаков, состоящих из мел-кепстральных коэффициентов, их первых и вторых производных. Для акустического моделирования речевого потока был выбран подход на основе построения т.н. контекстно-зависимых моделей звуков речи, которые моделировались с помощью СММ. Приведены результаты работы базовой системы распознавания на настроечной и тестовой выборок. В третьем разделе приведены численные результаты применения предложенных в работе методов и алгоритмов. Сравнена эффективность предложенного метода формирования оценок достоверности с другими методами, для которых опубликованы численные значения оценок эффективности . Показано, что предложенные в диссертации алгоритмы позволяют существенно снизить вероятности пропуска правильно распознанных слов и вставки неправильно распознанных слов при работе системы распознавания речи.
В Заключении сформулированы основные результаты, полученные в ходе работы над диссертацией.
Извлечение признаков речевого сигнала
Извлечение признаков речевого сигнала является первым этапом при распознавании речи. На этом этапе входной дискретизированный речевой сигнал, представляющий собой последовательность Y(t) длины Т (/ = 1,...,Т), преобразуется в набор векторов признаков X, пригодных для дальнейшего анализа и обработки. Признаки выбираются таким образом, чтобы разные фонемы имели различимые значения признаков. В то же время, желательно, чтобы вариация входного сигнала одного и той же фонемы не влияла существенным образом на значения её признаков.
Существует довольно много различных систем признаков, например, коэффициенты линейного предсказания речи (LPC, linear prediction coefficients) [10, 35, 47], мел-спектральные (MFFB, mel-frequency filter bank) и мел-кепстральные коэффициенты (MFCC, mel-frequency cepstrum coefficients) [29, 54, 66], вейвлетные (wavelet) [24, 30, 42] и др.
Все экспериментальные результаты и программное обеспечение данной работы получены с использованием мел-кепстральных коэффициентов и их производных по времени. Выбор этих параметров был обусловлен следующими обстоятельствами:
1. по сравнению с параметрами модели линейного предсказания, мел-кепстральные коэффициенты представляются более стойкими к помехам и искажениям входного сигнала. Они не требуют оценки основного тона и могут быть использованы, в том числе, для анализа и распознавания неречевых звуков.
2. по сравнению с мел-спектральными коэффициентами мел-кепстральные менее чувствительны к изменениям амплитудно-частотных характеристик тракта связи как, например, подъем или спад.
3. мел-кепстральные коэффициенты наиболее часто применяются при построении современных систем распознавания речи.
Блоки алгоритма выполняют следующие операции: - Предварительная коррекция. Речевой сигнал Y(t) пропускается через фильтр высоких частот Y2{t) = Y{t)-aY{t-\) , где а - коэффициент коррекции, 0.9 а 1. Этот шаг вызван необходимостью спектрального сглаживания сигнала, который становится менее восприимчивым к различным шумам, возникающим в процессе обработки.
Выделение кадров анализа сигнала. Сигнал Y2(t) разбивается на последовательность кадров (сегментов) с равными длинами, и с перекрытием от 1/3 до 1/2 своей длины. Перекрытие используется для предотвращения потери информации о сигнале на границе. Обычно выбирается длина кадра, соответствующая временному интервалу в 20-30 мс, т.к. на данном интервале речевой сигнал считается стационарным. В результате разбиения получается К кадров Y2\n),...,Y2K(n),0 n N-l. - Обработка кадров. Для подавления нежелательных граничных эффектов, возникающих в результате разбиения, каждый кадр Y2k(n) умножается на оконную функцию w(n) Y3k(n) = Y2k(n)xw(n) В качестве оконной функции w{ri) часто используется окно Хэмминга 27ГИ w(» = 0.54-0.46cos ,0 n N-l - Следующим шагом является вычисление спектра сигнала в каждом кадре с помощью дискретного преобразования Фурье N-l {2nsn У/С?) = 2Х(»)е N ,0 s N-l л=0 - Оценка амплитудного спектра и моделирование гребенки фильтров с центральными частотами, равноразнесенными по шкале Мелов (Mel Filter Bank). Для этого амплитуды суммируются в частотных полосах, выбранных по шкале Мелов, с весовыми коэффициентами H(s,m) и полученная суммарная амплитуда логарифмируется N-\ Л 7/» = log \YiY4k(s)\H(s,m) .5=0 Л т М где М — количество частотных полос. Мел-фильтры H{s,m) задаются формулой - Дискретное косинусное преобразование (ДКП). Мел-кепстральные коэффициенты получаются в результате применения дискретного косинусного преобразования к выходам гребенки мел-фильтров (мел-спектру) м C (7) = 2XO)cos т=\ т (Ш( iY\ уМу ,\ 1 М - Оценка логарифма энергии сигнала. Кроме кепстральных коэффициентов, в качестве дополнительного элемента вектора признаков используется значение логарифма энергии сегмента N-1 = log 2(1?(»)) \п=0 - Первые и вторые производные коэффициентов. К описанным признакам (мел-кепстральные коэффициенты и логарифм энергии) присоединяются их первые и вторые производные по времени, которые вычисляются по формулам
Целью акустической модели является оценка вероятности Р(Х \ S) сигнала X при заданной цепочке слов S. Для системы распознавания речи с большом словарем построение модели для каждой цепочки слов представляется невозможным, так как число допустимых цепочек слов в этом случае огромно. Вместо этого, строятся акустические модели для более мелких речевых единиц, т. н. фонов. Акустическая модель слова получается путем соединения моделей входящих в него фонов. Аналогично, акустическая модель цепочки слов представляет собой конкатенцию акустических моделей слов. В ряде работ [например, 82] было показано, что использование в качестве фонов контекстно-зависимых моделей фонем: бифонов (biphone), и Трифонов (triphone) существенно улучшает характеристики системы распознавания речи.
Существуют несколько подходов к построению акустической модели, например, нейронные сети [27, 31, 61], скрытые Марковские модели (СММ) [43, 56, 58], байесовские сети [21, 85, 70]. Использование СММ является на сегодняшний день наиболее широко применяемым и эффективным подходом к проблеме построения акустической модели.
Скрытая Марковская модель Я = (А, В, П) определяется следующими параметрами - множество состояний модели 5 = ( ,..., ), где N - количество состояний. Состояние модели в момент времени t обозначается qt. - множество различных символов наблюдения О = {ок}
Элементарные оценки достоверности
К элементарным оценкам достоверности распознаваемого слова относится любая числовая характеристика, получаемая в процессе декодирования. Эти характеристики могут иметь акустическую или грамматическую природу [13, 17, 18, 64, 65]. В качестве признаков для проверки корректности распознанного слова берутся такие характеристики, у которых функция распределения вероятности для правильно распознанных слов существенно отличается от функции распределения вероятности для неправильно распознанных слов. Примеры таких характеристик Нормированная акустическая оценка CmNAS(W,Xw) [16, 38].
Вероятность P(XfV\Ajr) характеризует степень принадлежности последовательности векторов признаков Xw к множеству акустических событий, которые описываются моделью Хуу. При достаточно большом значении P{XW\AW) можно ожидать, что последовательность векторов признаков Xw распознана корректно. Для того чтобы оценка не зависела от длины последовательности Xw, используется её нормированное значение CmNAS{W,Xw) = -i-logP(X„ I \v) , -V где W — распознанное слово, Xw — последовательность векторов признаков соответствующей слова W, Tw - длина последовательности Xw, Я,у акустическая модель слова W. На рис. 3 показана ROC-кривая для нормированной акустической оценки на корпусе данных Ti-digits [55].
Плотность гипотез [41]. В процессе декодирования маловероятные гипотезы отсекаются. Поэтому если в некотором сегменте времени вероятность гипотетического слова W намного больше чем вероятностей других слов, то большинство из них отбрасывается. С другой стороны, если гипотетические слова имеют близкие и высокие значения вероятности, то отсекание не происходит. Чем больше количество возможных гипотезированных и не отброшенных слов в некотором промежутке времени, тем больше вероятность ошибки в распознавании на этом промежутке. Для каждого слова W и момента времени / определяется число гипотез D{W,t) =\{W:(W,s,e)eWGAS t e}\ , где WG - словный граф (Word Graph), получаемый после процесса декодирования, s,e - начало и конец сегмента сигнала для гипотезированного слова W соответственно. Тогда для слова W плотность гипотез определяется как e-s + lt=s
Численные результаты применения оценки достоверности результатов распознавания в виде плотности гипотез на различных корпусах данных представлены в таблице 2 [78].
Для достижения более хорошего результата применяется комбинация нескольких, взаимно независимых характеристик. Для комбинирования характеристик обычно используются линейный дискриминантами анализ [71, 72], метод опорных векторов [84], нейронные сети [49], дерево принятия решений [23, 51] и т.п. Применяются и более простые методы комбинирования, например использование среднего геометрического взвешенного [55] Cm(W,Xw) = ехр(о,\ogCm,{W,Xw) + ... + а„\o Cmn{W,Xw)) , где Cmx{W\Xw),...,Cmn(JV ,X]V) - простые характеристики достоверности слова W, а{ 0(1 i n) - коэффициенты, удовлетворяющие условию ах +... + ап =1.
Методы, основанные на вычислении простых характеристик, просты и не требуют больших вычислительных и временных ресурсов. В то же время, во многих экспериментах было показано, что элементарные характеристики обладают высокой корреляционной зависимостью [39, 41, 65]. Поэтому комбинирование таких оценок часто не приводит к заметному повышению эффективности, по сравнению с использованием характеристик по отдельности.
Двухуровневый метод формирования оценок достоверности
На основе значений элементарной функции достоверности C{xt,qt) для каждого вектора признаков xt последовательности X = (xl,...,xT), распознанной как слово W, строим оценку достоверности. Исходя из представленного способа построения и свойств функции C(xt,qt), можно предположить, что последовательность векторов признаков X корректно распознана как слово W, если C(xt,qt) Tqi,\ t T (2.2) Тогда в качестве оценки достоверности распознанного слова W можно взять функцию (1, если VI t Т: С(х.,q.) ra Cm(W,X) = \ q [О, если 31 t Т: C(xt,qt) rq%
Следовательно, при анализе результатов распознавания, последовательность векторов признаков X считается корректно распознанной как слово W если Cm(JV,X) = \. В противном случае, Cm(W,X) = Q, последовательность векторов признаков X считается некорректно распознанной.
Условие (2.2), при выполнении которых последовательность векторов признаков X считается корректно распознанной, являются очень сильными ограничениями. На практике неизбежны ошибки, когда последовательность векторов признаков X корректно распознана как слово W, но имеются такие пары (xt,qt), что C(xt,qt) Tqt
Пррінимая это во внимание, предлагается формировать оценку достоверности Cm(W,X) на основе средних значений, одним из следующих способов: Cm{W9X) atC{xtiqt) (2.3) t=\ f т \ Cm(W,X) = exv а, In C( „?,) , (2.4) 4/=1 J где at 0(1 t T) - весовые коэффициенты. Чтобы оценки достоверности (2.3) и (2.4) не зависели от длительности Т, наложим ограничения на значения весовых коэффициентов
Предложенные таким образом методы формирования оценок достоверности для слова будем называть одноуровневыми методами.
Последовательность векторов признаков X будем считать корректно распознанной как слово W, если значение Cm(W,X) больше чем значение порога TW. В противном случае, Cm(W,X) Tw, последовательность векторов признаков X считается некорректно распознанной как слов W. Значения порога тц, является фиксированным и заранее выбирается, например, эмпирическом образом для каждого слова W словаря системы распознавания речи. Кроме того, из войства элементарной функции достоверности следует, что
В разделе 1.1.2 показано, что для системы распознавания речи с большим объемом словаря акустические модели, как правило, строятся для контексто-зависимых реализаций фонем или фонов. Поэтому кроме распознанного слова W, на выходе из декодера также определена соответствующая ему последовательность образующих фонов.
Пусть распознанное слово W состоит из N фонов, т.е. W -ихиг...ип. Для фона ип(\ n N) обозначим соответствующие ему последовательности векторов признаков и оптимальную последовательность состояний через Xun={xSn,xSn+x - xe) и Qun= Sn,qSn+x,-,qc), соответственно. Последовательности Хи и Q„ являются подпоследовательностями "и "и последовательностей X и Q и
Для слова W формируем оценку достоверности как арифметическое среднее или геометрическое среднее оценок достоверности для составляющих его фонов: Ст(1,Х) = Ст(ип,Хип) М л=1 (2.7) ( 1 v (2.8) Cm(W, X) = ехр — In Ст(ин, XVf) V л=1 Методы формирования оценок достоверности согласно формулам (2.7) и (2.8) будем назвать двухуровневыми методами. Различие между одноуровневыми и двухуровневыми методами формирования оценок достоверности для слов наглядно представлено на следующей рисунке.
Извлечение векторов признаков речевого сигнала
Модуль декодирования использует алгоритм Витерби при поиске оптимальной цепочки слов для каждой речевой записи. Для получения оценки эффективности базовой системы распознавания речи каждая распознанная цепочка слов выравнивалась с соответствующей цепочкой слов из файла аннотации методом динамического программирования. Результаты распознавания для слов на настроечной и тестовой выборках приведены в таблице 10. Результаты распознавания для каждого слова словаря системы распознавания речи приведены в Приложении 2.
Количество речевых записей, распознанных без ошибок, составляют 1248 и 836 на настроечной и тестовой выборках соответственно.
Так как для слов «старт» и «стоп» отсутствуют ошибки распознавания, то в дальнейшем будем проводить эксперименты только для остальных слов. Соответственно, показатели эффективности предложенных оценок достоверности так же вычисляется без учета слов «старт» и «стоп».
Обучение целевых и альтернативных моделей проведено предлагаемым методом обучения (раздел 2.3.3) со значением минимальной суммы компонентов смесей Мтш=8 и значением = 0.01. Для вычисления значения функции ошибки F( & ,xq,rg) параметры aq и bq установлены равными 1 и 0 соответственно, т. е. функция R(x, &q,4Jq,Tq) имеет вид
В результате обучения всех целевых и альтернативных моделей, установлены следующие факты:
- В подавляющем большинстве случаев, в результате применения алгоритма обучения, число компонентов смесей распределения альтернативной модели больше, чем число компонентов смесей распределения целевой модели. Это факт объясняется тем, что множество / состоит из векторов признаков некорректно распознанных последовательностей векторов признаков, которые были «принудительно» распознаны как слова словаря. Поэтому элементы множества / имеет более широкий разброс по пространству векторов признаков.
- Значения дискриминационных величин для каждого отдельного слова имеют тенденция на убывание на краях. На рис. 7 представлены график зависимости значения дискриминационных величин от состояния для слов «два», «три» и «семь».
Первый факт может служить как рекомендация при построении оценок достоверности. Для методов 3-ей группы, т. е. с использованием дополнительных акустических моделей, если необходимо заранее определить число параметров целевых и альтернативных моделей, то целесообразно использовать больше параметров для описания альтернативных моделей, чем для описания целевых моделей.
В качестве примера, результаты обучения целевой и альтернативной моделей для состояния #з СММ контекстно-зависимого фона «n -eA+t» на каждом итерации приведены в таблице 11. Числа компонентов смесей распределения целевой и альтернативной моделей обозначаются через М0 и М, соответственно. Для сравнения проведем обучение целевой и альтернативной моделей состояния д3 СММ «n -eA+t» методом градиентного спуска. Однако алгоритм градиентного спуска требует априори определить числа компонентов смесей распределения целевой и альтернативной моделей и задать их начальные приближения. Поэтому, для каждого выбора числа компонентов смесей будем проводить обучение 50 раз с различными начальными приближениями. Начальные приближения задаются путем применения алгоритма k-средних и ЕМ-алгоритма на множествах Cq и / для целевой и альтернативной моделей, соответственно. В таблице 12 приведены результаты применения алгоритма градиентного спуска с разными размерами целевой и альтернативой моделей. Из результатов видно, что полученные значения М0 и Мх при применении предложенным алгоритмом обучения является оптимальными. Для случаев обучения целевой и альтернативной моделей методом градиентного спуска с большим числом параметров не гарантируются уменьшение функции ошибки F(0 xq,r ). Кроме того, большое число параметров может привести к проблеме нехватки данных для обучения.
