Содержание к диссертации
Введение
Глава 1. Особенности построения систем распознавания сигнальной информации 10
1.1. Основные подходы к построению распознающих систем 10
1.2. Формальное описание задачи распознавания образов И
1.3 Зада чи распознавания сигнальной информации 13
1.4. Модели распознаваемых сигналов и представление сигналов на вход распознающей системы 15
1.5. Модели влияния среды на формирование сигнала на входе PC .18
1.6 Методы восстановления спектральной структуры сигнала 32
1.6.1. Спектральное вычитание 32
1.6.2. Кепстральное вычитание 34
1.6.3. Выделение полезного сигнала с использованием адаптивной фильтрации 35
1 .бАПрименение вейвлет-преобразования для устранения влияния среды распространения 38
1.7. Выводы 43
Глава 2. Модели распознавания сигналов на основе использования инвариантных описаний сигналов 45
2.1. Методы решения задачи распознавания в условиях априорной неопределенности 45
2.1.1. Основные походы к решению задачи распознавания в условиях априорной неопределенности 45
2.1.2. Максимальный инвариант и методы его построения 54
2.1.3. Построение инвариантных решающих правил на основе моделей формирования и распространения сигналов 56
2.2. Формирование инвариантных описаний сигналов на основе модельных представлений влияния канала распространения
2.2.1.Инвариантная форма представления сигнала при распознавании на фоне аддитивных помех 60
2.2.2. Случаи нестационарной помехи 67
2.2.3. Анализ эффективности использования помехоустойчивых описаний сигнала 69
2.2.4. Инвариантная форма представления сигнала при наличии частотно-зависимого затухания по дальности 76
2.2.5. Комплексная инвариантная форма представления сигнала при наличии аддитивной помехи и частотно-зависимого затухания 84
2.3. Выводы 87
Глава 3. Модели распознавания сигналов в условиях помех методом непосредственного синтеза инвариантных решающих правил 88
3.1. Общая постановка задачи непосредственного синтеза помехоустойчивых решающих функций 88
3.2. Условие помехоустойчивости линейного классификатора 89
3.3. Построения помехоустойчивого классификатора для одной помехи методом обучения на разностных векторах 92
3.4. Обобщенные алгоритмы обучения помехоустойчивого классификатора, основанные на применении рекуррентных методов адаптации 95
3.5.Параметрический метод обучения. Помехоустойчивый аналог дискриминанта Фишера 102
3.6. Расчет вероятностей ошибок классификации линейных решающих правил в условиях помех 105
3.7. Линейное приближение формулы для разделяющего вектора в случае нестационарной по спектру помехи 109
3.8. Выводы по главе 111
Глава 4 . Программные средства моделирования процесса распознавания сигналов в условиях влияния внешней среды 113
- 4 4.1. Общая структура программного комплекса для моделирования процесса распознавания 113
4.2 Программа "Vector" моделирования спектров сигналов и формирования выборок зашумленных сигналов 114
4.3. Программа "TrainPattern" для моделирования распознавания сигналов при исследовании алгоритмов непосредственного синтеза инвариантных решающих правил 118
4.4. Комплекс программ для моделирования распознавания на основе инвариантных признаков 119
4.5. Программное обеспечение для моделирования распознавания речевых сигналов в условиях помех 122
4.6. Комплекс программ "Геконал" для построения сложных решающих правил на основе использовании разнородных признаков и концепции "сложных" классов 123
Глава 5. Экспериментальные исследования разработанных алгоритмов 126
5.1 Цели и задачи экспериментов 126
5.2. Данные, использованные для проведения экспериментов 127
5.3. Методика проведения исследований 128
5.4 Исследование помехоустойчивости двухклассного решающего правила при использовании инвариантных признаков 129
5.5. Сравнительное исследование эффективности применения различных инвариантных описаний 133
5.6. Исследование эффективности функционирования помехоустойчивого классификатора, построенного методом непосредственного синтеза 138
5.7. Сравнительные эксперименты по использованию инвариантных признаковых описаний и метода непосредственного синтеза инвариантных решающих правил 146
5 5.8. Распознавание речевых сигналов на основе инвариантных признаковых описаний 155
5.9. Выводы 159
Заключение 160
Литература
- Модели распознаваемых сигналов и представление сигналов на вход распознающей системы
- Максимальный инвариант и методы его построения
- Условие помехоустойчивости линейного классификатора
- Программное обеспечение для моделирования распознавания речевых сигналов в условиях помех
Модели распознаваемых сигналов и представление сигналов на вход распознающей системы
Задача формирования множества М сигналов, порождаемых распознаваемыми объектами, относится скорее к проблемам построения информационно-измерительных систем, решающих задачу получения сигнального описания некоторого реального физического объекта. Очевидно, в основе такой системы лежит использование различного рода датчиков, преобразующих физические поля объектов распознавания в соответствующие электрические сигналы и далее в цифровую информацию, поступающую на вход компьютерной системы. Однако при исследовании реальных сигналов приходится учитывать весьма важный фактор, связанный с характеристикой среды распространения регистрируемых сигналов. Таким образом, мы имеем следующую модель формирования сигнала, подлежащего распознаванию, Рис. 1.1.
Модель формирования сигнала на входе системы распознавания Проблема учета влияния среды распространения является весьма сложной для решения большинства практических задач распознавания сигнальной информации. В настоящей работе этому вопросу уделено значительное внимание. Рассматриваются проблемы учета влияния среды распространения для задач распознавания шумовых случайных сигналов применительно к проблемам распознавания речевых сигналов, гидроакустических сигналов, шумовой диагностики состояния механизмов.
Общей особенностью рассмотренной проблемы является наличие априорной неопределенности связанной с характеристиками канала распространения сигнала. В настоящей работе рассмотрены подходы, основанные на модельном представлении влияния канала распространения и сведении задачи к проблеме преодоления параметрической априорной неопределенности.
Модели распознаваемых сигналов и представление сигналов на вход распознающей системы Практические задачи распознавания сигнальной информации имеют большое разнообразие с точки зрения модели распознаваемого сигнала. Можно выделить сигналы детерминированного и случайного типа, непрерывные и импульсные. Важным классом распознаваемых сигналов является модель слу чайного шумового процесса с непрерывным и дискретным спектром. В общем, виде такая модель может быть представлена следующим образом [2,42, 72]: e(t) = A(t)+є1 (0+є2 (f Xl + mF(t)], (1.1) где: sx(t), є2(і)- случайные процессы, имеющий шумовой характер и непрерывную по частоте функцию спектральной плотности мощности [27]; произвольные случайные функции времени, m - коэффициент модуляции, F(t)-процесс аналогичного типа с A(t). Процессы вида A(t) и F(t) относятся к процессам с дискретным спектром мощности. Таким образом, модель сигнала (1.1) включает в себя как аддитивные компоненты, так и мультипликативные, причем имеются компоненты, как с непрерывным, так и с дискретным спектром мощности, и соответственно процесс є(і) относится к процессам с дискретно-сплошным спектром.
Представленная модель достаточно хорошо описывает задачи распознавания гидроакустических сигналов, речевых сигналов, задачи диагностики механизмов по их шумовому излучению и ряд других приложений. На основе этой модели могут быть построены частные модели применительно к конкретным приложениям:
Было показано, что более удобным способом описания сигнала в этой задаче, является использование достаточной статистики, в качестве которой берутся дискретные отсчеты оценок спектральной плотности мощности процесса s(t). При этом, за счет использования приближенно-достаточного описания, размерность спектрального признакового описания может быть на 1-2 порядка меньше размерности исходного описания в виде дискретных отсчетов s(t). Дальнейшее сокращение размерности может быть достигнуто за счет использования полосовых оценок спектра мощности, получаемых за счет усреднения по частоте соседних компонент оценки спектральной плотности мощности.
Таким образом, в качестве признакового описания компонент процесса e(t) целесообразно использовать представление его в виде вектора признаков ? = (5 (Q)1),S,((B ), S(aM)) где 5(ю;) - отсчет спектральной плотности мощности для частоты юг-.
Модель сигнала как случайного процесса с дискретным спектром явля ется весьма информативной в ряде задач (например при анализе сонорной структуры речевого сигнала, анализе характеристик двигательных установок в задача шумовой диагностики механизмов). Построение признаковое описания на основе рассматриваемой модели сигнала основывается на оценке дискрет ной структуры спектральной плотности мощности. В качестве базовых понятий рассматриваются дискретные компоненты спектра, связанные с гармонически ми составляющими (ГС) и полигармоническими (ПГС) компонентами исходно го сигнала. Формально первый уровень обработки сводится к обнаружению и оцениванию параметров ДС порождаемых гармоническими составляющими -(ГС) сигнала и звукорядов (ЗР), связанных с полигармонической структурой (ПГС). В настоящей работе автором исследовалась признаковое описание на основе модели процесса с непрерывным спектром.
Максимальный инвариант и методы его построения
Одним из направлений решения задачи распознавания в условиях априорной неопределенности о действии мешающих параметров является метод допустимых преобразований и его разновидности [24, 37]. Суть данного метода заключается в следующем. Каждый класс Lj описывается вектором эталонных признаков x(j), называемым исходным эталоном класса Lr
Возможные значения исходного эталона принадлежат пространству признакового описания X. Пусть задано параметризированное по набору мешающих параметров Я множество допустимых преобразований Gx, применимых только к исходному эталону. Результатом применения преобразования g% к исходному эталону x(j) является преобразованный эталон E\j,X)=gbx0{j) , значения которого , также, принадлежат пространству X. Заданным является, также, множество Лу допустимых значений X, в общем случае зависящее от класса Z,.. Тем самым для каждого из эталонов оказывается заданным множество допустимых преобразований. Множество значений, которые принимает эталон E\J,X) при фиксированном j и при всех возможных X є Лу называется областью эталонов j-oro класса. Принимается решение о классе сигналов Z,,., где
P[X/E[J,X)) - плотность распределения векторов класса Lj при наличии мешающего параметра X. В данном случае плотность р рассматривается в качестве функции правдоподобия. В качестве функции правдоподобия в (2.2) может быть использована любая функция f, связанная с р монотонно возрастающей зависимостью, либо монотонно убывающей зависимостью (в этом случае операция max заменяется на mm).
Для задачи распознавания оптических изображений А.В .Ковалевским на основе метода допустимых преобразований предложен корреляционный метод распознавания [24]. Он может эффективен для модели формирования признакового описания вида
где: хи х - векторы исходного и преобразованного эталона у -го класса; а -освещенность ; (3 - яркость рассеянного света; W - вектор параметров неоптического преобразования. Параметры а и Р рассматриваются, в данном случае, в качестве мешающих. В этом случае в качестве функции правдоподобия в выражении (2.2) может быть использовано скалярное произведение есть ортонормированная маска, зависящая от вектора параметров W неоптического допустимого преобразования. Координата г вектора С определяется соотношением:
Данный метод может быть также использован и в ряде задач другой физической природы, процесс порождения признакового описания в которых может быть описан аналогичной формальной моделью.
Одной из разновидностей метода допустимых преобразований является метод "резиновой маски" [23, 37, 73, 74]. Суть его заключается в подгонке эталона к признаковому описанию наблюдаемого сигнала. Одним из преимуществ данного метода может являться возможность в ряде случаев (например при распознавании изображений) прямого использования образов без подбора, обнаружения и измерения его характерных признаков. Эталоны получаются либо на основе математической модели объекта, либо исходя из данных о реальных объектах.
В работах [73, 74] описывается применение метода резиновой маски для распознавания изображений, анализа энцефалограмм и электрокардиограмм. В работе [37] описывается алгоритм работы распознающей системы применительно к задаче распознавания гидроакустических сигналов. При этом в качестве признакового описания используются спектры мощностей наблюдаемых сигналов, а "подгонка" эталонов осуществляется с помощью моделирования искажений эталонных спектров мощности в зависимости от изменения дистанции до источника сигнала.
В качестве недостатков алгоритма "резиновой маски", равно как и всех алгоритмов, базирующихся на методе допустимых преобразований, можно отметить следующее.
1. Для качественного решения задачи классификации необходимо хранение довольно большого количества эталонов для каждого из класса объектов. Это объясняется многообразием объектов, принадлежащих определенному классу, и случайным характером генерируемых ими сигналов.
2. Большой объем вычислений при итерационном процессе подгонки эталонов приводит к большим затратам времени на принятие решения. Упрощение алгоритмов подгонки может существенным образом снизить качество решаемой задачи.
3. Увеличение количества мешающих параметров ведет к резкому усложнению алгоритмов подгонки эталонов и связанному с этим резкому увеличению объема вычислений.
Все вышесказанное предъявляет повышенные требования к быстродействию и объему оперативной памяти вычислительных систем, на базе которых реализуется PC. Очень часто эти требования таковы, что данный метод оказывается непригодным для решения задачи построения конкретной реальной PC, особенно для бортовых PC.
Следующим направлением являются методы, базирующиеся на возможности определить вектор параметров X преобразования gx .В этом случае для каждого конкретного значения выбирают преобразование, обратное gx,, то есть происходит процесс восстановления эталона ад- -ллй. (2.5)
В качестве примера алгоритмов такого рода в [24] рассматривается задача распознавания изображений, над которыми осуществляется преобразования поворота и сдвига. Параметры Я для каждого изображения определи -50 ются путем измерения сдвигов центра изображения и поворотов его оси инерции, а масштабные измерения учитываются путем нормализации по дисперсии возбужденных точек изображения.
Область применения алгоритмов такого рода весьма ограничена отсутствием принципиальной возможности определения текущих значений вектора мешающих параметров Я. Кроме того, отмечается низкая помехоустойчивость подобных алгоритмов.
Одним из наиболее перспективных и распространенных направлений решения задачи распознавания при наличии мешающих параметров является теоретико-групповой подход к проблеме формирования и изменения признаковых описаний объектов.
Условие помехоустойчивости линейного классификатора
В настоящем разделе рассматривается разработанный автором подход к решению задачи распознавания на фоне помех в задачах распознавания шумовых сигналов на основе непосредственного синтеза помехоустойчивых решающих функций. Этот подход является частично альтернативным к рассмотренному в п .2.2 методу, основанному на построении инвариантных описаний. В данной работе рассмотрены методы непосредственного синтеза линейных решающих правил. Использование этих методов может быть более эффективным по сравнению с методами, основанными на инвариантных описаниях в случае, когда вид решающих функций заранее определен. Результаты исследований опубликованы в работах [ 12, 45].
Общая постановка задачи непосредственного синтеза помехоустойчивых решающих функций. Рассматривается задача распознавания шумового случайного сигнала S(f). В качестве первичного описания сигнала используется оценка спектра мощности Zt на соответствующих частотах со,, (i l,...,d). Указанные оценки могут быть подвергнуты предварительно временному или частотному (полосовому) сглаживанию.
Сигнал на входе классификатора представляется в виде d -мерного вектора Z спектральных отсчетов
Предполагается, что информационным параметром класса является форма спектра, а мощность сигнала является мешающим параметром и, соответствен - 89 " но, входной сигнал подвергается нормированию по мощности на входном пре-дусилителе. Таким образом, предполагаем, что где а2 - дисперсия входного сигнала S(t). Нормированию по мощности во временной области соответствует нормирование в частотной области [27], т.е. предполагается, что на вход распознающей системы поступает нормированный вектор спектрального описания X,
Пусть входной сигнал S (t) имеет в своем составе как полезную составляющую S(i), так и к составляющих различных помех n.(t) причем все составляющие статистически независимы. В таком случае спектр мощности входного сигнала Sz(t) представляет собой аддитивную смесь спектра полезной составляющей и к спектров помех [27]. Вектор спектрального описания Z„ входного сигнала, искаженного помехами, можно представить в виде суммы где Z - вектор спектрального описания полезного классифицируемого сигнала, Z. - вектор спектрального описания помехи.
Рассмотрим работу линейного классификатора для случая, когда вектора помех Z. известны с точностью до постоянного сомножителя и фиксированы, а отношения мощностей полезного сигнала аг и помехи а1 неизвестны.
Данный случай соответствует наличию на входе классификатора нескольких аддитивных помех в виде случайных процессов с известными спектральными плотностями, но неизвестными мощностями. Используя соотношения (3.2), введем в сумму (3.4) нормированные вектора
Сравнивая (3.9) и (3.11), можно записать, что действие аддитивных помех на входной сигнал линейного классификатора сводится к эквивалентному из - 92 " менению свободного члена разделяющей функции на величину Awn. Как видно из (3.10), величина Aw зависит от значения, которое принимает разделяющая функция g(x) в точке х , а также от величины отношения а2. Отсюда, для обеспечения независимости работы линейного классификатора от значений q. ,І = 1,...,к надо найти линейную функцию g(x), которая обеспечивала бы разделение классов и одновременно удовлетворяла бы дополнительным условиям которые являются условиями помехоустойчивости линейного классификатора.
В общем случае задача синтеза линейной разделяющей функции, инвариантной к воздействию помех с известной формой спектров мощности при неизвестных мощностях помех, формулируется как задача оптимизации [43]. Требуется найти вектор W и порог WQ, максимизирующие некоторый показатель качества і/("И ,"И ) при наличии ограничений:
Из (3.14) следует, что весовой вектор W помехоустойчивой разделяющей функции может быть найден из условия правильной классификации векторов вида X — X при нулевом значении порога VP = 0 . Обращаясь к рис. 3.1, можно следующим образом пояснить полученный результат. Для того, чтобы через заданную точку # провести гиперплоскость, удовлетворяющую условиям разделения (3.9а), достаточно сместить начало координат в точку X и построить гиперплоскость, также удовлетворяющую (3.9а) и проходящую через начало координат (в новой системе координат). Таким образом, мы приходим к одному из способов обучения помехоустойчивого классификатора, который можно условно назвать «обучением на разностных векторах». При обучении по этому способу каждый вектор X обучающей выборки заменяется на разностный вектор х — х и отыскивается разделяющая функция с нулевым свободным членом. В процессе обучения вычисляется направляющий вектор W. Затем порог вычисляется по формуле (3.13). Распознавание производится с
Построение помехоустойчивой разделяющей гиперплоскости. помощью линейной разделяющей функции (3.9). Указанный способ обучения помехоустойчивого классификатора был реализован с помощью алгоритма обучения с исправлением ошибок [15].
Однако описанный в данном параграфе метод обучения не дают возможности строить решающие функции, помехоустойчивые одновременно к нескольким помехам. В связи с этим рассмотрим обобщенный подход к решению задачи синтеза помехоустойчивых решающих функций.
Программное обеспечение для моделирования распознавания речевых сигналов в условиях помех
Из анализа результатов видно, что увеличение флуктуации ведёт к ухудшению качества работы классификатора, однако в любом случае при малых отношениях сигнал/помеха инвариантные системы признаков дают лучшие результаты по сравнению с исходным признаковым описанием, для которого спад характеристики начинается уже при отношениях сигнал/помеха меньших 5,0. Учёт флуктуации помехи позволил улучшить качество правильной классификации по сравнению с обычным помехоустойчивым классификатором при малых отношениях сигнал/помеха. При этом увеличение числа ошибок при боль -133 ших отношениях сигнал/помеха оказалось очень незначительным. Совместный инвариантный классификатор показал несколько худшие результаты по сравнению с классификаторами, инвариантными только относительно помехи. При Кфл = 0,1 спад характеристик у последних начинается при q 1, а у совмест у ного инварианта — при q 2. Однако, его эффективность всё-таки значительно выше эффективности классификатора, использующего исходное признаковое описание. Кроме этого, следует отметить достаточно высокую эффективность совместных инвариантов при распознавании на достаточно больших дистанциях, что было подтверждено в ходе экспериментов, описанных в следующем разделе.
Сравнительное исследование эффективности применения различных инвариантных описаний.
В ходе данных экспериментов производилось построение классификаторов для распознавания сигналов трёх классов объектов, сформированных из "Статистики-1, описанной в разделе 5.1. Каждая реализация представлялась 256 -мерным вектором спектра мощности в диапазоне от 200 - 5000 гц (начальное разрешение по частоте - 20 гц.). Эксперименты проводились на размерностях 128, 64 и 32 (изменение размерности проводилось путем осреднения по частоте). Проведено несколько серий экспериментов.
Серия 1. В ходе данной серии экспериментов проводилось исследование эффективности использования различных систем признаков: инвариантов по помехе /ИП/, инвариантов относительно частотно-зависимого затухания /ЧИ/, совместных инвариантов /СИ/. При этом обучение проводилось на исходной неискажённой выборке, а распознавались как исходная, так и искажённая выборки. Моделировались искажения, возникающие при увеличении дальности от источника до приёмника на 60, 80, 100, ПО, 115, 120, 130 км. Эксперименты проводились на размерностях исходного пространства признаков N = 32 и N = 128. При обучении и распознавании были использованы три различных типа зависимостей коэффициента частотного затухания частоты (1.11). При этом моделирование распознающих выборок проводилось с помощью зависимостей, как использованных, так и не использованных при обучении. Однако, как показали эксперименты, эффективность решающего правила практически не зависела от использованных способов оценки коэффициента частотного затухания. Формирование совместных инвариантов проводилось для эталонной помехи со спектром мощности вида Sm(f) -\/f.O результатах данной серии экспериментов можно судить по таблице 5.1, в которой представлены средние по трем классам проценты правильной классификации для различных испытываемых систем признаковых описаний. Как видно из таблиц, классификаторы, обученные в исходном пространстве признаков (ИП), теряли свою работоспособность уже на дистанции 60 км. В ходе дополнительных экспериментов было установлено, что данная система признаков обеспечивала удовлетворительный уровень классификации /80-90 %/ до дистанций 30-40 км. Более высокий процент распознавания обучающих выборок для размерности 32, по сравнению с размерностью 128, может быть объяснен в первую очередь тем, что в первом случае при обучении использовались полные ковариационные матрицы групп, а во втором - лишь их диагональные элементы. Инвариантный относительно частотно -135 зависимого затухания классификатор (ЧИ) при размерности 32 сохранял работоспособность (88% правильной классификации) до дистанции 110 км, а при размерности 128 вплоть до 130 км (81%). Более высокую устойчивость к частотному затуханию при больших размерностях можно объяснять возможностью более точного учёта зависимости р(/). Испытания совместного инварианта (СИ) показали, что он обладает ещё большей устойчивостью к изменениям дистанции. Однако платой за всё это, а также за помехоустойчивость алгоритма, оказывается более низкий процент распознавания на малых дистанциях, который, тем не менее, является вполне приемлемым для реальной работы.
Серия 2. В данных экспериментах проводилось построение системы признаков, инвариантной относительно воздействия нескольких аддитивных помех. В качестве эталонных выбиралось 3 вида спектров помех: S\(J) = \lf, 82(f) = 1//, 83(f) = 1//. Размерность исходного признакового описания равнялась 32, а размерность пространства инвариантных описаний - 29. Распознавание проводилось путём моделирования воздействия помехи вида S(f) = IIf, где значение коэффициента р изменялось в диапазоне от 2,0 до 8,0. Замешивание проводилось при отношениях сигнал/помеха: 0,1; 0,3; 5.
Качество правильного распознавания Рщ, ( в % правильных ответов) при отно-шении q = 0,1 и различных значениях коэффициента р представлены в таблице 5.2. Процент правильной классификации при больших отношениях сигнал/помеха составлял 100 % при любых значениях Как видно из таблицы 5.2 имеется принципиальная возможность, путём выбора соответствующих эталонных спектров помех, перекрыть широкий диа -136" пазон действующих реальных помех. Реальный путь построения таких инвариантных классификаторов предполагает предварительную статистическую обработку реализаций помех с целью выделения ряда эталонов, относительно которых в дальнейшем производится построение инвариантных систем признаковых описаний. "ow «? !(ї і 5 5 Я? 25 ід т а Рис. 5.10
Серия 3. Эти эксперименты были посвящены исследованиям совместных инвариантных признаковых описаний. В ходе экспериментов производилось формирование совместных инвариантов относительно белого шума и частотно-зависимого затухания. При этом в качестве исходного признакового описания использовалось пространство размерности 15. Моделировалось распознавание на фоне белого шума при различных отношениях сигнал/помеха и изменениях дистанции от 0 до 80 км. Эксперименты проводились для времён накопления 1 и 50 секунд. Оценки качества правильного распознавания приведены на графике, рис. 5.10. Кривые 1, 2, 3 соответствуют распознаванию с временем накопления 1 секунда на дистанциях 0, 60 и 80 км соответственно. Кривые 4 и 5 получены для Т = 50 секунд на дистанциях 0 и 80 км. Кривая 6 соответствует классификатору, обученному в пространстве исходных признаковых описаний при распознавании без наличия частотно-зависимого затухания.
