Содержание к диссертации
Введение
1 Определение объема обучающей выборки при распознавании стационарных случайных сигналов в спектральной области 17
1.1 Вводные замечания 17
1.2 Решающее правило для распознавания стационарных случайных сигналов, отличающихся корреляционными функциями, во временной области 20
1.3 Статистические свойства спектральных оценок 22
1.4 Решающее правило при распознавании случайных сигналов в спектральной области 26
1.5 Оценка вероятности правильного распознавания 28
1.6 Решающее правило в условиях параметрической априорной неопределенности 36
1.6.1 Определение необходимого объема обучающей выборки 38
1.6.2 Обучение по одной реализации 40
1.6.2.1 Выбор способа обучения и оценка вероятности распознавания... 40
1.6.2.2 Выбор ширины спектрального окна при распознавании сигналов с СПМ, имеющими монотонный характер 51
1.6.2.3 Выбор ширины спектрального окна при распознавании сигналов с СПМ, имеющими тонкую структуру 53
1.6.3 Разработка процедур оценки значений параметров решающего правила при ограниченном объеме обучающей выборки 57
2 Методы снижения влияния пропусков наблюдений на вероятность принятия решения при распознавании стационарных случайных сигналов в спектральной области 70
2.1 Вводные замечания 70
2.2 Случайный процесс с пропусками наблюдений 72
2.3 Оценка влияния пропусков наблюдений на вероятность ошибки . 75
2.4 Распознавание в условиях мощной импульсной помехи или пропусков наблюдений 78
2.4.1 Методы компенсации влияния пропусков наблюдений 78
2.4.2 Заполнение средним 82
2.4.3 Масштабирование выборочного спектра 82
2.4.4 Заполнение пропусков с помощью линейного предсказания 83
2.4.5 Заполнение пропуска временным сдвигом реализации 86
2.4.6 Частичное заполнение пропусков временным сдвигом .88
2.4.7 Заполнение сдвигом с коррекцией весовых коэффициентов 89
2.4.8 Медианная фильтрация 90
2.4.9. Использование окон просмотра данных 91
2.4.10 Адаптация параметров решающего правила к помеховому воздействию 92
2.5 Сравнение методов компенсации влияния помехи на вероятность правильного распознавания 96
2.5.1 Результаты моделирования для случайных сигналов, имеющих СПМ первого и второго типа 97
2.5.2 Результаты моделирования для случайных сигналов, имеющих СПМ третьего типа Ю0
2.5.3 Результаты моделирования для случайных сигналов, имеющих СПМ четвертого типа 104
2.6 Процедура, обеспечивающая снижение влияния пропусков наблюдений на вероятность ошибки распознавания
3 Алгоритм распознавания векторных случайных сигналов при их бинарном квантовании 110
3.1 Вводные замечания 110
3.2 Решающее правило для распознавания векторных случайных сигналов, отличающихся корреляционными матрицами 111
3.3 Выбор числа уровней квантования 112
3.4 Распределение вероятностей бинарно квантованного случайного процесса 115
3.5 Синтез решающего правила для бинарно квантованных векторных случайных сигналов 120
3.6 Синтез решающего правила, использующего оценку матрицы ковариации бинарно квантованного векторного случайного сигнала 124
3.7 Оценка вероятности правильного распознавания для бинарно квантованных векторных случайных сигналов 129
3.8 Влияние аддитивного шума на распознавание бинарно квантованных векторных случайных сигналов 132
3.9 Решающее правило для распознавании бинарно квантованных векторных случайных сигналов в условиях параметрической априорной неопределенности 136
4 Оценка значений параметров решающего правила при распознавании пространственно-временных сигналов в спектральной области 141
4.1 Вводные замечания 141
4.2 Способы представления пространственно-временного стационарного случайного сигнала 142
4.3 Статистическое описание выборочного спектра и основанные на нем алгоритмы принятия решений 144
4.4 Статистическое описание двумерного спектра и алгоритм распознавания, использующий в качестве признаков двумерный спектр 147
4.5 Определение параметров решающего правила 150
4.6 Разработка процедуры обучения при распознавании пространственно-временных стационарных случайных сигналов по двумерным спектрам мощности 152
4.6.1 Оценка вероятности ошибочного решения 152
4.6.2 Распознавание пространственно-временных стационарных случайных сигналов со структурой СПМ 1 типа 155
4.6.3 Распознавание пространственно-временных стационарных случайных сигналов со структурой СПМ 2 типа 165
4.7 Распознавание реальных пространственно временных случайных сигналов в спектральной области 171
4.7.1 Электроэнцефалограмма как пространственно временной случайный сигнал 171
4.7.2 Экспериментальные данные для исследований 172
4.7.3 Распознавание по двумерному выборочному спектру 175
4.8 Выводы I87
Заключение 191
Список литературы 194
Приложение А
- Оценка вероятности правильного распознавания
- Распознавание в условиях мощной импульсной помехи или пропусков наблюдений
- Выбор числа уровней квантования
- Статистическое описание выборочного спектра и основанные на нем алгоритмы принятия решений
Введение к работе
Актуальность темы. Одним из путей расширения функциональных возможностей современных радиотехнических систем (РТС), комплексов, оборудования предназначенного для медицинских и биологических исследований, диагностики состояния технических средств, применения в радио- и гидролокации, сейсмологии, системах контроля и идентификации является внедрение в их состав устройств и алгоритмов распознавания. Повышение качества их функционирования, в сложных помеховых условиях, неопределенности в описании эталонов, при требованиях о минимизации программно-аппаратных затрат - задача весьма актуальная.
Основы статистической теории распознавания заложены и развиты в работах таких зарубежных ученых как Ф. Розенблатт, Р. Гонсалес, Дж. Ту, Ш. Закс, Э. Леман, К. Фу, К. Фукунага [1...5]. Значительный теоретический вклад в решение задач распознавания внесли также отечественные ученые: А.А. Хар-кевич, В. Н. Вапник, В.Г. Репин, Г.П. Тартаковский, А.В. Миленький, ЯЛ. Фомин, Г.Р. Тарловский, А.Л. Горелик, В.А. Скрипкин и другие [6... 14]. Возникновение ряда прикладных задач потребовало дальнейшего развития статистической теории распознавания, рассмотрения частных случаев и разработки подходов к их решению. При этом исследования ведутся в различных направлениях.
1. Выделение совокупности информационных признаков для классификации объектов, образов, процессов или сигналов, определение их статистических характеристик, а также минимизация признакового пространства с помощью оптимальных, асимптотически оптимальных разложений. Важную роль в этой области занимают работы по статистической радиотехнике, прикладной теории случайных процессов (СП) и полей отечественных и зарубежных ученых, таких как Б.Р. Левин, B.C. Пугачев, А.Н. Тихонов, В.И. Трифонов, Е.И. Куликов, Я.Д. Ширман, И.А. Большаков, B.C. Ракошиц, Дж. Бендат, А. Пир-сол, С.Уилкс, Д. Бриллинджер, М. Кендалл, А. Стюарт, Г. Чернов, Л. Мозес, Д.
Кокс, П. Льюис, Э Хеннан и других [15...33]. Они послужили основой для ряда исследований, посвященных, в частности, обеспечению экстремального значения критерия эффективности за счет вариации алфавита классов и словаря [14]; сокращению размерности описания сигналов применительно к синтезу решающего правила [34,35]; синтезу оптимальных алгоритмов разрешения классов сигналов для нормальных и гамма распределенных процессов [36...41]; алгоритмам многоальтернативного распознавания [42...46]. В связи с более компактной записью решающего правила, упрощением анализа эффективности алгоритмов, достаточно традиционным является рассмотрение ситуации распознавания простой гипотезы против простой альтернативы. Не нарушая общности рассуждений и аналитических выводов, таким же образом ставится задача и в данной работе.
В ряде исследований, например [47...55], показано, что распознавание случайных сигналов (СС), являющихся реализациями СП, отличающихся вторыми моментными функциями, целесообразно проводить в спектральной области. Основой для синтеза устройств обработки и распознавания в спектральной области является статистическая теория спектрального анализа, ключевое место в которой занимают исследования и выводы, сделанные в работах Г. Дженкинса, Д. Ваттса, Дж. Бокса, Д. Бриллинджера, Г. Ван Триса, С.Л. Марп-ла, A.M. Трахтмана, А.А. Харкевича, Ю.И. Грибанова, В.Л. Малькова, В.Г. Алексеева и др.[56...62]. В дальнейшем элементы этой теории получили развитие в публикациях, связанных со спектральным оцениванием, многомерным спектральным анализом, решением ряда прикладных задач. К этим работам в частности следует отнести [52,63...69], где предложен байесовский подход к многомерному спектральному анализу [63] и синтезирован рекуррентный метод параллельного спектрального анализа [52], повышающий его скорость.
Синтез устройств распознавания СС в спектральной области рассмотрен в [47...51, 70]. Там же оценена эффективность распознавания гауссовских векторных процессов в базисе Карунена-Лоэва, а также упрощение практической реализации устройства распознавания за счет снижения размерности базиса.
Обоснована возможность замены оптимального декоррелирующего преобразования частично декоррелирующими дискретными спектральными преобразованиями [70].
Большое число работ посвящено синтезу и анализу алгоритмов принятия решений с использованием различных спектральных базисов, оценке их эффективности. Предложена замена разложения Карунена-Лоэва и синтезированы алгоритмы распознавания на основе дискретных спектральных преобразований Фурье, Уолша, Хаара [55,71], для которых проработаны методы "быстрых" преобразований, отмечено асимптотическое стремление преобразования Фурье к преобразованию Карунена-Лоэва [72]. Выполнены синтез и анализ решающего правила для распознавания стационарных случайных сигналов (ССС) по нормированному спектру мощности Фурье, инвариантного к параметру масштаба [73...75].
2. Одной из принципиальных проблем синтеза и функционирования устройства принятия решения является то, что реализация заданного классификатора практически не выполнима, поскольку сведения о распознаваемых сигналах могут быть получены лишь на основе оценки статистических характеристик обучающей выборки. Во многих случаях устранение параметрической неопределенности решающего правила сталкивается с тем, что объем выборки доступный на этапе обучения весьма ограничен. Это может быть связано с редкостью явлений, подлежащих обнаружению [76], или высокой стоимостью получения обучающей выборки. Недостаток априорных сведений о распознаваемом сигнале вследствие ограниченного объема обучающей статистики приводит к росту вероятности ошибки решения [12, 41, 77...79]. Следовательно, возникает задача определения объема обучающей выборки необходимого для достижения заданной вероятности ошибки, а также выбора способа оценивания статистических характеристик процесса, обеспечивающего при заданном объеме обучающей выборки минимальную вероятность ошибки. Подобные вопросы рассматривались в работах [12, 80...84], но в основном для нормальных совокупностей.
Задача выбора необходимого объема обучающей выборки, оценка вероятности правильного решения при фиксированном объеме обучающей статистики и определение подхода к процедуре обучения при распознавании в спектральной области, в частности по оценкам спектральных плотностей мощности, в настоящее время не решена.
3. Синтез и адаптация алгоритмов и устройств распознавания к мешающим воздействиям, помехам и неинформативным параметрам, получение роба-стных, инвариантных алгоритмов - типичная задача, возникающая в процессе функционирования РТС различного назначения. Компенсация влияния помех требует в первую очередь их обнаружения и оценки параметров. Подобные задачи возникают и в устройствах восстановления изображений и сигналов. Значительные достижения в этом направлении сделаны такими учеными как Ю.Г. Сосулин, А.П.Трифонов, А.А. Харкевич, Я.Д. Ширман, В.Н. Голиков, Г.И. Василенко, A.M. Тараторин, Е.И. Куликов, В.Г. Алексеев, Л.П. Конончук, Ю.С. Радченко, Р.Дж. Литтл, Д.Б. Рубин, Хант, У. Прэтт [85... 100]. Ряд работ [84,90,101...107] посвящен синтезу алгоритмов распознавания, адаптивных и инвариантных к мешающим параметрам. Значительная часть публикаций относится к распознаванию радиолокационных объектов и изображений [66,94,108... 117], обеспечению качества функционирования систем связи [54,85,118].
Наиболее распространенной моделью помехи является гауссовский белый шум, воздействие которого на точность оценки характеристик, вероятность ошибки распознавания рассматривается во многих работах. Тем не менее, этой моделью далеко не ограничивается класс мешающих воздействий. В условиях функционирования систем сбора и хранения информации, телеметрии, связи и ряда других возникает необходимость распознавания, в условиях помех такого уровня, который приводит к полной потере информативной составляющей сигнала на некоторых интервалах времени, кроме того, возможны сбои регистрации сигнала вследствие программных и аппаратных прерываний.
Влияние этих факторов эквивалентно регистрации сигнала с пропусками наблюдений.
В математической статистике для однородных данных с пропусками разработан соответствующий математический аппарат [100], но в теории статистического принятия решений этому вопросу уделено явно недостаточно внимания [100,119...121]. Необходимо отметить ряд публикаций в этом направлении. В работе [119] подобная задача поставлена в плане кластерного анализа при наличии пропусков компонент у векторов наблюдений в предположении, что случайная природа пропусков зависит от класса, к которому принадлежит наблюдение. Статистические методы восстановления пропущенных данных рассмотрены в [122... 124], а в [65, 125] сделана оценка выборочного спектра гауссовского СП по его реализации с пропусками. Тем не менее, в доступной литературе практически не рассмотрена оценка эффективности распознавания при наличии пропусков и отсутствуют рекомендации по выбору способа построения решающего правила в такой ситуации.
4. Несмотря на значительный рост быстродействия и объема памяти цифровых устройств остаются актуальными вопросы синтеза максимально эффективных с точки зрения вычислительных и аппаратных затрат алгоритмов распознавания. Некоторые исследования посвящены архитектуре устройств принятия решения, например, [ПО] показано, что с точки зрения увеличения скорости работы наиболее предпочтительной является нейронная сеть Хэммин-га и применение поэтапного распознавания. В ряде случаев для обеспечения максимального быстродействия устройства принятия решения его целесообразно реализовывать на программируемых логических интегральных схемах (ПЛИС). Известно [10,126], что применение бинарного квантования позволяет упростить аппаратную часть устройства обработки сигнала. Следовательно, разработка алгоритма распознавания, использующего бинарное квантование векторного СС может значительно сократить программно-аппаратные затраты на реализацию устройства распознавания, что повысит эффективность соответствующей РТС.
5. Все чаще устройства обработки предполагают их функционирование в составе систем, существенной особенностью которых является многомерность или многокомпонентность сигнала. Это относится к регистрации и обработке сигналов гидролокации, метеолокации для определения пространственных неоднородностей скорости воздушного потока, обнаружения метеообразований [47,48], диагностике состояния технических средств [1] и т.д. В связи с этим актуальны исследования по статистике многомерных временных рядов, процессов, полей и пространственно-временных ССС (ПВССС), основанные на основополагающих работах по теории случайных процессов, потоков и событий во временной и спектральной области таких ученых как М. Кендалл, А. Стюарт, Э. Хеннан, Д. Даджион, Р. Мерсеро, СМ. Рытов, Б. Эфрон [25, 41, 63, 123,127,128]. Синтезу и анализу решающего правила при классификации многомерных нормально распределенных СС посвящены, например, работы [39,129... 136], в которых получены зависимости вероятности ошибки от расстояния между классами при независимых компонентах распознаваемого процесса [39], предложены адаптивные алгоритмы распознавания многомерных нормальных измерений при коротких обучающих выборках [136].
Кроме ряда радиотехнических приложений распознавание, в том числе и в спектральной области, целесообразно использовать также для задач, связанных с медицинской диагностикой. Особенно это характерно для исследования функциональных особенностей головного мозга с помощью электроэнцефалографии (ЭЭГ). Электрические потенциалы, зарегистрированные с кожи головы человека, отражают интегральные системные характеристики работы головного мозга. Следует отметить исследования в направлении технического и математического обеспечения диагностики заболеваний головного мозга проводимые Л.Р. Зенковым, В.А. Боханастюк, А.П. Кулаичевым, Э.М.Рутманом, В.Е. Май-ориком, И. Сватош, А.И. Фединым, ЯЛ. Капланом, и другими [137... 155]. Тем не менее, попытки формализовать процедуру выявления патологий, очагов поражения, автоматической постановки диагноза сталкиваются с трудностями адекватности статистического описания сигнала ЭЭГ, выявления связи его ста-
тистических характеристик с тем или иным диагнозом. Положительные результаты, достигнутые в этом направлении, могли бы дать возможность раннего выявления патологий, сделать ЭЭГ исследование более информативным и объективным.
Цель работы: разработка процедур обучения алгоритма распознавания стационарных случайных сигналов, различающихся корреляционными связями при априорной параметрической неопределенности; его адаптация к воздействию мощной импульсной помехи, приводящей к пропускам наблюдений; а также синтез алгоритма распознавания векторных ССС при их бинарном квантовании, минимизирующего требования к вычислительным и аппаратным затратам на его реализацию в РТС.
Для достижения поставленной цели в работе решены следующие задачи.
Разработка процедуры оценки значений весовых коэффициентов решающего правила, обеспечивающей снижение вероятности ошибки в условиях априорной параметрической неопределенности при распознавании ССС по выборочной спектральной плотности мощности (СПМ).
Выбор и анализ методов, позволяющих снизить влияние помех, приводящих к пропускам наблюдений в контрольной реализации, на достоверность распознавания. Разработка процедуры, обеспечивающей с учетом статистических характеристик распознаваемых сигналов и помех компенсацию влияния пропусков наблюдений на вероятность ошибки.
Синтез и анализ решающего правила, использующего бинарное квантование векторного ССС и минимизирующего программно-аппаратные затраты на его реализацию. Адаптация решающего правила для бинарно квантованных сигналов к статистическим характеристикам аддитивного шума.
Распознавание пространственно-временных СС (ПВСС) по двумерной СПМ при ограниченном объеме обучающей выборки.
Методы исследования. При решении поставленных задач использовался математический аппарат теории случайных процессов, статистической радиотехники, теории принятия решений, спектрального анализа сигналов. Тео-
ретические методы сочетались с экспериментальными исследованиями на основе имитационного моделирования, а также натурного эксперимента.
Научная новизна. В рамках диссертационной работы получены следующие новые научные результаты.
Предложены процедуры обучения, позволяющие эффективным образом оценивать значения параметров решающего правила в условиях априорной параметрической неопределенности при распознавании ССС по СПМ.
Предложены и обоснованы процедуры, обеспечивающие снижение влияния импульсных помех, приводящих к пропускам наблюдений, на вероятность принятия решения.
Синтезировано решающее правило, получены выражения для параметров отношения правдоподобия и его распределения при распознавании бинарно квантованных векторных ССС. Получено выражение для плотности распределения оценки корреляционной матрицы бинарно квантованного векторного СС.
Практическая ценность. Полученные результаты позволяют минимизировать объем обучающей выборки и повысить вероятность принятия правильного решения в условиях априорной параметрической неопределенности; повысить помехоустойчивость устройств распознавания посредством адаптации их к присутствию в сигнале импульсных помех, приводящих к пропускам наблюдений; создать эффективные с точки зрения аппаратных и вычислительных затрат устройства распознавания ССС, обеспечив улучшение показателей РТС.
Часть приведенных результатов получена при выполнении НИР №17-96 Г «Автоматизация диагностики состояния пациентов по данным электроэнцефалографии» в которой автор являлся ответственным исполнителем.
Результаты диссертационной работы внедрены в разработки ОАО «Энергобаланс-Рязань», ООО ЦМП «Истоки здоровья», в учебный процесс РГРТУ, планируются к применению при модернизации радиолокационной аппаратуры в ОАО завод «Красное Знамя», что подтверждено соответствующими актами.
Основные положения, выносимые на защиту.
Процедура оценки значений параметров решающего правила, обеспечивающая при ограниченном объеме обучающей выборки снижение вероятности ошибки распознавания ССС по выборочной СПМ. При обучающей выборке, состоящей из одной реализации для каждого из классов, достигается снижение вероятности ошибки в 1.2-5-4 раза в зависимости от вида СПМ распознаваемых сигналов.
Процедура, позволяющая оценить необходимый для достижения заданной вероятности ошибки распознавания объем обучающей выборки и снижающая его величину в 2-4 0 раз для выбранных моделей сигналов по сравнению с обучением на основе усреднения по ансамблю несглаженных оценок СПМ.
Процедура распознавания ССС по выборочной СПМ, позволяющая снизить влияние импульсных помех и пропусков наблюдений в контрольной реализации на вероятность ошибки решения в 1.2+3 раза в зависимости от СПМ распознаваемых сигналов и характеристик помех.
Алгоритм распознавания векторных ССС при их бинарном квантовании, обеспечивающий сокращение числа вычислительных операций пропорционально квадрату размерности вектора и значительное упрощение аппаратной части устройства распознавания, а также решающее правило, адаптивное к характеристикам аддитивного шума.
Апробация работы. Основные результаты и положения диссертационной работы докладывались и обсуждались на следующих научных конференциях и семинарах: Украинская республиканская школа-семинар "Вероятностные модели и обработка случайных сигналов и полей", Черкассы, ЧФКПИ, 1991 г.; 2-я, 3-я и 7-я МНТК "Распознавание", Курск, КГТУ, 1995, 1997, 2005 г.; Международный конгресс "Медицинские технологии на рубеже веков", Тула, 1998 г.; 37-я НТК, поев. 50-летию РГРТА, Рязань, РГРТА, 2002 г.; МНТК, поев. 80-летию гражданской авиации России, Москва, МГТУ ГА, 2003 г.; научная сессия РНТОРЭС им. А.С.Попова, Москва, 2005 г.; 2-й международный РЭ форум "Прикладная радиоэлектроника. Состояние и перспективы развития", Харьков,
АПНПРЭ, ХНУРЭ, 2005 г.; 14-я МНТК "Проблемы передачи и обработки информации в сетях и системах телекоммуникаций", Рязань, РГРТА, 2005 г.
Публикации. Материалы диссертации опубликованы в 22 научных работах, из них 9 статей, среди которых 4 в журналах из перечня, рекомендованного ВАК РФ для публикации результатов диссертационных работ; 12 текстов и тезисов докладов на конференциях; 1 отчет по НИР.
Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, библиографии из 235 наименований, 6 приложений. Содержание работы изложено на 260 стр., в том числе основного текста 149 стр., 92 иллюстрации, выполненных на 38 стр., и 46 стр. приложений.
Благодарности. В первую очередь я выражаю огромную признательность своим родителям Егорову Владимиру Ильичу и Егоровой Наталье Кирилловне за то, что они предоставили возможность работы над диссертацией, а так же за их терпение. Без их поддержки эта работа не могла состояться.
Соискатель выражает благодарность своему научному руководителю доценту кафедры радиоуправления и связи (РУС) Рязанского государственного радиотехнического университета (РГРТУ), к.т.н. Паршину Валерию Степановичу за научные идеи, выбор направлений исследований, ценные рекомендации, обсуждения материалов работы.
Автор признателен коллективу кафедры РУС за внимательное и доброжелательное отношение, поддержку, проявленную заинтересованность в завершении работы над диссертацией. Особая благодарность доценту кафедры РУС, д.т.н. Езерскому Виктору Витольдовичу за важные замечания и рекомендации; инженеру кафедры РУС Кулаковой Марине Васильевне за помощь при написании и оформлении работы.
Автор благодарит заведующего кафедрой РУС, д.т.н., профессора, заслуженного работника высшей школы РФ, почетного члена РНТО РЭС им. А.С. Попова Кириллова Сергея Николаевича за постоянное внимание и поддержку в работе над диссертацией.
Оценка вероятности правильного распознавания
Как известно, вектор отношения правдоподобия несет всю информацию о гипотезах, содержащуюся в контрольной реализации, и является в данном случае достаточной статистикой [15,16]. В дальнейшем изложении, не нарушая общности подхода к синтезу и анализу решающих правил, будем рассматривать задачу распознавания сигнала при наличии двух гипотез (1=2), используя при этом критерий максимального правдоподобия.
Параметрический подход к синтезу решающего правила предполагаетиспользовать знание плотностей распределения выборочных СПМ. Если кон трольная выборка состоит из М=\ реализации длиной N отсчетов, то, используя выражение для плотности распределения СПМ (1.15), являющейся произведением N/2-1 экспоненциальных ПРВ с параметрами G1(2)(6y;), можно записать отношение правдоподобия для проверки двух гипотез о принадлежности наблюдаемой реализации сигнала одному из двух классов [48...50]:основанное на сравнении с порогом логарифма отношения правдоподобия при равных априорных вероятностях гипотезы и альтернативы, и неизвестных функциях риска, что обеспечивает значение порога С=1 [15,16], будет иметь следующий вид:
При распознавании контрольной выборки, состоящей из числа М \ реализаций одного процесса, используются усредненные по ансамблю оценки СПМ (1.16). Используя выражение для ПРВ (1.19) спектральных составляющих сглаженного таким образом спектра мощности, можно показать, что отношение правдоподобия будет иметь тот же вид (1.24), что и для не сглаженных оценок.
В [52,53] предложен иной подход к синтезу решающего правила в спектральной области. Показано, что оптимальное по критерию максимума правдоподобия решение задачи распознавания должно отвечать принципу наименьшего информационного отклонения выборочной оценки Р(х) закона распределения от искомого P(v) в метрике Кул ьбака-Лейбл ера [2], задаваемой как:
При выполнении перехода в спектральную область [52,53] относительно удельной величины информационного отклонения асимптотически оптималь ный алгоритм принятия решений по М реализациям случайного процесса x(t) длительностью по iV oo отсчетов представим в виде:
Поскольку в случае применения ДПФ или БПФ над реализацией конечной длительности (7V oo) спектральные составляющие вычисляются на частотах 0)(=2m/(NAt) (/= 0,1,..., NI2-X), а спектр имеет дискретную структуру, то в асимптотически оптимальном алгоритме принятия решения интегрирование заменяется суммированием по числу спектральных составляющих. Тогда решающее правило максимального правдоподобия в случае наличия двух гипотез примет вид (1.24). Таким образом, асимптотически оптимальный критерий, основанный на принципе наименьшего информационного отклонения выборочной оценки закона распределения, и параметрический подход к построению отношения правдоподобия, основанный на знании статистических свойств оценок СПМ при априорно известных спектрах распознаваемых процессов, дают идентичные решающие правила. Структурная схема устройства распознавания изображена на рисунке 1.1.
Главным качественным критерием алгоритма распознавания является вероятность ошибки, ее зависимость от статистических характеристик пространства распознаваемых сигналов, от длины контрольной реализации.
Поскольку при распознавании СС значение отношения правдоподобия представляет собой случайную величину, то для оценки вероятности ошибки (или вероятности правильного распознавания) необходимо найти плотность распределения этой статистики и вычислить значение интеграла вне (внутри) области принятия решения в пользу соответствующей гипотезы:
Области интегрирования разделяются границей, определяемой порогом принятия решения в решающем правиле. Главной задачей при оценке вероятности ошибки является нахождение ПРВ отношения правдоподобия. Для этого обычно используется аппарат характеристических функций. Поскольку отношение правдоподобия представляет собой взвешенную сумму экспоненциально распределенных случайных величин (5( ,), весовые коэффициенты которой являются функцией различия параметров гипотез (в данном случае СПМ), то характеристическая функция отношения правдоподобия имеет вид [73]:
Плотность распределения случайной величины, имеющей такую характеристическую функцию, приведена в работах [64, 73] и имеет вид:где wl- число положительных значений Л;, и2- число отрицательных значений Л;, nl+n2=N/2-l. При больших N и близких значениях ЛІ расчеты по этой формуле приводят к погрешностям, связанным с ограниченной точностью вычислений. Поскольку статистика логарифма отношения правдоподобия [15,16] представляет собой взвешенную сумму большого количества случайных величин, то в большинстве случаев будет выполняться условие центральной предельной теоремы о плотности распределения суммы независимых случайныхвеличин, которая асимптотически сходится к нормальному распределению. Таким образом, используя гауссовскую аппроксимацию плотности распределения отношения правдоподобия, вероятности ошибочного распознавания можно представить следующим образом [15... 16]:Математическое ожидание и дисперсия совокупности независимых случайных величин с заданными весами определяются как:
С целью подтверждения точности аппроксимации отношения правдоподобия нормальной плотностью распределения были сопоставлены результаты аналитической оценки при расчете по формулам (1.30, 1.31) и получаемые с использованием машинного моделирования. Для этого моделировались реализации ССС, имеющие СПМ различных видов, приведенные на рисунках 1.2-1.5. -1 тип - ССС с СПМ, имеющей огибающую гауссового вида:с параметрами: a=l, ii=0.4, ц2=0.45, ч]=0.5, т2=0.55, Лі=Л2=0.005.Этот спектр имеет тонкую структуру, обеспечивающую отличие гипотез тольков узкой полосе частот (рисунок 1.5).Объем экзаменующей выборки составил 100000 реализаций каждого класса, поэтому дисперсией ошибки распознавания можно пренебречь. В результате аналитических расчетов и моделирования были получены зависимости вероятности ошибки распознавания Рош от длины распознаваемых реализаций. Они изображены на рисунках 1.6-1.9.
Полученные значения вероятности ошибки являются предельными при заданных СПМ и длине экзаменующей реализации, поскольку получены в условиях полных априорных сведений о спектрах мощности распознаваемых СС.
Из приведенных зависимостей видно довольно близкое соответствие результатов моделирования и аналитических расчетов по выражениям (1.30). Следовательно, параметры распределения, вычисляемые по формулам (1.31), позволяют получить вполне адекватную аналитическую оценку вероятности ошибочного распознавания с использованием выборочных спектральных плотностей мощности при априорно известных СПМ распознаваемого пространства гипотез и заданном объеме экзаменующей выборки.
Распознавание в условиях мощной импульсной помехи или пропусков наблюдений
Если целью устройства обработки является измерение параметров сигналов или восстановление дискретной последовательности непрерывным сигналом (например, в системах воспроизведения изображений, видео и звука), то алгоритм его работы должен предусматривать методы восстановления сигнала или алгоритмы маскирования помехи, приводящие к снижению эффекта влияния помехи на выходной сигнал. Достаточно изучены подходы, обеспечивающие подавление шумов при решении задачи обнаружения и оценивания параметров сигналов. Это методы восстановления сигналов и изображений, основанные на процедуре регуляризации и решении обратной задачи [172], Вине ровской и инверсной фильтрации [87], адаптивные алгоритмы восстановления, методы линейной и нелинейной фильтрации с помощью скользящих окон, методы восстановления сигналов с помощью корреляционных функций третьего порядка, биспектрального анализа [173]. Эффективность методов восстановления сигналов в большинстве случаев зависит от полноты априорных сведений о статистических характеристиках сигналов и помех.
Использование линейной фильтрации для восстановления сигналов обычно предполагает гауссовскую модель аддитивного шума и позволяет получить оптимальные с точки зрения минимума среднеквадратической ошибки алгоритмы обработки. Но если статистика помехи имеет распределение отличное от нормального, зачастую целесообразно использовать нелинейные алгоритмы фильтрации, которые позволяют решать задачу подавления помех в условиях априорной неопределенности их характеристик. Недостатком этих методов являются специфические искажения информативной составляющей сигнала.
Кроме того, большинство методов восстановления сигналов успешно работают только при значительных (более единицы) отношениях сигнал/шум.
С другой стороны поставленная задача весьма тесно соотносится с проблемой неполных данных, рассматриваемой математической статистикой [100, 122], где предполагается несколько путей ее решения.
Исключение реализаций подвергнутых помеховому воздействию из исходной выборки. Этот подход часто не может быть решением проблемы, поскольку в данной реализации присутствует полезная информативная часть, кроме того, возникают ситуации, когда невозможно по объективным причинам получить контрольную реализацию, в которой бы отсутствовала помеха.
Применение специальных математических методов анализа неполных данных, таких как метод взвешивания, метод максимального правдоподобия.
Восстановление или заполнение пропусков. При данном подходе пропущенные значения исходной выборки заполняются, и полученные данные обрабатываются обычными методами без учета возможных изменений статистических характеристик произошедших вследствие процедуры заполнения. Существует целый ряд процедур, предназначенных для заполнения пропусков.
Заполнение средним. В пропуски подставляются средние значения, оцениваемые по выборке. Чаще используется заполнение безусловным средним.
Заполнение с пристрастным подбором. Пропуски заполняются значениями, полученными из другого фрагмента выборки.
Заполнение с использованием регрессии. При предположении о нормальности распределения отсчетов оценивают среднее и ковариационную функцию по реализации СС и используют эти оценки для вычисления линейной регрессии пропущенных значений. Для оценивания пропущенных значений в регрессионное уравнение подставляются значения, присутствующие в выборке.
Широкий класс методов основан на построении модели порождения пропусков. Оценки пропущенных значений получают с помощью функции правдоподобия при условии справедливости принятой модели. При этом используется итеративная процедура заполнения пропусков оценками пропущенных значений, включающая оценивание параметров восстановленной реализации, повторное оценивание пропусков и так далее до сходимости процесса. Недостатком этих методов является низкая скорость сходимости, особенно при значительном количестве пропусков.
Широко применяется в статистике метод Бартлетта, в котором отсутствуют итерации при расчете. Используется также Bootstrap метод [123] и его разновидности, особенностью которых является повторное использование исходных данных, эти методы предназначены в первую очередь для преодоления смещения, вызванного пропусками данных.
Таким образом, в математической статистике присутствует достаточно большое число методов обработки данных с пропущенными значениями. В основном они предназначены для построения регрессионной модели исследуемого процесса и уточнения ее параметров.
Эффективность борьбы с помехой или пропусками оценивается или качеством восстановления сигнала, по объективным критериям (например, по минимуму среднеквадратичной ошибки), или по субъективным показателям,
Выбор числа уровней квантования
Процедура квантования вносит в представление отсчетов сигнала ошибку, величина которой обратна количеству уровней квантования L, или пропорциональна величине шага квантования А. Показатель степени искажений, вносимых процедурой квантования [184], в таком случае можно представить как: где a(x)- плотность распределения случайной величины JC, f(x-x)- критериальная функция ошибки, х - квантованный процесс. Наиболее часто используется среднеквадратичный критерий. При этом функция ошибки принимает видf(x - х) = (х - х) . При известной плотности распределения б)(х), минимизируя значение функционала Д можно получить оптимальное с точки зрения выбранной функции ошибки значение шага квантования А. Получаемый таким образом оптимальный квантователь носит название квантователя Ллойда-Макса [184]. Для этого необходимо функционал D продифференцировать по А.
Для нормальной плотности распределения со(х) известны значения оптимального шага квантования при различном числе уровней квантования, приводящие к минимальному значению ошибки [184]. Известны также виды характеристик неравномерного квантователя, приводящего к меньшему значению величины ошибки, чем равномерный. В любом случае и при равномерном и при неравномерном квантовании, при любом разумно выбранном критерии ошибки значение функционала D зависит от количества уровней квантования и имеет два крайних значения: в случае одного уровня квантования (бинарное квантование) и в случае бесконечного количества уровней квантования (в этом случае выходом квантователя будет, по сути, неквантованный процесс).
Следует отметить, что выбор функции ошибки достаточно традиционен, если квантованный сигнал в дальнейшем предполагается восстанавливать или использовать его для оценки параметров исходного непрерывного по пространству значений СС, но в случае использования сигнала для распознавания выбор функции f(x - х) не столь очевиден. Действительно, при распознавании СС главным показателем качества алгоритма и устройства его реализующего является вовсе не качество восстановления сигнала (как, например, в системах передачи информации), а вероятность ошибки решения, при этом от устройст ва квантования требуется максимально достоверно сохранить те статистические свойства процесса, которые служат признаками при его распознавании.
Очевидно, что при выборе параметров квантователя следует руководствоваться требованиями несмещенности и состоятельности оценок информативных параметров или статистик. В случае требования минимального смещения оценок минимизируемым функционалом может являться:ли информативным признаком являются корреляционные связи между сечениями (в этом случае индексы /, j - номера сечений или отсчетов СС) или компонентами (в этом случае i,j- номера компонент СС).
Требования о минимальной дисперсии оценок информативных параметров, вносимой процедурой квантования, подразумевают минимизацию следующих функционалов:
Поскольку в данных критериях отсутствует требование минимизации ошибки представления квантованного процесса по отношению к процессу на входе квантователя, то можно говорить о том, что результатом минимизации приведенных функционалов могут быть значение и расположение уровней квантования, не совпадающие с теми, которые следуют из (3.3).
Для обеспечения минимальной ошибки распознавания статистическое описание случайного процесса на выходе квантователя должно сохранять информационное расстояние между классами соответствующее его исходной непрерывной модели. Следовательно, с увеличением числа уровней квантования вероятность ошибки будет снижаться, стремясь к потенциальной точности, достижимой при распознавании неквантованных, непрерывных по пространству значений СС. Тем не менее значительное увеличение числа уровней квантования, а вместе с тем и разрядности представления значений СС в цифровом устройстве распознавания ведет к возрастанию затрат, требуемых для реализации аппаратной и программной части устройства распознавания. Кроме того, достижение потенциальной точности в реальных условиях невозможно и по причине всегда присутствующих на входе устройства обработки мешающих параметров в виде аддитивного шума n(t) и мультипликативной помехи а, вследствие чего наблюдаемая реализация СС имеет вид:
Поэтому задача оптимального выбора характеристики квантователя может решаться в комплексе с задачей построения инвариантного или адаптивного к мешающим факторам решающего правила. В приложении Г проведено сравнение эффективности алгоритмов распознавания при использовании одно, двух и трех уровневого квантования входного сигнала.
Статистическое описание выборочного спектра и основанные на нем алгоритмы принятия решений
Весьма часто решение о классе сигнала необходимо принимать в пространстве инвариантных к параметру масштаба решающих правил [3]. Известны методы, позволяющие найти наиболее мощные инвариантные решающие правила. Однако для рассматриваемого случая этот путь приведет к слишком громоздким алгоритмам, применение которых затруднено. Поэтому для фильтрации мешающего параметра // целесообразно использовать инвариантное преобразование вида
Найти точное распределение статистики Y(jco) затруднительно. Но так как длительность сигнала обычно велика, то дисперсия величины Э/ оказывается малой, характеристики спектра после такого преобразования изменятся незначительно и распределение вектора Y(jco) можно с достаточной степенью точности аппроксимировать гауссовским, т.е. можно считать, что преобразование (4.7) изменит среднее и дисперсию, но не вид распределения S(jco). Решение задачи синтеза при гауссовской аппроксимации составляющих комплексного спектра выполняется аналогично случаю распознавания скалярных процессов и дает решающее правило в виде:где N - число отсчетов сигнала, С - порог сравнения, Djki - весовые коэффициенты, зависящие от параметров распределения вектора Y(jco); yji;) - спектральная составляющаяу-того канала на /-той частоте.
Упростить решающее правило (4.8) возможно, используя в качестве признаков выборочные спектральные матрицы:
Для описания статистических характеристик выборочных спектральных матриц используется комплексное распределение Уишарта [24,25,32]:где tr(z)- след матрицы; G{jo) ) = M p{jo)i)y, п- число степеней свободы зависящее от выбранного способа сглаживания выборочных спектральных мат-рици М.
Оценки элементов спектральных матриц, вычисленные на несовпадающих частотах, асимптотически некоррелированы [24]. В случае, когда элементы спектральных матриц получены без процедуры сглаживания (т.е. п=\), значение определителя.ОеґСД/й О, следовательно, использование распределения (4.10) не возможно. Но строки матрицы G(ja)j) в этом случае будут линейно зависимы, поэтому, для статистического описания матрицы G(jcOj) достаточно найти распределение лишь одной любой строки. Представим, например, А:-ую строку матрицы G(jo)i) как:
Видно, что вероятностные свойства спектральной матрицы несглаженных оценок определяются совместным распределением элементов матрицы-строки. Таким образом, сомножитель g/(/0/) можно не учитывать, так как он не несетдополнительной информации о ПВССС.
Для ПВССС с нормально распределенными компонентами распределение несглаженной оценки спектральной матрицы можно представить совокупностью либо М-мерных нормальных комплексных распределений, либо 2М-мерных нормальных распределений. В тоже время использование нормального распределения для аппроксимации несглаженной спектральной матрицы вполне приемлемо и для негауссовских процессов. Для такого статистического описания ПВССС получено [130...135] равномерно наиболее мощное решающее правило проверки гипотез в спектральной области:
Из соотношения (4.12) следует, что для принятия решения о классе сигнала необходимо найти оценку спектральной матрицы, осуществить взвешенное суммирование ее элементов и провести сравнение результата с порогом.
В работах [75,192] проведен анализ алгоритма (4.12), найдено распреде ление отношения правдоподобия, изложена методика нахождения весовых коэффициентов dkl. Однако значительно упростить статистическое описание
ПВССС его представлением в виде (4.2) не удается из-за коррелированности спектральных составляющих в различных каналах на совпадающих частотах. По этой причине нахождение весовых коэффициентов для решающих правил (4.8), (4.12) может быть затруднено при плохой обусловленности матриц корреляций составляющих спектров на совпадающих частотах.
Весьма простое решающее правило может быть получено на основе статистических характеристик двумерных спектров. Поскольку приемлема аппроксимация плотности распределения реальной и мнимой компонент спектра комплексным нормальным распределением, то подход к синтезу решающего правила принципиально не отличается от случая распознавания скалярных СС в спектральной области, а решающее правило имеет вид
