Содержание к диссертации
Введение
ГЛАВА 1: Анализ известных методов формирования решающих правил в задачах медицинской диагностики 11
1.1. Постановка задачи выбора модели сигналов, получаемых при функционально-диагностических исследованиях 11
1.2. Анализ методов формирования решающих правил, применяемых для решения задач распознавания и диагностики 19
1.3. Постановка задачи оптимизации признаковых пространств 21
1.4. Методы распознавания, основанные на теории статистических решений 26
1.5. Обзор методов оптимизации параметров распознающих систем в случае параметрической априорной неопределенности 33
1.6. Принятая классификация методов функциональных клинических исследований 45
1.7. Типовая структура автоматизированной диагностической системы 48
ГЛАВА 2: Свойства и характеристики медико-биологических процессов и их преобразование для решения задач диагностики 53
2.1. Исследуемые процессы 53
2.2. Известные методы электроэнцефалографии и характеристики получаемых при этом процессов 54
2.3. Укрупнение описания медико-биологических процессов на основе обобщенного оператора преобразования 69
2.4. Выбор критерия оптимальности решения при использовании обобщенного оператора преобразования 73
ГЛАВА 3: Разработка моделей принятия решений при непараметрическом распознавании случайных процессов 80
3.1. Синтез алгоритма принятия решения на основе аппроксимационного подхода 80
3.2. Формирование системы признаков на основе метода стохастического кодирования 84
3.3. Построение решающего правила 99
3.4. Выбор критерия эффективности признаков 108
3.5. Построение процедуры обучения 110
3.6. Проверка предложенных алгоритмов на моделях ЭЭГ-сигналов 117
3.7 Оценка вычислительной сложности алгоритмов 123
ГЛАВА 4: Автоматизация эксперимента в задачах распознавания образов 125
4.1. Концептуальная модель сложной системы 125
4.2. Объектная модель инструментальной системы 128
4.3. Математическое обеспечение системы 136
4.4. Модель системы распознавания образов 145
4.5. Экспериментальное исследование предложенных алгоритмов 154
4.6 Аппаратная часть системы 158
Заключение 164
Литература 165
- Анализ методов формирования решающих правил, применяемых для решения задач распознавания и диагностики
- Укрупнение описания медико-биологических процессов на основе обобщенного оператора преобразования
- Выбор критерия эффективности признаков
- Объектная модель инструментальной системы
Введение к работе
Развитие науки и техники происходит по пути усложнения процессов и систем. В связи с этим усложняются естественные и искусственные сигналы, как переносчики информации о процессах и системах. Особенно резко возрастает сложность человеко-машинных информационных и управляющих систем, играющих все более важную роль в производстве, разработках и исследованиях.
Сложное радиоэлектронное оборудование нашло широкое применение во всех главных направлениях современной медицины: диагностике заболеваний, терапии и медицинских исследованиях.
Специфика диагностики заболеваний состоит в том, что на ранних стадиях многие заболевания обладают плохой симптоматичностью, даже опытному врачу достаточно сложно выявить признаки, указывающие на наличие недуга. В таких случаях приходит на помощь медицинское диагностическое оборудование, позволяющее объективно оценить состояние пациента.
Методы функциональной диагностики являются наиболее сложными, с точки зрения технической реализации, но в то же время дают наиболее объективные результаты (по сравнению, например, с методами диагностики, основанными на анализе внешних симптомов). При этом развитие новых методов или усовершенствование уже существующих во многом определяется уровнем медицинского технического оборудования, предназначенного для их реализации.
При построении новых систем диагностики, предназначенных для работы с данными клинических функциональных исследований, в частности таких, как электрокардиография (ЭКГ), электроэнцефалография (ЭЭГ), электромиография (ЭМГ), возникает задача синтеза алгоритмов, позволяющих автоматизировать процесс принятия решения о принадлежности совокупности измеряемых сигналов тому или иному семейству (классу) сигналов, соответствующему тем или иным состояниям исследуемой внутренней системы человека. При этом важной проблемой является обеспечение устойчивости показателей качества принятия решений в условиях априорной неопределенности относительно параметров входных сигналов. Такую устойчивость могут обеспечить непараметрические алгоритмы распознавания prt>, 9У]. Преодоление трудностей, связанных с отсутствием статистических характеристик входных сигналов, возможно путем разработки алгоритмов, требующих для работы лишь протяженной кластеризованной выборки (обучающих последовательностей). В ряде случаев применение известных непараметрических методов распознавания может быть затруднено из-за значительной технической сложности их реализации на ЭВМ. Поэтому возникает необходимость разработки приближенных непараметрических методов обучения и распознавания, несколько уступающих известным непараметрическим алгоритмам, но при этом существенно превосходящих их по простоте технической реализации [?з].
С точки зрения распознавания данных ЭКГ, ЭЭГ, ЭМГ, являющихся шумо-подобными сигналами, наибольший интерес представляют алгоритмы, предназначенные для распознавания случайных процессов. Несмотря на несомненную актуальность проблемы классификации сигналов, имеется относительно небольшое (по сравнению, например, с задачами распознавания геометрических изображений или речевых сигналов \Uit7b,50,Si,63, (о? ]) число опубликованных работ, посвященных этому вопросу [/3//5,7е/, 28\ Методы, положенные в основу большинства этих исследований, отличаются от общепринятых статисти-ко-вероятностных методов распознавания, а именно методов теории статистических решений при изучении многомерного вектора признаков. Это позволяет избежать обработки большого объема выборок реализаций при эмпирическом определении законов распределения признаков классифицируемых процессов. Так, в частности, в работах [/3/, 7і, 31] предлагается использовать методы нелинейного преобразования входных сигналов. Сущность методов заключается в том, что при формировании признакового пространства осуществляется переход от пространства значений входных сигналов к пространству функционалов, предварительно подвергнутых нелинейному преобразованию.
Основная идея такого подхода состоит в увеличении компактности сигналов каждого класса путем соответствующего выбора вида нелинейного преобразования или функционала. Такое контрастирование исходной информации облегчает установление соответствия величины номеру класса, к которому принадлежит анализируемый сигнал.
Данные методы при произвольных распределениях не претендуют на строгую оптимальность. Вместе с тем существует возможность построить алгоритмы инженерной реализации, близкие к оптимальным. При этом оптимизации подвергаются временные и пространственные параметры \1Щ системы распознавания, определяющие такие показатели качества, как достоверность распознавания, быстрота принятия решений и величина затрат на оборудование.
Основной преградой на пути развития алгоритмов классификации случайных процессов является сложность создания моделей источников сигналов (в том числе и медико-биологических), устройств передачи и обработки этих сигналов. Появление мощных вычислительных средств привело к развитию вычислительных моделей этих объектов.
Отмеченные сложности определяют необходимость анализа методов классификации случайных процессов с целью синтеза непараметрических алгоритмов распознавания медико-биологических сигналов, обладающих возможностью инженерной реализации, близкой к оптимальной, и гарантирующих заданные показатели качества, а также разработки новых подходов к проектированию гибких систем автоматизации функциональных клинических исследований, ориентированных на решение задач медицинской диагностики. Все это и явилось причиной появления настоящей работы.
Цель работы является разработка методов формирования решающих правил в диагностических исследованиях. Решение поставленной задачи проводится в несколько этапов:
1. Исследование свойств и характеристик медико-биологических процессов (МБП) и их преобразование для решения задач диагностики;
2. Выбор критериев эффективности признаков медико-биологических сигналов (МБС), используемых в алгоритмах распознавания.
Разработка и исследование методов принятия решений при непараметрической априорной неопределенности.
Разработка инструментальной среды для построения систем автоматизации функциональных клинических исследований.
Реализация аппаратно-программного диагностического комплекса на базе предложенной инструментальной среды.
Актуальность. В известных работах недостаточно внимания уделено методам построения эффективных алгоритмов распознавания медико-биологических сигналов, обладающих возможностью технической реализации, и учитывающих ограничения на время обучения и принятия решений, в связи с чем разработка таких методов считается актуальной.
Научная новизна. В работе получен ряд новых результатов, которые сводятся к следующему:
Предложен метод укрупнения описания МБП на основе неизоморфного оператора преобразования.
Разработан метод построения функции нелинейного преобразования первичных признаковых пространств, позволяющий оптимально (в рамках выбранного критерия) разделять классифицируемые сигналы.
На основе аппроксимационного подхода разработан метод синтеза решающего правила, обеспечивающего оптимальное решение при использовании метода стохастического кодирования сигналов.
Получены зависимости показателей эффективности классификатора моделей МБП от времени обучения и распознавания, от вида опорных распределений и размерности признакового пространства.
Практическая ценность. Результаты, полученные в работе, были использованы при разработке: - медицинских приборов ультразвукового исследования головного мозга отдела 24 НКБ "Миус" по договору №313151Н. - радиолокационного измерителя морского волнения отдела 24 НКБ "Миус" по договору №324057; - приборе УЗИ с топографическим картированием ("Эхотомоскоп") особого кон структорского бюро "Ритм" (г. Таганрог).
Результаты исследований были использованы при постановке курса специализации "Автоматизированная обработка данных и аппаратура медицинских диагностических систем" на кафедре РПрУ и ТВ Таганрогского государственного радиотехнического университета.
Достоверность изложенного подтверждается результатами экспериментальных исследований характеристик предлагаемых алгоритмов при классификации электроэнцефалограмм и случайных процессов с заданными статистическими характеристиками, апробацией на научных семинарах, конференциях, симпозиумах, актами внедрения.
Методы исследования основаны на использовании методов теории вероятности и математической статистики, статистической теории распознавания образов, функционального анализа.
Основные положения, выносимые на защиту, следующие: математические модели МБП и критерии эффективности признаков, сформированных на основе их нелинейного преобразования; метод построения функции нелинейного преобразования первичных признаков, обеспечивающий эффективное разделение множеств сигналов в преобразованном пространстве; метод синтеза решающего правила при использовании стохастического кодирования МБС; зависимости дисперсий оценок признаков и ошибок распознавания от времени обучения, вида опорных распределений, размерности признакового пространства; результаты экспериментальных исследований с использованием разработанного аппаратно-программного комплекса.
Апробация работы. Основные положения диссертационной работы обсуждались и докладывались: на IV Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления» (Таганрог, 1998); на V Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления» (Таганрог, 2000); на XLVII научно-технической конференции (Таганрог, 2002).
Публикации. Основные научные результаты диссертации опубликованы в 5-х статьях, 4-х тезисах докладов.
Структура диссертации. Диссертационная работа состоит из введения, 44* разделов, заключения.
Работа изложена на f?s стр. текста, ?5 рисунках, 6 таблицах, списка литературы из /^^наименований.
Во введении сформулирована цель работы и обоснована актуальность решаемой задачи.
В первой главе проведен анализ методов функциональных диагностических клинических исследований, который показал, что в последнее десятилетие наибольший интерес вызывают вопросы, связанные с функциональной активностью центральной нервной и сердечно-сосудистой системами. Последнее обуславливает необходимость развития методов диагностики с использованием систем автоматизации (СА), позволяющих реализовать "гибкие" алгоритмы экспресс-анализа состояния пациента или же осуществлять длительные наблюдения за его состоянием в период стационарного лечения.
Анализ методов, используемых в функциональных диагностических исследований показал, что сигналы, снимаемые с первичных преобразователей при исследовании Ц.Н.С. человека могут быть отнесены к классу векторных случайных процессов. Адекватных математических моделей таких процессов до настоящего времени не создано. Поэтому задача разработки моделей медико-биологических сигналов, адекватных реальным физическим процессам в той мере, которая важна для решения задач диагностики (распознавания патологий), является актуальной.
Проведен анализ подходов применяемых при разработке алгоритмов распознавания реализуемых на основе методов статистической теории распознавания сигналов. При этом установлено, что большинство методов распознавания и способов оценки вероятностей ошибок распознавания разработаны для случаев неограниченного объема обучающих и контрольных выборок. Поэтому задачи, связанные с разработкой новых методов диагностики патологий, ориентированные на конечное число обучающих и контрольных выборок являются актуальными.
Сформулирована постановка задачи формирования эффективных признаковых пространств и решающих правил, для систем распознавания, работающих в условиях априорной неопределенности относительно вида распределения плотности вероятности распознаваемых сигналов и ограниченных объемов обучающих и контрольных выборок.
Произведена постановка задачи исследования возможности оптимизации временных и пространственных параметров проектируемых систем распознавания, обеспечивающих заданный уровень достоверности распознавания, при заданных ограничениях.
Анализ существующих методов оптимизации систем распознавания показал, что в достаточной мере эти методы разработаны только для случая параметрической априорной неопределенности и статистической независимости выбранной системы признаков, что крайне редко встречается в практических задачах диагностики. Поэтому необходимо использовать методы оптимизации временных и пространственных параметров классификатора, которые были бы инвариантны к закону распределения признаков и к виду их статистической взаимосвязи.
Рассмотрена типовая структура автоматизированной диагностической системы (АДС) на примере которой сформулированы основные функции возлагаемые на АДС, а также назначение и выполняемые функции отдельных блоков АДС.
Во второй главе проведено обоснование выбора объекта исследования - электроэнцефалографических сигналов (ЭЭГ). Высокая сложность и изменчивость характеристик ЭЭГ-сигналов предопределяет сложность алгоритмов диагностики патологий, как правило, обладающих обобщающим свойством, т.е. алгоритмы классификации ЭЭГ-сигналов могут быть использованы и для классификации других систем сигналов.
Показано, что основное направление развития компьютерной ЭЭГ лежит в области автоматизации рутинных операций электроэнцефалографистов и создании наилучших условий и инструментов для анализа первичной ЭЭГ специалистом высокой квалификации. Компьютерные методы диагностики симптомов и патологий являются дополнительными (подсказывающими, советующими) к методам исследования не сегментированной ("сырой") ЭЭГ. Последнее высказывание относится и к формируемому на основе компьютерного анализа заключению.
Исследованы системы признаков, используемых специалистами-нейрофизиологами для анализа ЭЭГ с целью выявления патологий. Показано, что состояние головного мозга, при отсутствии в регистрируемых данных артефактов и эпилептиформной активности, определяется с помощью соотношений спек- тральных составляющих различных частотных диапазонов (б, е, а и р)иих амплитуд, присутствующих в текущей ЭЭГ. Поэтому возможно применение методов распознавания с использованием признаков, полученных путем преобразования регистрируемых сигналов (ЭЭГ) в сжатую форму представления, учитывающую диагностически значимые параметры исходных процессов.
В качестве модели ЭЭГ, предназначенной для исследования эффективности алгоритмов диагностики, предлагается использовать стационарные эргодические случайные процессы с известными стохастическими характеристиками, формируемые с помощью известных методов.
Выбран оператор неизоморфного преобразования исследуемых сложных сигналов с целью сокращения размерности их описания обеспечивающий сохранение (в смысле заданного критерия) информации о разделимости распознаваемых классов сигналов. Определены статистические характеристики результата преобразования, что позволит реализовать в дальнейшем оптимальное решающее правило в пространстве отображений исходных сигналов
Выбран критерий оптимальности, позволяющий строить оптимальную разделяющую поверхность с помощью синтезированной нелинейной функции преобразования исходных плотностей классов, оценки которых получают на основе кластеризованных выборок.
В третьей главе предложен метод синтеза квазиоптимального решающего правила на основе аппроксимации функции правдоподобия. При этом задача оценивания функции правдоподобия становится параметрической.
Выбран метод формирования классификационных признаков, основанный на принципах измерения корреляционных моментов с помощью функций знаковой корреляции. Установлено, что в случае распознавания случайных процессов с одинаковыми одномерными плотностями распределения вероятностей и различными корреляционными функциями, высокие показатели эффективности имеют признаки, сформированные на основе корреляционных моментов знаковых функций, получаемых при сравнении входных процессов с опорными.
Установлено, что при использовании метода стохастического кодирования возрастает дисперсия оценок измеряемых моментов, однако при этом достигаются следующие положительные результаты: сокращается избыточность описания процессов, подлежащих распознаванию; упрощается реализация алгоритма распознавания в микропроцессорных системах за счет применения одноразрядного квантования, дающего на выходе только знаки отсчетов.
В случае большого количества распознаваемых классов сигналов показана целесообразность, с точки зрения минимизации показателей сложности алгоритмов, использования в качестве разделяющих поверхностей огибающих элементарных фигур, охватывающих собственные области классов процессов.
Разработаны два алгоритма непараметрической классификации случайных процессов, использующие в качестве признаков смешанные моменты знаковых последовательностей, сформированных на основе метода стохастического кодирования.
На основе полученных зависимостей определены оценки достаточных объемов обучающих и контрольных выборок и видов опорных распределений для достижения заданных показателей качества алгоритмов классификации.
Разработана структурная схема устройства, реализующего алгоритм непараметрического классификатора случайных процессов (сигналов).
В четвертом разделе разработана и описана объектно-ориентированная инструментальная среда для проектирования проблемно ориентированных систем автоматизации, позволяющая упростить процесс построения таких систем.
Разработанная система была апробирована при реализации графической интерактивной исследовательской системы, ориентированной на автоматизацию задач оптимизации (и исследования) систем диагностики при функционально-клинических исследованиях и показала свою высокую эффективность.
В систему интегрировано устройство связи с объектом исследования, позволившим исследовать реальные медико-биологические сигналы с выходов измерительных датчиков-преобразователей.
Разработанная система использовалась для получения зависимости достоверности распознавания от вида опорных распределений, размера обучающей и контрольной выборки, размерности признакового пространства, а также для сравнения разработанных алгоритмов с другими непараметрическими и алгоритмами.
Реализация конкретной задачи классификации процессов с использованием разработанной системы показала ее значительные преимущества в виде удобства пользования, гибкости перестройки и адаптации к изменениям условий и алгоритмов в экспериментальных исследованиях
В заключении сформулированы основные научные и практические результаты работы.
Анализ методов формирования решающих правил, применяемых для решения задач распознавания и диагностики
Процесс распознавания состоит в том, что система распознавания на основе сопоставления апостериорной информации относительно каждого поступившего на вход системы объекта (или явления) с априорным описанием классов принимает решения о принадлежности этого объекта (явления) к одному из классов. Примечательно, что подобный принцип распознавания был заимствован у человека, который обладает удивительной способностью к обучению и умением разделять предоставляемые объекты на классы по всевозможным признакам (таксономия) [63].
Приведем формальное определение процесса распознавания. Распознавание представляет собой отнесение исследуемого объекта, задаваемого в виде совокупности наблюдений, к одному из взаимоисключающих классов [122]. Это означает, что существует однозначное отображение совокупности наблюдений, являющейся конечным числовым множеством Х]на множество классовs] = {s,, s2,..., sK} , количество которых задано, {s} - х. Без потери общности классы можно заменить их номерами 1,2,..., К, и, рассматривая последние как натуральные числа, представлять себе распознавание как отображение наблюдений на конечное множество натуральных чисел, {1,2, ...,К — {Xl. Ввиду числовой природы множеств последнее отображение отождествляется с обычной функцией k = d({XJj, принимающей целочисленные значения
На практике множество наблюдений, как правило, может быть представлено в виде измеренных значений р характеристик (признаков) х,, х2,..., хр, при этом количество наблюдений равно определенному числу п (см.рис. 1.6). Тогда распознавание сводится к рп-аргументной функции вида k = d(x11,x12,...,xjj,...,xpn 1, где Xjj - j-oe измеренное значение і-го признака, i = l,2,...,р, j = l,2,...,п, причем указанная функция, называемая решающей функцией, существует и однозначна при заданных рип. Важной особенностью реальных задач диагностики и других задач распознавания является то, что наблюдения {х;Л неизбежно подвержены случайным возмущениям, непредсказуемый вероятностный характер которых сказывается на всех стадиях, начиная с процесса получения самих измерений и кончая вычислением значений функции сПхп,х12,...,х ,...,хрп). Дестабилизирующие факторы выступают в диагностике как погрешности измерительных приборов, как неточности регистрации, связанные с физиологическими особенностями измерения медико-биологических сигналов, как шумы в каналах передачи данных измерений, аппаратурные шумы, а также, как ошибки округления при вычислениях, связанные с ограниченностью разрядной сетки ЭВМ. Взаимодействуя между собой, указанные возмущения приводят к тому, что наблюдения х неизбежно оказываются реализациями случайных величин, функция d(x11,x,2,...,xij,...,xpnJ становится случайной функцией, в результате номер к класса также оказывается случайной величиной. Отсюда видно, что разработка алгоритмов классификации МБС неизбежно связана с использованием статистических методов. Анализируя работы, опубликованные за последние несколько десятков лет [22, 46, 47, 55, 63, 76, 94, 113, 142, 150, 152], можно сказать, что достигнуты значительные теоретические результаты в области как параметрического, так и непараметрического распознавания. Однако многие из методов распознавания образов, несмотря на хорошее теоретическое обоснование, дают неприемлемые результаты при решении практических задач. Причиной этого являются те ограничения и допущения, которые выдвигаются исследователями при разработке методов классификации. Так, зачастую, априорно принимается гипотеза о принадлежности функции плотности вероятности какому-либо параметрическомусемейству [152]. Многие из оптимальных теоретических методов предполагаюткроме того еще и статистическую независимость выбранной системы признаков[94]. Не смотря на то, что вопросы параметрического распознавания разработаныочень хорошо (разработаны процедуры обучения, принятия решения и пониженияразмерности признакового пространства), оценки вероятностей ошибок,получающихся при параметрическом распознавании, являютсяасимптотическими, т.е. справедливыми лишь в редко встречающихся случаях неограниченного возрастания обучающих выборок [55, 76].
Непараметрические методы, например k-ближайших соседей, гистограммный, полигональный, Парзеновского ядра и др. также являются асимптотическими, т.е. обеспечивают достаточную точность оценивания только лишь при неограниченном увеличении объема обучающих выборок [55,113].
Из-за отсутствия оценок вероятностей ошибок или их асимптотического характера в существующей литературе оказалась не исследованной важная проблема построения систем статистического распознавания - оптимизация временных и пространственных параметров, базирующаяся на количественной увязке достоверности распознавания с требуемыми для ее достижения временем обучения и принятия решения и размерностью признакового пространства. Последнее обстоятельство явилось, по всей вероятности, основной причиной малого обращения внимания авторами вопросам практических приложений статистического распознавания. Только в некоторых работах эти вопросы были рассмотрены в постановочном плане [46, 47, 76] и более подробно [147,150].
В задачах применения теории распознавания образов в медицинской диагностики оптимизация временных и пространственных параметров диагностических систем имеет особенно важное значение, в следствие того, что эти параметры (вместе с заданной достоверностью распознавания) оказывают непосредственное и наибольшее влияние на качество и своевременность установления диагноза.
Настоящая работа ставит своей основной целью дополнение существующих исследований в направлении решения проблем непараметрического обучения и распознавания при малых объемах обучающих выборок, характерных для медицинских диагностических исследований, и оптимизации временных и пространственных параметров для медицинских диагностических систем. 1.3.1. Как уже отмечалось, при решении задач классификации медико-биологических сигналов, являющихся случайными процессами, целесообразно использовать основные результаты, полученные в теории статистических решений [94] и статистической теории распознавания образов [152,142,113,150].
Из анализа, проведенного в п. 1.4 следует, что процесс статистического распознавания образов разделяется на три основных этапа- формирование признакового пространства;- обучение системы распознавания;- принятие решений.
Совокупность предъявляемых для распознавания наблюдений обычно записывают в виде матрицы
Укрупнение описания медико-биологических процессов на основе обобщенного оператора преобразования
Известные методы сокращения размерности описания сложных сигналов (на основе минимизации энтропии, с использованием ортогональных разложений, с использованием критерия разброса, с использованием статистических характеристик, на основе максимизации дивергенции) [145, 152, 146, ПО] с целью улучшения их разделимости (повышения достоверности классификации) иногда приводят к противоречивым рекомендациям по выбору эффективных признаков. Так, например, при выборе признаков методом минимизации внутриклассового разброса наблюдений выбирается некоторое количество преобразованных признаков, соответствующих минимальным собственным числам, а при использовании критерия максимизации межклассового расстояния необходимо выбирать некоторое количество преобразованных признаков, соответствующих, в отличие от предыдущего метода, максимальным собственным числам [152].
Причина этого заключается в отсутствии явной связи критериев, основанных на понятии расстояния, с основными показателями качества распознавания, в частности, с главным из них - достоверностью. Поэтому на практике бывает трудно отдать предпочтение какому-то определенному критерию и сделать обоснованный выбор между противоречащими рекомендациями.
В [150] предлагается вариант усовершенствованного критерия, объединяющего два указанных выше, а также предложено преобразование исходного признакового пространства, позволяющее заменить q первоначальных признаков Y\, Y2,...Yq одним единственным признаком и при этом обеспечитьтуже вероятность правильного распознавания, которая получилась бы при использовании всех q первоначальных признаков. Однако использование этих методов возможно лишь при распознавании полностью известных гауссовых процессов.
В [31] предложена методика поиска оператора преобразования исходного сигнала x(t), с целью такого укрупнения его описания, которое в дальнейшемпозволит связать заданный уровень достоверности классификации сигналов с эффективностью используемой модели сигнала. При этом в качестве базовой модели использованы неизоморфные модели сложных сигналов в виде класса случайных процессов.
Во многих прикладных задачах распознавания случайных сигналов [131, 73] имеется возможность нахождения эффективных признаков, которые являются существенно нелинейными функциями исходных признаков. В таких случаях основная задача, позволяющая в дальнейшем упростить алгоритмы решающего правила, состоит в нахождении подходящего нелинейного преобразования для рассматриваемых признаков. Рассмотрим один из подходов к решению таких задач, предложенный в [31].
Любая реализация случайного сигнала с ограниченным спектром определяется совокупностью своих мгновенных значений в дискретные моменты времени, определяемые теоремой Котельникова. С точки зрения задачи распознавания реализацию случайного процесса x(t) можно рассматривать вкачестве объекта, характеризуемого вектором признаковx(t) x(t,),x(t2),...,x(tqj, где xftqV выборки из реализации процесса x(t).Тогда, ограничиваясь стационарными процессами x(t), нелинейное преобразование ф(х) исходной реализации равносильно преобразованиюкомпонент вектора признаков ф[х( ],ф[х(і:2)],...,ф х(0 , при этом если вкачестве укрупненного описания этого процесса взят оператор математического ожидания, то он будет определяться выражениемгде у = ф(х); со (х) - плотность распределения стационарного случайного процесса; М Г ] - обозначает операцию математического ожидания над величиной, указанной в квадратных скобках. Для процессов, обладающих свойством эргодичности, можно переписать выражение (2.1) на интервале в виде [104] где Тр - длительность анализируемой реализации процесса; Atn = Тр / q- интервал дискретизации процесса x(t). При конечном значении q функционал L заменяется его оценкой L. Выражение определяет некоторую поверхность в пространстве признаков и если параметры этой поверхности выбраны так, что удовлетворяется система неравенств вида где со,, со 2 - объект первого или второго класса, то эта поверхность может служить разделяющей [94]. Из определения оператора (2.1) можно сделать вывод, что функция нелинейного преобразования может быть детерминированной функцией без наложенных на нее ограничений. Однако интересный, с точки зрения практических приложений, результат может быть получен, если в качестве последней используется функция, отвечающая свойствам функции распределения вероятностей символ Р[ 1 означает вероятность события, указанного в квадратных скобках. где ютіО0 плотность распределения некоторого опорного процесса T(t), не коррелированного с анализируемым процессом x(t). Из (2.7) следует, что интервал распределения опорного процесса должен быть не меньше интервала распределения анализируемого процесса. Можно видеть, что в частном случае, когда функция распределения опорного сигнала r\ (t) FTl(x) = xk, то результат (2.6) определяет моменты распределения k-го порядка (к = 1,2,3,...). Функции распределения опорного сигнала Fn(x) выбираются на этапе обучения из условия получения максимальной достоверности классификации. В общем случае вычисление значения функционала (2.6) предполагает знание плотности распределения процесса x(t) и функции распределения (или плотности вероятности) опорного процесса г) (t). На первый взгляд такая форма преобразования может показаться абсурдной, так как для распознавания сигнала x(t) достаточно знания плотности распределения со(х), однако следует иметь в виду, что на практике эта плотность, как правило, не известна, а имеется в распоряжении кластеризованная выборка из реализации процесса x(t), по которой можно сформировать оценку ю(х) его плотности распределения, но и этого делать нет необходимости в силу специфики практической реализации оценок функционала (2.6). Такой подход к определению системы эффективных признаков позволяет отобразить многомерное пространство исходных признаков в одномерное пространство функционалов, при этом убирается излишняя детализация описания процесса, присущая данному конкретному представителя распознаваемого класса процессов. "Обобщенная" информация о распознаваемых классах сигналов содержится в преобразованной системе признаков-функционалов в той мере, в какой она существенна для разделения сигналов.
Хотя исходная система признаков в общем случае нелинейно связана с редуцированной системой признаков-функционалов, однако построение решающего правила (разделяющей поверхности) в случае системы независимых признаков возможно в классе линейных классификаторов, где, как известно [94, 152], наилучшим является байесовский классификатор, минимизирующий ошибки классификации. 2.3.2. Для построения в дальнейшем разделяющих поверхностей и оценок вероятности правильной классификации необходимо знать статистические характеристики функционалов (2.1) и (2.6), при этом будем полагать, что исходная система признаков является независимой и представляет собой мгновенные значения реализаций стационарных процессов, взятые через интервал At. Достаточно подробный вывод выражений для статистических характеристик рассматриваемых функционалов можно найти в [31, разд. 2.3]. В практических приложениях в распоряжении исследователя часто имеются лишь оценки плотностей распределения, поэтому приведем выражения для вычисления математического ожидания и среднеквадратического отклонения функционала по оценкам функции одномерной плотности вероятности: для функции преобразования ф (х) вероятности процесса x(t) в точках интерполяции; jp(xk) - дисперсия оценок м[ в(хк). Таким образом, в обоих рассмотренных случаях могут быть определены оценки статистических характеристик результата преобразования исходного сложного сигнала, необходимые для построения разделяющих поверхностей в пространстве неизоморфных моделей сигналов. Как известно [94, 152], в классе линейных классификаторов оптимальным является байесовский. Однако при непараметрической априорной неопределенности использование адаптивного байесовского подхода приводит к достаточно сложному решающему правилу, требующему при реализации больших вычислительных затрат. Поэтому рассмотрим некоторые небайесовские критерии оптимальности, позволяющие при непараметрической априорной неопределенности построить оптимальную разделяющую поверхность. В частности, критерий оптимальности удобно задавать не в пространстве первичных признаков, а в пространстве вторичных (эффективных) признаков. Одним из наиболее простых критериев подобного рода может служить разность между математическими ожиданиями результатов нелинейного преобразования первого и второго классов для уменьшения погрешности диагностики необходимо, видимо, Критерий (2.12), видимо, не является сильным критерием, так как он не учитывает дисперсии результатов преобразования. Существует ряд более сложных критериев, учитывающих дисперсии результатов преобразования. Например, дивергенция Кульбака для двух классов, которую для принятых в данной работе обозначений можно записать как и которая характеризует расстояние между первым и вторым классами. Так как функционал (2.1) можно представлять как сумму бесконечного числа слагаемых, то на основании центральной предельной теоремы можно ожидать, что эти операторы будут распределены по закону, близкому к нормальному. Подставляя в (2.13) выражения для функций плотности нормального закона сигналов первого и второго классов с параметрами M[Li], Стц, и M[L2], а2ь соответственно выражение (2.13) перепишем в виде
Выбор критерия эффективности признаков
При наличии двух или большего числа классов цель выбора признаков состоит в определении таких признаков, которые являются наиболее эффективными с точки зрения разделимости классов. Разделимость классов зависит не только от распределений объектов в классах, но также и от используемого классификатора [152]. Для упрощения задачи будем искать оптимальных набор признаков для классификаторов, построенных на основе (3.63) и (3.76).
С теоретической точки зрения достоверность классификации является наилучшим критерием эффективности признаков. Кроме того, на практике одним из наиболее распространенных критериев является вероятность ошибки, полученная экспериментально; а именно, интуитивно выбрав набор признаков, строят классификатор и экспериментально подсчитывают число ошибок классификаций. Эта процедура является гибкой, не зависит от вид распределения и теоретически позволяет найти оптимальное решение. Кроме того, с точки зрения машинного времени она может успешно конкурировать с процедурами минимизации многих других критериев, которые задаются явными математическими выражениями, но оказываются сложными для минимизации.
Главный недостаток критерия вероятности ошибки заключается в том, что, за исключением очень небольшого числа частных случаев, для него не существует явного математического выражения, даже для нормальных распределений вычисление вероятности ошибки требует численного интегрирования.
Будем строить критерий разделимости двух классов в виде [152]где N случайных величин уь...,Уы используются в качестве признаков. Кроме того, предположим, что лучшей разделимости классов соответствует большее значение критерия. Также желательно, чтобы критерии удовлетворяли следующим условиям [152]:1. Монотонная связь с вероятностью ошибки. Обычно трудновыполнимое условие.2. Монотонная связь с нижней и верхней границами вероятности ошибки. Качество критерия при этом можно оценить в соответствии с тем, как близко эти границы находятся к вероятностям ошибки.3. Инвариантность относительно взаимно однозначных отображений: вероятность ошибки байесовского классификатора инвариантна относительно любого преобразования, сохраняющего взаимно однозначное соответствие.4. Аддитивность по отношению к независимым признакам: если ун взаимно независимы, то5. Метрические свойства: Следует отметить, что все эти условия являются не обязательными, а желательными.
В литературе предложено несколько критериев: на основе расстояния Бхатачария [152], на основе дивергенции [152, 142], матриц рассеяния [142, 152], на основе понятия внутреннего расстояния множеств [142], минимума энтропии [142,152,60].
Недостатком большинства из этих методов является их сложность и необходимость знания многомерной функции плотности вероятностей признаков.
В работе [122] предложено использование в качестве критерия эффективности к-го признака при классификации классов і и j критерия Фишерагде пій, rrikj - математические ожидания к-го признака для і-го и j-ro класса;C7ki, crkj - среднеквадратические отклонения к-го признака для і-го и j-ro класса.
При распознавание двух одномерных нормальных случайных процессов,критерий (3.86) удовлетворяет условиям (3.82), (3.83), (3.84), (3.85). Построимкритерий разделимости на основе выражения (3.86) для многомерныхнормальных совокупностей. Так как признаки получаемые на основе метода стохастического кодирования имеют слабую корреляционную связь, то в качестве критерия разделимости можно предложить2 ni + CTnj
Выражение (3.87) удовлетворяет (3.81-3.85).При равных (или неизвестных) дисперсиях признаков можно использовать следующее выражение для оценки эффективности признака
Выражения (3.87) и (3.88) будем в дальнейшем использовать в качестве критерия разделимости классов. Для обучения системы распознавания образов, классификатор которой построен на основе (3.63) или (3.78), необходимо оценить векторы математических ожиданий для каждого класса. Известно несколько методов нахождения оценок [25, 87, 118, 143]: метод максимального правдоподобия,метод наименьших квадратов, метод Байеса, минимума % , метод моментов.
Оценку максимального правдоподобия в данном случае построить довольно сложно (если вообще возможно), так как необходимо знать выражение для функции правдоподобия L(xlv.,xN;a), где а- оцениваемый параметр.
Метод наименьших квадратов применяется для оценки параметров функций регрессии, поэтому рассматривать его не будем.
Для нахождения алгоритма оценивания по методу Байеса необходимо знать функцию потерь и функцию правдоподобия, а как уже упоминалось выше, в данном случае найти функцию правдоподобия очень сложно.
Метод минимума х требует знания функции правдоподобия или ее оценки, поэтому его использование связано со значительными теоретическими и техническими трудностями.
Наиболее простым методом оценивания является метод моментов. Если момент существует и конечен (наш случай), то метод моментов позволяет получать его оценки [118]. Оценка математического ожидания процессов (3.12) может производиться по следующим формулам где К (х) - функция распределения опорного процесса. Оценить математическое ожидание процесса (3.45) можно по следующей формуле 1 N"k m [z12] = ——- Z(l + 2-Fuv(xn,xn+k)-Fu(xn)-Fv(xn+k)), (3.90) N-kn=1 где Fuv (xn,xn+k) - двумерная функция распределения опорных процессов; Fu(xn), Fv(xn+k) - одномерные функции распределения опорных процессов. Необходимо отметить, что для вычисления оценок по (3.89) и (3.90) необходимо знать математические выражения функций распределений опорных процессов. Если такие выражения известны, то их вычисления достаточно сложны и требуют довольно мощного вычислителя. Как было установлено в п.3.2., признаки, формируемые на основе метода стохастического кодирования, имеют слабую корреляцию. Как известно, дисперсия оценки математического ожидания при коррелированных выборках записывается в виде процесса X. В п.3.2. было установлено, что коэффициент корреляции признаков «0.1. На рис.3.12. приведен график зависимость дисперсии оценки от объема выборки при равной корреляции всех признаков равной 0.1. Из графика видно, что при N 20 дисперсия практически перестает убывать.
Объектная модель инструментальной системы
Определим основные сущности системы на основе ее концептуальной модели [127].Класс Component является абстрактным классом, реализующим понятие компонента системы. Каждый компонент имеет идентификатор (уникальный в пределах моделируемой системы), символьное имя, параметры, переменные состояния, точки соединения {Link). Параметры и переменные состояния используются при функционировании системы. Соединения определяют потенциальную возможность включения компонента в систему и фактически определяют способ взаимодействия компонентов в системе. Для каждого компонента определены следующие методы:- установка и получение идентификатора;- оперирование с параметрами;- оперирование с переменными состояния;- редактирование связей компонента в системе;- выполнение функции-ядра компонента;- представление характеристик компонента (функциональных отображений).
Каждый параметр и характеристика компонента имеет символическое имя, значение (набор значений), единица измерения.
Компоненты делятся на активные и пассивные. Активные компоненты являются источниками входных воздействий {Source) на систему и могут выполняться в разных потоках выполнения. Пассивные компоненты являются либо преобразователями информации, либо потребителями информации.
Класс Link (точка соединения, штекер) реализует понятие входа-выхода системы. Каждая точка соединения имеет свой тип (вход, выход), статус (соединение установлено или нет). Каждый компонент системы имеет конечное число точек соединения. При функционировании системы компоненты взаимодействуют между собой только посредством точек соединения и связей.
Класс Connection (соединение, связь) реализует понятие соединения и используется для связи компонентов и передачи сигналов от источника к приемнику (или приемникам). Включение компонента в систему производится путем связывания точек соединения компонента и межкомпонентных соединений. Класс Connection должен обеспечивать передачу сигналов как в однопоточной, так и в многопоточной системе.
Класс System поддерживает представление исследуемой моделируемой системы в виде множеств компонентов и их связей (см. рис.4.1). Класс определяет и реализует методы описания и редактирования системы, включая создание, удаление, поиск, перестановку компонентов и их связей. Также предоставляет возможность подключения визуализаторов и наблюдателей для наблюдения за функционированием системы и ведения отчетов.
Класс Subsystem является производным от Component и System и конкретизирует понятие подсистемы. Он поддерживает представление подсистемы в виде множеств компонентов и их связей, предоставляет доступ к элементам подсистемы для их настройки и задания начальных состояний.
Компоненты системы могут быть источниками, преобразователями или потребителями информации. Источниками и приемниками информации могут быть внешние устройства (датчики, АЦП, ЦАП и т.д.).
Перейдем к вопросам реализации описанной объектной модели. Систему будем реализовывать на языке C++. При разработке системы целесообразно использовать паттерны проектирования. По словам Кристофера Александра, "любой паттерн описывает задачу, которая снова и снова возникает в нашей работе, а также принцип ее решения, причем таким образом, что это решение можно потом использовать миллион раз, ничего не изобретая заново" [157]. Изучая объектную модель системы видим, что классы Component, Subsystem можно связать паттерном "компоновщик". Паттерн "компоновщик", используется когда: 1) нужнопредставить иерархию объектов вида часть-целое; 2) нужно, чтобы клиенты единообразно трактовали составные и простые объекты. Структура паттерна "компоновщик" изображена на рис.4.2.
Паттерн "компоновщик" позволяет:1. определять иерархии классов, состоящие из простых и составных объектов;2. упростить архитектуру клиента. Клиенты могут единообразно работать как с составными, так и с простыми объектами. Обычно клиенту неизвестно, взаимодействует ли он с простым или составным объектом. Это упрощает структуру клиента;3. облегчить добавление новых видов компонентов. Изменять клиента при добавлении нового компонента не нужно;4. создавать общий дизайн. System - это базовый класс, поддерживающий представление системы ввиде множества компонентов и их связей и редактирование системы. Для задания множества компонентов можно использовать список (list). Оператор сопряжения R будем задавать в виде таблицы, а таблицу реализуем матрицей (Matrix). Список элементов и оператор сопряжения используются только на этапе сборки системы, а также при редактировании системы. Интерфейс класса приводится ниже
Разработка программного обеспечения для решения научных задач представляет собой очень сложную и трудоемкую задачу. Решение этой задачи требует хорошего знания проблемной области, хорошего знания принципов оптимизации программ и архитектуры компьютера.
В последнее десятилетие были сделаны значительные достижения в области разработки программного обеспечения. Были разработаны новые методы управления сложностью программного обеспечения и новые техники выделения абстракций. Появились и получили развитие новые парадигмы программирования: мета-программирование, объектно-ориентированное программирование, обобщенное программирование.
Одним из ключевых моментов построения более качественного программного обеспечения является построение более качественных абстракций. Таким образом, можно создать класс со сложным поведением из маленьких классов, каждый из которых отвечает только за один функциональный или структурный аспект. Комбинируя различные реализации этих классов, можно моделировать огромное количество видов поведения. Таким образом, главная проблема - правильная декомпозиция (ортогональная). Тут мы вплотную подошли к парадигме обобщенного программирования. По сравнению с традиционной объектно-ориентированной парадигмой обобщенное программирование позволяет взойти на более высокий уровень абстрагирования.
Разрабатывая библиотеку будем придерживаться парадигмы обобщенного программирования. Обобщенное программирование - это парадигма, в центре которой лежат абстрактные типы, узкий набор функциональных требований и алгоритмы реализации, выраженные в терминах этих требований [3]. Прекрасный пример применения обобщенного программирования - библиотека STL, разработанная сотрудниками Hewlett-Packard А.А. Степановым и М. Ли совместно с Д.Р. Муссером из Ренсселэровского политехнического института. Рассмотрим структуру прикладного математического обеспечения системы.
