Содержание к диссертации
Введение
ГЛАВА 1. Анализ методов классификации цифровых: сигналов на основе обучающей выборки .
1.1. Постановка задач классификации сложных объектов по цифровым сигналам и автоматизированного поиска признаковых пространств 19
1.2. Классификацияметодов и системраспознавания цифровых сигналов 24
1.3: Базовые алгоритмы и методы поиска признаковых пространств 35
1.4. Анализ методовоценкшэффективности систем распознавания образов 40;
Выводы
ГЛАВА 2. Разработка комплекса? алгоритмов и методики поиска признаковых пространств для классификациищифровых сигналов .45
2.1 .Этапы-синтеза систем классификации цифровыхсигналов „"..-. 45
2.2; Определение семейства признаков на основе частот характерных последовательностей. 47
2.3. Алгоритмы формирования конечного-множества возможных признаков:5 Г
2.4. Алгоритм поиска информативного рабочего множества признаков 63
2.5. Алгоритм повышения эффективности признакового пространства 65
2.6. Алгоритмы оценки информативности признаковых пространств 67
2.7. Методика формирования признакового пространства на основе частот характерных последовательностей 73
2.8. Интерпретация признаков на основе частот характерных последовательностей — 76
Выводы ; 80
ГЛАВА 3. Анализ эффективности алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов :
3.1. Поиск признаковых пространств для эталонных задач классификации цифровых сигналов 85
3.2. Диагностика состояния подшипников трансмиссии ГТД на основе частот характерных последовательностей вибросигналов 97
3.3. Поиск признаковых пространств для классификации фрагментов изображений дистанционного мониторинга местности 103
3.3.1. Поиск признакового пространства для классификации фрагментов со следами шин на снимках кадровой телевизионной камеры 106
3.3.2. Поиск признаковых пространств для классификации фрагментов леса на снимках дистанционного мониторингаместности 108
3.4. Анализ результатов классификации цифровых сигналов 112
3.4.1. Сопоставительный анализ методов классификации цифровых сигналов 112
3.4.2 Оценка эффективности дополнительных алгоритмов поиска признаковых пространств 116
3.4.3. Зависимость точности распознавания от размера обучающей выборки ик количества признаков 118
3.4.4. Проблемапереобучения припоиске признаков 120
Выводы 123
ГЛАВА 4. Программная среда поддержки разработки и исследования алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов 125
4.1. Проблемы и принципы построения систем оптимизации алгоритмов и алгоритмических схем классификации цифровых сигналов 125
4.2. Элементы программной среды поддержки алгоритмов и алгоритмических схем «Библиотека алгоритмов» 126
4.3. Автоматизированный поиск признаков в системе классификации цифровых сигналов 133
Выводы 138
Заключение 139
Список использованных источников
- Классификацияметодов и системраспознавания цифровых сигналов
- Алгоритм повышения эффективности признакового пространства
- Диагностика состояния подшипников трансмиссии ГТД на основе частот характерных последовательностей вибросигналов
- Элементы программной среды поддержки алгоритмов и алгоритмических схем «Библиотека алгоритмов»
Введение к работе
Актуальность темы
Разработка методов и систем поддержки процессов принятия решений актуальна для приложений цифровой обработки сигналов, в которых решение принимается человеком, а также для автоматической диагностики состояния сложных технических систем, обнаружения зон интереса на изображениях дистанционного мониторинга, распознавания речи и множества других приложений.
Многие задачи принятия решения, если решение базируется, в основном, на прошлом опыте, приводятся к схеме распознавания образов. Структурно-параметрический синтез систем классификации объектов включает выбор датчиков, проектирование алгоритмов предварительной обработки и синтез классификатора. Исходной информацией для проектирования является множество сигналов с указанием классов объектов, для которых они зарегистрированы, поэтому задачу синтеза системы распознавания часто решают методами машинного обучения. Известно большое количество методов и алгоритмов формального синтеза и обучения классификаторов, пригодных в условиях, когда выбор набора функций от первичных данных уже сделан, то есть признаковое пространство фиксировано.
В промышленности, медицине, геофизике сигналы являются очень сложными объектами. Они определяются применяемыми датчиками, то есть возможность влиять на процесс получения первичной информации очень ограничена. Математическая модель сигналов или неизвестна, или настолько сложна, что ее использование становится неконструктивным. Построение классификаторов на основе непосредственно наблюдаемых сигналов невозможно из-за очень большого размера данных. Необходимо предварительное извлечение из наблюдаемых сигналов информативных признаков, после чего задача классификации решается известными методами. Формальные методы поиска признаков при неопределенной математической модели сигнала отсутствуют. Часто используются известные из других приложений методы, без обоснования их эффективности (например, спектральное представление сигнала). Множество признаков, характеризующих объект, выбирается специалистом, а эффективность выбора или его ошибочность становится ясной после разработки, тестирования и использования системы распознавания или обработки информации, когда модификации, корректировки, доработки аппаратуры или программного обеспечения трудны, дороги и требуют много времени. Процесс выбора характерных признаков не может быть формализован. Однако в рамках выбранного семейства признаков можно избавить специалиста от перебора вариантов и автоматизировать поиск наиболее информативных признаков. В диссертации спроектировано семейство признаков на основе характерных последовательностей, пригодное для автоматического анализа самых разнообразных цифровых сигналов, хотя исследованы только временные ряды и изображения в градациях серого.
Алгоритмы поиска и оптимизации признаковых пространств для классификации цифровых сигналов, разработанные и исследованные в настоящей работе, актуальны для значительного уменьшения времени поиска по сравнению со временем решения этой задачи специалистом, а также для повышения точности распознавания. Поскольку признаки выбираются на основе отыскания закономерностей в эмпирических данных (в сигналах обучающей выборки), разработанные алгоритмы поиска признаков можно применять для решения задач структурно-параметрического синтеза и оптимизации алгоритмов предварительной обработки информации систем распознавания образов в различных предметных областях.
Цели и задачи исследований
Цель исследований заключается в разработке алгоритмов автоматизированного поиска признаковых пространств, позволяющих повысить вероятность правильного распознавания в системах классификации цифровых сигналов, а также уменьшить время разработки таких систем.
Для достижения поставленной цели решены следующие задачи:
Формализована задача поиска эффективных признаковых пространств для классификации цифровых сигналов.
Проведен системный анализ алгоритмов вычисления признаков цифровых сигналов и найдено семейство алгоритмов вычисления признаков, позволяющее автоматизировать процесс поиска признаковых пространств и оптимизировать системы классификации цифровых сигналов по критерию максимума вероятности правильного распознавания.
Разработан комплекс алгоритмов автоматизированного поиска эффективных признаковых пространств для классификации цифровых сигналов.
Разработано специальное программное обеспечение поддержки разработки и исследования алгоритмов и алгоритмических схем обработки и анализа цифровых сигналов, поиска признаковых пространств и структурно сложных алгоритмов принятия решений.
Произведен анализ эффективности систем классификации цифровых сигналов на основе найденных признаковых пространств по критерию вероятности правильного распознавания.
Методы исследования. Для формализации задач использован теоретико-множественный подход общей теории систем. При разработке алгоритмов применялись модели и методы теории распознавания образов, цифровой обработки сигналов и численной оптимизации. Экспериментальная оценка качества решения задач классификации цифровых сигналов выполнялась методами испытания на независимых (отложенных) данных и скользящего контроля.
Практическая значимость диссертации. Полученные результаты составляют алгоритмическую и программную основу для решения задач автоматизированного поиска признаковых пространств для классификации цифровых сигналов, что позволяет оптимизировать обработку информации в системах распознавания
образов и повысить вероятность правильного распознавания в приложениях. Предложенные решения могут быть использованы в областях: технической и медицинской диагностики, контроля качества продукции, дистанционного мониторинга местности, видеонаблюдения, робототехники, автоматического анализа речи, анализа массивов мультимедиа данных и других.
Создана программная среда поддержки разработки и исследования алгоритмов и алгоритмических схем цифровой обработки сигналов, распознавания образов и других. Эта среда внедрена в ОАО «Конструкторское бюро «Луч» (г. Рыбинск) в составе комплекса обработки изображений дистанционного мониторинга местности (многофункциональной визуальной информационной системы). На её основе реализован комплекс алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов, а также алгоритмы предварительной обработки временных рядов и изображений.
Научная новизна
Введено новое семейство алгоритмов вычисления признаков цифровых сигналов, основанное на сопоставлении сегментов сигнала и вычислении частот появления в сигнале характерных последовательностей, и установлено, что это позволяет повысить качество систем распознавания образов по критерию максимума вероятности правильного распознавания.
Разработан и исследован комплекс алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов, основными алгоритмами которого являются: алгоритм формирования конечного множества возможных признаков по обучающей выборке и алгоритм поиска эффективного признакового пространства как подмножества большого (более 500) множества признаков, в том числе коррелированных.
Новое решение задачи цифровой автоматической диагностики состояния подшипников трансмиссии газотурбинных двигателей, основанное на многомасштабном Wavelet-разложении вибрационных сигналов и подсчете частот характерных последовательностей в интегральных Wavelet-коэффициентах, обеспечивает более высокую вероятность правильного распознавания, чем диагностика при помощи спектральных и статистических признаков.
Новое решение задачи распознавания фрагментов изображений, основанное на преобразовании локального повышения контраста, статистиках характерных последовательностей, ряде инвариантных к повороту расстояний и алгоритме перебора последовательностей по разреженным границам детектора Canny, является эффективным в условиях изменчивости изображений по масштабу, ориентации, яркости и контрасту, а также в условиях шума и других искажений, свойственным изображениям дистанционного мониторинга местности.
На защиту выносятся 1. Комплекс алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов, позволяющий решать задачу структурно-
параметрического синтеза блоков предварительной обработки информации в системах распознавания образов.
Алгоритм предварительной обработки информации в системе диагностики состояния подшипников трансмиссии газотурбинных двигателей, включающий вычисление Wavelet-коэффициентов вибрационных сигналов и подсчет частот характерных последовательностей в интегральных Wavelet-коэффициентах, обеспечивающий полную линейную разделимость образов вибрационных сигналов кондиционных и некондиционных подшипников, что не обеспечивается применением спектральных и статистических признаков.
Алгоритмы предварительной обработки информации в системах классификации фрагментов изображений дистанционного мониторинга местности, включающие преобразование локального повышения контраста, набор алгоритмов инвариантного к повороту сопоставления последовательностей, и вычисление частот характерных последовательностей с перебором их по разреженным границам детектора Canny.
Апробация результатов работы. Основные результаты работы докладывались на 10-й международной конференции «Цифровая обработка сигналов и ее применение» (Москва, 2008); 9-й международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (Нижний Новгород, 2008); открытом семинаре в Институте системного анализа РАН (Москва, 2008); XXIX конференции молодых ученых (Рыбинск, 2005); XI международном конгрессе двигателестроителей (Украина, Рыбачье, 2006); международной школе-конференции молодых ученых, аспирантов и студентов имени П. А. Соловьева и В. Н. Кондратьева (Рыбинск, 2006).
Публикации. По результатам работы опубликовано 9 научных работ, в том числе: 7 статей и 2 тезиса докладов на конференциях. Две статьи опубликованы в журналах, рекомендуемых ВАК.
Объем и структура работы.
Классификацияметодов и системраспознавания цифровых сигналов
Рассмотрим дополнение к представленной постановке задачи классификации цифровых сигналов. В некоторых случаях объект или ситуация характеризуется не одним, а несколькими цифровыми сигналами. Например, при диагностике сложного технического объекта на основе вибраций, может потребоваться их регистрация в нескольких режимах работы (разгон, остановка, стационарный режим и тому подобное). В этом случае в качестве образа выступает не один, а несколько цифровых сигналов: ох =Х, -\х],х?,...,х). Отметим, что набор X,- содержит сигналы разных систем- регистрации, связанных с объектом. При этом в каждом образе должны быть представлены сигналы всех рассматриваемых систем регистрации. Например, в рассматриваемой задаче вибродиагностики каждый образ должен включать сигналы, зарегистрированные во всех рассматриваемых режимах (разгон, остановка, стационарный режим). Т. о., существует несколько систем регистрации сигналов: hl,h2,...,hm, ht lAHtDS,. Классификация заключается в оценке класса w = ЛА (а) объекта а є А по множеству сигналов разных систем регистрации {xJfLj.x, = h/q). Такую постановку будем называть расширенной постановкой задачи классификации цифровых сигналов.
Математические методы теории распознавания образов позволяют для сформированного множества признаков построить решающее правило и(х) при наличии обучающей выборки. Проблема формирования рабочего множества признаков (образа) исследована в меньшей степени и традиционно решается специалис 23 тами предметной области. Условно процесс: формирования признаков: можно обозначить как переход от исходной, доступной информации об объекте: (цифровой сигнал), к вектору значений признаков. Необходимость подобного перехода отмечается также и теорией статистических решений.. Как известно Байесово решающее правило может быть применено и к исходным: сигналам. Однако большая: длина реализации: приводит к работе с: функциями плотностей вероятности высокой размерности, что вычислительно делает невозможным применение существующих алгоритмов [63]Г Для преодоления? этой проблемы вводится . понятие достаточной статистики, как отображения данных большой размерности вданныеменьшейразмерности, без потери различительной информации. Задачи отыскания достаточных: статистик и доказательство достаточности в условиях: априорнойнеопределенности являютсяюложнымщзадачами [48, .63];
Жри формировании признаков;-специалист предметной области, либо»ориентируется на: знания о предметнош области; либо; на .опыт решения:- подобных задач либо перебирает и испытывает известные ему типы признаков применяемые. для- классификации: цифровых сигналові исследуемого типа: (изображений; временных рядов); Часто? реальным; задачам: свойственна высокая степень;неопрет дёленности, которая» выражается? в. отсутствии; даже у специалистов; знания? принципиальных различий между сигналами разных классов . В; таком случае, результат может быть получен именно с помощью переборного подхода. При таком рассмотрении проблемы формирования образа становится очевидной возможность автоматизацииіпоиска признаков за счет разработки специальных алгоритмов и программного обеспечения.
Задача! автоматизированного формирования признаков заключается в разработке алгоритмов и методик, позволяющих сформировать рабочее множество/признаков F-.= {/,}. по обучающей выборке Г. Эту задачу можно рассматривать г.как: задачу обучениям по. эмпирическим данным или поиска закономерностей.в эмпирических данных. Первой задачей, которую необходимо решить при разработке алгоритмов автоматизированного формирования признаков, является определение и формальное описание семейства признаков, в рамках которого будет осуществлен поиск. Пусть G - множество всех возможных признаков выбранного семейства, Q - алгоритм оценки информативности (эффективности) множества признаков FtczG как потенциального рабочего множества признаков, а МахС — максимально допустимый размер искомого множества признаков. Задача формирования рабочего множества признаков заключается в поиске множества признаков Fj czG,\Fj\ МахС,0(Fj)- max с как можно большим значением меры информативности Q(;Fj). Классификация методов распознавания цифровых сигналов Среди работ по КЦС можно, выделить как. общие подходы, применимые к цифровым сигналам различного происхождения [6,69,78,79,89-92, 102, 104, 109; 116, 117, 120-123, 130, 131, 134, 136, 139, 140, 146], так и методы решения частных задач [4, 12, 49,-82, 92, 97, 100, 108, ПО, 113, 118, 119, 128, 133, 145]. При исследовании общих методов авторы стараются провести испытания на нескольких задачах и сигналах из различных предметных областей [89 — 91, 104, 109,117,120,122,123,140]. Методы КЦС можно разделить на группы в зависимости от типа сигнала. Например, методы классификации временных рядов [74, 75, 79, 82, 100, 102, 104, 108, 109, ПО, 117, 119, 121 - 123, 140, 146], изображений [4,6,12,49,69,78, 97, ПО, 118, 120, 128, 130, 131, 133, 136, 137, 139, 145] и общие методы-[62, 89 - 94, 120].
В качестве важного критерия группировки методов КЦЄ рассмотрим степень участиям специалиста предметной области в построении решающего правила. Наиболее высокая степень участия специалиста соответствует аналитическому решению. Например, достижения теории статистических решений позволили решить ряд задач классификации сигналов аналитически [48, 63, 66]. Отметим, что эти задачи решались в постановке отличной от той, что рассматривается в данной работе. Отличие заключается в наличии моделей сигналов [63]. Следующая группа - методы, соответствующие традиционному подходу теории распознавания образов, когда от специалиста требуется сформировать множество признаков. При этом построение решающего правила производится при помощи адаптивных методов [36, 40, 69, 74, 75]. Поэтому, второй задачей специалиста является выбор и настройка параметров алгоритма классификации. Альтернативным направлением является автоматизированное формирование признаков и моделей сигналов. При этом, от специалиста требуется прежде всего настройка управляющих параметров алгоритмов формирования признаков или модели [78,89 - 91, 116, 117, 120, 130, 131, 136, 137, 139]. Последняя группа методов по данному критерию - методы автоматического формирования решающих правил [104, 122, 123, 140]. К автоматическим можно отнести алгоритмы формирования решающих правил с малым числом управляющих параметров или вообще без них. Так как при использовании автоматических и автоматизированных методов КЦС алгоритмы строятся на основе обучения на эмпирических данных, а не за счет анализа предметной области, то такое решение- обладает большей степенью общности, чем формирование алгоритма специалистом предметной области. Вместе с тем, для многих подобных методов трудно точно указать область их применимости, что вообще свойственно методам машинного обучения.
Алгоритм повышения эффективности признакового пространства
Использование преобразований вместо исходных сигналов или вместе с ними может быть целесообразно, например, при КЦС в условиях шума. В этом случае традиционным приемом является использование фильтрации, но необходимо определиться с алгоритмом и значениями его параметров.
Для учета возможности преобразования без усложнения алгоритмов воспользуемся расширенной постановкой задачи КЦС. Пусть для некоторого системы регистрации сигналов обучающей выборки хк требуется выполнить преобразование Trans(x). Добавим, в набор сигналов каждого образа 0[=(х)9...,х ,...,х\ обучающей выборки сигнал x"+l = Trans( , ). Т. о., использование преобразования сводится к появлению в расширенной постановке еще одной системы регистрации.
Признаки на основе ХП определяются: номером системы) регистрации к, если речь идет о расширенной постановке задачи; преобразованием сигнала, если оно применяется Trans(x); параметрами ХП на которой основан признак (алгоритм перебора Епит, расстояние на множестве последовательностей р, эталонная последовательность es, порог расстояния Th )
На рис. 2.4. представлена структурная схема вычисления признака на основе ХП. На первом этапе выбирается система регистрации сигнала, если образ объекта определяется несколькими сигналами. Далее возможно применение преобразования, после чего вычисление частоты появления ЭП в сигнале относящихся к данной ХП. 2.3, Алгоритмы формирования конечного множества возможных признаков
На рис. 2.5 изображена структурная схема базового алгоритма формирования множества возможных признаков. Данный алгоритм позволяет построить множество возможных признаков для КЦС на основе обучающей выборки Г. На практике используется более сложный алгоритм формирования множества возможных признаков, основанный на применении базового алгоритма.
Для обеспечения возможности применения алгоритма в расширенной постановке введена процедура перехода от обучающей выборки Т, где каждый образ содержит несколько сигналов ог =Х( = (х} ,х? ,..,,х[") к обучающей выборке Тк, где образ - это один сигнал. Процедура заключается в удалении из набора (х/,JC;2,...,х/"у всех сигналов, кроме сигнала.сномером к: о, = (xf ) = xf. - 7
Множество возможных признаков- Fx строится на основе множества ХП CS. Множество- ХП формируется с помощью кластерного анализа последовательностей сигналов обучающей выборки Т. Традиционно кластерный анализ применялся для поиска компактных множеств точек в пространствах образов [10, 40, 67]. Многие алгоритмы кластерного анализа требуют введения расстояния в рассматриваемом пространстве. Часто в- качестве такого расстояния используется Евклидова метрика [10,40,67] . В нашем случае расстояние на множестве ЭП одинакового размера р является управляющим параметром алгоритма. Целесообразно производить кластерный анализ одновременно с перебором, а не как отдельный этап. Поэтому в структурной схеме алгоритм перебора Епит выступает в роли управляющего параметра.: Итак,, для формирования множества ХП необходимо: задать процедуру перечисления последовательностей Епит- указать расстояние на множестве последовательностей р;.задать вектор размеров перебираемых последовательностей Ь; определить процедуру кластерного анализа.последовательностей и значения управляющих параметров этой процедуры.
Если работа идет свременными рядами, то вектор b содержит только одну компоненту - длину ЭП в отсчетах. Для изображений: вектор b содержит две компоненты: ширина и высота последовательностей. После, кластерного анализа ЭП; сигналов; на основе множества ХП строится множество возможных признаков. В функциональном блоке «Построение множества признаков с. оптимальными; порогами» производится коррекция «значений порогов каждой из ХП, что? позволяет повысить эффективность-полученных признаков; Процедура: коррекции; порогов рассмотрена ниже. Вї последнем функциональном: блоке на; рис.2.5 управляющий параметр Qf - это1 мера информативности признаков необходимая дляікоррекцишпорогов В: современных, языках программирования-: такой прием,, как передач а функции (реализации алгоритма) в качестве параметра другой функции является распространенным. Подобным образом параметры р, Епит и Qf являются алгоритмами. Б о лее подробно решения по технологии: программной реализации методов КЦС описаны в гл. 4.
Цель перечисления последовательностей - сформировать выборку из множества ЭП заданного размера b сигналов обучающей выборки Т . Результат перечисления - множество последовательностей. Примеры вариантов перечисления последовательностей представлены нарис. 2 6.. .
Способы перечисления ЭП Перечисление последовательностей можно осуществлять с фиксированным шагом или со случайным шагом. Перечисление со случайным шагом позволяет получить выборку сегментов в большей степени независимую от динамики значений сигнала, чем перечисление с постоянным шагом. Обязательным управляющим параметром для процедуры перечисления является размер сегмента. Для перечисления с фиксированным шагом, требуется указать шаг перечисления в отсчетах. Для перечисления со случайным шагом необходимо указать закон распределения вероятности шага перечисления.
Можно перечислять как все последовательности, так и выбирать их в соответствии с заданным условием, фактически перебирая последовательности определённого подмножества множества сегментов. В [10] предложен ряд функций сложности последовательностей, которые также могут быть использованы для формирования условий отбора последовательностей. Одним из популярных сегодня приемов для перебора последовательностей изображений при решении задач распознавания является использование операторов обнаружения точек интереса (interest points) [78, 93, 98, 112, 114].
При испытаниях на задачах классификации изображений (гл. 3) будет использовано перечисление последовательностей, через центральный отсчет которых проходит граница (по границам). В качестве алгоритма выделения границ применяется метод Canny. Кроме того, при переборе, исключаются соседние точки (рис. 2.7в). На рис. 2.7в белыми точками отмечены центры последовательностей перечисленных по границам.
Диагностика состояния подшипников трансмиссии ГТД на основе частот характерных последовательностей вибросигналов
Методика последовательного расширения множества возможных признаков Формирование множества возможных признаков по структурной схеме на рис. 2.12 требует определения множества SET установок входных параметров базового алгоритма. Иными словами, для формирования образа необходимо определение множества схем вычисления признаков, на основе которых он будет сформирован. Допустим, образ оказывается не достаточно эффективным, но содержит некоторые информативные признаки. В этом случае можно попробовать расширить множество SET.
Приведём пример целесообразности такого расширения. Допустим, при построении некоторого алгоритма классификации рассматривается ряд размеров последовательностей: 10, 50, 100, 150, 200. Информативность полученных множеств признаков не достаточна, но найден ряд более-менее информативных признаков. Анализируя, находим, что большинство из них имеют размер 150-200 отсчётов. В этом случае есть смысл рассмотрения последовательностей с размером между 100 и 200, а также с размером больше 200 отсчётов.
На рис. 2.21 представлена структурная схема формирования образа с последовательным расширением множества возможных признаков. Методика включает в себя ряд однотипных этапов. На каждом этапе / происходит формирование множества возможных признаков на основе множества установок SETt, определяемого специалистом. Далее происходит формирование множества признаков и оценка его информативности. Если информативность не превосходит заранее выбранного порога, то происходит переход на следующий этап. На каждом последующем этапе i + \ специалист формулирует новое множество установок SETl+x. Очевидно, что схемы нового множества не должны пересекаться со схемами предыдущих множеств. Начиная со второго этапа, поиск мно 74 жеств признаков происходит в объединенном множестве признаков, куда дополнительно входит множество информативных признаков с предыдущих этапов.
Наиболее естественный способ оценки эффективности множества возможных признаков - осуществление поиска на его основе рабочего множества признаков. В этом случае в качестве меры эффективности будет выступать значение информативности Q F найденного множества признаков. Для более быстрой1 оценки эффективности можно отказаться в схеме на рис. 2.13 от последнего этапа - поиска по методу СПА. В качестве меры эффективности множества возможных признаков может выступать средняя информативность N наиболее информативных признаков, сформированных после второго этапа.
Методика формирования образа
Процесс формирования образа включает три стадии: формирование конечного множества возможных признаков (п. 2.3), поиск информативного рабочего множества признаков (п. 2.4) и необязательная стадия повышения информативности рабочего множества признаков (п. 2.5). Каждая из первых двух стадий может быть выполнена один или больше раз. Возможная итеративность первого этапа, а также общая методика его проведения показана в предыдущем пункте. Поиск информативного рабочего множества признаков требует выбора размера этого множества, выбора меры информативности и настройки других параметров отбора. Строго говоря, выбор оптимального для эффективности получаемого образа набора параметров возможен только при использовании дополни 75 тельной размеченной выборки образов для тестирования (применение внешнего критерия информативности). Выбор на основе значения информативности, оцененного по выборке, используемой при обучении (внутреннего критерия), может оказаться не оптимальным из-за эффектов переобучения.
Полученные в п. 3.4.4 зависимости внутреннего и внешнего показателей информативности от количества признаков для отдельно взятой задачи являются , Формирование множества возможных признаков непротиворечивыми. Следовательно, Поиск информативного рабочего множества признаков дополнительной выборки. Итеративность к поиска информативности признаков выра- , Повышение информативности ! рабочего множества признаков жается в неоднократном применении I иногда возможно принятие решения о значении данного параметра и без, алгоритма поиска и выборе наилучшего с Рис 222 Схема формирования образа точки зрения внутреннего или внешнего критерия набора значений параметров. Наиболее сложный вопрос при отборе признаков в. условиях отсутствия дополнительной-выборки - использовать или нет преобразование кластеризации. Опыт показывает, что при малом объеме обучающей выборки (менее 30 образов) следует отказаться от применения преобразования кластеризации, в то время как при объеме выборки больше или равной 100 образам, его применение целесообразно и позволяет получить заметное увеличение вероятности правильного распознавания.
Как показывает практика, многократное применение алгоритма повышения эффективности рабочего множества признаков нецелесообразно. На основании анализа внутреннего или внешнего критерия требуется принять решение об использовании или отказе от использования результатов работы этого алгоритма. Если значение внутреннего критерия повышается незначительно, то следует отказаться от результатов этого этапа.
Элементы программной среды поддержки алгоритмов и алгоритмических схем «Библиотека алгоритмов»
На рис. 3.38 показано повышение вероятности правильного распознавания достигнутое за счет применения алгоритма повышения информативности, описанного в п. 2.5. Для задач распознавания фрагментов со следами шин и диагностики процесса производства полупроводниковых приборов информативность пространства после применения алгоритма практически не отличалась от информативности исходного пространства рехода к полученному пространству. Для задач, где оценка вероятности правильного распознавания на тестовой выборке составила 100%, также нет смысла испытывать данный алгоритм. Отметим, что во всех трех случаях достигнутое повышение находится в пределах доверительного интервала при 95%-ом уровне значимости. На рис. 3.39. представлены оценки вероятности правильного распознавания для случаев применения преобразования кластеризации и без него. При использовании преобразования кластеризации наблюдается повышение вероятности правильного распознавания до 5 %. На рис. 3.40 показано повышение вероятности правильного распознавания, достигаемое для задач дистанционного мониторинга местности при использовании локального повышения контраста. На рис. 3.41 представлены результаты сопоставления эффективности применения для классификации временных рядов признаков, основанных на трех различных расстояниях СКО (2.6), Чебышева (2.7) и на основе коэффициента корреляции (2.10).
Наиболее эффективным оказалось рас стояние на основе коэффициента корре ляции, однако еще большую вероятность с правильного распознавания удается добиться при использовании всех трех расстояний. В задачах классификации фрагментов изображений дистанционного мониторинга местности высокой вероятности правильного распознавания удается достичь при использовании дополнительных инвариантных к повороту расстояний.
Как показали испытания, применение преобразования локального повышения контраста, многомасштабного Wavelet-разложения и уменьшения разрешения позволяют добиться повышения вероятности правильного распознавания в задачах классификации: переходных временных рядов, вибрационных процессов, изображений дистанционного мониторинга. Таким образом, потенциальным приемом повышения вероятности является применение в рамках семейства признаков на основе ХП дополнительных расстояний и преобразований исходных сигналов. Отметим, что представленные алгоритмы автоматизированного формирования признаков рассчитаны на такой прием.
Кроме повышения вероятности правильного распознавания для рассмотренных задач, следует отметить, что данный результат получен при меньшем объеме обучающей выборки (табл. 3.18). Объем обучающей выборки сильно влияет на их обобщающую способность алгоритмов классификации цифровых сигналов. В частности, это было показано в [122], на примере задачи №3 для метода динамической трансформации времени. На рис. 3.42а представлены графики зависимости средней вероятности правильного распознавания, оцененной по независимой тестовой выборке, от размера обучающей выборки задачи №3 для метода динамической трансформации времени [122] и при помощи 25 признаков на основе характерных последовательностей. Для получения данной зависимости случайным образом составлены 6 обучающих и 6 тестовых выборок. Объемы обучающих выборок: 10, 20, 30; 40, 50 и 100; Соответствующие объемы тестовых выборок: 150, 150, 150, 150, 150 и 100; В каждой паре тестовой и обучающей выборки сигналы не повторяются; Для каждой; пары, выборок на сформированы; множества возможных признаков с применением метрик СКО (2.6) Чебышева (2.7) и на основе: корреляции (2.10);-Далее десять раз произведен поиск признаковой оценка средней вероятности правильного распознавания тестовой выборки. При; малых объемах, обучающей; выборки,, вероятность правильного распознавания; на основе частот ХЕК оказывается значительно больше, чем для метода, динамической/трансформации .времени.. На рис. 3 ;42 также показаны; ( зависимости средней- вероятности;правильного-распознавания;(б) и стандартного отклонения; (в) . от . количества признаков на- основе характерных последовательностей; для; выборок размером, .10 и 40 образов.. Поиск.признаков. для получения каждого значения? также: производился; 10 раз;/ Увеличение количества признаков, до 40 позволяет повысить среднюю вероятность. правильного распознавания и уменьшить стандартное отклонение. Для обучающей выборки,размером 10 образов; наблюдается уменьшение средней вероятности правильного распознавания, при увеличении количества признаков больше 40, но при этом наблюдается уменьшение стандартного отклонения. На рис. 3;43;. показаны, зависимости вероятности- правильного распознавания по методу ближайшего соседа от объема, обучающей выборки с применением преобразования кластеризации и без него. Тонкие линии;показывают величину стандартного отклонения; При; малых объемах обучающей: выборки большее значение: вероятности; правильного распознавания достигается при отказе от использования-преобразования;кластеризации.
