Содержание к диссертации
Введение
1. Методы решения основных задач классификации образов в информационно-измерительных системах ... 8
1.1. Принципы построения систем распознавания 8
1.2. Методы оптимизации априорного словаря признаков 14
1.3. Методы распознавания формы моноимпульсных сигналов 18
1.4. Применение дискретного вейвлет-преобразования в задачах распознавания образов 20
Выводы по главе 1 35
2. Алгоритмы классификации моноимпульсных сигналов на основе дискретного вейвлет-преобразования 37
2.1. Постановка задачи классификации импульсных сигналов 37
2.2. Разработка априорного словаря признаков на основе дискретного вейвлет-преобразования 40
2.3. Выбор типа вейвлета и глубины разложения 44
2.4. Построение рабочего словаря признаков 54
2.4.1. Оценка выборочного среднего 54
2.4.2. Оценка приведенной выборочной дисперсии 56
2.4.3. Оценка предельных значений и параметра принадлежности. 57
2.4.4. Оценка доверительного интервала 59
2.5. Разработка решающего правила 65
Выводы по главе 2 69
3. Исследование алгоритмов классификации на базе дискретного вейвлет-преобразования 71
3.1. Формирование априорного алфавита классов 71
3.2. Выбор информативных коэффициентов 79
3.3. Разработка решающего правила для классов A, Bv В2 84
3.4. Исследование помехоустойчивости алгоритма классификации ... 92
Выводы по главе 3 96
4. Принципы построения информационно-измерительных систем для классификации моноимпульсных сигналов на примере комплекса ранней диагностики злокачественных образований 98
4.1. Структура информационно-измерительной системы 98
4.2. Принципы построения модуля регистрации 99
4.3. Принципы построения генератора управляющих воздействий... 104
4.4. Структура программного обеспечение комплекса и методика проведения эксперимента 109
Выводы по главе 4 114
Заключение 115
Список использованных источников 118
Приложения 132
- Применение дискретного вейвлет-преобразования в задачах распознавания образов
- Разработка априорного словаря признаков на основе дискретного вейвлет-преобразования
- Исследование помехоустойчивости алгоритма классификации
- Структура программного обеспечение комплекса и методика проведения эксперимента
Введение к работе
Актуальность темы. Настоящая работа посвящена исследованию возможностей применения дискретного вейвлет-преобразования в задачах классификации импульсных сигналов с целью разработки алгоритмов классификации экспериментальных данных в области медицинской диагностики.
Расширение диапазонов и характеристик средств измерений дает исследователю потенциальную возможность изучения таких параметров объектов, которые не могут быть исследованы с использованием традиционных математических методов обработки сигналов, либо применение этих методов ограничивается возможностями средств регистрации. Классическим примером можно считать обработку сигналов и изображений спектральными методами, которые в последнее время оказываются малоэффективными для некоторых задач - например, для сжатия, распознавания, очистки сигналов от шума, получения диагностической информации и др. Ключевым вопросом в большинстве современных приложений цифровой обработки является нестационарность большинства реальных сигналов, которая, как известно, весьма ограничивает применение базисных функций, имеющих некомпактный носитель. Таким образом, до недавнего времени локальные особенности сигналов не являлись предметом изучения, ввиду сложности их локализации в частотной области. Еще одним известным ограничением можно считать отсутствие во многих приложениях моделей реальных сигналов (особенно, на начальных этапах экспериментов), либо сложность их разработки, что значительно сужает сферу применения тех или иных методов анализа на этих этапах.
В последние десятилетия сформировался новый математический аппарат, основой которого является новый класс функций - вейвлеты. Применение вейвлет-анализа в данной работе рассматривается с позиций использования его как инструмента, с помощью которого можно получить признаковое
пространство для последующей разработки алгоритмов классификации
импульсных сигналов. Известен ряд задач, где классификация импульсов в
реальном времени имеет прикладное значение, как первоначальный этап
обработки данных на этапе их получения. Результаты разработки
эффективных алгоритмов классификации импульсных сигналов в данной
работе рассматривается как составная часть алгоритмического обеспечения
аппаратно-программного комплекса, предназначенного для изучения новых 4
способов ранней диагностики злокачественных образований. При этом ввиду
разнообразия форм исследуемых сигналов, а так же большого объема
регистрируемых данных, классификация импульсных сигналов по их форме
имеет большое значение при автоматизации первоначального этапа сбора
данных, выявления закономерностей и диагностических признаков, а так же
для эффективного подавления импульсных помех, сопровождающих
процесс обследований. Выбор автором инструмента дискретного вейвлет-
^ преобразования для решения задач классификации обусловлен
универсальностью математического аппарата вейвлет-анализа,
способностью его адаптироваться к форме сигнала, сходностью исследуемых сигналов с базисными функциями (вейвлетами), а так же потенциальной возможностью использования полученных результаты для дальнейшего анализа импульсных пакетов сложной формы, в состав которых входят основные классы анализируемых сигналов.
* Цель работы: разработка алгоритмов и средств классификации
моноимпульсных сигналов с применением дискретного вейвлет-преобразования на примере данных экспериментального комплекса ранней диагностики злокачественных образований.
Для достижения цели решались следующие задачи:
Качественный анализ сигналов, используемых при диагностике;
Разработка методики оценки информативности коэффициентов дискретного вейвлет-разложения, используемых в качестве признаков классификации;
Разработка алгоритмов построения решающих правил классификации на примере существующих классов;
Разработка аппаратного и программного обеспечения экспериментального комплекса ранней диагностики злокачественных образований для задач сбора и первичной обработки сигналов.
Методы исследования. В работе использованы методы теории случайных процессов, цифровой обработки сигналов, теории распознавания образов, математический аппарат вейвлет-анализа.
Научную новизну работы составляют следующие положения:
Показана возможность применения дискретного вейвлет-преобразования для задач классификации моноимпульсных сигналов в информационно-измерительных системах;
Разработана методика формирования априорного словаря с применением одноименных коэффициентов дискретного вейвлет-преоразования;
Предложена методика применения ряда статистических характеристик для оценки информативности коэффициентов разложения в целях оптимизации априорного словаря.
Разработан алгоритм выделения информативных признаков на основе статистических характеристик коэффициентов разложения.
Практическую ценность работы составляют:
Разработанные алгоритмы классификации моноимпульсных сигналов на базе дискретного вейвлет-преобразования;
Разработанный экспериментальный информационно-измерительный комплекс для задач исследования новых методов неинвазивной и нелучевой диагностики злокачественных образований.
Основные положения, выносимые на защиту:
1. Алгоритмы формирования априорного словаря признаков с использованием одноименных коэффициентов дискретного вейвлет-преобразования;
Методика оценки информативности коэффициентов разложения с применением статистических характеристик;
Методика и алгоритмы разработки решающих правил для априорного словаря классов, сформированного на основе реальных сигналов;
Разработанные аппаратно-программные средства экспериментального информационно-измерительного комплекса для ранней диагностики злокачественных образований.
Внедрение результатов работы.
Результаты работы использованы в проектно-конструкторской и исследовательской деятельности ООО "Научно-исследовательский центр НТР" (г. Владивосток) для проведения экспериментальных работ в области исследования новых неинвазивных и нелучевых методов ранней диагностики злокачественных образований, а так же в учебном процессе кафедры автоматики и системотехники Тихоокеанского государственного университета.
Личный вклад автора
Личный вклад автора в публикациях, опубликованных в соавторстве, заключался в разработке аппаратно-программных средств диагностического комплекса, а так же в разработке и исследовании алгоритмов классификации импульсных сигналов с применением вейвлет-преобразования. Автор выражает благодарность соавторам за помощь в выполнении работ по теме диссертации.
Апробация работы.
Отдельные результаты работы обсуждались:
На международной научно-практической конференции "Образовательные, научные и инженерные приложения в среде Lab View и технологии National Instruments" - Москва, 2005 г.
Signal transmission, proceeding, sensor monitoring system. Korea-Russia Joint-Workshop 2006 , October 26-28, Khabarovsk, Russia.
3. На семинарах кафедры "Автоматика и системотехника" Тихоокеанского государственного университета.
Публикации.
По теме диссертации опубликовано _7_ печатных работ, из них __4_ статьи, _2_ доклада на международных конференциях и _2_ патента РФ. _3_ работы опубликованы в изданиях, рекомендованных ВАК.
Структура и объем диссертации.
Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 131 наименований и 5 приложений. Основная часть работы изложена на 131 страницах машинописного текста и содержит 31 рисунок и 3 таблицы.
Применение дискретного вейвлет-преобразования в задачах распознавания образов
В [14, 106, 114, 124] показано, что аппарат приближения функции известными методами имеет множество ограничений, обусловленных в основном, нестационарностью большинства реальных сигналов, а так же их сложностью, в том числе и моноимпульсов, как непериодических функций. В последние десятилетия в цифровой обработке сигналов широко используется вейвлет-преобразование (ВП), особенностью которого является представление сигналов с помощью базисных функций - вейвлетов. Отличие вейвлетов от большинства перечисленных заключается в их компактности, как в частотной, так и во временной области. Это свойство дает возможность выделять локальные особенности сигналов в указанных областях. Еще одним важным свойством вейвлетов является их самоподобие, сущность которого состоит в трансформации исходного (материнского) вейвлета по значению амплитуды и длительности, что равносильно изменению его частотных свойств. Указанные особенности, а так же возможность смещения вейвлета по временной оси, делают возможным получение частотно-временного представления нестационарного сигнала, что имеет преимущество перед остальными методами анализа.
Основы вейвлет-анализа подробно изложены в [24 - 43]. Различают два вида ВП, каждый из которых имеет свою область применения - непрерывное ВП (НВП) и дискретное ВП (ДВП). НВП в общем случае сводится к вычислению коэффициентов [24, 34, 35 и ДР-]: где а - параметр масштаба, имеющий косвенное отношение к частоте; Ъ - параметр сдвига; С{а,Ъ) - коэффициент, соответствующий данному масштабу и сдвигу материнского вейвлета по шкале времени и амплитуды. Из формулы (1.3) видно, что значение коэффициента С(а,Ь) представляет собой результат скалярного произведения исходной выборки сигнала s(t) на функцию вейвлета, трансформированного по величине масштаба и сдвинутого по оси времени. С учетом ограниченной области определения сигнала, а так же условия a,beR, а О: Функция 4{a,b,t), как правило, задана аналитически и должна удовлетворять ряду специфических условий [25, 31, 39 и др.]. На практике функция x(t) представлена в дискретной форме: Формула (1.4) показывает, что даже при переходе исходной выборки к выражению (1.5), количество коэффициентов значительно превышает размер исходной выборки. Это связано с ненужным перекрытием вейвлетов при их перемещении по оси tt. Избыточность такого происхождения не несет нужной информации, так как данные о самых мелких деталях х, при перекрытии вейвлетов дублируется. Значительная избыточность на практике используется при визуальном анализе сложных данных [34]. В [24] доказано, что для устранения избыточности такого рода необходимо перейти к дискретной сетке изменения параметров а и Ь, таким образом, что : Из формулы (1.6) видно, что параметры а и Ь становятся взаимозависимыми таким образом, что на малых значениях масштаба а вейвлет смещается на величину малого шага, по мере увеличения а смещение вейвлета производится с большим шагом, при одновременном увеличении (растяжении) самого вейвлета.
Это означает, что исходный сигнал (1.5) будет представлен в виде последовательных приближений, каждое из которых будет с одной стороны, отражать свойства исходной выборки в данной точке xt с определенным уровнем детализации, с другой стороны - отражать свойства используемого вейвлета. Для корректности производимой процедуры необходимо, чтобы функция вейвлета, используемая при разложении, представляла собой ортонормиро-ванный базис, формирование которого базируется на основе кратномасштаб-ного анализа. В частности, для любой функции, принадлежащей Гильбертовому пространству L2, состоящему из множества вложенных друг в друга непересекающихся пространств Vm, и находящейся в пространстве V0, справедливо утверждение: которое показывает, что ее сдвиги образуют ортонормированный базис пространства VQ. Так как пространства V обладают свойством: то справедливо утверждение: при этом, система функций q mn образует ортонормированный базис пространства Vm. Функцию (1.9) принято называть масштабирующей. Из определения кратномасштабного анализа следует, что функции f(x) и (ртп{х) связаны линейной комбинацией: где стп- набор коэффициентов разложения на всех уровнях и масштабах. Одно из основных уравнений в теории вейвлет анализа выглядит следующим образом: где р00(х) - базовая (исходная) функция; hn - коэффициент некоторой последовательности. Операция (1.10) подразумевает последовательное огрубление исходной выборки. Однако, для полного представления исходной выборки при помощи вейвлетов, необходимо иметь информацию о деталях, теряемых с каждым шагом выполнения процедуры (1.10). Математически эта процедура представляет собой ортогональное дополнение пространства, входящего в состав вышестоящего (дополнение VmA до Vm). Показано, что для этого необходимо найти функцию вида (1.12): где gn - некоторая последовательность. По аналогии с (1.9) можно найти семейство функций: Согласно [30, 33, 35, 42] можно полностью описать исходную функцию в виде формулы: Практическое применение формулы (1.14) затруднено прежде всего тем, что не существует адекватных функций (p(xt) и у/{хг), полученных из исходных функций путем простой дискретизации. В [35] показано, что в дискретном случае коэффициенты а и d можно вычислить используя формулы быстрого вейвлет-преобразования, то есть, без использования вычисления значений самих функций
Разработка априорного словаря признаков на основе дискретного вейвлет-преобразования
Исходная информация о моноимпульсе представлена в виде выборки = [Х[, х2,... хп\, где п - количество признаков. При разработке классифи катора с участием человека, априорное множество классов Q = Q,, Q2,... Qmj определяется субъективно на основании сходства форм сигналов, где т - количество классов, подлежащих распознаванию. При этом, совокупность наблюдений для каждого класса представляется в виде матрицы: Для применения ДВП с последующей оценкой одноименных коэффициентов необходимо учитывать точную временную привязку фронта исследуемого импульса относительно начала выборки, ввиду локальности используемого базиса во временной области. Для обеспечения привязки, исходная матрица значений X к нормируется относительно определенного порогового значения таким образом, чтобы обеспечить фиксированное число коэффициентов относительно номера коэффициента, значение которого превышает порог. Учитывая большой разброс амплитуд исследуемых моноимпульсов, необходимо так же производить нормирование выборки относительно максимального значения, так как по результатам предварительных наблюдений выяснено, что несимметричность импульсов относительно нулевого уровня сохраняется при изменении их амплитуды от обследования к обследованию.
Таким образом, нормированная матрица значений 5" к представляет собой исходные данные для нахождения априорного словаря признаков, с учетом субъективного отнесения сигналов к данному классу. Очевидно, что для компактного представления исходной выборки на вейвлетной плоскости при помощи схехмы Малла (рис 1.2), необходимо со хранить вектор коэффициентов аппроксимации сАт и набор векторов cDv..cDm. Промежуточные векторы аппроксимации уровня і можно получить путем выполнения обратного ДВП из соответствующих уровней сД._, и cDhV Таким образом, результат ДВП исходной выборки, содержащий всю информацию о любых промежуточных коэффициентов до уровня т можно представить в виде вектора, состоящего из набора векторов коэффициентов переменной длины: При условии, что исходная выборка содержит число значений, кратное 2к, к є Z, и каждый последующий уровень коэффициентов подвергается диад-ной децимации, количество коэффициентов произвольного уровня можно определить по формуле: где Ns - размер исходной выборки. С учетом (2.3), длина вектора Cs определяется по формуле: Из (2.4) следует, что избыточность коэффициентов отсутствует.
С учетом промежуточных уровней аппроксимации, число коэффициентов разложения составляет: что означает наличие избыточности. Известно, что в ряде задач с применением ДВП, информативность промежуточных коэффициентов не является областью исследования. При известном значении т , как правило, важны значения коэффициентов детализации cDl... cDm и последний уровень аппроксимации сАт. Это возможно в тех случаях, когда обоснована глубина разложения, определяемая величиной т, исходя из ряда теоретических предпосылок (задачи сжатия, удаления шума). Задачи, требующие сохранения промежуточных уровней аппроксимации чаще всего требуют применения непрерывного вейвлет-преобразования. Однако, для задач классификации требуется с одной стороны, наличие информации о сигнале на разных уровнях разложения (в том числе, аппроксимирующих коэффициентов), с другой стороны - алгоритм разложения по схеме Малла при аппаратно-программной реализации предусматривает вычисление коэффициентов этих уровней. Очевидно, что аппроксимирующие коэффициенты промежуточных уровней могут быть информативными в том случае, когда необходимо сопоставить значение масштаба а и соответствующей ему частоты фильтра из набора фильтров, входящих в банк. Различные сигналы могут формировать на определенных масштабах различные отклики фильтров, что может являться информативным признаком, облегчающим построение решающего правила классификации. Для формирования признакового пространства одного класса необходимо объединить векторы Cs в матрицу вида
Исследование помехоустойчивости алгоритма классификации
Очевидно, что эффективность любого алгоритма классификации определяется вероятностью распознавания образов, качественно сходных с объектами обучающей выборки. При этом, обучающая выборка представляет собой набор образов, совокупность свойств которых определяет эталон класса. Оценка вероятности распознавания может производиться двумя способами: предъявлением классификатору образов, не входящих в состав обучающей выборки, и зашумлением эталонного образа с применением генератора шума с известными параметрами. Применение второго способа эффективно в том случае, когда на этапе экспериментов размер обучающей выборки относительно мал, и разработанный алгоритм распознавания для определенного класса нуждается в исследовании на предмет помехоустойчивости.
Ввиду малой длительности моноимпульса, а так же учитывая тот факт, что регистрация сигналов на этапе сбора данных осуществляется по амплитудному критерию, отношение сигнал/шум целесообразно вычислять по формуле (3.16): Для заданных классов A, Bv В2 производился эксперимент по зашумле нию эталонных образов, полученных усреднением во временной области обучающих выборок , принадлежащих классам. При этом, эталонный образ располагался в центре группировок объектов (рис. 3.6). Для формирования зашумленного образа использовался генератор шума с нормальным распределением, математическим ожиданием, равным нулю, и заданным значением сг, определяемым из формулы (3.16). Для каждого эталонного образа и заданного значения S производилось зашумление М реализациями шума (М = 200) и классификация полученных образов по варианту решающего правила (3.10), с подсчетом количества верных и неверных распознаваний. Для каждого случая неверного распознавания определялась принадлежность к тем или иным классам. Результаты исследования помехоустойчивости алгоритма распознавания приведены на рис. 3.12. Заметно, что для всех классов вероятности правильного распознавания при заданном отношении сигнал/шум приблизительно равны. На уровне 12-15 дБ вероятность распознавания практически приближается к единице, на уровне 1-2 дБ Р«0.5. На рис. 3.13 а-в показано распределение результатов распознавания по классам для разных значений S при М = 200. Заметно, что при малом соотношении сигнал/шум большинство неправильно классифицированных сигналов приходится на неизвестный класс. Такая тенденция справедлива для всех классов, а так же при других значениях S. 1. На основании реальных наборов данных обследований пациентов, произведен отбор наиболее информативных моноимпульсных сигналов, произведена их первичная классификация по критерию формы. Показано, что для исследования алгоритмов классификации целесообразно использовать сигналы, имеющие различную степень сходства форм при отнесении к классам, что позволяет определить эффективность разрабатываемой СР. 2.
По результатам разложения определены статистические оценки коэффициентов. Показано, что в целом, для каждого класса значения оценок с„ Cmin,„ Cmax,„ /W /W "L pn P»,n инвариантны, однако для ряда коэффициентов наблюдаются и устойчивые сочетания их значений. При оценке взаимовлияния характеристик показано, что при отборе коэффициентов по превышению порога выборочного среднего, значения остальных приближаются к величинам, характеризующим коэффициенты как информативные. Следовательно, в целях упрощения алгоритма отбора, целесообразно использовать в качестве основной оценки величину выборочного среднего. 3. Дальнейшее сокращение количества признаков заключалась в нахождении таких коэффициентов, области значений которых не пересекались для всех классов. Показано, что такие коэффициенты для данных классов существуют, однако при возможном дефиците выбора, следует понижать уровень порога выборочного среднего. 4. Для выбранных наборов разработаны различные варианты разделяющих границ и решающих правил. Показано, что конкретная реализация последних будет зависеть от выбранной стратегии классификации, определяющей статус нераспознанного образа.
Структура программного обеспечение комплекса и методика проведения эксперимента
Программное обеспечение разработанного комплекса состоит из четырех независимых частей: программного модуля управляемого генератора; программного модуля для сбора данных; программного модуля первичной обработки экспериментальных данных В разработанном комплексе используются программы "WinSonar.exe" и "DosSonar.exe" (для ДОС-версии) на языке Си, позволяющие генерировать сессию из 6 импульсов с различными наборами параметров, сформированных заранее в виде CFG-файла. Работа программ заключается в формировании кодов управления амплитудой и частотой ГУН в реальном времени с использованием формул (4.1) - (4.6). Алгоритм формирования кодов приведен в приложении В1. Внешний вид рабочих экранов программ приведен на рис. 4.7 а, б. Программный модуль для сбора данных предназначен для приема и сохранения в реальном времени на диске данных обследования пациентов. В качестве варианта использована стандартная утилита сбора данных "RTViewer" для модуля USB3000. С ее помощью производится непрерывный сбор данных в реальном времени и сохранении их в виде DAT-файла на диске. Формат данных одной выборки - бинарные данные в размере двух байт (14 бит, INTEL-представление). Программный модуль для предварительной обработки данных предназначен для первичного выделения информативных данных по амплитудному критерию. Известно, что обследование пациента длится от 30 минут и более, при этом ранее получаемый сигнал сохраняется на информационный носитель без одновременной обработки. Сформированный файл имеет объем 6-12 Гбайт и более, большая часть зарегистрированной информации представляет собой неинформативный шум предусилителя, объем полезной информации составляет 0.001 0.01% от общего объема обследования. Таким образом, важное значение имеет автоматизация процесса предварительной обработки, позволяющая значительно сократить объем вычислительных затрат основного алгоритма анализа.
Для обработки файлов данных разработана утилита, выполняющая следующие функции: Обнаружение сигналов любой длительности при соотношении сигнал/шум, задаваемой пользователем; Формирование пред- и постистории обнаруженного фрагмента; Запись фрагментов в отдельные файлы; Формирование общего файла, содержащего обнаруженные фрагменты; Формирование отчета (LOG-файл); Возможность определения времени детектируемого фрагмента в пределах обследования. В приложении В.2 приведен алгоритм обработки файла данных. Основным критерием для выделения нужного фрагмента является превышение в заданное количество раз средневыпрямленного значения напряжения шума. После определения величины амплитудного критерия производится поблочное чтение исследуемого файла данных с поиском в каждом блоке отсчетов, превышающих заданный уровень. При их обнаружении формируется фраг мент предыстории и постистории, при условии, что блоки последней не содержат полезной информации. В противном случае, регистрируемый фрагмент дополняется нужным количеством блоков для выполнения этого условия. На рис. 4.8 показан внешний вид экрана используемой утилиты. Основные результаты и описание программ опубликованы в [124]. В качестве альтернативного варианта приведенные алгоритмы реализовывались так же в виде виртуальных инструментов в среде LabView 7. Методика использования разработанного ИИК заключалась в следующем: Датчик и излучатель, расположенные в выносном модуле, размещались на пациенте; С помощью программы WinSonar (DosSonar) задавались параметры для заданного количества управляющих воздействий (пакетов), либо использовались заранее сохраненные значения параметров. Параметры задавались по указанию специалиста-онколога, в зависимости от режима обследования для каждой категории пациентов, либо индивидуально для каждого; Производился сбор данных с одновременной работой генератора воздействий в течение определенного времени; После сохранения данных в файл производилась оценка уровня шума с помощью утилиты анализа (рис. 4.8) с вычислением порога обнаружения при заданном коэффициенте запаса; С помощью утилиты анализа производилась фильтрация полученного файла с выделением информативных данных; С участием эксперта производилась классификация полученных данных с целью выделения моноимпульсных сигналов, длительных пакетов и импульсных помех. При этом, наиболее информативными считались длительные пакеты, однако наибольшее количество сигналов зарегистрировано в виде моноимпульсов.
