Содержание к диссертации
Введение
Глава 1. Обзор существующих методов регистрации и иден тификации веществ по их спектрам 19
1.1. Существующие экспериментальные методы идентификации
1.2. Распознавание веществ по спектрам 22
1.2.1. Коэффициент корреляции 23
1.2.2. Метод наименьших квадратов 25
1.2.3. Вероятностный подход к задачам идентификации спек
1.2.4. Другие способы определения меры различия спектров 31
1.3. Комбинированный анализ по нескольким спектрам 33
1.4. Анализ надёжности алгоритмов 35
1.5. Выводы по главе 1 35
Глава 2. Аналитические методы идентификации веществ
2.1. Идентификация как решение переопределённых систем урав
2.1.1. Численный метод решения 39
2.1.2. Аналитический метод решения 40
2.1.3. Учёт ограничения на количество составляющих компонент в зарегистрированном спектре 41
2.2. Идентификация веществ с учётом случайных ошибок изме
2.2.1. Модель формирования и преобразования ошибок измерения в задаче идентификации веществ 44
2.2.2. Статистические характеристики меры SAM 49
2.2.3. Применение модели формирования и преобразования ошибок к задаче идентификации веществ 55
2.3. Идентификация веществ по нескольким спектрам 57
2.3.1. Прямой способ комбинирования спектров 58
2.3.2. Применение метода наименьших квадратов 60
2.3.3. Учёт взаимных интенсивностей спектров 62
2.3.4. Проверка гипотез и задача идентификации веществ
по нескольким диапазонам 64
2.4. Выводы по главе 2 65
Глава 3. Программно-вычислительный комплекс 67
3.1. Описание аппаратного обеспечения 67
3.2. Структура программно-вычислительного комплекса 69
3.2.1. Алгоритм работы программного комплекса 71
3.3. Алгоритмы идентификации веществ по спектрам 74
3.3.1. Идентификация однокомпонентных спектров 74
3.3.2. Идентификация многокомпонентных спектров 79
3.3.3. Использование в анализе нескольких спектров 80
3.4. Выводы по главе 3 81
Глава 4. Экспериментальная апробация методов и алгорит
4.1. Прибор для проведения вне лабораторного экспресс-анализа
4.1.1. Спектральная база данных 85
4.1.2. Экспериментальные наборы спектров 87
4.2. Определение оптимального метода решения переопределённой системы уравнений 89
4.3. Определение параметров распределения меры схожести 92
4.3.1. Численный эксперимент 93
4.3.2. Физический эксперимент 94
4.4. Апробация алгоритмов идентификации веществ по спектрам 94
4.4.1. Методика оценки эффективности алгоритмов идентификации 98
4.4.2. Иденификация спектров чистых веществ 101
4.4.3. Идентификация смесей веществ 105
4.4.4. Случай большого вклада мешающих примесей в конечный спектр 108
4.5. Выводы по главе 4 114
Общие выводы и результаты работы 115
Литература
- Коэффициент корреляции
- Аналитический метод решения
- Алгоритм работы программного комплекса
- Определение параметров распределения меры схожести
Коэффициент корреляции
Сегодня методики, основанные на регистрации и последующем анализе спектров, широко применяются для при изучении и анализе веществ. Регистрируемые спектры могут иметь различную физическую природу. В качестве наиболее распространённых можно назвать эффект комбинационного рассеяния света, квантование колебательно-вращательных энергетических уровней газов, рентгенолюминесценция и многие другие. В качестве фотодетектора могут выступать фоточувствительная пластина или подвижный фотодетектор для измерения интенсивности диспергированного в пространстве света, динодные вторично-электронные умножители для определения плотности разделённого в пространстве ионного пучка и т.д.
Последующие этапы анализа и идентификации связаны с обработкой полученных данных в виде массива чисел, записанных в памяти компьютера. Методы обработки различны, но среди них выделяются два основных. В первом методе определяются физические константы, характеризующие молекулярное строение вещества, т.е. решается так называемая «обратная задача спектроскопии». Применение этого подхода ко вне лабораторному анализу в литературе не найдено. В работе [1] анализируются ультрафиолетовые абсорбционные спектры бензодиазепинов и влияние их радикалов на положение пиков в зарегистрированных спектрах.
В практических задачах распространён второй метод, основанный на сравнении зарегистрированного спектра, измеренным ранее эталонным кривым, полученным в лабораторных условиях при высоком отношении сигнал/шум. Такой метод, благодаря своей относительно малой вычислительной сложности, нашёл широкое применение во вне лабораторных анализа торах химического состава веществ.
Существующие экспериментальные методы идентификации веществ Существует большое число экспериментальных методов анализа веществ по спектрам, которые приводят к задачи идентификации зарегистрированных кривых.
Широко распространена для задач химического анализа спектроскопия электронных переходов. Теоретические основы метода изложены в работах [2-4]. Основополагающую роль в формировании абсорбционных и эмиссионных спектров в указанных диапазонах играет явление люминесценции [5–10]. Практическое приложение ультрафиолетовых спектров анализировалось в работах [1, 11-21].
Рентгенолюминесценция является эффективным методом идентификации веществ и используется в большом числе вне лабораторных экспресс-анализаторов. В [22] разработан алгоритм идентификации веществ, полученных с помощью методики EDXRD (energy dispersive X-ray diffraction). В работе [17] рассмотрены высокоэнергетические методы с использованием рентгеновского излучения и гамма резонанса.
Спектры в инфракрасной области электромагнитного излучения определяются квантовым характером преобразования энергии волны во внутреннюю энергию колебания или вращения молекулы. Методика позволяет регистрировать селективные спектры газообразных веществ в отдельных «окнах» прозрачности атмосферы. Применение этой методики к задачам идентификации спектров обсуждалось в работах [23-38]. В диссертации [38] предлагается модель и численные методы, позволяющие оценивать качества углеродных соединений. В [28, 31, 31, 36, 37, 39-45] при помощи зарегистрированных спектров различных газов осуществлялся мониторинг загрязнений в окружающей атмосфере.
Комбинационное рассеяние света (КРС) — рассеяние света в газах, жидкостях и кристаллах, сопровождающееся значительным изменением его частоты. В отличие от рэлеевского рассеяния света, при КРС в спектре рассеянного излучения наблюдаются спектральные линии, отсутствующие в линейчатом спектре первичного (возбуждающего) света. Фундаментальное описание этого явления можно найти в работах [46, 47]. Практическое применение методов идентификации для распознавания спектров КР можно встретить в работах [14, 15, 15, 34, 48-50]. Работы [14, 15, 48, 49] посвящены приложению КРС в различных областях химического анализа, в том числе для обнаружению взрывчатых веществ. В [15] рассмотрены разновидности КРС, в том числе УФ Раман-спектроскопия и резонансная Раман-спектроскопия.
Одним из наиболее распространённых методов определения химического состава веществ в биологии и фармацевтике является хроматография. Применение алгоритмов идентификации для хроматограмм можно встретить в работах [1, 18, 33, 51-56]. В [52] Д. Гонсалес, В. Галлеро и др. этот метод применяется для анализа химической идентичности различных сортов ирландских виски, бурбона и шотландских виски. В [53] обсуждаются алгоритмы обработки хроматограмм, полученных различными методами. Рассматривались: «gas chromatography with flame ionisation detector» (GC-FIG), «gas chromatography with mass spectrometer» (GC-MS), «liquid chromatography with diode array detector» (LC-DAD) и «hight performance liquid chromatography» (HPLC). В [18, 54] определялись способы идентификации наркотических веществ.
Масс-спектрометрия - способ исследования веществ по различиям в характере движения ионов частиц ([57]). Применение масс-спектров для идентификации веществ можно найти в работах [55, 56, 58-60], а так же биообъектов в [61]. В [62] Л. Бодисом, А. Росс и Э. Претшемом методы идентификации апробировались на спектрах ЯМР тестовых веществ. Мёссбауэровские спектры служили критерием распознавания веществ в работе [63]. В [14, 64] рассматривался терагерцовый диапазон (25 — 150 см-1) регистрируемого излучения для идентификации веществ. Спектральный метод «Laser-induced breakdown spectroscopy» (LIBS) использовался в [14, 15] для обнаружения взрывчатки и устройств, в которых она присутствует.
В работах [65, 66] анализируются и сопоставляются различные методики обработки гиперспектральных изображений для различных приложений. В [66] исследователи Чжан Цайюнь, Се Чжисяо разработали метод определения характера растительности, при этом анализ осуществлялся искусственными нейронными сетями.
Аналитический метод решения
Анализ веществ с учётом вероятности верного обнаружения требует наличия модели преобразования погрешностей измерения экспериментальных данных. В работе автором рассматривается система, которая использует статический Фурье-спектрометр видимого и ближнего ультрафиолетового диапазона ([12, 19, 77, 107, 108]).
На рисунке 2.2 схематично показан процесс формирования и преобразования ошибок измерения данных при использовании статического Фурье-спектрометра. Можно выделить следующие этапы:
Интенсивности в зарегистрированных точках изображения обозначены символом Jij, а соответствующие коэффициенты матрицы ошибок -AJij. Аналогичные обозначения приняты для интенсивностей интерферограммы к, АД и для спектра Д, АВг. Принадлежность зарегистрированного спектра определяется включением его в соответствующий класс спектров, определённых эталонным спектром.
Если рабочий диапазон спектрометра равен интервалу [z/H, z/K], то на разбиении для истинного спектра Х (ІУІ), зарегистрированного спектра Х{ и погрешности Ь{ можно
Схема к модели формирования и преобразования ошибок измерения интерференционных картин в статическом Фурье-спектрометре в ошибки распознавания веществ записать систему уравнений:
Формула (2.20), которая связывает величину разброса ошибок измерения интерферограмм с ошибками измерения восстановленного спектра предложена в [109].
Обоснование методов идентификации веществ по спектрам требует введения физических гипотез. Первая гипотеза, использованная в модели, заключается в том, что два вещества идентичны тогда и только, когда их спектры совпадают с точностью до константы интегральной интенсивности. Эта гипотеза ограничивает круг явлений линейными взаимодействиями вещества с излучением.
Вторая физическая гипотеза, заключается в принадлежности любого зарегистрированного спектра одному или нескольким веществам из базы данных эталонных спектров. То на сколько эффективно будет работать система зависит от полноты набора эталонных веществ по отношению к разнообразию веществ, которые встретятся при её работе. Первая гипотеза задаёт критерий идентификации веществ: зарегистрированный спектр ассоциируется с эталонным, если они совпадают с точностью до множителя.
Для распознавания спектров требуется указать меру их схожести друг с другом. В дальнейших рассуждениях будем считать, что такая мера как функция от двух аргументов задана:
Второй параметр фиксируется набором эталонных спектров, тогда указанная функция определит отображения пространства RN в простран-ство RM. р:х рв(х), х Є RN, рв(х) Є RM, (рв(х))г = p(hnx), і = 1..М Это позволяет уменьшенить размерности исходного пространства.
Наличие шума приводит к тому, что вектор рв{х) становится случайной величиной. При этом возникает задача расчёта её параметров распределения по известным параметрам шума в исходных экспериментальных данных. В разделе 2.2.2 решается задача определения параметров распределения вектора рв{х) в зависимости от параметров распределения шума в спектре. pi
Задача определения вероятностей верных и ложных срабатываний для параметрических пространств различных размерностей; считается, что зарегистрированные данные принадлежат веществу №1
Знание плотности распределения вектора рв{х) позволяет определять вероятности различных исходов эксперимента. На рисунке 2.3 эта задача проиллюстрирована на примере спектральной базы, содержащей одно, два и три вещества. Обнаружение происходит, если рассчитанная мера превысила некоторый наперёд заданный порог р . При этом, если искомое вещество совпадает с эталонным под номером 1, то оно распознаётся верно при попадании в область Т , в котором выполнено условие: р\ р%. Сложность формы области Т , растёт с увеличением размерности пространства: при dim V = 1 это отрезок, при dim V = 2 это треугольник, при dim V = 3 это уже пирамида с прямоугольным основанием. В общем случае аналитическое описание получаемых фигур не представляется возможным.
Для определения вероятностей различных исходов необходимо известную плотность вероятности р(р) проинтегрировать по области V: где условие: х = bi+Ax означает, что зарегистрированный спектр х образован первым эталонным веществом со спектром Ь\ и случайным шумом Ах. Аналитический и численный расчёт этого интеграла даже при известном распределении сложная и вычислительно затратная процедура.
В разделе 2.2.3 автором предлагается более простой численный метод, позволяющий определять принадлежность измеренного спектра эталонным веществам с использованием понятия достоверности статистических гипотез.
Окончательно для описания влияния ошибок измерения фоточувствительной аппаратуры при регистрации спектров на ошибки распознавания веществ по ним можно записать систему уравнений в виде
Алгоритм работы программного комплекса
Регистрировались спектры тестовых веществ с величиной экспозиции в интервале от 100 мкс до 1 с, их общее число составило 16 147. Схема организации спектров в наборе показана на рисунке 4.5. Параметры экспозиции выбирались отдельно для каждого вещества, таким образом, чтобы отношение сигнал/шум для различных наборов одного вещества пробегали значения от 1 (шум) до 60. При этом для каждого отношения сигнал/шум в зависимости от степени зашумлённости спектров их количество варьировалось от 5 до 80. Отдельно зарегистрирован набор, состоящих из 327 шумовых спектров, полученных в отсутствии полезного сигнала.
В наборе содержалось от 200 до 300 спектров для каждого вещества, измеренных при одинаковой экспозиции, отношение сигнал/шум для каж Рис. 4.5. Организация экспериментальных данных в наборе дого из них лежало в диапазоне от 1,01 до 1,05. Общее число измеренных в наборе спектров составило 4 990 спектров для пяти тестовых веществ и трёх используемых источников возбуждающего излучения.
Регистрировались спектры тестовых веществ №1-№4, к которым добавлялось вещество №5. Набор составлен из 6 279 спектров, для которых экспозиция пробегала значения от 100 мкс до 100 мс. При этом все прочие параметры эксперимента оставались одинаковыми. Отношение сигнал/шум в регистрированных спектрах варьировалось от от 1 до 60. При этом каждый набор содержал от 5 до 100 спектров в зависимости от экспозиции и рассматриваемого вещества. Дополнительно использовались шумовые спектры, так же использованные в наборе №1.
Определение оптимального метода решения переопределённой системы уравнений В разделе 2.1 были рассмотрены различные способы определения коэффициентов в разложении (2.3) для определения кривой регрессии переопределённой системы уравнений. Предложены различные выражения для определения функционала от невязки в виде (2.19) и (2.5). Решение может 0.004 0.008 0.006
Пример зарегистрированного спектра люминесценции смеси ввеществ 1,4-Ди-[2-(5-фенилоксазолил)]-бензол (POPOP) и /3-индолиламинопропионовой кислоты (триптофан) быть найдено численно с использованием формул (2.9), либо с помощью матричных тождеств (2.12) и (2.15).
Для применения рассмотренных методов решения в практических задачах идентификации был проведён численный эксперимент в котором использовались зарегистрированные спектры флуоресценции смеси двух веществ: POPOP и триптофана (см. рисунок (4.6)). Концентрации подобраны таким образом, чтобы энергетический вклад от обеих компонент был одинаковым. Для возбуждения вторичного излучения использовался лазерный источник с длиной волны 266 нм.
К зарегистрированным спектрам аддитивно добавлялся стационарный псевдослучайный белый шум, распределённый по нормальному закону. Определялась величина коэффициента схожести, рассчитанного по формуле (2.11), в зависимости от величины среднеквадратичного отклонения шума.
Результаты численного эксперимента показаны на рисунке 4.7. Использовался диапазон значений среднеквадратичной погрешности ошибок измерения спектра в диапазоне от 10-4 до 10-1 относительный единиц с логарифмической сеткой в 50 значений. Точками на рисунке 4.7 указаны
Определение параметров распределения меры схожести
Разработана модель процесса преобразования ошибок измерения спектра в ошибки идентификации веществ. Содержание модели сформулировано в виде системы уравнений (2.24) и выражения (2.23). В совокупности с полученными аналитическими выражениями (2.35) и (2.36) уравнения позволяют определять вероятности верных и ложных срабатываний в методе идентификации спектров веществ с использованием эталонной спектральной базы данных. В практических задачах обнаружения веществ найденная вероятность может быть использована как величина достоверности полученных результатов.
С применением упрощений в предложенной модели преобразования ошибок измерения спектров в ошибки распознавания веществ выведены аналитические зависимости для определения математического ожидания (2.35) и коэффициентов ковариационной матрицы (2.36) для мер схожести спектров, рассчитанных по формуле (2.25) в зависимости от средне квадратической ошибки интенсивностей зарегистрированных спектров в каждой измеренной точке. По найденным параметрам плотность вероятности набора значений мер схожести как случайного вектора в многомерном параметрическом пространстве оказывается заданной и может быть рассчитана по формуле (2.38).
Разработан новый алгоритм идентификации веществ по вторичному излучению флуоресценции. Алгоритм использует в своей работе базу эталонных спектров и позволяет осуществлять идентификацию с контролируемой достоверностью результата для случаев, когда мощность шума в зарегистрированном спектре сопоставима с мощностью полезного сигнала.
Для оценки достоверность используется вероятностный критерий, который, в соответствии с предложенной моделью может быть рассчитан по формуле (2.40). Этим обеспечивается низкая вычислительная сложность алгоритма, которая позволяет использовать его в мобильных системах мониторинга окружающей среды и портативных экспресс-анализаторах веществ в режиме реального времени.
Схема алгоритма для анализа веществ по единичному измеренному спектру показана на рисунке 3.5, а для анализа одновременно с использованием нескольких спектральных методик на рисунке 3.6. Алгоритм апробирован на примере спектров, зарегистрированных с использованием лабораторного макета предназначенного для обнаружения веществ в жидкой и твёрдой фазах на подстилающих поверхностях.
Проведено комплексное исследование проблемы надёжности различных алгоритмов, предназначенных для обнаружения веществ по их зарегистрированным спектрам флуоресценции, которое носило статистических характер с использованием приблизительно 27000 спектров, измеренных с использованием лабораторного макета прибора экспресс-анализатора веществ в условиях, приближенных к эксплуатационным. При анализе рассмотрены как существующие, так и новые методы и модификации старых, предложенные в гл. 2 представленной диссертации.
По результатам проделанной работы даны следующие рекомендации...
При анализе чистых веществ с использованием одного спектра с отношением сигнал/шум в диапазоне 1,01.. 1,05 использование нового алгоритма (002) позволяет повысить вероятность верного срабатывания в среднем на 10% при равных вероятностях ошибки распознавания. При дополнительном условии на несрабатывание по шумовому спектру новый алгоритм позволяет снизить вероятность ошибки на 1,3%, но при этом снижается вероятность верного обнаружения на 9%.
Для анализа «чистых» веществ с использованием одновременно нескольких спектральных методик (отношение сигнал/шум в спектрах 1,01.. 1,05) рассмотрено 6 различных алгоритмов идентификации. Новый алгоритм («МОЗ») позволяет верно идентифицировать вещества с максимальной вероятность верного распознавания, которая не менее чем на 15% выше, чем чем при использовании остальных, в том числе применяемых на сегодняшний день методов. При этом доля ложных срабатываний оказалась на 2% на 7% ниже, чем при использовании алгоритмов «МОЇ» и «М05», которые так же позволяют идентифицировать вещества с высокой долью верных верного результата. Если используется дополнительное условие на несрабатывание по шумовому спектру, то так же наблюдается увеличение вероятности верного распознавания при использовании алгоритма «МОЗ» не менее чем на 15%.
При решении переопределённой системы уравнений в задаче анализа смесевых спектров, сопоставлялись два алгоритма, основанных на различных критериях правдоподобия полученного решения (формулы (2.16) - алгоритмы «ОМ2» и «ММ2» и (2.17) - алгоритмы «ОМ1» и «ММ1»). При анализе с использованием одного зарегистрированного спектра и одновременно нескольких при использовании формулы (2.16) удалось добиться большей вероятности верного распознавания соответственно на 7% и 13%. Если использовать дополнительное условие на несрабатывание по шумовому спектру, то результат оказывается идентичным предыдущему случаю.
Практическая значимость работы состоит в следующем...
Разработан программный модуль, предназначенный для автоматической идентификации зарегистрированных спектров флуоресценции веществ с использованием базы эталонных спектров. Модуль входит как часть в состав программного комплекса, предназначенного для регистрации, обработки и анализа спектральной информации, получаемой статическим Фурье-спектрометром видимого и ближнего УФ диапазона излучения. Комплекс позволяет осуществлять идентификацию веществ по спектрам в автоматическом режиме.
