Содержание к диссертации
Введение
Глава 1 Распознавание спектральных линий 26
1.1 Метод потенциальных функций ...27
1.2 Поиск пиков линий в спектре ...31
1.3 Выделение групп линий 33
1.4 Применение кластерного анализа 35
1.5 Результаты 38
1.6 Выводы 39
Глава 2 Подгонка контуров спектральных линий 40
2.1 Некорректные задачи.. 43
2.1.1 Система линейных алгебраических уравнений.....46
2.1.2 Корректность по Тихонову. Множества корректности 48
2.1.3 Основные способы построения регуляризирующих алгоритмов 49
2.2 Дерево решений 52
2.3 Алгоритмы нелинейной оптимизации ...54
2.4 Алгоритм регуляризации с использованием информации о поведении итерационного процесса подгонки МНК (АРИПИПП) 59
2.5 Алгоритм регуляризации с привлечением априорной информации о матрице корреляции производных от невязки по параметрам (АРИМК) 60
2.6 Алгоритм локальной регуляризации (АЛР) 65
2.7 Результаты 67
2.8 Выводы 7!
Глава 3 Автоматический спектроанализатор (ASA) 72
3.1 Основные функции ...74
3.2 Режимы работы программы 78
3.3 Выводы 85
Заключение , 86
Литература... 88
Приложение 98
- Поиск пиков линий в спектре
- Корректность по Тихонову. Множества корректности
- Алгоритм регуляризации с использованием информации о поведении итерационного процесса подгонки МНК (АРИПИПП)
- Режимы работы программы
Введение к работе
Молекулярные спектры являются уникальным источником информации о строении окружающих нас веществ и многих процессах, происходящих в природе. Получаемая спектроскопическая информация применяется в самых разнообразных областях науки и техники. Например, спектральные свойства водяного пара ответственны за эффект «зеленого дома». Благодаря тому, что водяной пар (а также другие парниковые газы — С02, СН4) пропускает солнечное излучение в видимом диапазоне и поглощает большую часть энергии, переизлученной поверхностью Земли в инфракрасном (тепловом) диапазоне, на Земле сохраняется тепло и климат, пригодный для жизни. Следовательно, исследования спектров Н2О имеют важное значение для климатологии. Спектроскопическая информация об атмосферных газах используется при интерпретации результатов зондирования атмосферы Земли и результатов наблюдений в астрофизике. Из спектров молекул определяют фундаментальные характеристики молекул, их геометрию и энергетическую структуру, информацию о внутренних силах и процессах, что представляет интерес для теории строения атомов и молекул.
Последние годы характеризуются все большим возрастанием значения методов молекулярного анализа. Задачи, для решения которых необходимо применение этих методов, возникают в связи с рядом глобальных проблем. К ним относится проблема идентификации соединений, возникающих в результате химических реакции в обычных условиях и в особенности в плазме, при различных энергиях фотохимического воздействия, лазерном синтезе и т.д. Задача анализа молекул и молекулярных ассоциатов выдвигается общей проблемой контроля загрязнений внешней среды - атмосферы, биологических объектов, органических примесей в воде и т. д. В ряде промышленных производств возникает задача автоматического контроля загрязнений основного продукта разного рода побочными продуктами. Решение всех этих
проблем на одном из этапов требует достаточно точных и экспрессных анализов, нацеленных на изучение как отдельных молекулярных систем, так и их ассоциатов и смесей. В свою очередь потребности массовых анализов приводят к задаче разработки автоматизированных систем для молекулярного анализа.
На сегодняшний день спектроскопия представляет собой одну из наиболее интенсивно развивающихся областей физики. Применяются все более совершенные системы и методы регистрации спектров поглощения и излучения, изобретаются новые приборы и устройства, способные с высокой точностью проводить измерения. Вводятся методы автоматического управления сбором данных.
Для оценки поглощения лазерного излучения атмосферными газами требуются прежде всего данные о коэффициентах поглощения, которые, в свою очередь, могут быть получены расчетом, если известны параметры линий поглощения. В связи с этим вопрос об определении и табулировании основных данных о параметрах линий всегда был и остается актуальным.
Актуальность работы обусловлена необходимостью получения высокоточных спектроскопических данных для решения задач самых различных областей: оптики атмосферы, физики пламен, астрофизики, климатологии, и других. В свою очередь, спектры высокого разрешения, зарегистрированные на современных спектральных приборах, являются очень точными, подробными, и содержат десятки тысяч линий. Поэтому для специалистов во всем мире стало очевидным, что анализ таких спектров, невозможен без создания специальных автоматизированных систем и инструментальных средств, которые обеспечили бы эффективную, быструю и удобную работу со спектрами.
Рассмотрим процесс образования спектров. Поглощение электромагнитного излучения молекулой газа может привести как к
возбуждению (изменению энергии) электрона, так и к изменениям колебательной энергии (колебания атомов относительно каждой химической связи) и вращательной энергии (вращение всей молекулы или ее части). Все эти изменения энергии являются квантованными, т.е. возможны только определенные значения энергии орбит электронов, энергии колебания атомов и кинетического момента вращения, характеризующие соответственно электронные, колебательные и вращательные энергетические уровни [1, 2].
Типичная схема спектроскопического эксперимента представлена на рисунке 1.
і 2 ^J. s
І'Ш j4ft| У\
\± &
Рисунок 1 - Схема спектрометра: 1 - лазер; 2 - зеркала, отводящие 50% света; З - кювета с газом; 4 - система напуска газа; 5 - фотоприемник
Спектры молекул зависят от возможности нахождения молекул в различных состояниях, имеющих различную энергию, которая определяется наличием в молекуле различных типов движений. Каждому типу движений в молекуле (вращения молекулы или ее групп, колебания атомов и групп, движения электронов, собственные вращения электронов и ядер - спин) соответствуют свои уровни энергии и свой метод молекулярной спектроскопии, чувствительный к тем или иным особенностям строения молекулы. Ввиду единства природы электромагнитного излучения любых частот - от радио- до гамма-излучения, все методы спектроскопии принципиально похожи друг на друга [1,2,3].
Как уже отмечалось, внутренняя энергия молекулы имеет 3 составляющих - электронную энергию, колебательную и вращательную. Ниже, на рисунке 2, приближенно описаны соотношения этих энергий.
ufv;
Электронные У уровни
Колебательные
+4 +S
^= г _^-—-^"""подуровни
== _____ Вращательные
== ~~ "подуровни
Рисунок 2 - Уровни энергии
Электрон может переходить на орбиты с разной энергией. Если у электрона изменяется радиус орбиты, то изменяется и энергия. Собственные энергетические уровни молекулы имеют строго определенное расположение. Разница между электронными уровнями составляет сотни тысяч обратных
I 17
сантиметров 1 см* = 10" эрг). Множество уровней энергии дискретно. Самое нижнее электронное состояние называется основным.
Колебательная энергия - это энергия колебания длин связей, называемые валентными колебаниями {stretching), и углов между ними (bending), торсионные колебания (поворот одной большой части молекулы относительно другой) и т.д. Для описания движения в молекуле вводят нормальные координаты. Число нормальных колебаний в молекуле равно 3N-6, где N -число частиц. Разница между колебательными уровнями энергии составляет примерно 10+3 - 10+4 см" . Состояния нумеруются по квантовым числам нормальных колебаний. Например, у молекулы воды три типа нормальных колебаний - это валентные симметричные колебания, валентные антисимметричные колебания и изгибные колебания (изменение угла между связями). Состояние (010) означает 0 квантов возбуждения по симметричному валентному колебанию, 1 по изгибному, и 0 по валентному антисимметричному колебанию.
Вращательная энергия определяется вращательным движением молекулы. Уровни нумеруются по квантовым числам квадрата углового момента и по проекции углового момента на выделенную ось внутримолекулярной системы координат. Для каждого значения углового момента есть подуровни с различными значениями проекции вектора углового момента. Для молекул с числом атомов больше двух различают несколько типов - это сферический волчок (у которого все моменты инерции одинаковы"), сплюснутый волчок (у которого 2 больших момента инерции одинаковы), вытянутый волчок (у которого 2 меньших момента инерции одинаковы) и асимметричный волчок (у которого все 3 момента инерции одинаковы).
Трем составляющим энергии соответствуют 3 типа спектров: вращательные, колебательно-вращательных и электронно-колебательно-вращательные.
Если переходы совершаются между вращательными уровнями одних и тех же электронных и колебательных состояний, то появляются так называемые чисто вращательные спектры (см. рис. 2). Электромагнитное излучение или поглощение, отвечающее этим спектрам, соответствует далекой инфракрасной или микроволновой области.
Если переходы совершаются между колебательными уровнями одного и того же электронного состояния, то возникают чисто колебательные спектры. Частоты излучения или поглощения, отвечающие этим спектрам, лежат в близкой или средней инфракрасной области (соответствующие длины волн занимают диапазон приблизительно от 2 до 100 мкм). Как правило, однако, наряду с чисто колебательными движениями возбуждаются и вращательные движения или совершаются переходы между вращательными уровнями энергии, близкими к данному колебательному уровню энергии. Поэтому появляется спектр колебательно-вращательный и в нем наблюдается так
называемая вращательная структура колебательных полос поглощения или излучения.
Если переход совершается между различными электронными уровнями
энергии, то, как правило, одновременно наблюдаются и переходы между
различными колебательными и вращательными состояниями,
соответствующими разным электронным уровням. Соответствующий этому переходу спектр называется электронно-колебательно-вращательным.
Поглощение видимого, ультрафиолетового и рентгеновского излучений вызывает изменение электронной энергии молекул. Поглощение инфракрасного излучения приводит к изменениям колебательных и вращательных состояний молекул.
Эти эффекты используются в спектроскопии. Поскольку получаемые спектры поглощения однозначно характеризуют химический состав газа, спектроскопические методы являются одними из наиболее эффективных методов определения этого состава.
Интенсивность электромагнитного излучения, поглощаемого газовой смесью, зависит от природы газа. Согласно закону Бугера-Ламберта-Бера, доля (///0) интенсивности излучения, поглощенного кюветой с газом, изменяется
экспоненциально с длиной кюветы /, концентрацией с газа и коэффициентом поглощения к: \g(]fl0) = klc. Измерив интенсивность, прошедшую через кювету с газом, можно определить его концентрацию, если известен коэффициент поглощения к.
Наибольшее распространение для измерения спектральных коэффициентов поглощения несколько десятилетий назад имел лазерный спектрофотометрическии метод, с помощью которого измерены спектры поглощения ряда атмосферных газов (Н2О, СОг, СО, CRt, ...) с разрешением 10"3...10'6см' в областях излучения различных лазеров [3]. Метод основан на
сравнении потоков излучения до и после его прохождения через поглощающую среду. Спектрофотометрия широко применяется для исследования достаточно сильных линий поглощения (k(v)>]0'b см"') при использовании атмосферных трасс и многоходовых кювет. Особенно эффективно использование лазеров с широкой областью перестройки частот. Недостатком этого метода является сравнительно невысокая чувствительность (- Ю^см'1).
Более высокой чувствительностью (~10"7 ... Ю"9 см"1) обладают другие лазерные методы - оптико-акустический и внутрирезонаторный, которые позволяют распространить спектроскопические измерения на область слабых линий поглощения. В основе первого метода лежит оптико-акустический эффект, заключающийся в генерации акустических колебаний газом, поглощающим модулированное на звуковой частоте излучение. Преимущества внутрирезонаторных методов, а именно высокое разрешение узкополосного и высокая чувствительность широкополосного, сочетаются в методе конкурирующих пучков [4]. Исследуемое вещество в этом методе размещается в дисперсионном резонаторе лазера, генерирующего узкую спектральную линию, которая может плавно перестраиваться по спектру. Оптико-акустический метод более прост в реализации, но применим только для переходов в молекулах с безызлучательной релаксацией возбуждения. Метод внутри резонатор но го поглощения позволяет за короткое время (- 10"3 с) регистрировать спектр поглощения в широком диапазоне (- 70 см"1), однако пока применим только в видимой области, где доступны лазеры с широкими линиями усиления,
Метод производной наиболее эффективен для измерения малых изменений коэффициента поглощения Ak(v) на большом фоне к{у), но не позволяет измерять континуальную составляющую коэффициента поглощения. Лазерный метод производной используется для определения концентрации
#
зафязняющих атмосферу газов [5, 6], а также для определения положения центров линий [7].
Методы фурье-спектрометрии позволяют регистрировать спектры поглощения в более широком спектральном интервале, но обладают меньшим разрешением (~ 10*3 см"1) и чувствительностью (~ 10*5 см*1), чем лазерные методы. Уникальные спектроскопические результаты получены с помощью фурье-спектроскопии: измерены абсолютные значения положений центров линий различных газов с точностью 10'4 см"1 в широком интервале от дальней ИК до видимой области спектра [8]. Это достигнуто в первую очередь благодаря прогрессу вычислительной техники, качественному скачку в развитии алгоритмов фурье-преобразования, обеспечившим обработку в реальном масштабе времени 106 спектральных элементов в течение нескольких минут [9].
Таким образом ни один из рассмотренных методов измерения спектральных коэффициентов поглощения не является универсальным, поэтому все они скорее дополняют, чем дублируют друг друга [1,3].
Спектральная кривая (рисунок 3) описывает зависимость пропускания излучения через образец вещества. В этой кривой можно заметить провалы, по которым видно, что на этих частотах произошло поглощение энергии, излученной источником, что соответствует переходу части молекул на состояние с большей энергией. Эти провалы в спектроскопии называют «линиями» поглощения. Их форма определяется несколькими процессами, основной вклад из которых вносят столкновения между молекулами, ведущие к перераспределению энергии, и эффект Доплера (смещение частот, возникающее из-за неодинаковой скорости и направления движения молекул в газе). Переходы между различными колебательными состояниями называются «полосами» и лежат в диапазоне длин волн от инфракрасной до ближней
ультрафиолетовой области. Вращательные переходы находятся в микроволновой и инфракрасной области.
Т -р|1|'ПртИП|"'"Т
ТПЇЇГ—
1,0 -
0.8 -
й 0,6 -
С о.* -
0.3 -
~*-мЦ*|
ТП[
y4*
0.0
Частота, ем1
(2500
Рисунок 3 - Спектр пропускания HDO в области 9500 - 12500 см'
По спектрам можно определить значения энергетических уровней, а при построении на их основе математической модели, и все фундаментальные характеристики молекул.
На рисунке 4 схематически представлен контур линии. Каждый контур
обладает такими параметрами, как /- интенсивность линии, у - полуширина на
полувысоте, v0 - центр линии.
Рисунок 4
Анализ спектров состоит из двух этапов. Первый из них - это математическая обработка провалов (подъемов) спектральной кривой и подгонка модельных теоретических контуров, для получения точных значений их частот и интенсивностей [10, 11]. Результатом этого этапа является список переходов {Peak list). Второй этап - квантовая идентификация переходов [12]. Оба эти этапа являются трудными и требуют, в зависимости от типа молекулы, до нескольких месяцев кропотливой работы высококвалифицированных специалистов. На рисунке 5 представлена схема обработки спектров.
Рисунок 5 — Схема процесса обработки спектров
Методы, используемые для идентификации линий в спектрах бывают самые разнообразные [12-15], и определяются, в первую очередь, сложностью спектра. Так, для простых двухатомных и гетероядерных молекул спектры можно идентифицировать по их виду. Спектры трехатомных молекул, таких как Н2О, H2S, состоят из перекрывающихся колебательных полос, не имеют явно различимых закономерностей в расположении линий, выглядят запутанными. Математическая модель, как правило, предсказывает
расположение линий с большой ошибкой. Для анализа таких спектров применяют известный в спектроскопии метод комбинационных разностей. Это один из методов, опирающийся на точные квантово-механические правила, независящие от модельных представлений. В соответствии с этим методом, в спектре ищутся линии перехода на одно верхнее состояние с различных нижних. Разности между частотами будут равны в точности разностям между нижними уровнями энергии (см. рис 6).
/ .I
Возбужденное колебательное состояние
Частоты переходов
Вращательные подуровни
Основное
колебательное
состояние
UL-A-X^etrrАЕ=Е*-Е
Рисунок 6 - Пример выполнения комбинационного правила
В соответствии с методом комбинационных разностей, в спектре для каждого верхнего КВ-состояния ищутся совокупности линий, определенным образом отстоящих друг от друга. Как правило, в спектре отыскиваются до нескольких десятков таких групп линий. На этом этапе начинают использоваться модельные представления, дающие дополнительную информацию, достаточную для определения правильной группы линий. Выбор правильной группы линий происходит на основе точности соблюдения комбинационного правила, а также по таким признакам, как близость и пропорциональность интенсивностей найденной группы линий и интенсивностей, предсказанных при помощи модельных представлений.
Положения (частоты) линий не должны быть далеки от расчета. Для выбора правильного решения спектроскопист вынужден иногда по несколько раз просматривать таблицы чисел - расчетных и наблюдаемых частот, интенсивностей и энергий. Это занимает большую часть времени при анализе спектра.
Поскольку при разработке автоматизированных систем всегда приходится в той или иной степени решать задачу распознавания образов, то и для автоматизации этого процесса были применены хорошо разработанные, профессиональные методы -это методы теории распознавания образов [16, 17]. Благодаря этому была создана экспертная система, которая в автоматическом или в полуавтоматическом режиме позволяет проводить идентификацию линий на основе метода комбинационных разностей. Однако, описанная в [18] система работает с уже полученным списком линий. Первый же этап - это математическая обработка провалов (подъемов), с целью получения списка т.н. «линий» поглощения, по-настоящему не стал автоматическим до сих пор. В то же время этот процесс также занимает большую часть времени при анализе спектров. Спектры, зарегистрированные на современных высокоточных спектральных приборах, являются очень точными и подробными, и содержат до нескольких десятков тысяч линий. Анализ таких спектров, идентификация линий в них - трудоемкий процесс. Как заметил P. Jensen [19]: «время, необходимое для регистрации спектра, становится пренебрежимо малым, по сравнению со временем, затрачиваемым на его теоретическую обработку». Как уже отмечалось, этот процесс требует до нескольких месяцев монотонного напряженного труда опытных спектроскопистов. В связи с этим появилась необходимость в разработке средств автоматизации, которые позволили бы быстро и эффективно работать с такими спектрами, проводить идентификацию линий, решать обратную задачу, создавать необходимые базы данных.
В теории спектров многоатомных молекул принято различать два типа задач: прямые и обратные [20, 21].
Под прямыми понимаются задачи, связанные с вычислением различных спектральных характеристик, например, положений полос поглощения или линий на шкале частот, их интегральных или относительных интенсивностеи, в последнее время - полностью кривых спектрального распределения коэффициента поглощения и др. При этом подразумевается, что все необходимые величины, входящие в состав соответствующего гамильтониана, и его вид или параметры полуэмпирических теорий заданы. Такие задачи имеют единственное решение, которое целиком определяется совокупностью исходных данных.
Под обратными задачами (в последние годы они привлекают в физике все большее внимание) понимаются задачи, в которых устанавливаются те или иные характеристики молекул на основании измеренных спектров. Типичной задачей такого рода, решению которой посвящено большое число работ, является задача определения силовых постоянных по наблюдаемым колебательным спектрам. Обратные задачи, как правило, принадлежат к классу так называемых некорректно поставленных и обладают той характерной особенностью, что не имеют однозначного решения. Это приводит во многих практически важных случаях к серьезным затруднениям и заметной доле субъективизма, сказывающейся на окончательном результате.
Чтобы обратная спектральная задача стала разрешимой, необходимо накладывать дополнительные ограничения, не связанные с самими исходными условиями. Эти дополнительные ограничения определяются заданием априорных физических предположений. Их разумность и физическая обоснованность целиком определяют и качество последующего решения.
Автоматизированные системы (АС), которые выполняют обработку спектроскопической информации, можно разделить на два класса: 1)
взаимодействующие с аппаратной частью; 2) независимые от приборов, выполняющие только обработку данных.
К сожалению, программное обеспечение не всегда подробно описывается в научной литературе. Обычно авторы приводят результаты обработки данных, а об используемом программном обеспечении сведения либо очень поверхностны, либо вовсе отсутствуют. Часть информации этого обзора была почерпнута из сети Интернет со страниц соответствующих научных центров, или была любезно предоставлена пользователями этого ПО в результате обсуждений.
В среде разработчиков АС, взаимодействующих с аппаратной частью, наиболее популярным инструментарием является программный пакет LabVlEW [22, 23]. Система графического проектирования LabVIEW представляет собой комплекс аппаратных и программных средств анализа, моделирования и управления. Он предназначен для разработки систем измерения, контроля, диагностики и управления, обеспечивает сбор и обработку сигналов в реальном времени. Для сопряжения аппаратуры используются приборные интерфейсы, основанные на магистрально-модульном принципе построения связей. Среди подобных приборных интерфейсов наиболее известна система САМАС. Например, на основе LabVIEW были созданы такие системы, как система диагностики неоднородной нестационарной плазмы, разработанная в Петрозаводском университете [24], мобильный комплекс «Магнитограф», предназначенный для регистрации и обработки динамических сигналов и разработанный компанией ВиТэк [25], автоматизированная система «СПЕКТР» для автоматического управления спектром частоты транспондеров спутника связи с анализатором спектра [26].
Программное обеспечение GeMis производства российских фирм АО «ИСГИ» и L-Card поставляется в трех модификациях - от простого осциллофафа до профессиональной версии. В Физико-техническом институте
УрО РАН с использованием GeMis разработан мобильный диагностический комплекс сбора и обработки информации с пьезодатчиков. Этот комплекс предназначен для сбора и обработки информации при стендовых ударных и вибрационных испытаниях, вибродиагностики. Программное обеспечение позволяет выполнять цифровую фильтрацию, спектральный анализ, корреляционный анализ, статистический анализ, мультимедийную обработку сигналов и др. [27].
Группа компаний Вruker специализируется на разработке программного и аппаратного обеспечения для медицины, оптики, пищевой промышленности, контроля качества [19].
Среди АС, которые предназначены для обработки спектроскопических данных независимо от аппаратной части регистрации спектров, можно выделить такие, как программные пакеты ПОС-КОМ, ПОСМ, WinPOS производства НПП «МЕРА» — инструментальное программное обеспечение для полного цикла работ с измерительной информацией. Эти пакеты дают возможность осуществлять статистический, корреляционный, спектральный анализ. Существует возможность использовать свои собственные процедуры и функции для реализации нестандартных алгоритмов обработки и создавать собственные Виртуальные Приборы в рамках возможностей пакета. Эти пакеты реализованы в Портативном анализаторе сигналов [28].
Программное обеспечение для оптической спектроскопии GRAMS/32 фирмы Galactic Industries может применяться в большинстве современных ИК-Фурье спектрометров, позволяет получать нужные результаты, не заставляя разбираться в тонкостях ИК спектроскопии. Данное программное обеспечение широко применяется для обработки ИК спектров нефтепродуктов. Функционируя в совокупности с системой PetroQuant, которая полностью управляет работой спектрометра и внешними устройствами, GRAMS/32 производит анализ моторного топлива и смазочных масел. Midac Corporation на
основе этого программного обеспечения разработала портативный анализатор FOx FTIR Fuel and Lubricant Analyzer.
Для обработки спектров можно применять универсальные пакеты
программ, такие как ORIGIN (с программой PeakFit), OPUS/LT (фирмы Bruker),
GRAMS/32 (фирмы Galactic), PEAKSOLVE, FOCUS, OMNIC (фирмы
NICOLET), IPLAB (фирмы Scanalytic), SCARP (фирмы PERKIN ELMER),
WINFIRST (фирмы MATTSONIR) [29-32]. Существуют также
специализированные пакеты программ для получения спектроскопической
информации, например, INTBAT [33], OPTIMIZE [34], DECOMP [35, 36],
FITMAS [37], RELIP [38]. Однако универсальные пакеты не учитывают
а; особенностей метода измерения, а специализированные в большинстве своем
созданы для конкретных узких задач.
Несмотря на большое число программных средств и то, что почти все они в определенной степени способны решать некорректные задачи, они не лишены недостатков. Например, некоторые привязаны только к определенной аппаратуре; другие используют для подгонки параметров какой-либо один контур, например, Гаусса, либо только узкий круг распределений,
предназначенных для конкретной задачи и не подходящий в нашем случае;
следующие требуют непосредственного участия оператора при своей работе -
для разметки спектра, определения числа линий в группе; некоторые из этих
программных средств для начала своей работы (до поиска спектральных линий)
требуют проведения большого объема предварительных расчетов -
дифференцирования, интегрирования, сглаживания, и т.д. В приведенных
системах на разном уровне присутствует автоматизация, которую чаще можно
назвать «механизацией». Не последнее место занимает и вопрос цены
^ программного средства, т.к. большая часть из них - коммерческие.
Цель работы
$г Целью работы являлась разработка системы, позволяющей в
автоматическом режиме проводить начальную обработку молекулярных колебательно-вращательных спектров поглощения и пропускания атмосферных газов. Обработка включает поиск пиков спектральных линий, подгонку модельных контуров и получение списка линий.
Для достижения поставленной цели необходимо было решить следующие задачи:
1. Исследовать особенности регистрации колебательно-вращательных
, спектров молекул атмосферных газов.
Провести исследование информативных признаков для распознавания объектов в спектральной кривой - пиков, крыльев и целых групп спектральных линий. Разработать алгоритм распознавания этих объектов.
Изучить методы решения обратных задач в спектроскопии. Выбрать, либо предложить метод регуляризации некорректных задач спектроскопии.
Разработать программное обеспечение для первичной обработки молекулярных спектров, которое позволило бы при минимальном участии оператора формировать списки спектральных линий.
При решении поставленной задачи использовались следующие методы исследований: методы теории распознавания образов, искусственного интеллекта, кластерного и корреляционного анализа, численные, оптимизационные, методы решения некорректных задач, структурного и объектно-ориентированного программирования.
Защищаемые положения
а 1. Метод потенциальных функций обеспечивает создание устойчивых
процедур распознавания пиков нужной формы в спектральной кривой. Такие процедуры обучаемы на примерах и способны имитировать принятие решений экспертом при поиске линий переходов в спектрах.
2. Метод локальной регуляризации с применением в качестве априорной
информации матрицы корреляции производных от невязки по параметрам
позволяет задавать коэффициенты регуляризации только для тех параметров
модели, которые вносят неустойчивость в общее решение.
3. Разработанное программное обеспечение ASA формирует список
t4 линий, пригодный для дальнейшей идентификации и обработки.
Научная новизна
1. Впервые на основе метода потенциальных функций, разработаны
алгоритмы распознавания спектральных линий и их групп. Предложены
информативные для распознавания признаки.
2. Впервые применен алгоритм локальной регуляризации для решения
^ обратной спектроскопической задачи — подгонки модельных контуров линий.
Предложен оригинальный алгоритм локальной регуляризации с привлечением априорной информации о матрице корреляции производных от невязки по параметрам
Разработанная система ASA, в отличие от известных в литературе, использует методы распознавания образов, позволяющие наиболее полно и правильно имитировать действия эксперта при принятии решений.
Практическая значимость результатов
Автоматизированная система ASA позволяет формировать списки линий спектров высокого разрешения, содержащих десятки тысяч линий, практически без участия человека. Получаемые высокоточные спектроскопические данные могут использоваться для решения задач самых различных областей: оптики атмосферы, физики пламен, астрофизики, климатологии, и других.
Система позволяет работать в комплексе с уже созданными системами для теоретического анализа спектров. В дальнейшем планируется осуществить более тесную интеграцию с системой идентификации квантовых переходов. В результате появятся дополнительные возможности при обработке спектров.
С помощью системы ASA в автоматическом режиме были обработаны спектры таких газов, как Н20, D20, HDO, СО, С02. Например, обработанный спектр HDO в области 9500 см"1 — 12500 см"1 состоял из 380000 точек, в результате его обработки получен список из 8689 линий. На. проверенном визуально участке этого спектра не было пропущено ни одной линии, которые возможно определить при первичной обработке спектра, что говорит о корректной работе системы. Данный спектр обрабатывался в автоматическом режиме примерно 2 часа, включая время на подготовку системы. Системой ASA был обработан спектр водяного пара в диапазоне от 1800 см"1 до 2200 см"1, в результате чего получен список из 369 линий (см. прил. А). Было проведено сравнение полученных данных с экспериментальными расчетами.
Достоверность результатов обеспечивается строгим применением математических методов, сравнением результатов с реальными научными данными, приведенными в литературе, которые были получены экспериментальным путем. Так же достоверность результатов проверена при моделировании прямой задачи, с последующим решением обратной.
Апробация работы
Результаты работы докладывались и обсуждались на следующих конференциях: Региональная научно-техническая конференция «Радиотехнические и информационные системы и устройства» (Томск, 25 мая 1999г.), Региональная научно-техническая конференция «Радиотехнические и информационные системы и устройства» (Томск, 17 мая 2000г.), VII Международный симпозиум «Оптика атмосферы и океана» (Томск, 16-19 июля 2000г.), Региональная научно-техническая конференция студентов и молодых специалистов «Прикладной системный анализ» (Томск, 28-30 ноября 2000г.), Международная конференция «Моделирование, базы данных и информационные системы для атмосферных наук» (Иркутск, 25-29 июня 2001г.), 22 Съезд по спектроскопии (Зеленоград, 8-12 октября 2001г.), Международная конференция «Новые информационные технологии в науке, образовании, экономике» (Владикавказ, 6-10 июня 2002г.), IX Международный симпозиум «Оптика атмосферы и океана» (Томск, 2-5 июля 2002г), X Юбилейный международный симпозиум «Оптика атмосферы и океана. Физика атмосферы» (Томск, 24-28 июня 2003г), Вычислительно-информационные технологии для наук об окружающей среде CITES-2003 (Томск, 1-11 сентября 2003). Также по результатам работы было опубликовано 6 статей. Разработанная система ASA внедрена в лаборатории молекулярной спектроскопии Института оптики атмосферы СО РАН, в учебном процессе - в Томском государственном университете систем управления и радиоэлектроники.
Личный вклад
Автором разработаны алгоритмы и программное обеспечение для получения списка спектральных линий, проведено моделирование. Щербаковым А.П. было предложено использовать метод потенциальных
функций для распознавания в спектре линий. Автором было проведено исследование отбора признаков для распознавания, реализован алгоритм. Мицелем А.А. было предложено использовать метод локальной регуляризации для устранения некорректности обратной задачи. Совместно с Щербаковым А.П. был разработан метод локальной регуляризации с применением в качестве априорной информации матрицы корреляции производных от невязки по параметрам. Автором реализованы эти алгоритмы. Щербаковым А.П. был создан интерпретатор на языке Лисп - ИПРА, с использованием которого автором была разработана автоматизированная система ASA.
Объем и структура работы
Диссертация состоит из введения, трех глав, заключения, списка литературы из 97 наименований и приложения. Общий объем диссертации -111 страниц, включая 6 таблиц и 21 рисунок.
Автор выражает благодарность Ми целю А.А. и Щербакову А.П. за руководство над работой. Автор благодарит профессоров Корикова A.M. и Быкова А.Д., коллективы кафедры АСУ Томского университета систем управления и радиоэлектроники, а так же лаборатории молекулярной спектроскопии Института оптики атмосферы СО РАН за всемерную помощь и поддержку при подготовке диссертации. Автор благодарит Пташника И.В. за предоставленные процедуры расчета контуров Фойгта, Раутиана-Собельмана, Галатри, и Катаева М.Ю. за ценные советы и замечания.
Поиск пиков линий в спектре
В зависимости от ширины линий выбирается размер окна. При этом количество точек во входном векторе процедуры распознавания остается неизменным. Точки выбираются равномерно по ширине окна. Поскольку узлы сетки окна могут не совпадать с узлами сетки зарегистрированного спектра, то необходимо использовать процедуру интерполяции. Такая структура позволяет работать со спектрами разного разрешения и находить линии независимо от их ширины в ячейках спектра.
Пространство решений содержит 4 класса: «центр линии», «правый край», «левый край», «не край и не центр». Изображение окна должно быть отнесено к одному из этих классов. Последний класс в системе представляется как не принадлежность ни одному их трех предыдущих.
Для использования процедуры распознавания линий, сначала проводится обучение на примерах. Учитель может определенными клавишами клавиатуры («+» и «-») на спектре указать системе классификацию объектов, на основе чего определяются описания. Как правило, число необходимых примеров близко к числу точек во входном векторе процедуры распознавания - узлов сетки в выбранном окне. После обучения распознавание может проводиться автоматически без участия человека.
Как показывает практика, обучение системы распознавания позволяет не проводить фильтрацию спектров от шумов (которая, в свою очередь, так же добавляет погрешность в исходные данные), т.к. сформированные описания классов уже сами фильтруют шумы.
В качестве базисных функций (1.8) используются функции Лежандра, для которых входной вектор нормируется в диапазоне [0; 1], или функции Эрмита, для которых входной вектор нормируется в диапазоне [-1; 1] [43, 44J. Результат их применения различается не существенно. где є - малая величина (є=0.01), необходимая для более четкой работы. Выражение (1.14) срабатывает так, что после шага обучения (n+J) персептрон показывает для дги+; то, что показал учитель, f(xn+1 )-/ (хп ) (для данного случая f(x„+t,c) = (xa+t))t указывая, что д: лежит не на самой разделяющей поверхности, а вблизи от нее. Базисные функции на пространстве векторов Х=НП (л=7) есть всевозможные произведения вида где if/l(x) = Nlexp{-x/ }Hi(x), НДх) - полиномы Эрмита, N.=J2 / нормировочный множитель. Множители г}}, стоящие в (1.8), взяты равными 1
Для группировки - распределения найденных линий по группам мы использовали метод потенциальных функций. При этом подгонка контуров проводилась совместно, поскольку контура линий перекрываются и тем самым влияют друг на друга. Так как в нашем распоряжении не достаточно информации о совместной плотности распределения (пространств признаков и решений) и классах, то в данном случае больше подходят непараметрические процедуры, в том числе все те же методы теории распознавания образов.
В качестве признакового пространства использовались 4 признака (рисунок 1.2): pi - частотное расстояние между двумя соседними метками линий, нормированное на величину ширины линий; р2 и р3 — значения интенсивностей на этих метках; р4 — интенсивность в середине интервала между соседними метками линий. Интенсивности нормированы на максимальное значение интенсивности в спектре.
Корректность по Тихонову. Множества корректности
Первой работой, в которой отмечена важность проблемы решения неустойчивых задач и указан подход к устранению этой неустойчивости, была работа А. Н. Тихонова 1943 г. [63]. Им сформулировано новое определение корректности, которое известно теперь как корректность по Тихонову.
Задача (2.И) называется корректно поставленной по Тихонову, если выполнены следующие условия: 1) априори известно, что решение задачи (2.11) существует и принадлежит некоторому заданному множеству Л/с: U, т, е. feN = AM; 2) решение единственно на множестве Ы, т. е. оператор обратим на множестве М; 3) существует непрерывная зависимость решения и от правой части /, когда вариации/не выводят решение за пределы множества М, т. е. оператор А непрерывен в относительной топологии множества N. Соответствующее множество М, на образе N = AM которого оператор
А существует и непрерывен, называется множеством корректности. Проанализируем сформулированные требования (1) - (3). В отличие от корректных по Адамару постановок задач, где первое условие устанавливается теоремой существования, в рассматриваемой ситуации обычно трудно указать в замкнутом виде условия того, чтобы множество М было множеством существования. Вопрос о разрешимости па заданном множестве М конкретных прикладных задач обычно решается па основе физических соображений [63, 65]. Это обстоятельство и объясняет разумность условия (1). Что касается условия (2), то его отличие от соответствующего условия Адамара в том, что обратимость оператора требуется лишь на множестве М. Для нелинейных отображений это свойство может быть существенно более слабым требованием.
В условии (3) непрерывная зависимость обратного оператора предполагается только на множестве N - AM, т. с. устойчивость задачи (2.11) восстанавливается сужением класса возможных решений до множества М (или, что то же, сужением возможных правых частей/до множества N). Поэтому задачу (2.11), корректную по Тихонову, называют также условно-корректней задачей, а устойчивость по Тихонову (т. е. условие (3)) - условной устойчивостью.
Рассмотрим схему метода Лаврентьева [65]. В этом методе вводят дополнительные ограничения на пространства U, F, которые предполагаются гильбертовыми и совпадающими: U = F Н. Линейный, в общем случае неограниченный оператор А: Н — И имеет всюду плотную область определения D(A) = И.
В основу метода положена идея замены уравнения первого рода (2.11) с точными данными {/о , А} (для фиксированной правой части f-fo) уравнением второго рода с приближенными данными {/ Аь) И малым положительным параметром а. Тем самым неустойчивая задача (2.11) (непрерывность А 1 не предполагается) заменяется задачей (2.16), которая, как будет установлено в теореме 1, удовлетворяет всем условиям корректности Адамара, а решения уравнения (2.16) близки к решению уравнения (2.11) при достаточно малых, параметрах а, h, 5.
Для исходных приближенных данных {f& Л/,} требуется выполнение условий аппроксимации в виде Пару (5, И) обозначим через Д. Теорема I. Пусть А, А/, - линейное, самосопряженные и положительные операторы, для которых выполнены условия аппроксимации (2.17); обратный (не обязательно ограниченный) оператор А 1 существует. Тогда уравнение (2.16) разрешимо для любых AhifseH,a 0 и, решения и сходятся к решению уравнения (2.11) с правой частью/=/ : когда Д — О и а - 0 при связи (h + S)/a(S,h)- Q, т.е. {«"] регуляризованное семейство приближенных решений, а Ra{Ah1fs} = (Ah+aE) i/д. - регуляризующее семейство операторов задачи (2.11) в точке {А,/о}.
Метод регуляризации Тихонова [57], относится к числу вариационных, т. е. построение приближенного решения связано с решением некоторой экстремальной задачи. В методе Тихонова необходимо знать уровень погрешности приближенных данных, т. е. значения параметров А и 5 в условиях аппроксимации (2.17).
Пусть наряду с операторами А, А/, задан некоторый линейный оператор L и для некоторого /С 0 и всех и є D(A)r\D(L) = D выполнено
В качестве приближенных решений уравнения (2.11) в методе регуляризации Тихонова принимаются экстремальные элементы следующей вариационной задачи: где р, q 1 - целые и положительные числа, параметр а О, В случае гильбертовых пространств будем полагать/? = q — 2. В этом методе устойчивость (сходимость) приближенных решений восстанавливается за счет добавления к основному функционалу в неустойчивой вариационной задаче inf ЛАи — у .Ц : и є Dj стабилизирующего функционала Q(w) = і« с малым, параметром а и согласования этого па раметра с уровнями погрешностей h, 5. Образованный функционал называют сглаживающим. Идея метода невязки, по-видимому, была высказала Филлипсом в работе [66], где частный случай метода применялся для численного решения интегральных уравнений Фредгольма первого рода. Обоснование метода (строгая постановка и доказательство сходимости) было дано в работе [67]. Чтобы подгонка модельных контуров спектральных линий методом наименьших квадратов не расходилась, следует уменьшить неопределенность в системе (2.5). Это так же можно сделать путем поиска и исключения из подгонки избыточных параметров линий. Такими параметрами можно считать те из них, которые имеют достаточно хорошее начальное приближение. Для выбора избыточных параметров в системе ASA использовалась поисковая процедура «порождение и проверка», принадлежащая теории искусственного интеллекта [68-70]. Также заметим, для того чтобы система была не «автоматизированной», а полностью «автоматической», т.е. самостоятельно без участия человека отрабатывала исключительные ситуации, следует использовать методики искусственного интеллекта.
Алгоритм регуляризации с использованием информации о поведении итерационного процесса подгонки МНК (АРИПИПП)
Согласно [87], основная идея регуляризации заключается в привлечении дополнительной априорной информации, что приводит к сужению класса функций, среди которых идет поиск решения. Чем большей априорной информацией о решении мы располагаем, тем более устойчивые алгоритмы мы можем использовать. Однако привнесение ложной информации, или излишняя ориентация на недостаточно точную информацию, приводит к погрешностям решения. Для повышения точности регуляризованных решений все большее распространение получают локальные регуляризирующие алгоритмы [86]. Термин «локальные» указывает на то, что скалярный параметр регуляризации в таких алгоритмах заменен некоторой функцией, зависящей от отношения сигнал/шум либо от аргумента искомого решения. В системе ASA предлагается использовать алгоритм регуляризации с привлечением априорной информации о матрице парной (взаимной) корреляции производных от невязки по параметрам [88, 89], пример матрицы см. в табл. 2.1. По матрице корреляций производных от невязки по параметрам можно судить о парном влиянии параметров функции Y(x\0) из (3.1) на значения самой функции Y(x\9) в одних и тех же спектральных участках. При большом парном влиянии параметров возникает неопределенность из-за бесконечного множества решений системы, что не позволяет решить поставленную задачу МНК.
Следовательно, для соответствующей пары параметров нужна дополнительная информация. Коэффициенты регуляризации Lj из (2.24) служат для понижения данной неопределенности, для их нахождения использовались коэффициенты корреляции. Следует наложить ограничения на величину коэффициентов регуляризации L є[0;Рл], а следовательно, и ввести допустимый порог корреляции Рс о во избежание избыточной регуляризации. Схема алгоритма подгонки с использованием матицы корреляций будет выглядеть следующим образом: Шаг /. Задать начальные значения коэффициентов L} равными нулю. Шаг 2. Вычислить производные невязки по параметрам, построить матрицу корреляции. Шаг 3. Найти недиагональные элементы матрицы корреляций превышающие допустимый порог для корреляции Рс, и для которых коэффициенты L} меньше некоего верхнего порога Pi. Выбрать из них максимальный, запомнить его позицию. Если он существует, то переход к шагу 4, иначе - шаг 7. Шаг 4. Пара коэффициентов Ljf соответствующая пересечению столбца со строкой найденного элемента в матрице, увеличивается на величину некоторого, заранее определенного шага приращения. Шаг 5.
Вычислить производные невязки по параметрам, и снова вычислить выбранный коэффициент корреляции. Шаг 6. Если коэффициент корреляции превышает допустимый порог корреляции Рс, и данные коэффициенты Lj не достигли своего порогового значения регуляризации Pi, то перейти к шагу 4, иначе - шаг 2. Шаг 7. Решить СЛАУ. Вычисление искомых параметров 0. Если не достигнута требуемая точность, то переход к следующей итерации подгонки (шаг 1). Значения коэффициентов корреляций векторов производных от невязки по параметрам зависят не только от измеренных данных, но и от роли каждого из параметров в подгоняемой математической модели. Это требует подбора для каждого из параметров своего порога Pi и шага для L, и разные пороги для разных элементов матрицы корреляции Рс, Если модельная функция У(х\6) состоит из суммы одинаковых контурных функций (Гаусса, Лоренца, Фойгта), имеющих три параметра, общее число типов параметров, включая подложку (параметр 6о), будет равно четырем (если в качестве модельной функции выбран контур Галатри или Раутиана-Собельмана, то число параметров и порогов увеличится на единицу). Поэтому количество необходимых порогов регуляризации Р;, также равно четырем, и столько же шагов приращения параметров регуляризации; количество порогов корреляции Рс- равно 6 {надднагональные элементы матрицы 4x4). Сравнительно небольшое число этих порогов позволило подобрать их вручную, без использования специальных статистических процедур и статистической выборки.
Режимы работы программы
Работа пользователя-оператора с программой происходит в постоянном диалоге, тем самым предоставляя ему свободу действий. Для этого был разработан удобный и простой в обращении интерфейс (рисунок 3.3), который не допускает какие-либо случайные ошибки и сбои, произошедшие по вине оператора. При разработке программного обеспечения очень большое внимание уделяется вопросам организации взаимодействия «человек-машина». Пользователю интересно и увлекательно работать на ЭВМ только в том случае, когда он чувствует, что он занимается полезным, серьезным делом.
В противном случае его ждут неприятные ощущения. Непрофессионал может почувствовать себя обойденным и даже в чем-то ущемленным только потому, что он не знает неких «мистических» команд, набора символов - это может негативно отразиться на его работе. Разработанная автоматизированная система первичной обработки спектров может функционировать в следующих четырех режимах: 1. Выбор команд в системе меню. 2. Просмотр спектра. Во время работы системы в памяти ЭВМ находятся массив частот и массив интенсивностей, служебные массивы и списки - все они служат для хранения только одного спектра. 3. Обучение поиску линий. Обучение может быть начато либо «с нуля», либо можно загрузить файлы с внешнего носителя, хранящие описания центра и краев, полученные ранее. 4. Просмотр банка линий. Просмотр возможен после того как банк сформирован. Помимо этих формальных режимов просмотра, в системе существует и другая классификация: автоматический и полуавтоматический режимы обработки спектров. В полуавтоматическом режиме допускается участие человека. В режимах 2, 3 и 4 возможно произвести маркировку центра и краев линии вручную, откорректировать метки, проставленные системой при обучении.
После окончания работы процедуры кластерного анализа возможно изменение группировки линий. Следовательно, полуавтоматический режим в основном служит для контроля человеком за решениями, принимаемыми системой. В автоматическом же режиме не требуется вмешательство оператора. В идеальном случае для получения результата достаточно только загрузить необходимый файл данных - спектр, обработав который система через некоторое время выдаст банк линий. Возможно также пошаговое выполнение задачи путем выбора команд, находясь в системе меню. Рассмотрим режимы просмотра более подробно. При просмотре экран разбивается на две части, (см. рис, 3.4, 3.5). В режиме обучения поиску линий в нижней части находятся 3 области: слева - шкала интенсивности, в центре -текущий участок спектра, справа - свободное окно, в которое может выводиться служебная информация. Верхняя часть экрана также разбита на 3 области: слева - шкала, в центре - масштабированный обзор спектра, справа -окно персептрона. Над обзором спектра помешен указатель, который помогает отслеживать относительное положение выбранного участка в спектре.
В процессе обучения составляются описания для центра, левого края, правого края по отдельности. В результате на спектр наносятся метки разных цветов, что помогает визуально различать их назначение. Чтобы обучить систему (например, для поиска центров) надо выполнить следующие действия: 1. поместить курсор в нижней части экрана на центр пика (центр можно обнаружить и по виду персептрона); 2. нажать кнопку «+» на серой клавиатуре, что вызовет отображение на экране меню, из которого следует выбрать тип метки: «центр»; 3. если система уже хорошо обучена, то в указанной позиции появится достаточно узкая метка, обучение поиску центра можно завершить, иначе -переход к пункту 4; 4. если метка является широкой, то необходимо продолжить обучение системы; следует переместить курсор на соседнюю ячейку; 5. нажать кнопку «-» на серой клавиатуре - это приведет к отображению на экране другого меню, из которого следует выбрать тип метки: «центр»; 6. после выполнения пункта 5 могут быть две ситуации: а) метка станет более узкой, что свидетельствует о более хорошем обучении, можно перейти к шагу 1 или шагу 4; б) метка совсем исчезнет, что говорит о противоречивости обучения, следует перейти к шагу I.
