Содержание к диссертации
Введение
Глава 1 Обзор литературы 10
1.1. Анализ литературных данных 10
- Методы, применяемые для обработки экспериментальных данных биосенсоров (основные понятия) 10
- Нейросетевые модели и алгоритмы обучения 15
История развития теории нейронных сетей 15
Задачи, успешно решаемые с помощью ИНС 16
Структура ИНС, классификация и методы обучения 19
Применение ИНС для решения задач, связанных с исследованием и разработкой сенсорных систем 27
Моделирование процессов, протекающих в сенсорных системах 27
- Применение ИНС в качестве "программного сенсора" 29
Проведение измерений в средах с изменяемыми характеристиками 32
Проведение измерений при наличии искажений сигнала 35
Построение калибровочных зависимостей для анализа многокомпонентных сред 36
- Применение ИНС в иммуноанализе 40
- Выводы 45
1.2. Материалы и методы 47
Создание программ регистрации сигналов 47
Математическое описание калибровочных кривых 48
Построение ИНС 50
Система микробных сенсоров для раздельного анализа смеси "глюкоза- этанол" 52
Оптимизация числа измерений для построения калибровочных кривых с помощью ИНС 54
Глава 2. Создание программно-аппаратной базы проведения исследований 56
2.1. Создание программы регистрации сигналов амперометрических и потенциометрических сенсоров. .56
- Практическое применение созданной программы 58
2.2. Создание программ регистрации сигналов проточно-инжекционного и многоканального хемилюминисцентньгх иммуносенсоров 60
- Практическое применение созданных программ 62
Глава 3. Количественный анализ калибровочных зависимостей биосенсоров 63
Оценка диапазона линейности калибровочной кривой в полулогарифмических координатах 64
Практическое применение уравнения Хилла для анализа калибровочных зависимостей биосенсоров 65
- Потенциометрические сенсоры 66
Микробные сенсоры амперометрического типа 74
Глава 4. Применение искусственных нейронных сетей в анализе многокомпонентных сред 77
4.1. Исследование аппроксимационных свойств ИНС на основе модели сенсорной системы для определения трех различных веществ 78
Математические модели мультисенсорной системы 80
- Формирование наборов данных 83
Выбор алгоритма и оптимальных параметров обучения 84
- Выбор оптимальной размерности сети 88
- Сравнение точности обработки данных, полученных с помощью 3-х систем сенсоров 89
Сравнение эффективности одной ИНС и системы, состоящей из m независимых ИНС, раздельно определяющих концентрацию каждого из m компонентов смеси 89
4.2. Система микробных сенсоров для раздельного анализа смеси "глюкоза- этанол" 91.
- Полиномиальная аппроксимация калибровочных поверхностей. Определение концентраций компонентов смеси при помощи калибровочных поверхностей 91
Определение концентрации компонентов смеси при помощи искусственных нейронных сетей 94
Сравнение эффективности анализа смеси при помощи хемометрических методов и искусственных нейронных сетей 96
Глава 5. Моделирование калибровочных зависимостей в иммуноферментном анализе с помощью искусственных нейронных сетей 98
Построение калибровочных зависимостей, определение концентраций 99
Измерение концентраций в сыворотках 106
Заключение 109
Выводы 111
Благодарности 112
Список литературы 113
- Структура ИНС, классификация и методы обучения
- Потенциометрические сенсоры
- Выбор алгоритма и оптимальных параметров обучения
- Построение калибровочных зависимостей, определение концентраций
Структура ИНС, классификация и методы обучения
Искусственной нейронной сетью называют структуру, состоящую из связанных между собой нейроподобных элементов (нейронов). ИНС характеризуется типом используемых нейронов, их количеством, видами соединений между нейронами (в том числе числом уровней (слоев) в иерархической структуре), а также набором алгоритмов обучения. Нейронные сети можно разделить, во первых, на сети с бинарными и непрерывными значениями входных сигналов, во вторых, на сети с контролируемым и неконтролируемым обучением. Сети с контролируемым обучением требуют представления вектора входных данных и соответствующего ему вектора выходных данных. Например, для обучения ИНС аппроксимации калибровочных зависимостей на вход сети необходимо подать вектор, состоящий из ответов сенсоров, а на выход соответствующие значения концентраций определяемых веществ. К таким сетям относятся сети Хопфилда и многослойные персептроны. Сеть Хопфилда обычно используется с бинарными входами, и является наиболее подходящей для задач с бинарным представлением входных данных [Hopfield, 1982]. Она может быть использована в качестве ассоциативной памяти или для решения проблем оптимизации. Сети с контролируемым обучением могут быть применены как для качественного, так и для количественного анализа веществ.
Выделяют полносвязные сети, сети с локальными связями и многослойные сети [Горбань, Россиев, 1996]. В полносвязной сети (рис. 1.2.а) каждый нейрон связан со всеми остальными (на входы каждого нейрона подаются выходные сигналы остальных нейронов). В сетях с локальными связями (рис. 1.2.6) нейроны располагаются в узлах прямоугольной решетки. Каждый нейрон связан с четырьмя или восемью своими ближайшими соседями. Разработка алгоритма обратного распространения ошибки (back propagation) [Werbos, 1974] сделала наиболее популярными многослойные сети с прямыми связями (многослойный персептрон) (рис. 1.2.в).
Нейроны в таких сетях делятся на группы с общим входным сигналом -слои. На каждый нейрон первого слоя подаются все элементы внешнего входного сигнала. Все выходы нейронов m-го слоя подаются на каждый нейрон слоя т+1. Выходами сети являются выходные сигналы последнего слоя. Связи от выходов нейронов некоторого слоя m к входам нейронов следующего слоя (т+1) называются последовательными.
Нейрон (рис. 1.3.) состоит из элементов трех типов. Элементы нейрона -умножители (синапсы), сумматор и нелинейный преобразователь.
Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи, - вес синапса. Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. К сумме входных сигналов, помноженных на соответствующие синаптические веса, прибавляется смещение нейрона. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция называется функцией активации или передаточной функцией нейрона. В качестве функции активации чаще всего используется сигмоидальная. В нейронных сетях применяются несколько вариантов сигмоидальных передаточных функций.
Сигмоидальные функции являются монотонно возрастающими и имеют отличные от нуля производные на всей области определения. Эти характеристики обеспечивают правильное функционирование и обучение сети.
Наиболее эффективной передаточной функцией является рациональная сигмоида. Для вычисления гиперболического тангенса требуется больше всего тактов работы процессора.
Обучение сети является итерационной процедурой, заключающееся в изменении весовых коэффициентов связей между нейронами и требующей длительных вычислений [Lippman, 1987; Hecht-Nielsen, 1989; Уоссермен, 1992]. При этом весовые коэффициенты подбираются таким образом, чтобы вектор выходных сигналов максимально соответствовал вектору желаемых выходных сигналов. После обучения сеть может применять полученные навыки к новым входным сигналам. Алгоритм обратного распространения ошибки является итеративным градиентным алгоритмом минимизации среднеквадратичной ошибки между действительным выходом сети и желаемым выходом.
Обучение сети разбивается на следующие этапы:
1) Инициализация сети:
Весовым коэффициентам и смещениям сети присваиваются малые случайные значения из диапазонов и соответственно.
2) Определение элемента обучающей выборки: ( текущий вход , желаемый выход ). Текущие входы (хО, xl... xN-1), должны различаться для всех элементов обучающей выборки. При использовании многослойного персептрона в качестве классификатора желаемый выходной сигнал (dO, dl... dN-1) состоит из нулей за исключением одного единичного элемента, соответствующего классу, к которому принадлежит текущий входной сигнал.
3) Вычисление текущего выходного сигнала:
Текущий выходной сигнал определяется в соответствии с традиционной схемой функционирования многослойной нейронной сети.
4) Настройка синаптических весов:
Для настройки весовых коэффициентов используется рекурсивный алгоритм, который сначала применяется к выходным нейронам сети, а затем проходит сеть в обратном направлении до первого слоя. Именно сети с прямыми связями, обучаемые методом back propagation или одной из его разновидностей, например, пакетная версия алгоритма (batch back propagation), версия с распадом весов (back propagation with weight decay) [Werbos, 1988], Rprop [Riedmiller, Braun, 1993] или Quickprop [Fahlman, 1988], наиболее часто используются при решении задач биосенсорики. Другим важным классом многослойных сетей с прямыми связями, используемым для аппроксимации функций, являются сети, основанные на радиально симметричных функциях активации, такие как radial basis function network [Poggio, Girosi, 1989] и вероятностные сети [Specht, 1990].
Сети с неконтролируемым обучением, например, самоорганизующиеся карты (отображения) свойств Кохонена [Kohonen, 1989] являются альтернативой сетям с более традиционной архитектурой. Они не требуют для обучения представления пар входных и выходных сигналов. Такие сети производят разбиение множества входных данных на классы в соответствии с тем или иным критерием и могут быть использованы для классификации сенсорных сигналов.
Карты Кохонена состоят из двух слоев элементов: одномерный входной слой, состоящий из п элементов и двумерный конкурентный слой, организованный в виде двумерной решетки нейроподобных элементов, число которых соответствует числу классов. Каждый элемент конкурентного слоя связан с каждым элементом входного слоя и содержит и-мерный вектор весов. В классической версии только один элемент или локальная группа элементов может давать ответный сигнал на текущий входной сигнал в конкретный момент времени. Алгоритм обучения для такой сети выполняет кластеризацию входных данных и пространственное упорядочение карты таким образом, что похожие входные образцы дают ответ в близко расположенных элементах решетки. Основной проблемой при использовании сетей Кохонена является определение числа элементов конкурентного слоя, поскольку часто мы не знаем a priori, сколько веществ содержится в данном образце, а следовательно на сколько классов необходимо произвести разбиение множества входных сигналов.
Алгоритм LVQ (learning vector quantization), который можно рассматривать как сеть Кохонена, обученную с информацией о классах, является алгоритмом с контролируемым обучением и широко используется в задачах классификации.
Одним из важных аспектов для нейросетевых алгоритмов распознавания образов является временной аспект входных данных. Задача анализа временных рядов может быть полезна при усреднении или интерполировании последовательных временных интервалов или фильтрации шума. Существует множество нейросетевых моделей для решения этой задачи. К ним относятся частично рекуррентные сети, такие как сети Элмана [Elman, 1990] или Джордана [Jordan, 1986], которые могут быть обучены модификацией алгоритма обратного распространения ошибки. Сети с временной задержкой (time delay network) [Waibel, Hampshire, 1989] обладают свойством чувствительности к меняющимся по времени входным данным.
Потенциометрические сенсоры
Микробный потенциометрический биосенсор для определения глюкозы. На рис. 3.1.1,а представлена калибровочная кривая для определения глюкозы с помощью потенциометрического сенсора, содержащего бактерии Gluconobacter oxydans, иммобилизованные на рН-чувствительном полевом транзисторе (Решетилов и др., 1992). Для интервала концентраций глюкозы, охватывающего более двух порядков, уравнение Хилла удовлетворительно описывает экспериментальную калибровочную кривую. На этом и последующих рисунках точки представляют экспериментальные данные, а сплошные линии - результат расчета, выполненного с помощью уравнения Хилла. В рассматриваемом случае коэффициент Хилла равен 0,76 ± 0,03. Для остальных параметров уравнения Хилла получены следующие значения: Riim = 1,41 ± 0,04 и С0,5 = 0,97 + 0,10 мМ.
Представленная на рис. 3.1.1,а калибровочная кривая была описана также при помощи полинома третьего порядка: R = aC + pC2 + yC3. (3.1.1)
Это уравнение, как и уравнение Хилла, содержит три параметра (а, 3 и у). Оценка с помощью коэффициента смешанной корреляции (0,998 в случае аппроксимации эмпирическим уравнением Хилла и 0,912 в случае полиномиальной аппроксимации) показывает, что аппроксимация эмпирическим уравнением Хилла лучше согласуется с экспериментальными данными.
На рис. 3.1.1,6 показана зависимость относительной ошибки в определении концентрации глюкозы при помощи калибровочной кривой, представленной на рис. 3.1.1,а и соответствующей уравнению Хилла.
Величина абсолютной ошибки измерения величины R, отнесенной к Rlim, принята равной 3%. Относительная ошибка в определении концентрации глюкозы минимальна в области концентраций, близких к Со,5 На рис. 3.1.1,в представлена зависимость величины пс = dlgR/dlgC от величины отклика сенсора R. Линейность полученной зависимости может рассматриваться как дополнительное подтверждение выполнимости уравнения Хилла. Точки пересечения прямой с осями координат позволяют определить значения величин Rijm и h , которые составляют 1,47 и 0,7, соответственно, что находится в удовлетворительном соответствии со значениями этих параметров, найденных теоретически при аппроксимации данных уравнением Хилла.
Ферментный биосенсор потенциометрического типа для определения диизопропилфторфосфата. На рис. 3.1.2 представлена калибровочная зависимость для сенсора на основе бутирилхолинэстеразы, использованного в работах (Решетилов и др, 1995; Khomutov et al, 1998) для детекции пестицида диизопропилфторфосфата, ингибирующего активность фермента. Кривая описывается уравнением Хилла с коэффициентом h, равным 0,44 ± 0,06. Низкое значение коэффициента Хилла определяет достаточно большую протяженность "линейного" участка в координатах {ответ; логарифм концентрации детектируемого вещества}. Ошибка в определении концентрации анализируемого вещества при помощи калибровочной кривой, описываемой уравнением Хилла, в области полунасыщения равна 27%. Коэффициент смешанной корреляции составляет 0,988.
Иммуносенсор потенщометрического типа. Измерение концентрации пестицида 2,4-дихлорфеноксиуксусной кислоты при помощи иммуносенсора на основе полевого транзистора описано в работе (Khomutov et al, 1994); калибровочная кривая сенсора для концентрации конъюгатов антигена с пероксидазой хрена 0,67 мг/мл приведена на рис. 3.1.3. Величина ответа снижается с ростом концентрации детектируемого вещества. В этом случае может быть использована следующая форма уравнения Хилла
Фоточувствителъный сенсор потенциометрического типа. Калибровочная кривая определения ионов аммония с помощью аммонийселективного фоточувствительного сенсора [Kazanskaya et al, 1996] является примером применимости уравнения Хилла в форме уравнения (3.1.2) для случая, когда величина ответа падает при увеличении концентрации детектируемого вещества (рис. 3.1.4). Интервал концентраций ионов аммония охватывает в этом случае пять порядков. Коэффициент Хилла равен 0,66 ± 0,02. Коэффициент смешанной корреляции равен 0,999. Погрешность в определении концентрации анализируемого вещества в области полунасыщения составляет в данном случае 18%.
Количественная обработка калибровочных зависимостей становится крайне важной, когда изучается изменение характеристик сенсоров при варьировании условий проведения анализа. Рис. 3.1.5,а демонстрирует калибровочные кривые для ионов аммония, полученные при помощи аммонийселективного фоточувствительного сенсора при различных значениях рН. На рис. 3.1.5,6 и 3.1.5,в представлены зависимости логарифма концентрации Со,5 и коэффициента Хилла h от величины рН раствора, соответственно. Из рис. 3.1.5,г, на котором показана зависимость тангенса угла наклона линейного участка калибровочных кривых в полулогарифмических координатах от величины рН, видно, что чувствительность сенсора растет при подкислении среды. Строго этот рост можно охарактеризовать только на основе предложенного количественного анализа калибровочных кривых.
Выбор алгоритма и оптимальных параметров обучения
Во всех экспериментах использовалась трехслойная ИНС с сигмоидными функциями активации (рис. 4.1.З.). Число нейронов на внутреннем слое варьировалось. На входы ИНС подавались сигналы сенсоров, рассчитанные с помощью выбранной математической модели. Выходами являлись соответствующие значения концентраций. Для изучения влияния параметров обучения на качество аппроксимации была создана ИНС, содержащая 25 нейронов на внутреннем слое. Исследование проводилось на основе модели, работающей в диапазоне аддитивности (Модель №2).
На рис. 4.1.4 представлена зависимость суммы квадратов ошибок (SSE) на выходных нейронах сети от числа циклов обучения при различных параметрах обучения. Наилучшие результаты получены при обучении методами ВР и Rprop. В ходе исследования было установлено, что при обучении методом ВР изменение параметра а (скорость обучения) не влияет существенным образом на ошибку сети, однако процесс обучения проходит быстрее при максимальном значении параметра ос=0,9 (рис. 4.1.4.д). При этом минимальная ошибка была достигнута при 10000 циклов обучения. Наиболее удобным с точки зрения подбора параметров является алгоритм Rprop. Выбор начального значения изменения весовых связей А0 (initial update-value) не является критичным, поскольку в процессе обучения происходит его автоматическая настройка. Максимальное значение Дтах определяет верхнюю границу параметра корректировки весовых связей. Элемент "распада" весов (weight decay term) указывает, насколько уменьшается значение веса связи после цикла обучения. Обычно сходимость сети также не зависит от выбора этих параметров. Алгоритм Qprop чувствителен к выбору значений параметров обучения. Скорость обучения и результирующее значение SSE при использовании данного алгоритма находятся в сильной зависимости от таких параметров как фактор максимального роста р., элемент распада весовых связей v и шаг градиентного спуска г\. Однако при использовании данного алгоритма с разными значениями этих параметров не удалось достигнуть результатов, полученных указанными выше методами.
Наименьшие значения SSE, полученные при обучении и тестировании сети, приведены в следующей таблице.
Построение калибровочных зависимостей, определение концентраций
Определение концентраций анализируемого вещества (трийодтиронина) проводили по следующей схеме:
1. Получали набор калибровочных зависимостей при варьировании условий проведения анализа. Для этой цели использовали наборы реагентов для иммуноферментного определения ТЗ, принадлежащие к одной серии.
2. На полученном наборе данных обучали нейронную сеть № 1 (рис. 5.1а), которая служила для восстановления недостающих точек калибровочной кривой по одной или двум имеющимся точкам. На каждом шаге обучения на вход сети подавали значение концентрации трийодтиронина (Cst(j, нмоль/л) и одно или два числа, характеризующих калибровочную кривую (значения оптической плотности во второй и пятой точках калибровочной кривой - ОПі и ОПг). Выходом сети являлось значение оптической плотности (ОП), соответствующее данной концентрации Cst(j. Таким образом, набор данных для обучения п калибровочным зависимостям состоял из 6« записей, содержащих значения, подаваемые на входные и выходные нейроны сети.
3. На вход обученной ИНС №1 подавали 6 калибровочных значений концентраций и измеренные значения оптической плотности, соответствующие концентрациям 0,5 и 6,0 нмоль/л. На выходе ИНС получали вычисленные значения оптической плотности.
4. Вычисленные значения ОП и концентрации ТЗ подавали на вход и выход ИНС №2 (рис. 5.16) соответственно. Данная сеть предназначена для аппроксимации калибровочной зависимости, полученной на предыдущем шаге.
5. После обучения ИНС №2 была способна определять искомые концентрации ТЗ по измеренным значениям ОП образца.
Для решения поставленной задачи была реализована система, состоящая из двух трехслойных ИНС. Для обучения и тестирования нейронной сети использовался набор калибровочных зависимостей, построенных при варьировании условий проведения аналитической процедуры, таких как ионная сила буферного раствора, температура инкубации и время после введения стоп-реагента (рис. 5.2а). При этом 5 калибровочных кривых брали для обучения и одну для тестирования сети. Предложенный метод был реализован также на наборе калибровочных зависимостей, полученных в стандартных условиях.
Для достижения максимальной производительности был проведен поиск оптимального алгоритма обучения и оптимальной архитектуры ИНС (числа нейронов на внутреннем слое). Недостаточное число нейронов не позволяет добиться необходимой точности воспроизведения зависимости, а их избыток снижает скорость обучения и может привести к нежелательным эффектам переобучения, когда ошибка на тестовых образцах значительно превосходит ошибку при обучении.
Настройку калибровочной кривой сетью № 1 проводили по одной и двум точкам. Наилучшие результаты были достигнуты при обучении методом Rprop. На рис. 5.3 показан график зависимости суммы квадратичных ошибок (SSE) на выходных нейронах сети от числа нейронов на скрытом слое. Анализ зависимости показывает, что для достижения оптимальных результатов обучения достаточным является 6 нейронов на внутреннем слое. Дальнейшее увеличение числа нейронов не приводит к существенному снижению SSE, и требует большего времени обучения. Для обучения сети было достаточно 1500 циклов.
Оценка точности восстановления недостающих точек калибровочной кривой с помощью коэффициента смешанной корреляции R (0,9608 при настройке по одной точке и 0,9998 при настройке по двум точкам) показала, что результаты, полученные при настройке кривой по двум точкам, лучше согласуются с экспериментальными данными.
После обучения нейронной сети для работы использовали калибровочные пробы, соответствующие концентрациям трийодтиронина 0,5 и 6 нмоль/л.
Аналогичное исследование, проведенное для ИНС №2, показало, что минимальная ошибка достигается уже при 3 нейронах на внутреннем слое. Однако, минимальная ошибка при тестировании сети на наборе, содержащем данные, соответствующие 15-ти образцам сывороток крови, была достигнута при 10-ти нейронах на внутреннем слое. На рис. 5.4 показана зависимость суммы квадратичных ошибок (SSE) на выходных нейронах от числа циклов обучения при различном количестве нейронов на внутреннем слое. Из рисунка видно, что для обучения ИНС было достаточно 400 циклов во всех рассмотренных случаях. При дальнейшем обучении значительного уменьшения ошибки не наблюдалось. Обучение в данном случае также проводилось методом Rprop. На рис. 5.5 приведены примеры калибровочных зависимостей, полученных с помощью ИНС. Сравнение проводилось с калибровочными зависимостями, полученными стандартным методом и не вошедшими в набор данных для обучения ИНС № 1.
