Содержание к диссертации
Введение
Глава 1. Анализ свойств микрообъектов с использованием излучения в широком диапазоне длин волн 15
1.1. Анализ методов записи спектров пропускания и отражения микрообъектов 15
1.2. Анализ методов формирования гиперспектральных данных и выбор оптимального подхода для микроскопии 20
1.3. Использование гиперспектральных данных для исследований в медицине и биологии 30
1.5. Анализ особенностей работы видеокамер при формировании гиперспектральных данных 41
Глава 2. Метод формирования гиперспектральньтх данных в микроскопии в видимом и ИК диапазонах спектра 44
2.1. Структурная схема микроскопа-гиперспектрофотометра 44
2.2. Метод формирования гиперспектральных данных 56
2.3. Метод регистрации гиперспектральных данных для микрообъектов с высокой степенью пространственной неравномерности оптической плотности 68
Глава 3. Методики обработки гиперспектральных данных.. 73
3.1. Методика приведения спектра к трехцветной системе RGB 73
3.2. Методики обработки гиперспектральных данных 74
3.3. Методика цветового контрастирования модификацией спектра 79
Глава 4. Апробация метода формирования гиперспектральных данных, методик обработки полученных гиперспектралъных данных и обсуждение экспериментальных результатов 83
4.1. Экспериментальный образец микроскопа-гиперспектрофотометра 83
4.2. Алгоритм и программа для преобразования и обработки гиперспектральных данных 86
4.3. Экспериментальные результаты апробации метода формирования гиперспектральных данных 87
4.4. Экспериментальные результаты апробации методики цветового контрастирования 93
Заключение 99
Список публикаций по теме диссертации 101
Список литературы 102
- Анализ методов формирования гиперспектральных данных и выбор оптимального подхода для микроскопии
- Метод формирования гиперспектральных данных
- Методики обработки гиперспектральных данных
- Экспериментальные результаты апробации метода формирования гиперспектральных данных
Анализ методов формирования гиперспектральных данных и выбор оптимального подхода для микроскопии
Рассмотренные выше подходы к исследованию спектральных особенностей микрообъектов с помощью цветной видеокамеры и микроскопа-спектрофотометра имеют ограничения либо по пространственному разрешению (микроскоп-спектрофотометр), либо по спектральному разрешению (цветная видеокамера) [2].
Известны методы формирования гиперспектральных данных, которые позволяют получить информацию об объектах одновременно с высоким пространственным и спектральным разрешением [2, 4].
Методы формирования гиперспектральных данных основаны на получении набора изображений в узких спектральных интервалах [3]. Результатом, который получен при использовании методов формирования гиперспектральных данных, является так называемый гиперспектральный куб или гиперспектральный параллелепипед (см. рис. 7).
Основной особенностью при построении гиперспектральных систем является способ передачи трехмерной структуры гиперкуба на двух или даже одномерный массив фотоприемников. Далее будем рассматривать в качестве приемника только двумерную видеоматрицу. В случае одномерной линейки фотоприемников недостающую координату заменяют механическим сканирующим элементом, например поворотным зеркалом [47].
Один из вариантов получения гиперкуба состоит в регистрации кадра, относящегося к одной из пространственных координат, либо пространственную, например х. За один кадр фотоприемная матрица формирует двухмерный срез гиперкуба для этой координаты и длины волны Я при известной третьей координате. Для построения полного гиперкуба приходится прибегать к сканированию по одной из координат, либо пространственной рис. 8 , либо спектральной рис. 9 [47].
Для обеспечения сканирования по пространству, как правило, используют движение исследуемого объекта. В иностранной литературе сложилась терминология, характеризующая положение сканирующих элементов относительно входного зрачка прибора [46].
Наиболее распространенными на сегодняшний день являются гиперспектрометры, которые одновременно регистрируют излучение от узкого отрезка поверхности, такие гиперспектрометры относятся к типу "pushbroom" [46] (см. рис. 10). Формирование изображения узкого отрезка поверхности производится посредством щели, которая устанавливается на задней фокальной плоскости входного объектива [47].
После коллимирующего объектива изображение в параллельных лучах попадает на спектроделитель, и затем проецируется на фотоприемную матрицу. Таким образом, на матрице формируется срез гиперкуба, для определенной пространственной координаты х. Спектроделитель может быть выполнен на дифракционной решетке, призме или их комбинации.
Применение такого типа гиперспектрометра используется в настоящее время в приложениях микроскопии для исследований биологических и медицинских препаратов [4,17] и для исследования матриц микрочипов в микроэлектронике [2]. Его недостатком является то, что для формирования гиперспектральных данных необходимо осуществить перемещение микрообъекта относительно объектива микроскопа, что может быть достигнуто включением электромеханических подвижек в предметном столе или перемещением входной щели спектрального прибора по полю изображения. К достоинствам рассмотренного метода формирования гиперспектральных данных относится возможность анализа спектров люминесценции.
Достоинством ЖКПФ является простота технической реализации. Для получения спектрометра достаточно расположить светофильтр перед обычной видеокамерой и посредством установки управляющих напряжений на секциях фильтра последовательно сканировать спектральные каналы. Не требуется пространственное сканирование при помощи механических устройств.
Спектральное разрешение, достигнутое в работах [48, 49], составляло 10 нм для диапазона 400-720 нм. К недостаткам ЖКПФ можно отнести не высокую по сравнению с акустооптическими системами скорость переключения спектральных каналов 50-150 мс, ограниченное число каналов, равное около 30. Ограниченный диапазон рабочих температур от +10 до +40 С объясняется тем, что показатель двойного лучепреломления An жидких кристаллов зависит от температуры, типичное значение его изменения -0.4%/С. Особенностью спектрометров на ЖКПФ является также то, что они регистрируют излучение в одной плоскости поляризации [47].
Для формирования гиперспектральных данных использование ЖКПФ возможно в ограниченных случаях. Ниже показано, что для ряда задач в медицине и в биологии требуются более широкие рабочие спектральные диапазоны в ИК области спектра и более высокое спектральное разрешение. При регистрации спектральных свойств микрообъектов с объективами микроскопа, обладающими большим увеличением, уменьшается облученность элементов видеоматрицы, следовательно работа только в одной плоскости поляризации ЖКПФ будет являться существенным недостатком для микрообъектов с высоким уровнем оптической плотности.
Рассмотрим другой известный подход для формирования гиперспектральных данных, основанный на использовании видеоспектрометров на базе акустооптических неколлинеарных фильтров (АОЫФ). Принцип работы АОНФ основан на взаимодействии акустической волны, распространяющейся в анизотропном кристалле, и оптического излучения вследствие акустооптического эффекта. Акустическая волна, вызывает периодические изменения показателя преломления кристалла, возникает пространственная дифракционная решетка, что приводит к дифракции светового потока, при прохождении его через кристалл.
Неколлинеарные фильтры обладают достаточно большими, до десятков градусов угловыми апертурами [50]. Это дает возможность использовать их для спектральной фильтрации изображений. В неколлинеарных фильтрах используется дифракция Брэгга на акустической волне. Особенностью такого взаимодействия является то, что при заданной частоте акустической волны и угле падения светового пучка относительно направления распространения акустической волны в дифракции принимает участие только световые волны с длиной волны, удовлетворяющий условию Брэгга. При этом можно осуществить перестройку акустооптического фильтра по X. Особенностью акустооптических фильтров является возможное изменение плоскости поляризации дифрагированного излучения. Наиболее распространенным и доступным материалом для построения АОНФ в диапазоне 0.4-5 мкм на сегодняшний день является-парателлурит (Те02), что обусловлено его высоким акустооптическим качеством. Оказывается возможным реализовать АОНФ при сравнительно невысоких (порядка 1 Вт) акустических мощностях.
При этом может быть достигнута высокая, до 90%, эффективность фильтрации при длине области взаимодействия около 1 см [47, 51]. Схема видеоспектрометра на базе АОНФ приводится в работах [27, 52] (см. рис.12). После объектива изображение в параллельных лучах попадает на акустооптическую ячейку. Пьезоэлектрический излучатель преобразует энергию высокочастотного электрического сигнала в бегущую акустическую волну. В результате дифракции входного оптического излучения на этой волне возникает два дифракционных порядка +1 и -1 с взаимно ортогональной поляризацией. Угол отклонения дифрагированного излучения достаточно большой, что позволяет проецировать изображения на две фотоприемные матрицы и регистрировать срез гиперкуба с заданной длиной волны и взаимно ортогональными поляризациями.
Существует иной подход для построения гиперкуба, который основан на возможности использования перестраиваемых светофильтров в совокупности с видеокамерой и объективом. Появление жидкокристаллических перестраиваемых фильтров (ЖКПФ) обусловило появление видеоспектрометров на их основе [48, 49]. Принцип построения светофильтров основан на интерференционном светофильтре Лио. Светофильтр Лио состоит из нескольких поляризаторов, разделенных пластинками из кристаллов с двойным лучепреломлением. При этом направление главного сечения пластинки составляет 45" поляризаторов (поляризаторы ориентированы одинаково) (см. рис. 11).
Метод формирования гиперспектральных данных
Ниже рассмотрены и исследованы особенности метода формирования гиперспектральных данных микрообъектов в видимом и ИК диапазонах спектра.
Управление системой и синхронизация работы монохроматора и видеокамеры микроскоп-гиперспектрофотометр, реализующий метод формирования гиперспектральных данных, основанный на выбранном в первой главе подходе, функционирует в автоматическом режиме сканирования по длинам волн. Дискретные значения длин волн задаются требуемым спектральным диапазоном и шагом сканирования по длине волны. Видеокамера регистрирует изображения на дискретных длинах волн, выделяемых монохроматором. При работе монохроматора проявляется влияние механических вибраций, поэтому перед записью изображения необходимо установить некоторую задержку, чтобы изображение, получаемое от видеокамеры, было устойчивым [60].
Блок-схема, определяющая автоматизированный режим работы гиперспектрального микроскопа, представлена на рис. 17.
Рассмотренный процесс управления является достаточно простым, однако не позволяет проводить точные измерения, если выходной оцифрованный сигнал с видеоматрицы имеет низкую разрядность (например, 8 бит) и, следовательно, ограниченный динамический диапазон. При этом достаточно точные измерения возможны, если выходящее из монохроматора излучение имеет равномерное спектральное распределение. Если это условие не выполняется, то точность значительно снижается. Для устранения этого недостатка реализованы рассматриваемые ниже специальные процедуры, которые позволяют повысить точность получаемых результатов.
Для проведения качественного спектрального анализа достаточно определить наличие спектральных особенностей в спектре пропускания или отражения микрообъекта. Для определения количественных параметров свойств микрообъектов, например, определения распределения относительной концентрации локальных особенностей микрообъекта, необходимо получить спектр пропускания или отражения. Для этого необходимо произвести процедуру записи гиперспектральных данных аналогичную процедуре записи базовой линии в спектрофотометрии. Если исследуемый микрообъект прозрачный, то аналогом базовой линии будут гиперспектральные данные, полученные при отсутствии микрообъекта в пучке света между осветителем и объективом микроскопа, что соответствует набору изображений, характеризующих распределение облученности в плоскости установки микрообъекта, в узких спектральных интервалах.
В первой главе были приведены особенности работы видеокамеры, которые необходимо учитывать при формировании гиперспектральных данных. Светочувствительные элементы видеоматрицы характеризуются значением «темнового» тока (см., например, [34]), влияние которого необходимо учитывать при малых значениях интенсивности регистрируемого излучения, как было показано выше. При делении результатов измерения, полученных при сканировании образца, на значения базовой линии величины числителя и знаменателя включают заметную составляющую темного тока, что является источником погрешностей оценки коэффициента спектрального пропускания образца.
Для повышения качества формируемых гиперспектральных данных значения темнового тока для каждого элемента видеоматрицы вычитаются из базовой линии и измеренных результатов сканирования образца. Обозначим экспозицию, которая формируется при полном отсутствии излучения, освещающего элементы видеоматрицы, как Hdc. Величина Hdc характеризует величину темнового тока. Экспозицию, которая формируется при освещении элемента видеоматрицы излучением от участка микрообъекта, как H(X)reg, и экспозицию, которая формируется без установленного микрообъекта, как г eg-Спектр пропускания Приемники излучения имеют пороговые значения облученности, которую они могут зарегистрировать [68]. Поэтому необходимо учитывать неоднородность спектра излучения источника и спектральной чувствительности приемника при формировании гиперспектральных данных в широком спектральном диапазоне, чтобы уровень облученности не выходил за допустимые пороговые значения на разных спектральных интервалах.Из рис. 18 видно, что с изменением температуры нити накаливания изменяется интенсивность излучения источника на различных длинах волн. Подстраивая температуру нити накаливания на различных спектральных интервалах, можно добиться компенсации неравномерности спектра излучения, так как множители Tdev(X), SV(X) и V неизменны для конкретного экземпляра гиперспектрального микроскопа.
При подстройке цветовой температуры источника излучения облученность отдельного элемента видеоматрицы можно обозначить EV(X, Гс), где Тс - цветовая температура источника излучения.
Формирование освещения по полю с высокой степенью равномерности, особенно при использовании объективов малого увеличения (4-10 крат) с широким полем, представляет достаточно сложную техническую задачу. Компенсировать влияние неравномерности освещения можно с использованием компьютерной обработки, а именно, при записи базовой линии для каждого пиксела и делении результатов при сканировании образца по длинам волн на значения базовой линии для каждого пиксела [60]. В результате получения гиперспектральных данных микрообъекта и базовой линии производится регистрация неравномерности облученности микрообъекта, создаваемой осветителем микроскопа. При получении коэффициента пропускания величина облученности микрообъекта сокращается, в результате чего неравномерность ее распределения по полю изображения, формируемого объективом микроскопа, компенсируется.
Методики обработки гиперспектральных данных
Полученные гиперспектральные данные с помощью микроскопа гиперспектрофотометра представляют собой последовательность значений коэффициентов пропускания всех участков поля изображения микрообъекта, соответствующих определенным длинам волн. При визуализации спектра, которую можно интерпретировать как приведение спектра к видимому диапазону или к цвету, т. е. «окрашиванию» спектральных свойств локальных особенностей микрообъекта, можно применить метод сдвига по длинам волн. Методика заключается в том, что начальная длина волны исходного спектра смещается на заданную величину. Например, если необходимо визуализировать спектр, записанный в диапазоне от 800 до 1200 нм, который не соответствует видимому диапазону, можно применить метод сдвига по длинам волн со значением смещения равным -400 нм. При этом формируется спектр от 400 до 800 нм, который возможно визуализировать.
Методика сдвига спектра иллюстрируется на рис. 21. Сплошной линией показан спектр до сдвига, а пунктирной - после сдвига.
Видимый диапазон, как известно, имеет ширину примерно 300 нм, поэтому для наглядного представления особенностей спектра при визуализации необходимо ширину спектра регистрируемого излучения соотнести со значением 300 нм с помощью методики масштабирования спектра.
Спектр регистрируется на дискретных длинах волн с заданным шагом, причем количество шагов также известно заранее. Изменяя величину шага при визуализации, можно привести ширину спектра к необходимой.
Пусть, например, после операции сдвига получен спектр в диапазоне от 400 до 600 нм (ширина спектра 200 нм) с шагом 10 нм. Применяя методику масштабирования, можно переопределить шаг спектра с 10 нм на 20 нм, при этом обеспечивается визуализация в диапазоне спектра от 400 нм до 800 нм.
Часто возникает ситуация, когда спектр, полученный в ИК области, имеет ширину, отличную от ширины видимого диапазона, в этом случае можно применить комбинацию методик сдвига и масштабирования вдоль оси длин волн, как это иллюстрируется на рис. 23.
Для детального исследования микроструктуры с помощью полученных
гиперспектральных данных часто возникает необходимость инвертировать цветовые различия, которые визуализируют спектральные особенности участков микрообъектов. Достичь этого можно с помощью методики инвертирования спектра вдоль оси длин, как это иллюстрируется на рис. 24.
При формировании гиперспектральных данных для решения задач в медицине и биологии, которые описаны в первой главе, могут возникать ситуации, при которых спектральные особенности на одних длинах волн будут существенно отличаться от особенностей на других длинах волн по степени их проявления. При визуализации слабовыраженные спектральные особенности могут не внести значительных цветовых различий, что приведет к невозможности их наблюдения. Для компенсации больших отличий в спектральных особенностях, приводящих к разной степени их проявления при визуализации, автором предложена методика нелинейного преобразования спектра. На рис. 25. показан график функции преобразования спектра, который должен использоваться аналогично данным калибровки. Методика основа на замене значения коэффициента пропускания или отражения по заданной функции, пример которой приведен на рис. 25. В зависимости от необходимости усилить цветовые особенности участков спектра с большими или малыми значениями коэффициента пропускания или отражения выбирается соответствующая функция преобразования.
Пример преобразования спектра с большими значениями коэффициента пропускания показан на рис. 26, а для спектра с малыми значениями коэффициента пропускания на рис. 27.
Экспериментальные результаты апробации метода формирования гиперспектральных данных
Гиперспектральные данные были получены в видимом и ИК диапазонах спектра. В видимом диапазоне спектра были получены гиперспектральные данные для препарата среза кожи головы и эпителия глаза. На рис. 32, а-б, приведены изображения, одно из которых результат визуализации гиперспектральных данных, а второе изображение получено с помощью цветной видеокамеры. На рис. 32, в-г, показаны гистограммы цветовых каналов RGB, по которым видно, что изображение, сформированное из гиперспектральных данных, обладает улучшенным контрастом и насыщенностью, что является важным результатом для возможности детального исследования микроструктуры. На рис. 33, а-б, показаны изображения препарата эпителия глаза, одно из которых получено с помощью цветной видеокамеры, а второе с помощью методики визуализации гиперспектральных данных. На рис. 33, в-г, показаны гистограммы цветовых каналов RGB изображений эпителия глаза, полученных двумя разными способами. Из данных рис. 33, а-б, можно сделать вывод, что изображение, полученное с помощью визуализации гиперспектральных данных, имеет улучшенный контраст и насыщенность. Особенно этот эффект проявился у синего канала, так как большинство участков изображения препарата имеет голубоватый оттенок.
Запись спектров в ИК области была проведена для неокрашенного препарата биоткани печени, особенности которого слабо различимы в видимом диапазоне длин волн. Спектр пропускания исследуемого препарата в видимой области не имеет никаких особенностей, поскольку коэффициент пропускания имеет равномерное распределение по длинам волн. Методиками контрастирования можно добиться лишь заметности некоторых морфологических отличий, но получить цветовые отличия, а, следовательно, выделить особенности состава вещества препарата практически невозможно. Для сравнения полученных результатов была проведена запись изображения этого же препарата в видимой области.
На рис. 34 показано изображение препарата печени, полученное с помощью визуализации гиперспектральных данных записанных в видимом диапазоне. На рис. 35 показан спектр пропускания препарата печени в произвольной точке изображения и гистограмма распределения по трем цветовым каналам RGB. Из данных рис. 35 видно, что препарат печени имеет спектр без явных особенностей, а на гистограмме все три цветовые каналы имеют практически идентичные распределения интенсивности, что соответствует преобладанию серого оттенка на изображении.
Эксперименты показали, что спектры пропускания препарата печени, записанные в ИК области спектра, имеют особенности, которые позволяют определить, что препарат является неоднородным по составу. Применив описанные в третьей главе методики обработки гиперспектральных данных, удалось получить изображение, имеющее цветовые различия и, следовательно, появилась возможность судить о неоднородностях состава препарата.
В изображении рис. 36 имеются существенные цветовые отличия вследствие различного спектрального пропускания соответствующих участков препарата. Несмотря на представление изображения на рис. 36 полутонами серого оттенка, явно заметны его отличия от рис. 34.
На рис.37 показаны спектры пропускания для двух окрашенных точек препарата (в красный и голубой цвета) и гистограммы цветовых каналов RGB. По данным рис. 37 можно сделать вывод, что визуализация гиперспектральных данных, полученных в ИК области спектра, позволяет зафиксировать различия в составе микроструктуры по цветовым особенностям.
Поскольку препарат имеет особенности в спектре пропускания в ИК области, можно выделить эти отличия свойств препарата для визуального наблюдения в цветовом представлении с последующей количественной оценкой при совместной обработке изображений, зарегистрированных в видимом и РЖ диапазонах спектра, что обеспечивает получение дополнительной информации о свойствах исследуемого препарата.
Методика инвертирования спектра была апробирована, используя гиперспектральные данные препарата печени, полученные в видимом диапазоне спектра. На рис. 38, а-б, показаны изображения результатов визуализации гиперспектральных данных препарата печени без применения методики инвертирования спектра и с применением методики инвертирования спектра. По изображениям на рис. 38, а-б, видно, что темные участки препарата печени после применения методики инвертирования спектра становятся светлыми и меняют свой цветовой оттенок, что позволяет лучше исследовать некоторые участки микроструктуры. На рис. 38, в-г, показаны гистограммы цветовых каналов изображений препарата печени, показанных на рис. 38, а-б.
