Оптимизация сбора и обработки сигналов в приборах оптической когерентной томографии Ксенофонтов Сергей Ювинальевич

Содержание к диссертации

Введение

Глава 1 Обзор и история развития систем оптической когерентной томографии (по литературе) 11

1.1 Корреляционная оптическая когерентная томография 11

1.2 Спектральная оптическая когерентная томография 15

1.3 Оптическая когерентная томография с перестраиваемым источником 18

1.4 Оптическая когерентная томография полного поля 20

1.5 Заключение 22

Глава 2 Методы и алгоритмы обработки данных для скоростной системы корреляционной оптической когерентной томографии 25

2.1 Принцип работы скоростной оптоволоконной корреляционной системы оптической когерентной томографии 25

2.1.1 Принцип работы предыдущей версии оптоволоконной корреляционной окт-системы (прототипа текущей версии) 25

2.1.2 Принцип работы оптической схемы текущей версии оптоволоконной корреляционной окт-системы 28

2.1.3 Архитектура системы сбора данных и управления текущей версии оптоволоконной корреляционной окт-системы

2.2 Итерационная методика синтеза сигнала управления оптоволоконным пьезомодулятором 32

2.3 Параллельный алгоритм расчёта изображений в реальном времени для скоростной оптоволоконной системы корреляционной оптической когерентной томографии 2.3.1 описание применяемого метода асинхронного сбора данных и параллельных вычислений 39

2.3.2 Описание последовательности действий с данными одного а-скана 41

2.3.3 Методика преодоления проблемы неравномерности загрузки процессорных потоков и экспериментальное подтверждение её эффективности 43

2.3.4 Методика визуализации для зондов с телецентрической линзовой системой и без неё 45

2.4 Применение скоростной системы корреляционной оптической когерентной томографии 47

2.4.1 Практические результаты вышеописанных методик 47

2.4.2 Пример применения корреляционной окт-системы в составе стандартного видеоэндоскопического оборудования 48

2.4.2 Пример применения корреляционной кросс-поляризационной окт-системы

Глава 3 Методы и алгоритмы обработки данных для спектральной системы корреляционной оптической когерентной томографии 51

3.1 Принцип работы оптоволоконной спектральной системы оптической когерентной томографии 51

3.2 Параллельный алгоритм расчёта изображений в реальном времени для оптоволоконной системы спектральной оптической когерентной томографии 54

3.3 Применение технологии cuda для расчёта изображений скоростной спектральной оптической когерентной томографической системы 66

3.4 Применение системы спектральной оптической когерентной томографии 76

Глава 4 Алгоритмы трёхмерной визуализации применимые для совместного использования с системами оптической когерентной томографии 81

4.1 Оптимизация и применение метода проекции максимальной интенсивности для визуализации скалярных трехмерных данных в статическом режиме, в интерактивном режиме и в реальном времени 81

4.2 Методика получения трёхмерных изображений с использованием однокоординатного сканирующего зонда и способ их предварительного просмотра в реальном времени 102

Заключение 109

Список литературы 110

• Оптическая когерентная томография с перестраиваемым источником
• Принцип работы оптической схемы текущей версии оптоволоконной корреляционной окт-системы
• Параллельный алгоритм расчёта изображений в реальном времени для оптоволоконной системы спектральной оптической когерентной томографии
• Методика получения трёхмерных изображений с использованием однокоординатного сканирующего зонда и способ их предварительного просмотра в реальном времени

Введение к работе

Актуальность работы. Методы оптической когерентной томографии (OKT) активно развиваются в течение последних двадцати пяти лет [1]. ОКТ – это способ визуализации внутренней структуры исследуемого объекта методом интерферометрического приёма оптического сигнала, рассеянного структурами исследуемого образца в обратном направлении, относительно направления зондирующего излучения [2]. На практике чаще всего ОКТ используется как метод биомедицинской визуализации, позволяющий получать изображения внутренней структуры приповерхностных тканей организма человека in vivo с высоким пространственным разрешением. В качестве зондирующего излучения в данном методе используется низкокогерентное излучение в ближнем инфракрасном диапазоне (800-1300 нм). Малая мощность зондирующего излучения обеспечивает неин-вазивность данного метода.

Рассматриваемые в диссертации ОКТ-системы разработаны в Институте прикладной физики РАН (ИПФ РАН) [3]. Они предназначены для исследования и визуализации внутренней структуры слизистых оболочек и серозных покровов внутренних органов человека in vivo в реальном времени. Эти ОКТ-системы относятся к аппаратно-программным комплексам. Данные приборы требуют разработки таких методов и алгоритмов, которые обеспечивают получение в реальном времени достоверной информации о микромасштабной структуре объекта, а также нацеливание зонда в условиях физиологических движений биоткани. В этом случае быстродействие ОКТ-системы является очень важным.

Рассматриваемые ОКТ-системы отличаются от своих предшественников повышенной скоростью сканирования. Скорость работы первых модификаций эндоскопических ОКТ-систем составляла 100 A-сканов в секунду. Рассматриваемые ОКТ-системы обладают быстродействием в тысячи и десятки тысяч A-сканов в секунду. Для обеспечения работоспособности таких систем потребовалась разработка специализированных быстродействующих методов сбора и обработки данных.

Требование к обеспечению компактности и мобильности рассматриваемых ОКТ-систем предполагает использование в их составе мобильной вычислительной техники. Это влечёт за собой необходимость уменьшения требований к используемой ими вычислительной мощности. Таким образом, актуальной является оптимизация вычислительных алгоритмов, используемых для работы с этими ОКТ-системами.

Увеличение быстродействия ОКТ-систем позволяет реализовать не только визуализацию внутренней структуры ткани, но и дополнительно визуализировать её физиологические и функциональные параметры. К таким параметрам тканей, например, относятся двулучепреломление, кровоснабжение, эластографические характеристики. Такие модификации ОКТ-систем относятся к так называемой функциональной ОКТ. Эти ОКТ-3

системы имеют большой потенциал как для проведения фундаментальных биологических и биомедицинских исследований, так и для клинической практики [4]. Поэтому актуальной является возможность использования дополнительной вычислительной мощности, освободившейся в результате оптимизации основных вычислительных процедур синтеза ОКТ-изображений, для визуализации в реальном времени дополнительных свойств исследуемой ткани. Результаты реализации таких возможностей продемонстрированы в данной диссертации.

Целью работы является оптимизация работы ОКТ-систем в части увеличения скорости процессов управления, обработки сигналов и оптимизация способов визуализации результатов в реальном времени.

Для достижения этой цели были решены следующие задачи:

1. Разработка метода скоростного управления многослойным оптоволоконным пьезомодулятом для корреляционной волоконной ОКТ-системы.

2. Разработка методов параллельного асинхронного сбора и обработки данных для нескольких модификаций ОКТ-систем в условиях использования двухъядерного процессора с многопотоковой технологией.

3. Модификация и применение метода проекции максимальной интенсивности для визуализации скалярных трехмерных данных в статическом режиме, в интерактивном режиме и в реальном времени.

Объектом исследования являются приборы оптической когерентной томографии.

Предметом исследования являются методы и алгоритмическое обеспечение процессов управления, сбора и обработки данных, и способы визуализации в реальном времени.

Научная новизна работы:

4. Разработан итерационный метод подбора формы управляющего сигнала оптоволоконного пьезомодулятора, обеспечивающий необходимую стабильность скорости изменения оптического пути при её высоком значении.

5. Предложен метод параллельного асинхронного сбора и обработки данных для корреляционной ОКТ-системы и экспериментально подтверждена его эффективность.

6. Предложен метод параллельного асинхронного сбора и обработки данных и оптимизирован метод компенсации материальной дисперсии и неэквидистантности спектральной ОКТ-системы, а также экспериментально подтверждена их эффективность.

7. Разработана модификация метода проекции максимальной интенсивности и экспериментально подтверждена её вычислительная эффективность для задачи трёхмерной визуализации в реальном времени.

Достоверность результатов работы подтверждается многократной повторяемостью результатов экспериментальной проверки и стабильной

работоспособностью ОКТ-систем, построенных с использованием результатов настоящей диссертации.

Практическая ценность работы:

8. Использование разработанных методов сбора и обработки данных позволило создать несколько модификаций корреляционных и спектральных ОКТ-систем, управляемых через интерфейс USB.

9. Разработанный алгоритм визуализации трёхмерных скалярных массивов данных позволяет осуществить их отображение с произвольного ракурса наблюдения в интерактивном режиме, используя вычислительную мощность одного центрального процессора (CPU) настольного или мобильного типа.

10. Разработанные методики и алгоритмическое обеспечение сбора и обработки данных были использованы при проектировании корреляционных, кросс-поляризационных и спектральных ОКТ-систем производимых в настоящее время в ООО «БиоМедТех» и в ИПФ РАН.

11. Программы, созданные на основе разработанных алгоритмов трёхмерной визуализации, могут быть использованы для представления результатов различных научных исследований.

Практическая ценность настоящей работы документально подтверждена пятью актами внедрения, представленными в Приложении В к диссертации.

Основные положения, выносимые на защиту:

12. Метод синтеза сигнала управления оптоволоконным пьезомодулято-ром, основанный на итерационном подборе закона изменения управляющего тока, обеспечивающий стабильность доплеровского сдвига частоты опорной волны интерферометра корреляционной ОКТ-системы.

13. Методы построения электронных систем для корреляционной и спектральной ОКТ, основанные на использовании асинхронных управляющих сигналов и универсальной элементной базы, обеспечивающие скоростной непрерывный сбор данных и управление через интерфейс USB.

14. Асинхронный метод сбора и обработки данных для корреляционной и спектральной ОКТ, обеспечивающий работоспособность системы при использовании ограниченной вычислительной мощности за счёт равномерного распределения параллельных вычислительных потоков между используемыми логическими процессорами.

15. Вычислительный алгоритм, использующий для параллельных расчётов таблицы корректирующих коэффициентов, позволяющий компенсировать артефакты спектральной ОКТ-системы в процессе синтеза ОКТ-изображений в реальном времени.

16. Метод проекции максимальной интенсивности, модифицированный за счёт применения обратной проекции, отображения границ визуализа-5

ции, учёта глубины визуализируемых точек и применения параллельных вычислений, позволяющий визуализировать трёхмерные скалярные данные с произвольного ракурса наблюдения в интерактивном режиме и в реальном времени.

Апробация работы:

Материалы диссертации были доложены на следующих международных научных конференциях:

Saratov Fall Meeting 2014, Saratov, Russia, 22-26 September 2014

Optical Coherence Imaging Techniques and Imaging in Scattering Media: Brett E. Bouma; Maciej Wojtkowski, Munich, Germany, 21-25 June 2015

Conference on Biomedical-Optics, BiOS, San Jose, USA, 25-31 January 2003

13-th International Laser Physics Workshop (LPHYS'04), Trieste, Italy, 12-16 July 2004

PIE/OSA European Conference on Biomedical Optics, Optical Coherence Tomography and Coherence Techniques V, Munich, Germany, 22-26 May 2011

V International Symposium Topical Problems of Biophotonics (TPB-2015) - Nizhny Novgorod - Elabuga - Nizhny Novgorod, Russia, 20-24 July 2015

Основные публикации:

Основные материалы диссертации опубликованы в 14-ти научных работах. Из них: 5 статей в рецензируемых изданиях, рекомендованных ВАК для публикации результатов диссертаций [1.1-1.5], 2 публикации в материалах международных конференций [2.1-2.2], 5 публикаций в тезисах докладов международных конференций [3.1-3.5], 2 публикации в главах научных монографий [4.1-4.2]. Из них: 6 публикаций [1.1, 1.2, 1.4, 1.5, 2.1, 2.2] индексированы в системе Scopus, 5 публикаций [1.1, 1.2, 1.4, 2.1, 2.2] индексированы в системе Web of Science, 4 публикации [1.1, 1.2 1.4, 1.5] включены в ядро РИНЦ. Aлгоритмы, описанные в диссертации, защищены одним патентом на изобретение [5.1] и одним свидетельством о государственной регистрации программы для ЭВМ [6.1].

Личный вклад автора:

Все результаты настоящей диссертации получены автором лично или при его непосредственном участии. В частности, автор разработал всё программно-алгоритмическое обеспечение, описанное в настоящей работе. Кроме того, автор принимал участие в разработке электронных схем для систем сбора данных и управления ОКТ-приборов.

Структура диссертации:

Диссертация состоит из введения, 4-x глав, заключения и 3-х приложений.

Общий объём диссертации составляет 151 стр. Диссертация содержит 89 рисунков. Список литературы содержит 96 наименований.

Оптическая когерентная томография с перестраиваемым источником

Впервые принципы спектральной ОКТ (spectral domain OCT, SD-OCT) были сформулированы в работе [14] в 1995 году. Точнее в этой работе были сформулированы принципы сразу двух методов ОКТ – спектральной ОКТ и ОКТ с перестраиваемым источником. В англоязычной литературе оба этих метода в совокупности принято называть Fourier domain optical coherence tomography (FD-OCT). В течении следующих 6-7 лет эти принципы обсуждались, в основном, теоретически. Но в дальнейшем, когда вычислительная мощность компьютеров, а также, электрооптическая и электромеханическая элементная база достигли должного технического уровня эти два метода практически полностью вытеснили корреляционную ОКТ из области научных интересов. Постепенно сошли на нет и немногочисленные, на тот момент, коммерческие корреляционные ОКТ-системы, а также разработки новых корреляционных ОКТ приборов.

В случае ОКТ учитывается только упругое рассеяние света, т. е. такое рассеяние при котором сохраняются фазовые соотношения между падающей и рассеянной волнами. Другими словами, это когерентное рассеяние света малой интенсивности, при котором происходят изменения направления монохроматической, пространственно-когерентной световой волны

Спектральная ОКТ основана на решении обратной задачи упругого рассеяния в оптике. Это решение было найдено Вольфом [35] в 1969 году. Это решение позволяет определять структуру слабо рассеивающих объектов. Вольфом доказано, что трехмерное распределение потенциала рассеивания объекта может быть численно восстановлено из распределения амплитуды и фазы рассеянного света. Данное утверждение справедливо в пределах точности первого борновского приближения. Теорема, доказанная Вольфом, иногда называется дифракционной теоремой Фурье. Она описывает связь Фурье-образа измеренных в эксперименте амплитуды и фазы рассеянного света с Фурье-образом структуры рассеивателей (в терминах пространственных частот). При измерениях излучения отраженного слабыми рассеивателями в дальней зоне утверждается [36], что для восстановления структуры рассеивателей достаточного одного Фурье преобразования, а не двух, как в теории Вольфа. В случае одномерной задачи измерения длины методом спектральной интерферометрии, как показано в [34], достаточно измерения интенсивности интерференционного сигнала на различных длинах волн при одном направлении освещения. Данное решение, фактически, является методом получения одного А-скана без механического сканирования.

Схема спектральной ОКТ-системы рис. 1.3 основана на измерении спектра интерференционного сигнала при помощи спектрометра на базе дифракционной решётки и линейки фотоэлементов [15,16,17]. Данные из линейки фотоэлементов передаются в компьютер и подвергаются математической обработке. При этом, основным действием является преобразование Фурье. Спектральные ОКТ-системы имеют ряд преимуществ, по сравнению с корреляционными.

Скорость спектральных ОКТ-систем определяется, в основном, быстродействием применяемой линейки фотоэлементов. В настоящее время, такая скорость значительно превосходит скорости корреляционных ОКТ-систем.

Спектральные ОКТ-системы обладают наибольшим потенциалом в части увеличения разрешающей способности, так как практически лишены дополнительных ограничений этого параметра, кроме ширины полосы зондирующего излучения.

Недостатки спектральных ОКТ-систем связаны, в основном, с большим количеством потенциальных возможностей возникновения разнообразных артефактов в синтезируемом ОКТ-изображении. Борьба с этими эффектами требует включения в конструкцию дополнительных оптических и электрооптических элементов [22-27]. Кроме того, программные процедуры синтеза изображений требуют значительной вычислительной мощности. Это приводит к тому, что в большинстве случаев, для практической реализации синтеза изображений спектральной ОКТ в реальном времени применяются многопроцессорные вычислительные системы серверной архитектуры или вычислительные системы на базе графических процессоров.

В связи с этим, разнообразным математическим и программным методикам, предназначенным для решения этих проблем, в научной литературе уделяется большое внимание (например [27]).

Ещё одной из проблем спектральных ОКТ-систем является следующее. Для увеличения скорости линеек фотоэлементов, их, чаще всего, делают многоканальными. Автору известны модификации линеек, в которых имеется от двух до восьми параллельных аналоговых выходов. Предполагается, что соответствующие аналоговые значения должны быть оцифрованы в процессе опроса линейки синхронно и одновременно. Эти выходные сигналы даже при равномерной засветке всей линейки имеют сложную периодическую форму из-за постоянного чередования режимов опроса и экспозиции. Соответственно, необходимо обеспечить достаточно точное совпадение амплитудно-частотных характеристик для всех радиотехнических каналов между линейкой и АЦП. А это не всегда удаётся. При этом в анализируемых данных возникают паразитные частоты и артефакты, порождённые эффектами гетеродинирования при операциях математического умножения этих частот с ОКТ-сигналом.

Принцип работы оптической схемы текущей версии оптоволоконной корреляционной окт-системы

Как видно из рис. 2.5, в данной ОКТ-системе была применена тандемная схема интерферометра. Этот подход обеспечил повторяемость оптических дисперсионных характеристик эндоскопических сканирующих зондов при применении изотропного одномодового волокна. Аналогично [37,38], в этой схеме, в качестве основного измерительного устройства, применяется интерферометр Физо [49]. При этом, в качестве опорной грани используется оптическая поверхность выходного торца волокна зонда. Вторая грань образуется рассеиваетелем внутри исследуемого объекта. Дополнительный интерферометр Майкельсона предназначен для осуществления сканирования в глубину при помощи модулятора длинны оптического пути. Длина базы дополнительного интерферометра должна быть близкой к длине базы интерферометра Физо. Дополнительно, появляется возможность осуществления чувствительного балансного (дифференциального) приёма, частично компенсирующего меньшую чувствительность интерферометра Физо по сравнению с интерферометром Майкельсона.

Архитектура системы сбора данных и управления текущей версии оптоволоконной корреляционной ОКТ-системы Электрическая часть данной ОКТ-системы работает следующим образом. Система сбора данных и управления формирует синхронизированные управляющие сигналы. Эти сигналы, во-первых, обеспечивают поперечное механическое сканирование посредством сканирующей системы эндоскопического зонда (сканирование вдоль поверхности исследуемого объекта). Во-вторых, эти сигналы обеспечивают работу оптоволоконных пьезомодуляторов (сканирование в глубину исследуемого объекта). В результате дифференциальный оптический интерферометрический сигнал принимается парой фотоэлементов, усиливается и оцифровывается. Несущая частота этого сигнала 11 МГц, ширина полосы 1МГц, частота оцифровки 25 МГц. В результате мы имеем непрерывный поток данных, который с помощью системы сбора данных и управления передается в персональный компьютер (PC). Эти данные оцифрованы синхронно с процедурами модуляции и со сканированием в поперечном направлении. Для получения ОКТ изображения эти данные следует подвергнуть операции детектирования и логарифмирования. Эти функции возложены на управляющую программу, функционирующую в PC.

В отличие от предыдущих модификаций, в данной ОКТ-системе отсутствуют электрические схемы логарифмического усиления и амплитудного детектирования. Передача непрерывного потока данных во время сканирования в компьютер и передача управляющих команд от компьютера ОКТ-системе осуществляется через интерфейс USB 2.0. Для этого, в данной ОКТ-системе были использованы микросхемы контроллеров USB-устройств FT2232 и FT4232 фирмы Future Technology Devices International Ltd рис. 2.6.

Особенностью схемы, представленной на рис. 2.6, является то обстоятельство, что она разрабатывалась с целью использования не только для корреляционной ОКТ системы, но и для спектральной ОКТ-системы, которая описывается в следующей главе. Данный результат был достигнут благодаря использованию программируемой логической матрицы (ПЛМ), и двухпортовых универсальных модулей памяти с последовательной выборкой (FIFO). Для корреляционной и спектральной ОКТ-систем были использованы разные варианты программирования ПЛМ, обеспечивающие соответствующие наборы согласованных управляющих и синхронизирующих логических сигналов. В результате, данная схема, обеспечивает непрерывный асинхронный сбор данных и управление корреляционной или спектральной ОКТ-системой при использовании интерфейса USB 2.0 при его предельной пропускной способности. USB 2.0 аналоговые сигналы управления

При замене аналоговых схем обработки сигнала высокочастотной оцифровкой в совокупности с применяемой программной обработкой был достигнут динамический диапазон синтезируемого ОКТ-изображения в 30-35 дБ над уровнем фонового шума. Эти параметры были достигнуты, несмотря на то, что разрядность используемого АЦП составляла 8 бит, а скорость работы ОКТ-системы превысила 3000 A-сканов в секунду. Данный результат был достигнут благодаря применению процедуры передискретизации с усреднением (подробнее рассмотрено ниже). Приемлемая глубина и скорость сканирования данной системы были достигнуты благодаря использованию разработанных в ИПФ РАН многослойных оптоволоконных пьезомодуляторов, обеспечивающих изменение оптического пути до 10 мм со скоростью до десятков метров в секунду [1.1]

В оптоволоконной скоростной корреляционной ОКТ-системе рис. 2.3 сканирование в глубину исследуемого объекта осуществляется за счёт изменения оптического пути в оптоволоконном пьезомодуляторе. Конструкция данного пьезомодулятора состоит из двух пьезокерамических дискообразных пластин. К поверхностям этих пластин приклеено несколько слоёв оптоволокна, уложенных спиралеобразно рис. 2.7.

Применение многослойного модулятора (по сравнению с однослойным) позволило на порядок уменьшить управляющее напряжение и увеличить скорость работы модулятора.

Главным требованием к системе управления оптоволоконным пьезомодулятором являлось обеспечение постоянства скорости изменения оптического пути на максимально-возможном участке сканирования. Для увеличения общей скорости ОКТ-системы предполагалось использовать максимальную часть времени сканирования в глубину.

В более ранних вариантах для формирования A-сканов использовались только линейные участки движения модулятора в одном направлении (сканирование сверху-вниз). Это было обусловлено используемым режимом синхронизации сбора данных и управления. В результате использовалось только 40% времени работы системы, а 60% времени система работала вхолостую. Для того чтобы задействовать 100% времени работы системы необходимо было обеспечить одинаковую скорость сканирования в глубину в обоих направлениях. Задача осложнялась тем, что при новых, более высоких (на порядок) скоростях сканирования, возбуждались собственные механические резонансы модулятора (частота первого резонанса около 30 кГц). Для предотвращения возбуждения собственных резонансов возникла необходимость устранять компоненты спектра управляющего сигнала вблизи этих резонансов. Для этого форма управляющего напряжения должна быть соответствующим образом пред-искажена.

Параллельный алгоритм расчёта изображений в реальном времени для оптоволоконной системы спектральной оптической когерентной томографии

Рассматриваемая задача заключалась в разработке и оптимизации алгоритма расчёта, визуализации и сохранения ОКТ-изображений в реальном времени. Под ОКТ-изображением будем понимать один B-скан, состоящий из фиксированного количества A-сканов. Размер получаемого А-скана определяется количеством элементов используемой линейки. Количество А-сканов в B-скане определяется выбранным режимом механического сканирования и выбранной методикой модуляции. Было наложено ограничение на количество исходных А-сканов в B-скане, таким образом, чтобы оно было равно степени двойки. Один B-скан содержит информацию о внутренней структуре исследуемого объекта, которая получается за время движения механической сканирующей системы зонда в одном направлении вдоль поверхности исследуемой ткани.

Для расчетов визуализируемых данных использовались вычислительные мощности центрального процессора (CPU) в составе персонального настольного или мобильного компьютера (PC). Предполагалось, что используемый PC работает в условиях многозадачной операционной системы общего назначения. Предполагалось, что используемый CPU является многоядерным и многопотоковым. Для каждого потока каждого процессорного ядра, как будем применять термин «процессорный поток». Состав процессорных потоков, предоставленных системой для рассматриваемой задачи должен быть фиксированным и их количество должно быть чётным. Будем учитывать, что использование нами этого набора процессорных потоков не будет эксклюзивным. Таким образом, для нашей задачи использовались все процессорные потоки системы, так как она способна использовать любой из них для функционирования системы ввода-вывода, менеджмента задач и системы драйверов устройств. Целью реализации и оптимизации нашего алгоритма будем считать возможность расчета непрерывного потока ОКТ-изображений с заданной скоростью сканирования для его визуализации в реальном времени и для сохранения на диск PC без потерь. При этом должно быть обеспечено нормальное функционирование операционной системы и пользовательского интерфейса. Расчет ОКТ-изображения включал в себя следующие этапы. 1. Преобразование исходных целочисленных данных в комплексные спектры в соответствии с выбранной методикой модуляции. 2. Процедура нормировки спектра. 3. Процедура компенсации материальной дисперсии. 4. Процедура компенсации неэквидистантности исходных данных. 5. Преобразование Фурье (получение комплексного координатного представления А сканов). 6 Упорядочивание данных с учетом направления сканирования. 7. Преобразование комплексных данных в вещественные логарифмированные данные. 8. Процедура визуализации и сохранения. Рассмотрим возможности распараллеливания этих вычислений.

Критически важным, в нашей задаче, является отсутствие потерь при получении непрерывного потока данных и обеспечение свободного функционирования драйверов устройства сбора данных и управления. Для выполнения этих условий наиболее эффективным является следующий подход. Во-первых, осуществлять буферизацию получаемых данных (процедуру сбора данных) асинхронно с процедурой вычисления ОКТ-изображения. Во-вторых, обеспечить параллельный и разнесенный во времени процесс расчета чётных и нечётных изображений, последовательно получаемых ОКТ-системой в процессе сканирования. Для этого сбор данных осуществлять в два независимых неперекрывающихся буфера в оперативной памяти программы. Один из них, последовательно, будет содержать чётные, а другой нечётные исходные B-сканы. По заполнению соответствующего буфера следует запускать асинхронную процедуру расчета соответствующего ОКТ-изображения. При этом, одну половину из имеющихся в нашем распоряжении процессорных потоков следует использовать для вычисления чётных, а другую для вычисления нечётных ОКТ-изображений.

Предполагается, что сбор данных осуществляется в рамках функционирования драйвера системы сбора данных и управления. А его нормальная работа неразрывно связана с нормальным и максимально свободным функционированием операционной системы. Исходя из этого, чтобы избежать возможных задержек и потерь, необходимо избегать стопроцентной загрузки любого из используемых процессорных потоков. Поэтому, при реализации параллельных вычислений необходимо обеспечить максимально равномерную загрузку всех процессорных потоков, имеющихся в нашем распоряжении. Это выполнимо, только в результате явного назначения соответствия каждого вычислительного потока конкретному процессорному потоку. При этом, в каждый момент времени каждый процессорный поток должен быть загружен примерно равным количеством вычислительных потоков. Эти вычислительные потоки должны быть алгоритмически одинаковыми, но вычисления в них должны использовать разные независимые группы данных. Допустимы лишь кратковременные различия и задержки в потоках для обеспечения синхронизации вычислений. Эта методика параллельных, асинхронных вычислений аналогична методике, применявшейся в корреляционной системе. Однако, описанная выше последовательность действий (с 1-го по 8-е) является более сложной для распараллеливания вычислений, так как некоторые этапы вычисления выполнимы только после полного завершения всех предыдущих этапов вычислений с использованием всех исходных или промежуточных данных при вычислении текущего ОКТ-изображения. Однако в рамках отдельных этапов или некоторых последовательных совокупностей этапов вычислений можно выделить различные группы исходных и промежуточных данных, которые можно рассчитывать независимо.

Рассмотрим подробнее все этапы вычислений и возможности выделения групп для распараллеливания расчётов и их оптимизации в плане минимизации вычислительных ресурсов.

Исходные данные одного текущего B-скана имеют следующий вид. Как правило, это непосредственные результаты работы аналого-цифровых преобразователей (АЦП), присоединённых, как правило, к нескольким выходным каналам используемой линейки. То есть, мы имеем дело с одномерным массивом целочисленных данных. Чаще всего это двухбайтные униполярные данные. Количество элементов этого массива равно произведению количества элементов в используемой линейке на количество A-сканов в исходных данных B-скана. Этот массив, в свою очередь, является последовательностью массивов, каждый из которых является результатом работы линейки во время экспозиции при соответствующем последовательном положении механической сканирующей системы. Будем называть это последовательностью исходных A-сканов. Таким образом, для каждого исходного А-скана, в идеальном случае, мы имеем дело с модулем спектра интерферометрического оптического сигнала. Однако, для того, чтобы в дальнейшем с помощью преобразования Фурье получить А-скан ОКТ-изображения, нам нужно преобразовать исходные данные в комплексные спектры интерферометрического оптического сигнала. Данный этап вычислений предназначен для устранения артефактов спектральной ОКТ-системы, связанных с эрмитовостью результата Фурье-преобразования вещественных данных.

Методика этого преобразования зависит от выбранной методики модуляции интерферометрического оптического сигнала. Рассмотрим случай, когда ОКТ-система обеспечивает такое механическое сканирование, при котором расстояние между точками в пространстве, в которых происходит экспозиция соседних A-сканов, одинаково для всего B-скана. Кроме того, предположим, что конструкция модулятора интерферометрического оптического сигнала обеспечивает такие условия, что дополнительный набег фаз между сигналами соседних А-сканов будет равен /2. Тогда преобразование исходных целочисленных данных в комплексные спектры будет выглядеть следующим образом. Пусть А(х,у) - комплексный массив исходных данных В-скана, х - номер А-скана, у -номер элемента линейки.

Методика получения трёхмерных изображений с использованием однокоординатного сканирующего зонда и способ их предварительного просмотра в реальном времени

Это способ визуализации двумерного массива данных. В этом режиме данные представлены в виде прямоугольника. Каждая точка этого прямоугольника (пиксель) соответствует элементу массива. Номер пикселя по горизонтали и вертикали соответствует номеру элемента массива. Яркость (цвет) пикселя соответствует значению элемента массива. Задача состоит в том, чтобы синтезировать некий функциональны аналог B-режима для визуализации трёхмерных массивов. То есть создать у зрителя иллюзию наблюдения совокупности точек в пространстве (вокселей). Пространственная координата вокселя соответствует номеру элемента трёхмерного массива. А яркость (цвет) вокселя соответствует значению элемента массива.

Первая задача, которую приходится решать, это каким образом изобразить на плоском экране трёхмерный объект. Подходы, которые применяются в классическом трёхмерном моделировании и в стандартной компьютерной графике не совсем подходят для нашей задачи. Дело в том, что всё, что мы видим, “рисует” для нас наш мозг. И делает он это исходя из результатов определенного эвристического анализа наблюдаемой картинки. Если не принимать во внимание стереоскопичность нашего зрения, а также аккомодацию глаза, как способ подсознательного определения расстояния до объекта, даже без этого, привычные объекты, ландшафты, пейзажи и натюрморты, которые изображаются на плоском экране, фотографии или картине, мы воспринимаем как трёхмерные. Основной “опорной” информацией для восприятия объёмности окружающих нас объектов является “игра света и тени”. Распределение “освещённости” и “затенённости” говорит нам о положении объектов относительно источника света, о “выпуклости” или “вогнутости” поверхностей. Кроме того, важной опорной информацией является пространственная перспектива. То есть чем дальше от нас объект, тем он меньше. Два этих аспекта, являются основой, для методов классической компьютерной графики. Но эти аспекты, совершенно не помогают решить поставленную задачу. Визуализируемые массивы, зачастую являются произвольным пространственным распределением некой физической величины. Мы не можем оценить пространственную перспективу, так как изначально не имеем представления о сравнительных размерах наблюдаемых элементов изображения, об их суперпозиции. Кроме того, нам не поможет использование “источника освещения”, так как яркость наблюдаемых точек и является интересующей нас величиной и не должна искажаться “освещением”.

Однако полностью отказаться от “искажения” наблюдаемых данных мы не сможем. Проецируя на наблюдаемый экран все точки массива “как они есть”, мы увидим только “крайние” грани. Применяются и такие способы визуализации трёхмерных массивов. Они приносят определенный результат, если используются в совокупности с возможностью наблюдать произвольный срез рассматриваемого массива. Но существенным недостатком этих методов является то, что пользователь изначально не видит “что там внутри”. Задача состоит в том, чтобы “заглянуть глубже” и сделать наблюдаемый массив прозрачнее.

В качестве базового принципа визуализации автором был выбран метод проекции максимальной интенсивности (maximum intensity projection (MIP)). Данный метод известен [41], и заключается в том, что на плоскость экрана проецируются только воксели, которые имеют максимальную интенсивность среди вокселей, проецируемых в данный пиксель экрана. Однако метод MIP имеет ряд недостатков, ограничивающих его применимость.

Как правило, результатом метода MIP является фильм, состоящий из последовательности предварительно рассчитанных кадров, которые отображают «вращение» визуализируемого объекта вокруг вертикальной оси. Это обусловлено тем, что с одной стороны, недостатки метода MIP не дают пользователю ясно представить пространственную суперпозицию элементов визуализируемого объекта. С другой стороны, при использовании метода MIP для визуализации данных МРТ, КТ или УЗИ приходится обрабатывать большой объём исходной информации. Поэтому, несмотря на простоту вычислений, расчёт изображения каждого ракурса, без должной оптимизации, занимает значительное время.

Чтобы преодолеть эти проблемы автором был разработан способ оптимизации метода проекции максимальной интенсивности для визуализации скалярных трехмерных данных в статическом режиме, в интерактивном режиме и в реальном времени. Данный способ был защищён патентом Российской Федерации RU 2533055 [3.1]. Рассмотрим этот способ подробнее.

Попытаемся в процессе визуализации предоставить пользователю дополнительную информацию о расположении наблюдаемых вокселей относительно плоскости экрана и относительно друг друга.

Очевидно, что невозможно придумать способ визуализации трёхмерного массива произвольных данных, при котором мы сможем адекватно наблюдать сразу все воксели. Одни воксели будут скрывать другие, и любой алгоритм их одновременной визуализации будет вносить те или иные искажения. Поэтому совершенно необходимо предоставить пользователю возможность рассмотреть визуализируемый массив с разных ракурсов. Предположим, что визуализируемый массив имеет кубическую форму. Предположим, что начальный ракурс наблюдения соответствует положению куба, при котором одна из его граней параллельна плоскости экрана, а рёбра, принадлежащие этой грани, расположены строго горизонтально и вертикально. Назовём осью вращения куба прямую, которая проходит через центр куба параллельно тем рёбрам куба, которые расположены вертикально при начальном ракурсе наблюдения. Назовём углом поворота поворот куба, при котором ось вращения куба поворачивается относительно центра куба в плоскости ортогональной к плоскости экрана и вертикальной относительно наблюдателя. То есть ось вращения куба наклоняется в сторону наблюдателя. Поворот так же соответствует углу наклона граней куба, которые являлись верхней и нижней при начальном ракурсе наблюдения, относительно плоскости горизонтальной к наблюдателю. Углом поворота назовём угол поворота куба вокруг оси вращения. При любом значении и прямые проекции на плоскость экрана тех рёбер куба, которые были вертикальными при начальном ракурсе наблюдения, будут вертикальными относительно наблюдателя. Для того чтобы пользователь мог рассмотреть этот куб со всех сторон, достаточно поворотов и . То есть необходимо предоставить пользователю возможность произвольно изменять значения аир. Значения и назовём текущим ракурсом наблюдения рис. 4.4-4.5.