Содержание к диссертации
Введение
Глава 1 Методы регистрации изображений макро- и микрообъектов 12
1.1 Особенности голографического метода регистрации 15
1.2 Моделирование оптического поля 22
1.3 Алгоритм детектирования объектов и автофокусировки 25
1.4 Экспериментальная проверка алгоритма автофокусировки 28
1.5 Описание программы для реконструкции цифровых голограмм 31
1.6 Примеры изображений, полученных на голографическом приборе 32
Глава 2 Моделирование и анализ изображений хаотично расположенных однотипных объектов 34
2.1 Обзор методов получения классифицирующих признаков 34
2.2 Модельные допущения 35
2.3 Датчики случайных чисел 36
2.4 Алгоритм имитационного моделирования 38
2.5 Эталонные изображения 41
2.6 Нормирование признаков и выбор показателя их информативности 42
2.7 Классификация с использованием функции автокорреляции 44
2.8 Классификация с использованием фрактального анализа 48
2.9 Метод и алгоритм расчёта классифицирующего признака РИФ 50
2.10 Анализ эталонных изображений с применением признака РИФ 52
2.11 Влияние длины и толщины модельных волокон на значение классифицирующего признака РИФ 54
2.12 Рекуррентный алгоритм вычисления классифицирующего признака РИФ 59
2.13 Некоторые свойства алгоритма вычисления классифицирующего признака РИФ 61
Глава 3 Практическое применение классифицирующего признака РИФ 63
3.1 Классификация образцов натурной древесной массы 63
3.2 Классификация изображений волокон древесной массы, полученных на голографическом приборе 67
3.3 Классификация изображений щебня и песчано-гравийной смеси 68
3.4 Классификация изображений щепы 70
3.5 Краткое описание разработанного программного комплекса 71
Заключение 75
Список использованных источников
- Алгоритм детектирования объектов и автофокусировки
- Примеры изображений, полученных на голографическом приборе
- Классификация с использованием функции автокорреляции
- Классификация изображений волокон древесной массы, полученных на голографическом приборе
Алгоритм детектирования объектов и автофокусировки
Цифровая голография – это численный анализ и синтез волновых полей при помощи компьютера. Одно из главных преимуществ цифровой голографии заключается в возможности численного расчета амплитуды и фазы (или комплексной амплитуды) объектной волны в произвольном сечении объема измерения без необходимости какого-либо сканирования. За счет этого достигается большая глубина резкости, на порядок превышающая соответствующие значения характерные для обычного микроскопа при той же разрешающей способности, отпадает необходимость в использовании методов увеличения контраста (окрашивания и т.д.) и оказывается возможным автоматизировать процесс получения изображений микрочастиц и волокон древесной массы путем их регистрации в проточной кювете.
Достоинства простота схемы и минимальное количество оптических компонент, простота настройки, высокая разрешающая способность; высокая стабильность, необходимая для промышленных приложений; высокая точность реконструкции фазы объектной волны, так как нулевой, первый и минус первый порядки дифракции разнесены в пространстве (нет проблемы изображения-двойника)
Недостатки низкая точность реконструкции фазы объектной волны, обусловленная наложением нулевого, первого и минус первого порядков дифракции (проблема изображения-двойника); размер рабочего поля ограниченразрешением сенсораизображения и расстоянием дообъекта;более высокие требования кточности настройки оптическойсистемы.
Рассмотрим подробнее особенности, возникающие при регистрации и реконструкции цифровых голограмм. 1. Суперпозиция различных порядков дифракции.
Суперпозиция действительного и мнимого изображения (изображения двойника) в процессе реконструкции голограммы – одна из основных причин использования внеосевой схемы регистрации. Наличие небольшого угла между опорным и предметным пучком позволяет разнести в плоскости изображения различные порядки дифракции (нулевой, первый и минус первый). Однако поскольку максимально допустимый угол между ними ограничивается разрешающей способностью сенсора изображения и размером кадра, то это приводит к тому, что разрешающая способность при использовании внеосевой схемы ниже, чем у осевой. Разработано множество подходов, позволяющих подавить нулевой порядок дифракции [44–47]. В то же время существуют методы подавления мнимого изображения при использовании осевой схемы регистрации голограмм [48–51]. Все эти методы имеют некоторые ограничения: например, для осуществления метода сдвига фаз [49] необходимо не менее двух пучков (опорный и предметный). Реализация данного метода для регистрации движущихся объектов существенно усложняет схему установки и её настройку, так как четыре голограммы с различным сдвигом фазы должны регистрироваться одновременно.
Поскольку в нашем случае не требуется знать распределение фазы в плоскости микрообъектов, а их изображения получаются в результате реконструкции амплитуды объектной волны, то высокая точность реконструкции фазы не требуется. Следовательно, можно применить осевую схему регистрации голограмм. 2. Низкая разрешающая способность вдоль оптической оси. Разрешающая способность вдоль оптической оси на порядок хуже, чем в перпендикулярной плоскости. Амплитуда светового поля изменяется гораздо медленнее, чем его фаза. Существуют исследования [52], которые показывают, что для непрозрачных частиц анализ фазы вблизи локального максимума амплитуды даёт четырёхкратное увеличение разрешающей способности по сравнению с результатами анализа амплитуды. Сопоставление дифракционной картины рассеяния света на частице с предсказанной теорией рассеяния Ми [53] позволяет измерить координаты частиц с точностью до 10 нм вдоль оптической оси и 1 нм в перпендикулярной плоскости [54]. Однако данный подход может быть использован лишь для частиц, форма которых близка к сферической, а концентрация настолько низкая, что их дифракционные картины не накладываются друг на друга. 3. Низкая концентрация частиц в измерительном объеме. При использовании осевой схемы регистрации голограмм часть света, рассеянная на объектах (частицах), интерферирует с невозмущенной частью пучка, что ограничивает максимальную концентрацию и размеры объектов [55]. Увеличение концентрации приводит к снижению SNR (отношение уровня сигнала к уровню шума) и глубины регистрируемой сцены, поэтому для измерения крупных объектов и высоких концентраций используют дополнительный пучок, параллельный оптической оси, а невозмущенную часть предметного пучка блокируют. Такое решение усложняет настройку оптической системы, повышает требования к когерентности источника излучения и стоимость системы. 4. Спекл. Спекл, образующийся при прохождении когерентного излучения через прозрачную среду с неоднородным показателем преломления, снижает SNR, максимально допустимое значение концентрации частиц, затрудняет автоматическое детектирования объектов на голограмме. Подавление спекла возможно путём использования источника низкой когерентности. 5. Низкая частота дискретизации сигнала. При неправильно выбранном расстоянии между объектом и сенсором изображения частота дискретизации голограммы может оказаться недостаточной из-за ограниченного размера пиксела, что приведёт к тем же последствиям, что и спекл. 6. Высокие требования к вычислительным ресурсам.
Для вычисления интеграла дифракции требуются большие вычислительные ресурсы. Высокая производительность может быть достигнута выполнением вычислений на графическом ускорителе (GPU).
Рассмотрим факторы влияющие на разрешающую способность и глубину регистрируемой сцены при использовании голографии. Для определённости рассмотрим осевую схему регистрации без опорного пучка, представленную на рисунке 4, где объекты (4) и (6) подсвечиваются коллимированным пучком (7) от лазерного источника. Рассеянный на объектах пучок преломляется линзой (3), а затем регистрируется сенсором изображения (1).
Примеры изображений, полученных на голографическом приборе
Поскольку волокна похожи друг на друга, но имеют различный масштаб, то возникло предположение, что изображения, составленные из них, должны обладать свойством самоподобия. Самоподобие означает неизменность основных геометрических характеристик фрактального объекта при изменении масштаба. Например, изображения многих фрактальных объектов оказываются очень похожими при увеличении разрешения в микроскопе. Это можно наблюдать и в отношении волокон древесной массы. Такие структуры логично будет описывать с помощью фрактальной геометрии. Некоторые алгоритмы сжатия изображения с использованием теории фракталов можно найти в источниках [84, 85].
С помощью программы MFR Drom [86, 87] Г. В. Встовского для модельных изображений классов А1, А2, А3 были построены спектры обобщенных фрактальных размерностей Реньи [88]. Усредненные по 10 образцам кривые представлены на рисунке 20.
На графиках указаны 90-процентные доверительные интервалы средних значений. Для графика A2 доверительные интервалы аналогичны A1, A3 и не указаны, чтобы не загромождать рисунок. Доверительные интервалы графиков А1 и А2 перекрываются, следовательно, эти графики статистически не различимы, тогда как А1 и А3 отличаются больше случайных погрешностей.
Оценим информативность признаков, полученных данным методом с применением методики, описанной в главе 2.6. Результаты расчёта мер внутриклассового и межклассового различия приведены в таблицах 9 и 10.
Из таблицы 10 следует, что минимальное евклидово расстояние между различными классами составляет 3.96 (для классов А2 и A3), тогда как из таблицы 9 следует, что максимальное расстояние между элементами одного класса равно 4.08 (для класса А3). Следовательно, минимальное межклассовое различие меньше максимального различия между элементами одного класса.
Вывод: спектр обобщенных фрактальных размерностей Реньи непригоден в качестве признака, классифицирующего эталонные изображения.
Дискретное изображение представлено в виде матрицы / с размерами N х N, каждый элемент которой соответствует одному пикселу. 1. Обнуляются массив Д и S. 2. Значения элементов матрицы / нормализуются в диапазоне от 0 до 1, причем белому фону (/ = 1МАХ) соответствует значение / = 0. 1[х,у]-1мш Г[х,у] = 1— ш , (39) 1-І MAX MIN где х, у є Z; x, ye [0,Л/-1]; !MIN 1МАХ значения минимальной и максимальной яркости пиксела на изображении. 3. Пусть і обозначает масштаб и на первой итерации равно 1, а п. = 2і. 4. Изображение / условно разбивается на смежные квадратные области с размерами я. х п. пикселов, количество которых равно N{ х N{, причем N. =. Предлагаемый метод был реализован в виде процедуры на C++, которая осуществляет предварительную обработку изображений и рассчитывает значения признака РИФ для последующей классификации. 2.10 Анализ эталонных изображений с применением признака РИФ
Предложенный классифицирующий признак РИФ был применен для анализа эталонных изображений. Расчетные кривые, полученные в результате усреднения по 10 образцам одного класса, приведены на рисунке 21.
На графиках указаны 90-процентные доверительные интервалы средних значений. Видно, что доверительные интервалы не перекрываются. Расчет 90-процентного доверительного интервала для случайного значения по формуле AND. =t і q IK 7=1 10-1 ND ) (46) где tq – коэффициент Стьюдента, показал, что для того, чтобы отличить изображения классов А1 и А2 с использованием данного метода, достаточно всего по одному изображению каждого класса.
С целью проверки применимости данного метода для классификации фракций, отличающихся толщиной элементов, были обработаны изображения классов B1, B2, B3 (параметры моделирования классов содержатся в таблицах 4, 5). Результаты вычислений представлены в таблице 11.
Значения признаков РИФ, полученные в результате обработки эталонных изображений классов A и B, отличающихся средней толщиной модельных волокон
В данной таблице NDi обозначает 90-процентный доверительный интервал среднего значения компоненты i вектора РИФ. Можно заметить, что для образцов, содержащих большее количество длинных волокон, увеличиваются значения компонент признака с большими порядковыми номерами, тогда как уменьшение средней толщины волокон приводит к увеличению значений компонент признака с малыми порядковыми номерами. Таким образом, признак РИФ содержит информацию об объектах на изображении, размеры которых сравнимы с размером области разбиения, зависящим от порядкового номера i.
Оценим различительную способность признака РИФ с применением методики описанной в главе 2.6. Результаты расчёта мер внутриклассового и межклассового различия после выполнения нормирования приведены в таблицах 12 и 13.
Из таблицы 13 следует, что минимальное евклидово расстояние между различными классами составляет 7.11 (для классов А1 и А2), тогда как из таблицы 12 следует, что максимальное расстояние между элементами одного класса равно 1.40 (для класса А3). Следовательно, показатель различительной способности С=7.11/1.40-5.1. Таким образом различительная способность признака РИФ в 1.4 раза превысила соответствующий показатель для признака, основанного на функции автокорреляции. С помощью имитационной модели была сгенерирована выборка из 4500 эталонных модельных изображений с размерами 512x512 пикселов по 100 эталонов каждого класса. Значения основных параметров моделирования: N = 512, Lmax = 2N, dmax = 9, Qmax= 120000.
Дополнительные параметры, влияющие на среднюю длину модельных волокон, имели следующие значения: ML=0.5 оставался постоянным, а DL варьировался на 15 уровнях в диапазоне от 1.2 до 2.1 (всего 15 классов по длине). Параметры Md и Д, от которых зависит средняя толщина модельных волокон варьировались на 3 уровнях. Итого было получено 15x3=45 классов.
Для каждой группы из 100 изображений одного класса с помощью алгоритма, описанного в главе 2.9, получено значение классифицирующего признака РИФ, имеющего девять компонент (т=9). В результате было получено iV=45 усредненных кривых, принадлежащих различным классам.
Классификация с использованием функции автокорреляции
Оценка информативности полученных признаков для классификации изображений натурных образцов древесной массы выполнялась с использованием показателя, предложенного в главе 2.6. Рассчитав евклидово расстояние в пространстве признаков между всеми образцами древесной массы, получим матрицу размерностью 2020. Элементы матрицы, имеющие максимальное значение расстояния между различными образцами, принадлежащими к одному классу, сведены в таблицу 22.
Мера различия 0.032 0.039 0.018 0.016 0.012 Для нахождения межклассового различия, значения признаков РИФ усреднены по четырём образцам, принадлежащим каждому классу, а затем вычислена матрица евклидовых расстояний размерностью 5x5 между образцами различных классов, которая приведена в таблице 23.
Из таблицы 23 видно, что минимальное межклассовое различие составляет 0.132 (для классов № 3 и № 4), тогда как максимальное различие между элементами одного класса древесной массы (таблица 22) составляет 0.039 (для класса № 2). Следовательно, различительная способность равна С=3.38, что говорит о пригодности признака РИФ для классификации исследуемых образцов древесной массы, имеющих различные физико-механические свойства.
Коэффициент корреляции межклассового различия физико-механических свойств исследуемых образцов древесной массы и межклассового различия признака РИФ, вычисленного по элементам таблиц 21 и 23, находящимся выше главной диагонали, равен rn=0.92 (n=10). Гипотеза об отсутствии связи между указанными величинами, проверенная по t-критерию Стъюдента на уровне значимости 0.05, отвергнута, так как VI-0.92 Это говорит о наличии стохастической связи между физико-механическими свойствами исследуемых натурных образцов древесной массы, приведёнными в таблице 19, и значениями признака РИФ, полученными в результате анализа изображений. 3.2 Классификация изображений волокон древесной массы, полученных на голографическом приборе
С целью демонстрации возможности применения признака РИФ для классификации древесной массы в потоке, данный признак был применён к изображениям, полученным на голографическом приборе. Для эксперимента были использованы два изображения размером 10241024 пиксела. Результаты обработки представлены в таблице 24 и на рисунке 27.
В таблице (обозначен NDi) и на графиках приведены значения 90-процентных доверительных интервалов значений признаков РИФ. Можно видеть, что графики различаются статистически значимо.
Значения признака РИФ для изображений древесной массы DHM1, DHM2, полученных с помощью голографического прибора i – номер компоненты признака 3.3 Классификация изображений щебня и песчано-гравийной смеси
В эксперименте использовались 8 образцов щебня и песчано-гравийной смеси, характеристики которых приведены в таблице 25. Для каждого образца в одинаковых условиях и с одинаковым увеличением получены по 5 изображений с разрешением 10241024 пиксела (всего 40 изображений), примеры которых представлены на рисунке 28.
Песок Для каждого изображения вычислены значения признаков РИФ, выполнено их нормирование с использованием методики, описанной в главе 2.6, а затем проведена оценка различительной способности нормированных признаков. Значения внутриклассового и межклассового различий представлены в таблицах 26 и 27.
Установлено, что минимальное евклидово расстояние между различными классами в пространстве информативных признаков составляет 1.62 (для классов № 2 и № 3), тогда как максимальное расстояние между элементами одного класса равно 1.27 (для класса № 4). Следовательно, минимальное межклассовое различие превышает максимальное различие между элементами одного класса.
Согласно таблице 25, образцы № 2 и № 3 содержат щебень одинаковой фракции и различаются только наличием песка у образца № 2; видимо, этим и объясняется малая величина меры межклассового различия.
Тогда как образец самой большой фракции № 6 (с размером зёрен более трёх дюймов) и образец самой малой фракции № 8 (песок), отличаются больше всех остальных (согласно таблице 27, мера различия между ними составляет 9.87) . 3.4 Классификация изображений щепы Для эксперимента использовались четыре изображения щепы различных фракций (точный фракционный состав неизвестен), приведённые на рисунке 29. Размеры изображений 10241024 пиксела. Программа для реконструкции цифровых голограмм и автоматического определения координат объектов в измерительном объеме
Программа позволяет обрабатывать на компьютере видеофайлы, на которых зарегистрированы голограммы объектов. Она автоматически детектирует объекты на голограмме и измеряет их количество, трехмерные координаты, размеры. Результаты расчетов сохраняются. Параметры расчета (путь и название обрабатываемого фото или видеофайла, длина волны источника, эффективный размер пиксела, минимальное и максимальное фокусное расстояние и др.) указываются в конфигурационном файле.
Формат команды для запуска программы из командной строки: hologram.exe config_file.cfg Результаты расчётов сохраняются в текущей директории и содержат: magn_XXXX_YYYY.png – изображение модуля амплитуды оптического поля; phase_XXXX_YYYY.png – изображение фазы оптического поля, где XXXX – номер текущего кадра видеофайла; YYYY – расстояние вдоль оптической оси (мкм) от плоскости регистрации голограммы; Objects.txt – содержит трёхмерные координаты и размеры объектов (мкм), детектированных в измерительном объеме;
Программа имеет графический интерфейс, позволяющий наблюдать процесс реконструкции на экране. Высокая производительность вычислений достигается применением технологии CUDA.
Классификация изображений волокон древесной массы, полученных на голографическом приборе
Программа предназначена для пакетной обработки изображений в формате bitmap (без сжатия) и расчета классифицирующих признаков с применением функции автокорреляции. Подробное описание содержится в разделе 2.7, а блок-диаграмма приведена в приложении Е. Программа для обработки изображений и расчёта классифицирующих признаков РИФ Программа предназначена для пакетной обработки изображений в формате PNG (portable network graphics) и расчёта значений классифицирующего признака РИФ с применением рекуррентного алгоритма, описанного в разделе 2.12. Формат команды для запуска программы из командной строки: rif.exe input_dir output_file.txt Параметры на входе программы: input_dir – наименование папки содержащей изображения для обработки; output_file.txt – название файла с результатами расчётов. Результаты расчётов сохраняются в текстовый файл с разделителями (используется знак табуляции). В первом столбце находится наименование обработанного изображения, а затем значения компонент признака РИФ.
Программа для нормирования классифицирующих признаков и расчёта показателя их информативности Программа предназначена для обработки в соответствии с методикой описанной в разделе 2.6 текстовых файлов, содержащих значения классифицирующих признаков. Результатом работы программы является текстовый файл, содержащий: 1. нормированные значения признаков (опционально); 2. матрицу евклидовых расстояний , характеризующую различие между парами векторов признаков; 3. максимальные значения расстояний для признаков, принадлежащих одному классу; 4. средние значения векторов признаков, принадлежащих одному классу; 5. матрицу значений межклассового различия векторов признаков; 6. показатель информативности C. Формат команды для запуска программы из командной строки: euclide.exe input_file.txt output_file.txt -options Параметры на входе программы: input_file.txt – имя текстового файла, содержащего значения признаков (признаки принадлежащие одному классу должны идти подряд, количество образцов каждого класса должно быть одинаково); output_file.txt – имя текстового файла, содержащего результаты расчётов. Опции: n указывает на необходимость предварительного нормирования значений признаков; s N N – количество образов (признаков), принадлежащих одному классу Заключение В ходе диссертационной работы выполнен литературный обзор методов измерения гранулометрического и фракционного состава макрообъектов. Сопоставляются результаты, полученные с применение системы машинного зрения, с данными механического ситового анализа. Рассмотрены методы регистрации микрообъектов и проблема снижения глубины резкости при увеличении разрешающей способности оптической системы. Описываются достоинства и недостатки голографических методов регистрации. Выведена формула, связывающая расстояние от объекта до виртуального сенсора изображения и разрешающую способность с глубиной регистрируемой сцены. Показано, что глубина регистрируемой сцены при использовании голографического метода почти в 300 раз превышает глубину резкости обычного микроскопа при той же разрешающей способности и размере сенсора изображения 10241024 пиксела.
С применением технологии программирования параллельных вычислений CUDA на графическом ускорителе выполнено моделирование оптического поля на произвольном расстоянии от голограммы, регистрируемой сенсором изображения. Разработан алгоритм детектирования объектов и измерения их положения по глубине. Создана программа для реконструкции цифровых голограмм и автоматического определения координат объектов в измерительном объеме, на которую получено свидетельство о государственной регистрации (приложение И).
Разработана имитационная модель, позволяющая генерировать изображения совокупности хаотично расположенных однотипных объектов заданного фракционного состава. Однотипные объекты исследуются на примере геометрических объектов в виде модельных волокон. На эталонных изображениях, сгенерированных имитационной моделью, показана невозможность их классификации с применением признаков, основанных на фрактальном анализе.
Предложен численный метод вычисления классифицирующего признака РИФ, предназначенного для классификации изображений совокупности хаотично расположенных однотипных объектов по фракционному составу. На эталонных изображениях показано, что различительная способность признака РИФ в 1.4 раза превысила соответствующую способность признаков, полученных с использованием функции автокорреляции.
На контрольной выборке в результате применения компонентного анализа установлено, что первые две главные компоненты составляют более 97% вклада в общую дисперсию признака. Установлено, что эти две компоненты связаны с длиной и толщиной волокон, присутствующих на анализируемых изображениях.
Выполнен анализ характеристик численного метода расчета значения классифицирующего признака РИФ, полученных на изображениях древесной массы, щебня, песчано-гравийной смеси, щепы. Эксперименты показали его высокую различительную способность.
Создан комплекс программ, реализующий имитационную модель и метод расчета значения классифицирующего признака РИФ. Применение рекуррентного алгоритма суммирования элементов матрицы позволило существенно повысить скорость вычисления признака. Выполнен анализ вычислительной сложности и требований к объему оперативной памяти при реализации метода.