Содержание к диссертации
Введение
Глава 1. Задача локальных гиперспектральных исследований 10
1.1 Средства регистрации гиперспектральных измерений 11
1.2 Описание существующих методов дистанционного гиперспектрального зондирования Земли 14
1.2.1 Тематическая обработка гиперспектральных данных 18
1.3 Обзор программных средств обработки гиперспектральных данных26
1.4 Требования к программному комплексу 30
Глава 2. Разработка алгоритмического аппарата и программных средств регистрации и визуализации спектральной информации 32
2.1 Алгоритмическое обеспечение локальных гиперспектральных измерений 33
2.1.1 Проблема выбора диспергирующего элемента 33
2.1.2 Математическая модель гиперспектрометра 39
2.1.3 Результаты моделирования локальных спектральных измерений 48
2.1.4 Исследование алгоритма программной коррекция дисторсии гиперспектрометра 51
2.1.5 Выбор формата сохранения и использования регистрируемых данных 58
2.2 Модель программного обеспечения 63
2.3 Диаграмма классов 75
2.4 Реализация интерфейса программного комплекса 84
2.4.1 Исследование подготовки, управления и использования готовых библиотек эталонных сигнатур 91
Глава 3. Экспериментальные исследования разработанных программных средств локального гиперспектрометра на тестовых примерах 95
3.1 Описание гиперспектрометра для проведения экспериментов 95
3.2 Методика экспериментальной проверки программного обеспечения 97
3.2.1 Сценарий использования программных средств 97
3.2.2 Сценарий использования гиперспектрометра 99
3.2.3 Схема экспериментальной сцены 100
3.3 Результаты тестирования и настройки программного комплекса... 101
3.3.1 Результаты работы модуля коррекции дисторсии 102
3.3.2 Результаты тематической обработки 104
Заключение 110
Список литературы 112
- Описание существующих методов дистанционного гиперспектрального зондирования Земли
- Исследование алгоритма программной коррекция дисторсии гиперспектрометра
- Реализация интерфейса программного комплекса
- Методика экспериментальной проверки программного обеспечения
Введение к работе
Одним из современных методов исследования поверхности объектов, их физических и химических свойств, является дистанционная перазрушающая идентификация объектов с использованием оптических приборов. Этот метод подразумевает использования программного обеспечения для регистрации большого объема спектральной информации и порождает необходимость создания алгоритмических и программных решений для обработки этих данных. Актуальной задачей является применение дистанционной съемки в робототехнике и мехатронике. Конструирование и использование мобильных комплексов дистанционного зондирования осложнено ограничениями на состав и мощность вычислительных средств, энергоресурсов и средств передачи информации. Внедрение программного комплекса, позволяющего проводить автономную обработку информации, сокращает временные затраты на передачу информации, повышает надежность системы за счет отсутствия необходимости передачи данных во внешние ресурсы для обработки, увеличивает оперативность принятия решения, зачастую позволяет полностью автоматизировать систему, в которую входит система дистанционной идентификации.
Хорошо известно и широко используется для исследования поверхностей и составляющих их материалов дистанционное зондирование — удаленное наблюдение авиационными и космическими средствами, оснащёнными различными видами регистрирующей аппаратуры [19, 20].
Появление фото и видеоаппаратуры высокого спектрального разрешения, работающих в видимом и близлежащих к нему спектрах электромагнитного излучения, позволило использовать спектральную информацию для исследования физико-химических свойств поверхностей в интересах средств мониторинга Земли [23]. Спектральные исследования
или спектральный анализ основываются на способности материалов поглощать и отражать свет [37]. Основой спектрального анализа является предположение об однозначном соответствии отраженного сигнала и состава отражающей поверхности. Для достаточно большого числа спектральных каналов (одновременно регистрируемых спектральных диапазонов для одной и той же точки поверхности, которые возможно разграничить), на которых производится измерение интенсивности отраженного сигнала, для различных отражающих материалов наблюдаются различные спектры отраженного сигнала.
Увеличение числа каналов в одном и том же диапазоне приводит к увеличению точности спектрального разрешения измерений и значительному увеличению объема обрабатываемых данных [10]. Наличие двадцати и более каналов в приборе, регистрирующем одновременно интенсивность излучения сигнала для всех длин волн и пространственной координаты исследуемой поверхности, позволяет говорить об использовании в спектральных исследованиях гиперспектрометра. Соответственно гиперспектральным анализом называется спектральный анализ, проводимый для числа спектральных каналов (числа длин волн, для которых измеряется интенсивность) от нескольких десятков до тысяч. Интенсивность отраженного сигнала зависит, разумеется, и от интенсивности сигнала подсветки [46], в качестве которой может быть использованы как естественные источники света - Солнце [7], Луна, так и искусственное освещение, и от способности к самостоятельному излучению сигнала.
Основными величинами, подлежащими измерению при спектральном анализе, являются длина волны, интенсивность отраженного сигнала и пространственная координата исследуемой поверхности. Поэтому центральным объектом гиперспектрального анализа является гиперкуб -массив данных, образуемых двумя пространственными координатами и значениями интенсивности отраженного сигнала для каждой длины волны
от поверхности, разбитой на пиксели. Программное обеспечение формирует гиперкуб путем интегрирования всего объема регистрируемой информации в единый массив данных (рис.В.1).
Рис.В. 1 Пример гиперкуба.
Основное функциональное отличие гиперспектрального анализа от мультиспектрального заключается в возможности использования для тематической обработки (то есть обработки полученных данных с целью выявления объектов на общем фоне, удовлетворяющих заранее известным критериям) изображения его спектральных характеристик. Отсутствие фактического усреднения интенсивности излучения по 3-5 диапазонам длин волны позволяет сохранить уникальность данных передаваемых отраженным излучением. Это позволяет применять информацию, теряемую при использовании мультиспектрального анализа, для определения химического состава поверхностей.
В задачах дистанционного зондирования объекты, наблюдаемые на поверхности Земли, расположены на значительном удалении от исследовательского прибора, обладают намного меньшими геометрическими размерами, чем ширина полосы обзора (полоса поверхности, попадающая в поле видимости гиперспектрометра) [14]. В рассматриваемых в диссертации задачах локальных гиперспектральных исследований размеры объектов сопоставимы, а зачастую и превышают полосу обзора прибора, а расстояние от исследовательского прибора до
зондируемой поверхности составляет от десятков сантиметров до десятков метров.
Использование этого нового класса гиперспектральных приборов
потребовало создания специального программного обеспечения для
регистрации, сохранения, предварительной подготовки и дальнейшей
обработки гиперспектральной информации. Требования к
разрабатываемому программному обеспечению локального
гиперспектрометра в сильной степени зависят от целевой задачи системы наблюдения и способа спектрального преобразования отраженного сигнала. Важной является проблема альтернативного выбора дифракционной решётки или призмы в качестве средства спектрального разложения. Из соображений снижения стоимости спектральных приемников и видеосенсоров желательно ограничиться единственным фотоприёмником. Достоверная математическая и программная модели локального гиперспектрометра позволяют выбрать его характеристики и установить необходимые зависимости между параметрами оптического канала и требованиями к программному обеспечению.
В диссертации разрабатываются алгоритмы и программные средства для гиперспектрального комплекса с единственной видеокамерой, обеспечивающие регистрацию и визуализацию спектральных сигналов, получаемых от объектов, расположенных вблизи гиперспектрометра.
Цель работы
Создание и исследование алгоритмов и программных средств для
анализа в полевых и лабораторных условиях возможности использования локальных гиперспектральных измерений при решении задач идентификации в мехатронике и робототехнике.
Основные задачи
разработка математической модели измерений, выполняемых
лабораторным локальным гиперспектрометром;
анализ и классификация задач, решаемых локальным гиперспектрометром;
создание модели алгоритмов для обработки локальных гиперспектральных данных и синтез состава программных средств их реализации;
разработка программных средств для регистрации и визуализации локальных гиперспектральных данных и их лабораторная проверка.
Научная новизна:
построена математическая модель для оценки погрешностей, вносимых
в результаты работы программного обеспечения различными
составляющими оптической подсистемы локального
гиперспектрометра;
разработан метод исправления оптических искажений гиперспектральных данных, отличающийся от известных методов повышенной точностью;
разработана модель программного комплекса регистрации, обработки и визуализации локальных гиперспектральных данных.
Практическая значимость
разработанная математическая модель позволяет оценить погрешность
измерений локального гиперспектрометра в зависимости от его параметров и расстояния до исследуемой поверхности;
созданный программный комплекс позволяет провести экспериментальные работы в полевых условиях и сформировать базу сигнатур эталонных образцов для задач робототехники и мехатроники;
программное обеспечение для обработки гиперспектрального сигнала обеспечивает возможность использования одной видеокамеры для построения контуров спектральных границ исследуемой поверхности;
сконструированный в ходе диссертационного исследования экспериментальный локальный гиперспектрометр используется в ИПМ им.М.В.Келдыша РАН при проведении лабораторных экспериментов и в учебном процессе;
разработанная модель программного обеспечения полезна при создании прикладных локальных гиперспектральных комплексов.
Публикации
Основные результаты диссертации представлены в одном журнале из списка ВАК РФ, рекомендованного Экспертным советом по специальности "Математическое и программное обеспечение вычислительных машин, комплексов, систем и сетей" и в материалах пяти зарубежных и отечественных конференций.
Структура и состав диссертации
Диссертация состоит из введения, трех глав, выводов, списка литературы. Она изложена на 116 страницах и содержит 4 таблицы, 58 рисунков и список литературы из 60 наименований.
Описание существующих методов дистанционного гиперспектрального зондирования Земли
Средства дистанционного гиперспектрального зондирования разделим на несколько классов по критериям: вариант размещения прибора, вид регистрирующей аппаратуры, числу каналов, на которые разбивается весь регистрируемый диапазон спектра и координат. Существующие средства дистанционного гиперспектрального зондирования поверхности Земли классифицируем в виде таблицы (табл. 1.2.1):
В работах [2, 3, 6, 8, 36] приведены области применения и их краткое описание, где средства гиперспектрального анализа уже используются или имеют широкие возможности для этого.
Выделим области применения, где использование локальных исследований позволит производить мониторинг и изыскание в сжатые сроки и с большей точностью, чем использование средств удаленного мониторинга с бортов авиационных и космических носителей. В первую очередь, выделим области применения, где уже используются различные средства мониторинга поверхности, например: прокладка и эксплуатация газо- и нефтепроводов подземной и обвалованной укладки [39], экологический мониторинг окружающих поверхностей рядом с объектами инфраструктуры нефте- и газодобычи [40], а также экология буровых работ и добычи на суше и шельфе [33] и мониторинг подземных газохранилищ и танков с нефтепродуктами. Автоматические мобильные комплексы, робототехника, а также область мониторинга инфраструктуры города, относятся к одним из актуальных сфер применения, где в настоящее время информация собирается с помощью инфракрасных камер, набора обычных видеокамер, а также ультразвуковых датчиков. Вопросы использования локальных гиперспектральных измерений в сельском и лесном хозяйствах (включая фермерские хозяйства и питомники) крайне остро стоят в странах Средиземноморья, в областях с засушливым климатом, зонах с повышенной вероятностью возникновения очагов пожаров и часто подверженным нашествию насекомых.
Одним из базовых понятий гиперспектрального анализа является сигнатура отраженного сигнала - зависимость интенсивности сигнала от длины волны [38]. Известная сигнатура, однозначно ассоциированная с веществом или материалом, составляющим поверхность, называется эталонной сигнатурой или эталоном. Набор эталонов, применяемых при обработке экспериментальной сцены, полученной методом дистанционного гипер спектрального зондирования, называется библиотекой эталонов или спектральной библиотекой.
Отличительной особенностью локального гиперспектрометра является то, что работа в непосредственной близости от исследуемой поверхности позволяет набирать и использовать базу эталонов с высокой степенью достоверности. Полученные эталонные сигнатуры немедленно верифицируются и не требуют повторного исследования местности для подтверждения своей правдоподобности. Отметим, что это необходимо делать при использовании гиперспектрометров, установленных на летательных аппаратах, ввиду возможности неверной классификации материала из-за неверных предположений о составе эталонного участка.
Типовым способом использования гиперспектрометра в дистанционном зондировании, является установка прибора на платформу на космическом аппарате или авиационном носителе. При движении платформы вдоль поверхности Земли гиперспектрометр производит сканирование трека, сохранение полученной информации на устройства долговременной записи с целью дальнейшей передачи эти данных в вычислительный центр для обработки гиперспектральной информации. После получения необработанных данных производится предварительная обработка информации с целью: коррекции эволюции летательного аппарата, атмосферной составляющей, влияющей на отраженный сигнал, исправления нечитаемых участков данных и нормализации освещенности сканированной поверхности. Для этого применяются различные методы предварительной коррекции данных, описанные в [21, 22].
После проведения предварительной обработки гиперспектральных данных с помощью различных методов тематической обработки (подробнее они описаны в параграфе 1.2.1) проводят подготовку спектральных библиотек. С помощью созданных или уже готовых библиотек спектральных сигнатур при тематической подготовке производят сравнение спектральных характеристик и, таким образом, по различным критериям совпадения выявляют интересующие зоны на полученных материалах.
Исследование алгоритма программной коррекция дисторсии гиперспектрометра
Дисторсия - абберация оптической системы, в результате которой линейное увеличение различается в разных точках изображения. Данный эффект необходимо учитывать при разработке гиперспектрометра в большей мере, нежели при создании фотографических объективов. В последнем случае дисторсия приводит лишь к незначительному (в случае не широкоугольных объективов) искажению изображения, что не мешает его восприятию. Дисторсия же в гиперспектрометре приводит к нарушению соответствия длины волны и наблюдаемой на ней интенсивности. Таким образом, получаемая в результате спектральная функция не соответствует реальности.
Для получения наилучшего изображения на матрице видеокамеры должны выполняться следующие условия: призма должна быть установлена на минимум угла отклонения; лучи, выходящие из одной точки щели, должны падать на призму в виде параллельного пучка; лучи, падающие на призму, должны быть перпендикулярны ее преломляющему ребру.
Вследствие зависимости показателя тт призма может быть установлена на минимум отклонения только для узкого интервала волн. Как правило, выбирается длина волны, для которой проводится весь расчет оптических параметров системы.
Непараллельность пучков, падающих на призму, возникает вследствие неточной установки щели в фокусе коллиматорного объектива. При наличии в нем хроматической аберрации точная установка невозможна, так как фокусное расстояние такого объектива зависит от длины волны. Кроме того, оптическая щель имеет конечную высоту и лучи света, идущие от ее различных участков, проходят сквозь призму под различными углами. Для наклонных лучей преломляющий угол призмы оказывается больше и они преломляются сильнее. Вследствие этого спектральные линии оказываются искривленными с выпуклостью, обращенной в сторону длинных волн. Кривизна возрастает к фиолетовому концу спектра. [56]
Первые полученные изображения от сконструированного прибора позволили сделать вывод о необходимости разработки программного решения, позволяющего исправить изображение. Результатом работы такого алгоритма должна быть «идеальная картинка», т.е. необходимо перевести все точки полученного кадра в точки, которые были бы получены в случае использования идеальной оптической системы.
В результате анализа литературы был найден всего один алгоритм, описывающий исправление дисторсий, в [25]. Для определения "правильного" положения точек автор использовал линии поглощения атмосферы и линии, соответствующие протяженным предметам в поле видимости гиперспектрометра (рис.2.1.4.1). Здесь и далее в текущем
На этом рисунке хорошо видны темные линии. Поскольку известно, что они должны быть параллельны соответствующим краям изображения, можно создать набор точек, координаты которых известны как для искаженного, так и для исправленного изображения. На рис. 2.1.4.2 показаны эти линии, выделенные красным цветом.
Для исправления изображения будем искать закон преобразования координат где \x y) - координаты точки исправленного изображения, (х,у) начального. Поскольку этот закон может иметь достаточно громоздкий вид, будем искать его отдельно для каждой области изображения, ограниченной красными линиями. Кроме того, будем предполагать этот закон линейным внутри каждой области. Для увеличения точности данного предположения необходимо уменьшение областей, то есть увеличение числа реперных линий. В таком предположении закон преобразования координат имеет вид
Реализация интерфейса программного комплекса
Теперь опишем основные части интерфейса программы «Camera view». После выполнения операционной системой загрузочного exe-файла, перед пользователем-оператором появляется основное окно программы (рис.2.4.1). Оно состоит из двух страниц-вкладок: «Main window» и «Convolution».
В первом из них происходит основная работа, во втором пользователь-оператор может наблюдать создание слоя гиперкуба (рис.2.4.2), соответствующего заданной длине волны. Это происходит путем добавления от каждого последующего кадра столбца шириной один пиксель. Таким образом, во время съемки «наращивается» картинка, позволяющая пользователю-оператору наблюдать информационную картину, которая была записана в гиперспектральных данных. Таким образом, отпадает необходимость использования видео или фотоаппаратуры для дальнейшего наложения гиперспектральных и фотовидео данных для поиска контура исследуемой поверхности.
С помощью этой функции пользователь-оператор во время съемки может визуально оценить яркость получаемых данных по заданной длине волны и при необходимости изменить время экспозиции. Номер столбца, соответствующий определенной длине волны, задается пользователем-оператором в основном окне в правом меню в поле под кнопкой «Load image».
В правой части главного окна находится меню с часто используемыми функциями управления: запуск и остановка записи в различных режимах, инициализация регистрирующей камеры, окна определения номера пикселя матрицы для создания слоя гиперкуба с длиной волны, соответствующей заданному номеру пикселя, сохранение полученных данных гиперспектральной съемки.
В верхней части экрана находится меню, где пользователь-оператор управляет подменю создания слоя гиперкуба (рис 2.4.3),
В программу добавлена функция установки зоны интереса (ЗИ), при выборе которой считывание информации с матрицы проводится только из выбранного массива пикселей. Для выбора ЗИ необходимо начать полнокадровую съемку, используя кнопки "Get video" или "Get image". Используя мышь, на изображении можно выделить прямоугольник ЗИ. Если изображение получено при помощи съемки видео, каждый следующий прямоугольник будет уничтожать предыдущий. Если же изображение получено при помощи съемки одного кадра, все прямоугольники отображаются на экране (рис.2.4.5), при этом требуемая ЗИ будет считана из последнего нарисованного прямоугольника.
После описанной настройки программа готова для записи видео или последовательности считываемых кадров в отдельные файлы.
Во время съемки в нижнем контейнере отображается СФЯ (рис.2.4.6). Она вычисляется для горизонтальной полосы, определенной положением курсора мыши. Поэтому во время настройки и съемки пользователь-оператор может в режиме реального времени видеть СФЯ любой точки пространства, регистрацию данных с которой в данный момент производит программный комплекс.
Методика экспериментальной проверки программного обеспечения
Целью проведения экспериментов является проверка реализованных программных функций для настройки и управления локальным гиперспектрометром, регистрации гиперспектральных данных, создания слоя гиперкуба, оценки величины и коррекции дисторисионных искажений, предварительной и тематической обработки полученных данных, создания и управления библиотекой эталонных сигнатур, а также для визуализации обработанных данных. Кроме того, тестирование позволяет оценить удобство интерфейса для пользователя, выявить необходимость в доработке разработанного программного обеспечения, провести настройку прибора и программного обеспечения.
Для достижения указанных целей необходимо: 1. Проверить программу «Camera view». a. Настроить гиперспектрометр для условий съемки. b. Выбрать формат сохраняемых данных. Задать путь и имя для сохранения файла, в которых будет произведено считывание видеоинформации из гиперспектрометра. c. Задать длину номер пикселя для формирования слоя гиперкуба. d. Провести съемку экспериментальной сцены. 2. Оценить дисторсионные искажения, вносимые в результат оптической подсистемой прибора и скорректировать их. 3. Проверить программу «Analyzer» a. Загрузить и преобразовать сохраненные в формате avi гиперспектральные данные. b. Подготовить эталонные сигнатуры. c. Провести предварительную обработку преобразованных данных. d. Провести тематическую обработку преобразованных данных с различной точностью и оценить величину ошибки распознавания для различных условии использования и эталонных сигнатур. 4. Тестировать полученные результаты работы программного комплекса путем визуального сравнения полученных данных, экспериментальных сцен и величины ошибки, заданной при распознавании программным комплексом.
В первой главе бьшо описаны области использования программного обеспечения локального гиперспектрометра. Для верификации программного комплекса были выбраны две сцены: а. полевое тестирование подстилающей поверхности, b. лабораторное тестирование набора фруктов. Выбранные сцены должны показать возможности использования программного комплекса в разных условиях и для разных задач распознавания, оценить удобство использования интерфейса и выявить необходимость доработки программного комплекса для решения разноплановых задач. 3.2.2 Сценарий использования гиперспектрометра Для проверки удобства использования программного комплекса и попутной оценки возможностей использования гиперспектрального сигнала в задачах мобильной робототехники была получена и обработана экспериментальная сцена аналогичная той, которую мобильный робот может встретить на пути своего передвижения. Фотография сцены представлена на рис.3.2.3.1. Для оценки возможностей решения упомянутой задачи идентификации сельскохозяйственной продукции была получена и обработана гиперспектральная сцена аналогичная той, которая может быть предъявлена программному комплексу локального гиперспектрометра при его использовании в продуктовом магазине в процессах учета и продажи фруктов и овощей. По сценарию использования программного комплекса было необходимо произвести гиперспектрометром съемку экспериментальной сцены. Затем оценить дисторсионную погрешность прибора и исправить ее. После этого провести распознавание сохраненных данных и выдать визуализированный результат на экран компьютера для визуальной оценки работы программного комплекса. Для реализации этого сценария гиперспектрометр был установлен на жёстком основании перед наблюдаемой сценой. После запуска программы «Camera view» сканирование сцены проводилось путем пятикратного ручного поворота гиперспектрометра вокруг горизонтальной оси. После завершения сканирования с помощью программного комплекса была выполнена обработка полученных таким способом гиперспектральных данных.
На рис. 3.2.3.1 представлена фотография экспериментальной сцены и размещенные перед ней гиперспектрометр и ноутбук с разработанным программным комплексом. Расстояние от гиперспектрометра до исследуемой поверхности составило 4 метра. Экспериментальная сцена выбрана таким образом, чтобы в поле зрения прибора попали поверхности как похожих по составляющим их веществам — бордюр и щебень, так и разного состава: трава и щебень (рис.3.2.3.2). Это было сделано для проверки способности программного комплекса различать поверхности разного спектрального состава и для оценки точности работы программы «Analyzer» при работе с поверхностями, схожими по своему составу. На рис.3.2.3.3 представлена сцена для верификации программного комплекса в лабораторных условиях. Она имитирует возможные условия работы программного комплекса в рамках задачи сортировки типа товарной продукции в поле зрения средств видеонаблюдения. Выбраны три типа сельскохозяйственной продукции.
Все они похожи по форме (яблоко зеленое, мандарин, апельсин), а два из них также похожи и по цвету (что говорит о схожести спектральной характеристики в области видимого для человеческого глаза спектра - 0,5-0,7мкм). Как и в первой сцене, расстояние до поверхности съемки составляло 4 метра. Из-за проведения экспериментов в лаборатории освещение экспериментальной сцены было слабым для фиксации спектральных характеристик экспериментальных сцен. Для дополнительного освещения были использованы две галогеновые лампы.
