Содержание к диссертации
Введение
Глава 1. Обзор существующих методов и алгоритмов обработки и анализа пространственно-распределенных объектов 11
1.1 Обзор существующих методов цифровой обработки изображений 11
1.2 Обзор существующих алгоритмов обработки пространственно-распределённых объектов на разных масштабах 17
1.3 Обзор существующих алгоритмов обработки пространственно-распределённых объектов за разные временные промежутки 19
1.4 Обзор геоинформационных систем обработки пространственно-распределённых объектов 23
1.5 Выводы по первой главе диссертации 26
Глава 2. Математическая модель трехмерного баркода 28
2.1 Математическая модель трехмерного баркода 28
2.2 Алгоритмы формирования числовых характеристик nD и их групп в виде баркодов 41
2.3 Выводы по второй главе диссертации 43
Глава 3. Алгоритмы идентификации и классификации пространственно-распрделенных объектов 45
3.1 Алгоритм идентификации газовых подрывов на снимках Арктики на основе трехмерных баркодов 45
3.2 Алгоритм идентификации пространственных объектов на снимках за разные промежутки времени на основе трехмерных баркодов 46
3.3 Алгоритм анализа пространственных объектов при изменении масштабов 50
3.4 Выводы по третьей главе диссертации 51
Глава 4. Программный комплекс для идентификации бугров пучения на снимках арктической местности 53
4.1 Описание разработанного программного комплекса для идентификации бугров пучения на снимках Арктической местности 53
4.2 Выводы по четвертой главе диссертации 61
Глава 5. Экспериментальные исследования разработанных модели и алгоритмов 62
5.1 Экспериментальные исследования идентификации пространственно-распределенных объектов за разные временные промежутки 62
5.2 Экспериментальные исследования идентификации пространственно-распределенных объектов на разных масштабах 68
5.3 Экспериментальные исследования идентификации газовых подрывов на снимках Арктики 73
5.4 Выводы по пятой главе диссертации 83
Заключение 84
Список литературы 86
Приложение 1 102
Приложение 2 103
Приложение 3 104
Приложение 4 105
- Обзор существующих методов цифровой обработки изображений
- Алгоритмы формирования числовых характеристик nD и их групп в виде баркодов
- Описание разработанного программного комплекса для идентификации бугров пучения на снимках Арктической местности
- Экспериментальные исследования идентификации газовых подрывов на снимках Арктики
Обзор существующих методов цифровой обработки изображений
Существуют методы обработки объектов на основе сегментации изображения [23]. Данные методы позволяют за счет сегментации определить контур объекта и рассчитать его размер. На основе данных методов можно предположить в какой временной отрезок мог быть сделан снимок объекта. Но данные методы не позволяют описать форму объекта.
Существуют методы для анализа последовательности изображений, которые учитывают изменения между двумя соседними снимками. Обычно такие подходы используют для анализа видеопоследовательностей. Однако для поставленной задачи точки двух анализируемых изображений будут иметь разную интенсивность и не позволят достичь нужного результата [24, 25].
Пример изменения изображений отображен на рисунке 1.1.
Также очень популярным и быстроразвивающимся является подход на основе нейронных сетей [26]. Он требует большой и качественно подготовленной выборки для обучения. Однако этот подход будет работать в случае выборки из изображений для определенного временного промежутка или масштаба.
В методах на основе геометрических характеристик объектов можно определить тип, площадь и размер объектов на карте за счет определения количества пикселей. Но данные методы не позволяют определить форму объекта и его масштаб.
Существует подход к решению задачи идентификации объектов земной поверхности по данным гиперспектральной съёмки от космических комплексов. Он основан на сравнении гиперспектральных характеристик пространственных объектов с набором эталонных сигнатур. В его основу легли алгоритмы идентификации и анализа объектов с использованием теории нечётких множеств, такие как: алгоритм консолидации результатов различных решений по идентификации, алгоритм идентификации на основе нечёткой линейной регрессии [27-32].
Рассмотрен алгоритм уточнения двумерной идентификации состояния трехмерного объекта (невидимые стороны и деформированные поверхности), в котором для компенсирования потерь информации о частях трехмерного объекта, невидимых на двухмерном изображении, используется алгоритм для систем компьютерного зрения, который создает дополнительные свойства для идентификации и количественной оценки их состояния, чувствительную к деталям их поверхности. Данный алгоритм решает задачи поддержки принятия решений в ходе управления технологическим процессом, а также оценки и контроля качества продукции [33-38].
Существует метод обработки снимков с помощью технических средств диагностики (метрология, медицина, искусственный интеллект), который используется для автоматического поиска, анализа и классификации объектов.
Он показал эффективную степень автоматического распознавания изображений посредством выделения вектора признаков для сигналов, регистрируемых в различных диапазонах электромагнитного спектра дешифрируемых изображений высокой разрешающей способности [39].
Рассмотрен подход выявления признаков классификаторов, используемых в задачах обработки дифракционных изображений сложных пространственных объектов. В рамках подхода происходит разделение класса объекта на подклассы, а также производится выделение классов объектов с использованием эллипсоидального оценивания. Также там используются критерии для качественного отбора вектора признаков классификатора, которые предназначены для обучающей выборки [40].
Существует набор алгоритмов, используемых для идентификации объектов различных классов на некачественных снимках, полученных с видеокамеры низкого разрешения. Особенностью данных алгоритмов является возможность выявить объекты, размеры которых не более нескольких десятков пикселей [41-48].
Исследован алгоритм, позволяющий распознавать жесты рук на видеозаписях. Он основан на принципах цветовой кластеризации объектов. Предложенный метод не требует длительного обучения классификаторов по массивам изображений жестов. Это позволяет его использовать, прежде всего, в ракетно-космической отрасли для построения эффективных систем управления на основе жестовых интерфейсов [49-53].
Произведен анализ алгоритма идентификации объектов на основе выборки данных. Он использует методы морфологического анализа изображений Пытьева (инвариантность относительно изменения изображений, а также методы разделения классов изображений гиперплоскостями). Алгоритм применим на изображениях объектов, снятых при разных условиях освещения и ракурсах. Также он применяется для интерпретации микроскопических изображений в биофизике, исследования природных ресурсов Земли по спутниковым снимкам, анализа формы акустических сигналов в геофизике и т.д. [54-58].
Существует новый подход обработки данных дистанционного зондирования (ДДЗ), который решает задачи идентификации, анализа, дистанционного поиска и ГИС-картографирования археологических памятников (геоархеологии). Авторами выдвинута новая технология, включающая три составляющих: предобработка данных ДДЗ, алгоритмизированное компьютерное дешифрирование ДДЗ, постобработка с возможностью построения ГИС-моделей и наглядной картографической визуализацией [59-62].
Рассмотрены методы, выполняющие анализ и параметризацию объектов, которые находятся на слоях топографий, а также выявляют область снимка, относящуюся к изображению. В процессе дальнейшего исследования объект рассматривается как совокупность вокселов (объемных изображений), отображающих среднюю плотность ткани в соответствующей области объекта. Далее вычисляются площади объекта на каждом срезе, затем его суммарный объем. Фильтрация объемных изображений у объекта по значению плотности позволяет выявить области объекта с определенными свойствами и оценить степень симметричности новообразований. Разработанный метод позволяют, во-первых, частично автоматизировать анализ томографий, выдавая характеристики параметров объекта, указанного на снимке: послойных площадей, объема, распределения значений плотности внутри объекта, оценки симметричности новообразований внутри объекта; а во-вторых, проводить локализацию тканей определенной плотности и выявлять патологические образования без использования контрастирования [63-69].
Исследован метод автоматического выявления местоположения легковых транспортных средств на снимках и на изображениях перспективных средств космического дистанционного зондирования Земли. Данный метод использует виды признаков (геометрические, текстурные, структурные) для описания изображённых на снимках объектов и их анализа, а также алгоритм проверки гипотезы о наличии объекта. Окончательное обозначение объектов на изображении выполняется с помощью оригинальной последовательной процедуры [70-71].
Описанный метод дает высокие показатели обнаружения на снимках аэрофотографии.
Произведен анализ алгоритмов распознавания лиц и радужки глаза на основе марковских моделей. Это статистические модели, имитирующие работу процесса, похожего на Марковский процесс с неизвестными параметрами, и задачей ставится разгадывание неизвестных параметров на основе наблюдаемых. Основным недостатком является то, что основанные на этих моделях методы, дают лишь оценку соответствия модели изображения. Иными словами, эта оценка позволяет решить, какая из моделей соответствует изображению больше, чем остальные [72, 73].
Рассмотрен метод главных компонент и линейный дискриминантный анализ для решения задачи распознавания изображений. В работе рассматриваются некоторые аспекты применения метода главных компонент (МГК) и линейного дискриминантного анализа (ЛДА) для решения задачи распознавания изображений. Основная идея такого подхода заключается в том, что сначала изображения лиц проецируются из исходного пространства признаков в редуцированное подпространство главных компонент, а затем для разделения классов изображений используется линейный дискриминантный анализ [74, 75].
Алгоритмы формирования числовых характеристик nD и их групп в виде баркодов
Трехмерный баркод позволит анализировать nD объекты на разных масштабах с учетом эволюции объекта во времени. В том числе, анализ трехмерных баркодов позволит описывать 4D (отношения между 3D объектами во времени) и 5D (отношения между 4D объектами на разных масштабах) топологические отношения.
Под nD объектами мы понимаем, одни и те же объекты, отраженные на снимках за разные временные промежутки и на различных масштабах.
Если производится анализ изображений, на которых существует один объект, то множество данных изображений за временной промежуток t можно отразить в виде массива:
Если производится анализ изображений, на которых находится несколько объектов, то множества изображений за разные промежутки времени можно отобразить в виде матрицы:
На основе данной матрицы можно построить матрицу трехмерного баркода данных изображений за различные временные промежутки t : где {s/j, і,...,В „, k} - набор баркодов за разные промежутки времени, а матрица А(в зг ) состоит из строк а в диапазоне а = 1,2,...,п и столбцов / = 1,2,...,, где и - количество элементов в строке, а & - количество элементов с столбце. Матрица А(ВҐ3В) рассчитывается следующим образом: Изначально находятся баркоды \в1 ,1,...,В 1] на первом изображении и записываются в столбец а. Далее идет анализ баркодов следующих изображений, если в\ 2 = в\ , то они записываются в одну строку и так пока баркоды изображений не закончатся а1 = U\в1 ,1,Вг2 1,...,В1 ,к} или а1 = В1,1е(/(JC,у), B1,1h(l(x,у),t1,1) B1,2e(/(JC,у), В1/(/(JC,у),t1,2) В1,/(/(JC,у), B1,kh(l(x,y)).t1,n)
Если найден баркод, которому не соответствуют ранее найденные баркоды объектов (объекты на разных снимках за разное время съемки), то он записывается в отдельную строку а2 =\{Jnull, в22,...,в2к\, где null указывает, что на предыдущем изображении отсутствует данный объект.
Если на каком то из последующих изображений объект отсутствует, соответственно отсутствует и его баркод, и строка в матрице выглядит следующим образом а3 =U Ж ,1, 3 2,ш//, 3 }, т.е. на месте, где отсутствует объект указывается null.
Каждый столбец матрицы отображает снимки одного и того же объекта, но с небольшими деформациями, т.к. снимки, сделанные либо на разные масштабах, либо за различные временные промежутки. Запишем данные в столбец г1 как =t(Bt Bt Bt ) или п =(B11e(l(x,y), B1,1h(l(x,y),t1,1) 1 1,1, 2,1, , й ,1 (В12е (1(х, у), B1,2h (1(х, у), t1,2) (В1/ (I(x, у), B1nh (I(x, у), t1,n,) .
В итоге получаем трехмерный баркод. Трехмерный баркод - это множество баркодов одного и того же объекта на разных масштабах или за различные промежутки времени.
В рамках второй главы диссертации разработана математическая модель описания пространственно-распределенных объектов и алгоритм формирования числовых характеристик nD и их групп в виде баркодов, которые отличаются от существующих моделей и алгоритмов применимых в ГИС тем, что в их основу заложены топологические особенности объекта, описываемые при помощи симплициальных комплексов и баркодов, которые позволяют учитывать в качестве третьего измерения время съемки и масштаб отображения.
Данная математическая модель позволяет описывать пространственные структуры на основе трехмерных баркодов. Это дает возможность производить анализ и обработку пространственных объектов на растровых снимках с использованием топологии объектов. Тем самым мы не используем координаты объекта, а ссылаемся на его форму за счет топологических характеристик.
Описание разработанного программного комплекса для идентификации бугров пучения на снимках Арктической местности
Приложение производит поиск на основе алгоритма идентификации газовых подрывов на снимках Арктики на основе трехмерных баркодов.
Приложение работает следующим образом:
1. Производится запуск исполняемого файла. На рисунке 4.1 изображен главный экран программного комплекса.
2. При необходимости нумерации выделенных бугров на изображении нужно установить галку «Нумеровать бугры на изображении».
Также в интерфейсе программы имеются дополнительные настройки, которые можно изменять:
«Мин/максимальный размер контура» - минимальный или максимальный размер контура бугра в пикселях. Настройка позволяет установить минимальный/максимальный размер контура для выделения бугров. А также дает возможность отсеять небольшие контуры с изображениями, которые не должны быть буграми. По умолчанию значение минимума = 18, максимума = 100.
«Максимальная ширина и высота» - настройка для установки максимальной ширины и высоты изображения. Дополняет настройку «Мин/максимальный размер контура». По умолчанию значение 150/150 пикселей.
«Повторное прохождение» - настройка для установки повторной обработки изображения с новыми характеристиками. Нужно заново загрузить изображение, указать новые характеристики. Координаты бугров при первом проходе хранятся в памяти. По умолчания включена.
«Минимальный размер изображения» - настройка для установки минимального размера изображения с бугром. Настройка регулируется минимальным количеством пикселей. Дополняет настройку «Мин размер контура», но уже после вычисления баркода. По умолчанию значение 5 пикселей.
«Минимальный белый цвет» - настройка для установки количества белых пикселей на бугре. Позволяет отсеять объекты с похожими баркодами, но содержащие небольшое количество белых пикселей. По умолчанию значение 0. Для зимних снимков значение нужно установить в 30. Значения могу лежать в диапазоне яркости от 0 до 255.
«Пиксель» - соотношение пикселя к реальным размерам в квадратных метрах. «Плотность» - плотность распределения бугров на снимке. Рассчитывается в программе в квадратных метрах количество пикселей с газовыми подрывами относительно общего количества пикселей.
«Яркость B1/B2» - топологическая характеристика. Начальные яркости баркодов. По умолчанию значения 80-170 и 90-200.
«Длина B1/B2» - топологическая характеристика. Время жизни баркода. По умолчанию значения 75-200 и 75-210.
Данные настройки позволяют регулировать определения объектов по топологическим признакам, увеличение диапазона приведет к выделению большего числа объектов.
3. Для загрузки изображения необходимо нажать кнопку «Загрузить изображение». Рисунок 4.6 - Выбор снимка для обработки Форматы для загрузки: .png, .jpeg, .bmp.
4. После загрузки изображения можно, либо обучить программу, выделив бугры левой кнопкой мыши в прямоугольную область, либо искать бугры по установленному диапазону в программе.
5. Для поиска бугров и их выделения необходимо нажать кнопку «Поиск бугров».
Время поиска зависит от мощности ПК. На стационарном ПК с процессором Intel i5 и 16ГБ ОЗУ время обработки снимка занимало около 65 минут, на ноутбуке с процессором Intel i5 и 4Гб ОЗУ время обработки заняло 155 минут.
В программе происходит несколько уровней обработки (преобразование к средней яркости и контрастности, поиск контуров и баркода для каждого контура), затем происходит обрисовка нужных бугров и формирование .csv файла с данными.
6. После обработки изображения программа предложить сохранить .csv файл. Он содержит следующие параметры: Id – идентификатор бугра; X, Y - координаты центра бугра, Area – площадь в условных единицах (в данном случае это пиксель). Площадью является белая область бугра. 7.
Затем программа предложит сохранить изображение в формате .bmp.
Экспериментальные исследования идентификации газовых подрывов на снимках Арктики
Теперь рассмотрим выделение бугров пучения на снимках Арктической местности.
Основные характеристики баркодов были получены после прохождения более 120 снимков с газовыми подрывами, примеры для выборки отображены на рисунке 5.13.
На рисунке 5.14 (а, в) отображены исходные снимки, а на рисунке 5.15 и 5.16 отображены снимки с выделенными буграми, где зеленым цветом помечены бугры, которые выделены верно, красным отмечены бугры, которые выделены не верно, а синим - бугры, которые не были выделены.
В результате на рисунке 5.15 выделено 22 бугра. Точность определения 90,9%. На рисунке 5.16 выделено 36 бугров. Точность определения 92,3%.
На рисунке 5.17 рассмотрим снимок бугра сделанные в первой половине дня с явными солнечными осветлениями.
Из всех девяти бугров на рисунке 5.17 (а) было выделено 7 бугров. Это связано с тем, что не идентифицированные бугры были слишком засвечены и частично размыты с местностью. На рисунке 5.18 отображен снимок с газовыми подрывами сделанный в вечернее время. На рисунке находится всего 2 бугра.
На рисунке 5.18 (б) выделено оба бугра, даже с учетом их плохой видимости. Это достигается в первую очередь тем, что трехмерный баркод хранит форму объекта, по который можно определить его на большинстве снимков.
На рисунках 5.19-5.27 приведены примеры снимков Арктической местности с буграми пучения и их идентификацией.
На рисунках 5.19-5.27 (а) отражены исходные снимки Арктической местности, на которых находятся бугры пучения. На рисунках 5.19-5.27 (б) показаны снимки Арктической местности с выделенными буграми пучения.
Точность выделения бугров пучения на данных снимках составила 100%.
На рисунках 5.28-5.29 рассмотрены примеры участков на снимке похожие на бугры пучения.
На рисунке 5.28 (б) синим цветом выделен пример участка схожего с бугром пучения. Отличием является наличие данного участка в хребте. Соответственно данный объект не является газовым подрывом.
На рисунке 5.29 (б) синим цветом выделен пример участка схожего с бугром пучения. Отличием является отсутствие тени о объекты, которая появляется в дневное время при освещении солнцем.
На рисунке 5.30, в качестве примера, отображен график трехмерного баркода газового подрыва с рисунка 5.13 (а). Рисунок 5.30 - График трехмерного баркода газового подрыва
Ранее снимки Арктической местности с буграми пучения обрабатывались вручную. На основе сопоставления работы алгоритма и ручной обработки данных снимков была составлена таблица 2.
Автоматическа я обработка снимка на основеразработанных алгоритмов 250 9850 99% Не менее 48 часов На основе таблицы 2 можно сделать вывод, разработанные алгоритмы позволяют значительно сократить время распознавания бугров пучения на снимках Арктики минимум в 10 раз и снять данную работы с геофизика.