Содержание к диссертации
Введение
1. Теоретические и технологические аспекты сбора и обработки материалов аэрофотосъемки для мониторинга строительных объектов 10
1.1 Анализ возможностей применения беспилотных летательных аппаратов для проведения аэрофотосъемки 10
1.2 Актуальность задачи оперативного обновления планов и карт 12
1.3 Технология создания ортофотопланов по материалам аэрофотосъемки
1.3.1 Основы сшивки изображений 18
1.3.2 Получение изображений 19
1.3.3 Проблемы, характерные для получения изображений 30
1.3.4 Преобразование изображений 37
1.3.5 Сравнение и сопоставление изображений 38
1.3.6 Сопоставление ключевых точек 41
1.3.7 Выводы 43
1.4 Разработка подхода к автоматизированному построению фотоплана местности 44
1.4.1 Выделение признаков на изображении 45
1.4.2 Масштабно-инвариантная трансформация признаков 47
1.4.3 Оценка гомографии 51
1.4.4 Размытие изображение или блендинг 53
1.5 Методика проведения аэрофотосъемки для решения задач строительства 56
1.5.1 Анализ требования для планирования полета 57
1.5.2 Планирование полета БПЛА 61
1.5.3 Выводы 69
2. Разработка и исследование алгоритмов построения фотопланов местности с помощью материалов аэрофотосъемки 71
2.1 Анализ существующих алгоритмов автоматизированного поиска ключевых точек на фотоснимках для построения фотопланов местности 71
2.1.1 Аффино-ковариантные детекторы 76
2.1.2 Детекторы, основанные на аффиной нормализации – Харрис и Гессиан 78
2.1.3 Детекторы регионов, основанные на краях 81
2.1.4 Детекторы экстремального значения регионов 83
2.1.5 Детектор максимально стабильных регионов з
2.1.6 Детектор Кадира-Брейди 85
2.1.7 Анализ сложности и необходимых вычислений времени 85
2.2 Тестирование перекрытия детекторов 89
2.2.1 Мера повторяемости детектора 92
2.2.2 Повторяемость при различных преобразованиях 93
2.2.3 Углубленные тесты детекторов 97
2.2.4 Тестирование сопоставления детектируемых регионов 99
2.2.5 Оценка сопоставления регионов 101
2.2.6 Сопоставление относительно преобразований изображения 102
2.2.7 Выводы 107
3. Разработка алгоритма и методики классификации изображений по характеру рельефа местности 109
3.1 Анализ существующих методов и подходов классификации 109
3.2 Классификация изображений по визуальным признакам
3.2.1 Методика применения математической морфологии для классификации изображений 116
3.2.2 Проведение экспериментов по классификации изображений 123
3.3 Выводы 127
4 Проектирование распределенной системы для доступа к материалам аэрофотосъемки посредством веб-порталов 128
4.1 Обратный прокси-сервер и его роль в системе 134
4.2 Анализ и выбор протоколов взаимодействия распределенных компонентов подсистемы разграничения доступа в сети корпоративных порталов 137
Основные результаты и выводы 139
Список литературы 143
- Проблемы, характерные для получения изображений
- Аффино-ковариантные детекторы
- Методика применения математической морфологии для классификации изображений
- Анализ и выбор протоколов взаимодействия распределенных компонентов подсистемы разграничения доступа в сети корпоративных порталов
Введение к работе
Актуальность работы. В настоящее время существенно возросло использование беспилотных летательных аппаратов (БПЛА) для осуществления аэрофотосъемки строительной и жилищно-коммунальной территорий, что ведет к возникновению потребности в автоматизированной обработке результатов аэрофотосъемки. Одна из распространенных задач обработки – это автоматическое нахождение области перекрытия и совмещение отдельных изображений, т.н.сшивка изображений в единый фотоплан местности. Полученная в результате сшивки информация об области перекрытия и взаимном расположении фотографий может быть использована для построения точных и актуальных планов местности, анализа каких-либо событий или изменений на местности. Эти данные являются важным средством информационного обеспечения принятия управленческих решений при реализации ряда практических задач– планирование застройки территории, возведение и реконструкция строительных объектов различного назначения, организация эффективного функционирования их инженерной инфраструктуры (энерго-, тепло-, водоснабжение и т.п.), обеспечение техносферной безопасности, выявление незаконного использования энергетической инфраструктуры, незаконных свалок отходов.
Применение космических средств дистанционного зондирования и традиционных методов аэрофотосъемки для решения подобных задач не всегда возможно и эффективно из-за недостаточности во многих случаях разрешения получаемых фотоснимков, чувствительности к погодным условиям, недостаточной оперативности при проведении мониторинга местности, сложности построения 3D-моделей местности, недостаточной гибкости при определении маршрутов полетного задания, довольно высокой стоимости работ. Эти недостатки значительно в меньшей степени проявляются при применении для целей дистанционного зондирования БПЛА.
Проблемой проведения и интеллектуальной обработки фотоснимков занимались многие ученые, среди которых Родионов Б.Н., Быков Л.В., Гельман Р.Н., Антипов А.В., Архипов О.П., Волков А.А., которые, в том числе, обосновывали возможность практического использования аэрофотосъемки для решения задач мониторинга и картографирования территорий. Усилиями известных ученых, таких как Трунин Ю.М., Смирнов С.А., Бобир Н.Я., Калантаров Е.И. и др., разработаны методы проективной фотограмметрии. Они подготовили теоретическую основу методов и предложили алгоритмы обработки изображений, полученных в результате аэрофотосъемки. Среди зарубежных ученых большой вклад в исследования внесли Пацифичи Ф., Шекелфорд А.К., Чжан И., Хуан Х., которые занимались проблемой классификации пространственных данных по типу рельефа местности.
Под местностью в контексте исследования понимаются территории городской и сельской застройки, коммуникации (дороги, ЛЭП, трубопроводы и др.), и иные территории с наблюдаемыми признаками хозяйственной деятельности человека.
Процесс построения фотопланов местности начинается с выделения ключевых точек на изображениях, благодаря чему становятся возможными поиск и
сопоставление изображений, имеющих перекрытие. До настоящего времени полностью не решена проблема выбора типа, параметров и опциональных возможностей алгоритма детектирования ключевых точек, т.е. его профиля. В большинстве систем, используемых для построения фотоплана местности, используется один, задаваемый на этапе проектирования, профиль детектирования ключевых точек для всего множества изображений вне зависимости от их параметров. Однако данный профиль может быть не предпочтительным даже на множестве изображений одного типа и назначения. Также существуют системы с возможностью выбора профиля детектирования из множества нескольких возможных. При этом данная задача целиком возлагается на пользователя, обычно не являющегося специалистом в области построения фотопланов местности из множества фотоснимков, полученных в результате проведения аэрофотосъемки, и, следовательно, не обладающего достаточной компетенцией для выбора предпочтительного профиля, т. е. обеспечивающего наилучший результат. Таким образом, оба вышеуказанных подхода, в общем случае, не позволяют выбирать предпочтительный профиль детектирования.
Следовательно, научная задача разработки подходов и алгоритмов, обеспечивающих выбор профиля сшивки для каждого конкретного аэрофотоснимка, независимо от опыта и интуиции, как разработчика, так и пользователя системы картографирования, является актуальной.
Объектом исследования является процесс получения и обработки фотоснимков местности, полученных в ходе проведения аэрофотосъемки с помощью БПЛА.
Предметом исследования являются методы и алгоритмы построения фотоплана местности посредством аэрофотосъемки с использованием БПЛА.
Целью исследования является повышение качества фотоплана местности за счет выбора предпочтительного профиля детектирования ключевых точек для каждого множества изображений, полученных в результате выполнения аэрофотосъемки с помощью БПЛА.
Для достижения сформулированной цели были поставлены и решены следующие задачи:
-
Обзор и сравнительный анализ основных известных алгоритмов детектирования ключевых точек на изображениях.
-
Разработка алгоритма выбора предпочтительного профиля детектирования.
-
Разработка методики получения аэрофотоснимков местности с помощью БПЛА.
-
Разработка алгоритма классификации изображений исследуемой местности для выбора предпочтительного профиля детектирования ключевых точек.
-
Разработка архитектуры и программного обеспечения автоматизированной системы построения фотопланов местности с помощью БПЛА в ходе проведения автоматической аэрофотосъемки местности.
Методы исследования. В качестве основных средств теоретических исследований использовались методы системного анализа, линейной алгебры, математической морфологии, классификации изображений посредством машинного обучения, анализа и цифровой обработки изображений.
Научная новизна диссертационного исследования:
-
Разработан алгоритм поиска предпочтительных профилей детектирования ключевых точек на изображениях, полученных в результате проведения аэрофотосъемки, отличающийся учетом пространственных особенностей местности для подбора профиля на основе предварительной классификации данных о рельефе местности.
-
Разработана методика получения аэрофотоснимков с помощью БПЛА в ходе проведения аэрофотосъемки территорий жилищно-коммунальных хозяйств в автоматическом режиме, отличающаяся применением бортового вычислителя, позволяющего проводить необходимые для сшивки элементов изображений расчеты, причем обеспечивается возможность непрерывного мониторинга местности независимо от качества сигналов глобальных навигационных спутниковых систем.
-
Разработан алгоритм классификации изображений местности по рельефу для выбора предпочтительного профиля детектирования ключевых точек на изображениях, полученных в результате проведения аэрофотосъемки, отличающийся использованием модифицированного аппарата математической морфологии и данных из цифровой модели рельефа.
Соответствие специальности:
Выполненная работа соответствует следующим пунктам паспорта специальности 05.13.01: пункт 4 –Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации; пункт 10 –Методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений в технических системах; пункт 12 – Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации.
Практическая значимость результатов исследований заключается в том, что разработанные теоретические положения реализованы в виде комплекса алгоритмов и программ (свидетельства о государственной регистрации программы для ЭВМ №2015618757). Результаты работы были использованы в ходе деятельности НОЦ «СЦУиСУ» и ООО «Квадрион». Ее применение в системах мониторинга местности позволяет проводить эксперименты по построению фотопланов местности получением количественных данных процесса сшивки.
Участие в научных и инновационных программах.
1. Работа выполнена автором в качестве руководителя проекта в рамках НИОКР Фонда содействия развитию малых форм предприятий в научно-технической сфере проект №10336ГУ2/2015 «Создание программного обеспечения для построения фотопланов местности при аэрофотосъемке с помощью беспилотного летательного аппарата» 2014-2016гг.
-
Результаты работы были использованы в ходе проекта по Соглашению о предоставлении субсидии от 29.09.2014 № 14.581.21.0003 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» «Исследования и разработка новой цифровой портативной фото/видео аппаратуры для панорамной съемки».
-
Результаты работы были использованы в ходе проекта по Соглашению о предоставлении субсидии от 20.11.2014 № 14.575.21.0099 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» «Исследование и разработка технологии построения закрытых виртуальных сред организации распределенных информационно-вычислительных ресурсов в глобальном сетевом пространстве в форме защищенной сети порталов на основе открытых протоколов сетевого взаимодействия и безопасной аутентификации пользователей с использованием компонентов с открытым программным кодом».
Апробация работы. Основные положения диссертационной работы докладывались и получили положительные отзывы на следующих конференциях:
-
Первой международной научной конференции Electronic governance and open society: challenges in Eurasia (EGOSE-2014) 2014, г.Санкт-Петербург.
-
Международной научно-технической Интернет-конференции «Информационные системы и технологии (ИСиТ-2015)».
Публикации. Основные научные результаты диссертации опубликованы в 8 работах, в том числе 2 статьи в журналах, входящих в перечень ВАК РФ, 2 статьи в журналах, рецензируемых в Scopus. По результатам исследований получено 1 свидетельство о государственной регистрации программ для ЭВМ.
Структура и объем диссертации. Диссертационная работа изложена на 157 страницах и состоит из введения, четырех глав, заключения, списка литературы из 122 наименований и 2 приложений; содержит 12 таблиц и 53 рисунка.
Проблемы, характерные для получения изображений
Для целей рационального управления территориями, предназначенными под строительство, необходимо иметь полную и достоверную информацию о состоянии природного и хозяйственного комплекса страны в целом, субъекта Федерации или муниципалитета. Информацию о состоянии территорий получают путем отслеживания изменений и отражения их в текущих документах, базах данных и на картографических материалах. В последнее время этот процесс называют мониторингом тех или иных явлений, объектов, процессов. Особое значение имеет мониторинг земель, который находит отражение в создании и ведении государственного земельного кадастра.
Земельный кадастр является информационной основой государственного управления земельными ресурсами, экономического и юридического регулирования земельных отношений [1, 2]. Государственный земельный кадастр представляет собой систематизированный свод документированных сведений о местоположении, целевом назначении и правовом положении земель Российской Федерации, сведений о территориальных зонах, наличии расположенных на земельных участках и прочно связанных с ними объектов недвижимости [3]. В государственный земельный кадастр включается информация о субъектах и видах права на земельные участки.
Земельный кадастр состоит из комплекса различных юридических, экономических, технических, организационных процессов, объединенных целью информационного обеспечения земельных отношений.
В процессе хозяйственного использования земельных ресурсов постоянно происходят изменения в составе, качестве и продуктивности земель, а также изменения собственников земли и границ землепользовании. Поэтому возникает необходимость ведения текущего земельного кадастра, главной задачей которого является своевременное выявление и внесение в земельно-кадастровую документацию всех законных изменений в распределении и использовании земель, а также выявление и устранение ранее допущенных ошибок.
Для поддержания данных земельного кадастра на уровне современных требований такие изменения должны быть оперативно внесены не только в земельно-кадастровую документацию, но и отображены на кадастровых планах и картах. Таким образом, возникает потребность в поддержании картографических кадастровых материалов в актуальном состоянии, а задача совершенствования методики мониторинга земель является актуальной.
В практике топографо-геодезического производства решение о необходимости обновления принимается в зависимости от количества изменений, происшедших на местности с момента создания карты, а также в зависимости от важности районов. Считается, что период обновления составляет: в наиболее важных обжитых районах 5-7 лет; на прочих территориях 10-15 лет. За это время на местности происходят существенные изменения, которые приходится оценивать не только количественно. Необходимо учитывать важность изменений, и существенность связанных с этими изменениями событий. При ведении земельного кадастра, например, требуется удостоверить целостность границ земельного участка [4] при любом изменении учетной информации, будь то изменение собственника, правоустанавливающих документов или разрешенного использования. При этом нет необходимости в обновлении планов и карт всей территории. Обновлению подлежат только локальные участки, в границах которых произошли существенные изменения.
Обновление крупномасштабных планово-картографических материалов эффективно выполняется по материалам аэрофотосъемки. Дальнейшее развитие дежурного картографирования и ведения локального мониторинга территорий по аэрофотоснимкам сдерживает излишняя централизация аэрофотогеодезических работ. Специализированные авиаотряды, оснащенные самолетами класса не ниже АН-30, не приспособлены для оперативных съемок локальных участков местности. Выход просматривается в децентрализации выполнения аэросъемки на основе малой авиации с использованием современных цифровых съемочных систем и децентрализации обработки фотограмметрической информации в целях создания ортофотопланов на базе современных цифровых фотограмметрических комплексов.
Для выборочного обновления планов и карт предлагается использовать материалы оперативной аэрофотосъемки (ABC), которая может занять промежуточное положение между наземной инструментальной съемкой и космической съемкой местности при решении задач картографирования. Аэрофотосъемка обладает рядом достоинств. Такая съемка не требует профессиональной подготовки пилота и экипажа летательного аппарата. ABC выполняется практически с любых летательных аппаратов, начиная с пилотируемых самолетов и вертолетов и заканчивая беспилотными авиамоделями. Невысокая стоимость аппаратуры и аренды малых летательных аппаратов делает аэрофотосъемку доступной для многих неспециализированных предприятий. Вопросам применения видеосъемки для картографирования территорий посвящено большое количество теоретических и экспериментальных исследований. В научных работах[9, 10, 15] обосновывается принципиальная возможность корректной фотограмметрической обработки материалов аэрофотосъемки. Первые работы по телерепортажной съемке сельскохозяйственных и строительных территорий были выполнены под руководством проф. Родионова Б.Н. [5]. В своих работах ученые Родионов Б.Н., Быков Л.В., Гельман Р.Н., Антипов А.В. [5, 6, 7] и другие обосновывают возможность практического использования аэрофотосъемки для решения задач мониторинга и картографирования территорий. Известны публикации по экологическому мониторингу с использованием аэрофотосъемки [9]. Ряд работ посвящен методике создания ортофотопланов по материалам аэрофотосъемки [6, 7, 8, 11].
Элементы внутреннего ориентирования видеокамеры неизвестны и могут произвольно изменяться в процессе съемки. Усилиями известных ученых, таких как Трунин Ю.М., Смирнов С.А., Бобир Н.Я., Калантаров Е.И. [15, 16, 17, 18] и др. разработаны методы проективной фотограмметрии. Они подготовили теоретическую основу методов и предложили алгоритмы обработки неметрических изображений. Обработка аэрофотоснимков выполняется с использованием алгоритмов проективной фотограмметрии, инвариантных относительно элементов внутреннего ориентирования снимков.
Другой особенностью является необходимость выбора такого масштаба съемки, при котором разрешающая способность снимка на местности соответствует графической точности масштаба создаваемого плана. Это обстоятельство, наряду с малым размером видеокадра и его низкой разрешающей способностью, приводит к покрытию снимком на местности незначительной площади, резкому увеличению количества кадров и объема камеральных работ. Например, для создания ортофотоплана масштаба 1:2000 на 1 кв. км местности необходимо обработать около 250-300 аэроснимков. Решать подобную задачу без максимальной автоматизации традиционных фотограмметрических процессов нецелесообразно.
Аффино-ковариантные детекторы
Сшивка панорамного изображения широко представлена в исследовательской литературе и коммерческом применении [51].Методы автоматического выравнивания и монтажа аэрофотоснимков обычно разделяются на два типа: прямые и основанные на свойствах. Прямые методы направлены на многократную оценку параметров камеры путем минимизации функции ошибок, основанной на разнице интенсивности в области наложения. Их преимущество заключается в использовании всех доступных данных изображения, и потому они предоставляют достаточно аккуратные записи, но требуют, как уже было отмечено, весьма тщательной инициализации.
Базовая геометрия достаточно понятна и включает оценку матрицы камеры 33 (гомография) для каждого изображения [34]. Данный процесс требует оценки инициализации, обычно вводимую пользователем, для грубого выравнивания или упорядочения изображений. Например, для некоторого программного обеспечения необходимо горизонтальное или вертикальное сканирование, квадратная матрица изображений или пользовательский интерфейс для получения приблизительного местоположения изображений с мышью, используемой для автоматического сравнения (comparation).
Для сшивки изображений использовался фреймворкAccord.NET, расширенный вариант фреймворка AForge.NET (фреймворк на С# с открытым исходным кодом, созданный для разработчиков и исследователей в области компьютерного зрения и искусственного интеллекта – обработка изображений, нейронные сети, генетические алгоритмы, нечеткая логика, машинное обучение, робототехника и т.д.).
Accord.NET реализует инструменты и возможности, недоступные в AForge.NET: среди прочего, для разработки программ по автоматической склейки изображений и для автоматического создания панорам.
В приведенных ниже примерах будет наглядно продемонстрировано, как использовать возможности Accord.NET для склейки двух изображений и создания небольшой и несложной панорамы.
Методы, основанные на признаках, начинаются с установления соответствия между точками, линиями или другими геометрическими вхождениями. Местные инвариантные особенности используются для нахождения совпадений между всеми изображениями. Последнее делает работу невосприимчивой: порядок, ориентация, масштаб и освещение входных изображений, а также невосприимчивость к шумам изображения, не являющимся частью ландшафта. Также существует возможность распознания многочисленных панорам из множества неупорядоченных изображений.
Выделение характерных точек на изображении может привести к получению различных результатов, зависящих от используемых методов. Принимая во внимание скорость и точность нахождения указанных точек, можно выделить большое число различных алгоритмов, каждый из которых обладает своими достоинствами и недостатками. В дальнейшем опишем три алгоритма, примененных для выделения характерных точек. Реализация некоторых алгоритмов инвариантна к масштабу, вращению или смене освещенности; последнее предполагает улучшенный выбор характерных точек, и, соответственно, большие возможности достичь подходящего смешивания.
Обнаружение корректных характерных точек играет важную роль для правильной склейки. Это самый первый шаг, таким образом, крайне важно выбрать правильный детектор таких точек. В качестве примера рассмотрим детектор Харриса, который был изобретен Крисом Харрисом и Майком Стивенсом в 1988 г. [10]; это была только фаза обработки, направленная на анализ окружающей робота среды, представленной изображениями.
Детектор Харриса ищет в соседних областях точки с большими изменениями интенсивности. Отличительная черта этого алгоритма ведет к нахождению в большинстве случаев углов и границ. Целью является выявление признаков углов и использование нормированной взаимной корреляции значений локальной интенсивности в конкретных точках для поиска соответствий.
Прототип детектора Харриса был разработан Моравеком; позднее Харрис и Стивенс усовершенствовали его, предположив, что дифференциал угла наиболее полезен, в отличие от непосредственного направления движения.
Для создания панорамы, имея уже определенные значения исследуемых точек между двумя изображениями, одно изображение проецируется поверх другого. Для получения более детальной информации о виде указанных характерных точек Вы можете изучить исходный код для детектора углов Харриса, разработанный Сезаром Де Суза.
Ниже, на рисунке 19, представлен реальный пример характерных точек, полученный с помощью детектора углов Харриса. Здесь использованы два изображения различного размера, на которых изображен вид земли сверху.
Методика применения математической морфологии для классификации изображений
Масштаб изображений меняется примерно в 4 раза. Изменение освещенности сцены варьируется за счет диафрагмы фотокамеры. JPEG-кодер использует стандартные параметры в диапазоне от 2 до 40%. Каждый тест содержит 6 изображений с постепенной геометрической и фотометрической трансформацией. Все изображения имеют размеры приблизительно 800х640 пикселей.
Все изображения являются либо планарными сценами, либо связаны между собой матрицей гомографии. Это означает, что заранее известно отображение изображений за счет рассчитанной матрицы преобразования. Гомографии между исходным изображением (крайний левый фотоснимок) и остальными снимками рассчитываются в два шага. На первом шаге берется небольшое количество соответствующих точек, которые получаются ручным путем. Затем, данные сопоставления точек используются для расчет матрицы гомографии между изображениями и все последующие снимки получаются искаженными, за счет применения операции деформации данной матрицей гомографии. В результате данной операции два изображения можно привести практически к идентичному виду, несмотря на различные углы обзоры сцены. На втором шаге применяется стандартный надежный алгоритм оценки гомографии для расчета ошибки, которая получается при деформировании исходного изображения. Произведение этих двух гомографий (исходная и остаточная) дает точную гомографию между исходным изображением и остальными. Среднеквадратическая ошибка в данном случае меньше, чем 1 пиксель на попарное сравнение изображений.
Гомография может быть вычислена автоматически, используя соответствия между двумя изображениями по их ключевым аффиным регионам, полученным любым детектором ранее упомянутом. Причина, по которой происходит двухшаговое вычисление гомографии, заключается в том, что необходимо независимость от применяемого детектора.
Прежде чем будет произведено сравнение производительности различных детекторов, обратим внимание на рис. 30 и 31, где, в действительности, эллипсы покрывают почти все регионы изображений. Это является ключевым требованием для ковариантных операторов.
Вычислительная сложность алгоритмов детектирования Харриса и Гессе обозначается О(n), где n – количество пикселей изображения. Сложность автоматического масштабирования и адаптивности формы регионов можно определить как О((m+k)p), где р – число начальных точек, m – число известных масштабов, к - число итераций для алгоритма адаптации формы региона.
Для алгоритма детектирования регионов экстремальной интенсивности сложность О(n). Сложность алгоритма построения региона вокруг зоны максимальной интенсивности O(p), где р – значение максимальной интенсивности. Для алгоритма детектирования регионов на основе линий сложность О(n).
Сложность алгоритма построения региона от угла и линий – O(pd), где р – число углов, а d – среднее число линий, идущих рядом с углами. Для алгоритма детектирования выступов сложность О(nl), где l – число эллипсов вокруг каждого пикселя. Сложность второго шага алгоритма O(e), где е – число экстремумов, полученных на первом шаге. Для алгоритма детектирования регионов MSER сложность О(n), если значения интенсивности пикселей лежат в диапазоне от 0 до 255, т.к. в таком случае может быть реализована бинарная сортировка. Сложность алгоритма объединения O(n loglog n), что является достаточно быстрой реализацией.
В таблице 3 сведены данные сведения по вычислительной сложности алгоритмов детектирования регионов. Число регионов строго зависит от типа сцены, т.е. для MSER детектора, исходя из рисунка 22f, данное число равно 2600 для текстурной размытой сцены и все 230 для сцены с измененной освещенностью (рис. 22h). Похожее поведение наблюдается для всех исследуемых детекторов.
Сравнение детекторов на наборе изображений по сравнению со скоростью работы методов относительно количества выделяемых регионов представлено в таблице 6. Таблица 6 - Сравнение детекторов на наборе изображений Детектор Время выполнения (мин: сек) Количество регионов Харрис 0:01.43 1791 Гессиан 0:02.73 1649 MSER 0:00.66 533 IBR 0:10.82 679 EBR 2:44.59 1265 Кадир-Брейди 33:33.89 513 Подобный разброс детектируемых регионов связан с тем, что детекторы по разному реагируют на различные признаки изображения. Например, детектор, основанный на линиях, требует наличие на изображении кривых линий и в случае их малого количества будет обнаружено, соответственно, низкое число регионов.
Однако, данное различие является в то же самое время достоинством детекторов, т.к. разные детекторы дополняют друг друга. Некоторые детекторы хорошо работают на структурных сценах (например MSER, IBR), а некоторые, напротив, на текстурных (Харрис, Гессе).
Размер региона также значительно варьируется от типа применяемого детектора. Как правило, детекторы Харриса, Гессе и MSER извлекают из изображения мелкие регионы, в то время как другие детекторы извлекают крупные регионы. Это можно наблюдать на рисунках 18, 19. Рисунок 23 показывает гистограммы изменения размеров региона для исследуемых детекторов. Размер региона измеряется как среднее от половины длины двух осей эллипса, который соответствует радиусу круглого региона, покрывающего ту же самую область. Большие регионы обычно имеют лучшую способность отличать, так как они содержат больше информации, что делает их более удобными, чтобы применять их в сопоставлении точек. На рисунках33 и 34 показано, что большие регионы имеют лучшие шансы перекрываться с другими областями изображения.
Анализ и выбор протоколов взаимодействия распределенных компонентов подсистемы разграничения доступа в сети корпоративных порталов
Успешное применение цилиндрических профилей для детектирования сооружений вдохновило на создание цилиндрических морфологических профилей, чтобы было возможным иметь дело со зданиями разного масштаба. В данной работе рассматриваются два типа морфологических цилиндров, цилиндрическая реконструкция THR и цилиндрическая эрозия THE, которые могут быть представлены следующим образом. THR(J,e)=J-BJ,(J,e) (44) THE(J,e)=J-(J,e) (45) THR является эффективным в качестве детектора пиков изображения. Однако, недостатком данного типа является то, что THR не может выделять объекты переднего плана, расположенные на наклонной поверхности (например, провода, мосты). Данную проблему можно решить, использовав построенный индекс NDVI. Напротив, THE легко детектирует такие объекты.
На рисунке 45 показан пример, где THR и THE посчитаны с использованием структурного элемента типа «диск». Как видно из рисунка 1, THR эффективно детектирует объекты, находящиеся выше земной поверхности, различая такие классы объектов как дороги и земля. ТНЕ способен выделять локальные максимумы внутри области структурного элемента, но это приводит к ошибкам в классификации объектов местности (например, дороги). На данном рисунке в красном круге отмечено строение, которое соединено с примыкающей дорогой, имеющими одинаковую высоту. THR пропускает часть строений, в то время как ТНЕ успешно детектирует их часть.
Данные преобразования могут компенсировать друг друга. Предлагается многомасштабный подход, т.к. объекты городской застройки отличаются между собой по размерам. Множество структурных элементов {ei} с различными масштабами используются для построения DMTHP: DMTHP(J)N={THR(J,e1),THR(J,e2),…,THR(J,eN),THE(J,e1),THE(J,e2),…,THE(J,eN)} (46) Многомасштабные структурные элементы эффективны при описании пространственных различий объектов с различными размерами. Однако, как обозначено Бенедиктссоном и др. [23], главный недостаток такой стратегии – высокая вычислительная стоимость для классификации с особенностями высокой размерности. Чтобы уменьшить многомерность, они только используют два наиболее важных элемента (ярко выраженные) для обучения и классификации, но вычисление морфологической реконструкции все еще должно быть сделано в полном масштабе, который является значительно трудоемким. Кроме того, морфологические цилиндрические преобразования могут содержать избыточность, так как результаты тесно связаны с масштабом объектов. показывает пример вычисления THR и THE профилей для различных классов. Можно заметить, что профили для различных структурных элементов показывают различные результаты, однако, большая избыточность может наблюдаться в профилях THR и THE в последних трех столбцах гистограммы, т.к. значения THR и THE остаются подобными. В представленном рисунке для автомобиля значения остаются подобными в независимости от изменения масштаба структурного элемента. Это происходит вследствие того, что масштабы различных классов городских объектов в пределах определенного диапазона могут не способствовать эффективно выделять признаки для классификации. Только признаки около неоднородностей (сгустки) полезны, чтобы построить отличимые признаки, соответствуя масштабу различных городских объектов. По мере того, как обучающая выборка отобрана для представления городского объекта, необходимо оценить границы масштаба различных городских классов, основанных на обучаемой выборке.
Возьмем обучающую выборку для N классов {d}nlf {С2}щ, ..., {CN}nN, где { } - область изображения, относящая элемент выборки к классу Ст, рассчитаем его масштаб как: д/ (47) где RxQиRyQ являются диапазоном участка изображения в направлении x и y осей соответственно. Рассчитаем верхнюю границу весов в каждом классе как: { { }} (48) Итеративно вычисляется UB(Cm) для каждого класса, после чего веса, между которыми расстояние меньше 80 пикселей объединяются в один кластер. Окончательные веса обозначены как {г}к. Таким образом DMTHP можно представить в другом виде, где для каждого элемента производится нормализация всех признаков в диапазоне от 0 до 1. DMTHP(J)k={THR(J, erl), THR(J, er2),..., THR(J, erk), THE(J, erl), THE(J, er2),..., THE(J, erk)} (49)
Фотоснимки ультравысокого разрешения имеют большой объем данных, поэтому необходимо уменьшить вычислительную сложность при анализе объектов. Чтобы полностью использовать спектральную информацию и информацию о высоте, принимается предложенный метод сегментации, изложенный в работе Цина и др. [29]. Данный метод сегментации представляет собой по существу сегментацию « дв г реднего» (MS) [20,37], и, в то же время, ограничивающий границу сегмента использованием карты весов, вычисляя вероятность каждого пикселя, являющегося границей объекта. В этом методе карта весов определена как величина Кэнни [38] из метода DSM. На каждой итерации сегментации происходит отслеживание от выхода процедуры за пределы пикселей с высокой граничной вероятностью. В классической сегментации MS есть два главных параметра: пространственная полоса пропускания Hs и спектральная полоса пропусканияHr, для которых характерны пространственная близость и спектральное подобие из метода сегментации [20]. В дополнение к классической сегментации MS имеется другой параметр/?, который контролирует выход за край карты весов.
На рисунке 46 показан пример сегментации методом синергетического сдвига-среднего. Как видно из рисунка на втором изображении внутри красного круга отмечена область, которая из-за перепада высот местности может нарушить правильное определение сегментов, поэтому для более точной сегментации и для дальнейшего обучения классификатора установим значения параметров следующим образом:Я, = 7, Нг = 4 р = 0.1. Из-за ограничений ЦМР, Нг = 4 устанавливается как относительно большое значение для уменьшения эффекта так называемой пересегментации.