Содержание к диссертации
Введение
1. Анализ проблемы комплексирования разнородных изображений от современных систем космического наблюдения Земли 16
1.1. Технологии комплексирования данных от систем наблюдения, использующих несколько субпиксельно смещенных ПЗС-линеек .16
1.2. Комплексирование разноспектральных изображений с целью повышения детальности отображения объектов наблюдаемой сцены 22
1.3. Методы и алгоритмы комплексирования данных гиперспектральной съемки Земли 32
1.4. Подходы к комплексированию материалов космической съемки в видимом, тепловом и радиолокационном диапазонах спектра 39
1.5. Новые направления развития методов и технологий комплексирования данных от различных систем космического наблюдения Земли 48
Основные результаты 50
2. Комплексирование субпиксельно смещенных изображений с целью повышения разрешающей способности съемки 51
2.1. Общая постановка задачи 51
2.2. Метод комплексирования изображений от нескольких субпиксельно смещенных ПЗС-линеек, основанный на алгебраическом подходе объединения данных 60
2.3. Комплексирование спутниковых изображений от субпиксельно смещенных ПЗС-линеек в условиях геометрических искажений наблюдаемой сцены 67
2.4. Метод комплексирования разноспектральных субпиксельно смещенных изображений 73
2.5. Критерии оценки эффективности процесса комплексирования изображений 83
Основные результаты 96
3. Комплексирование разноспектральных геометрически совмещенных изображений с целью повышения четкости отображения объектов наблюдаемой сцены 97
3.1. Предпосылки к повышению детальности и информативности разноспектральных спутниковых изображений 97
3.2. Метод комплексирования разноспектральных космических снимков, основанный на стохастической модели изображений 103
3.3. Алгоритмы комплексирования разноспектральных изображений видимого диапазона, основанные на анализе их отличительных особенностей 111
3.4. Метод комплексирования изображений с различными пространственно-спектральными характеристиками 116
3.5. Предварительная нормализация изображений с целью повышения эффективности процесса их комплексирования 125
Основные результаты 133
4. Комплексирование данных от систем оптического, теплового и радиолокационнного наблюдения Земли 134
4.1. Проблемные вопросы комплексирования оптической и тепловой информации с данными радиолокационной съемки 134
4.2. Особенности комплексирования данных гиперспектральной съемки Земли в оптическом и тепловом диапазонах 148
4.3. Алгоритмы комплексирования оптической, тепловой и радиолокационной информации на основе независимой обработки низко- и высокочастотных компонент 152
4.4. Алгоритм комплексирования радиолокационных данных, полученных с различных точек наблюдения Земли, с использованием нечеткой логики 167
4.5. Комплексирование данных от систем глобального наблюдения Земли с электронными картами с целью высокоточного определения координат наблюдаемых объектов 179
Основные результаты 190
5. Экспериментальное подтверждение эффективности методов и алгоритмов комплексирования данных от различных систем космического наблюдения Земли 191
5.1. Экспериментальное подтверждение эффективности методов комплексирования видеоданных от нескольких субпиксельно смещенных ПЗС-линеек 191
5.2. Экспериментальное подтверждение эффективности метода и алгоритмов комплексирования геометрически совмещенных разноспектральных изображений 209
5.3. Экспериментальное подтверждение эффективности алгоритмов комплексирования данных оптического, радиолокационного и теплового наблюдения Земли 218
5.4. Реализация технологий комплексирования видеоинформации от различных систем космического наблюдения Земли 227
Основные результаты 232
Список литературы 233
Приложение 265
- Технологии комплексирования данных от систем наблюдения, использующих несколько субпиксельно смещенных ПЗС-линеек
- Предпосылки к повышению детальности и информативности разноспектральных спутниковых изображений
- Алгоритмы комплексирования оптической, тепловой и радиолокационной информации на основе независимой обработки низко- и высокочастотных компонент
- Реализация технологий комплексирования видеоинформации от различных систем космического наблюдения Земли
Технологии комплексирования данных от систем наблюдения, использующих несколько субпиксельно смещенных ПЗС-линеек
Пространственное разрешение материалов съемки Земли можно повысить не только за счет использования ПЗС-линеек (или ПЗС-матриц) с увеличенным числом фотоприемных элементов, но и за счет использования нескольких ПЗС-линеек малой размерности, установив их в фокальной плоскости с субпиксельными смещениями поперек направления движения спутника, т.е. вдоль направления расположения фотоприемных элементов в ПЗС-линейке. Ниже приводится анализ отечественной и зарубежной литературы по реализации такого подхода.
1.1.1. Метод экранирования. В работе [32] рассматривается метод решения задачи сверхразрешения, основанный на субпиксельном смещении матрицы детекторов, формирующих изображения, с последующей субпиксельной обработкой полученных видеоданных в пространственной области. Субпиксельная обработка здесь предполагает получение нового значения яркости пикселя на основе обработки других, частично сходных между собой элементов.
Пусть имеется два субпиксельно смещенных на половину пикселя изображения I1 и I2, представленные в виде векторов размером M : I1(i) и I2(i) - i -е пиксели исходных изображений, i = 0,M . Пиксели результирующего изображения R более высокого разрешения определяются как
В результате такого комплексирования, как утверждается в [32], формируется изображение с двукратно увеличенным пространственным разрешением по сравнению с исходными снимками.
Этот подход может быть обобщен на случай нескольких субпиксельно смещенных изображений, но в нем не устраняется ошибка в определении начального элемента и не учитывается шум квантования значений яркости.
1.1.2. Комплексирование на основе автоковариационных матриц. В [33] предложен алгоритм повышения разрешения на основе использования ПЗС-матриц, смещенных по диагонали друг относительно друга на дробную часть пикселя. Рассмотрен пример для двух исходных снимков. Из пикселей передискретизированного изображения формируются элементы: где x - развернутое в вектор скомплексированное (с повышенным разрешением) изображение; y - развернутые в вектор исходные изображения; e - ошибка преобразования; А - матрица линейного оператора. Выражение (1.2) представляется в следующем виде: где cc1,...,a2 - относительные размеры площади пикселей в скомплексиро ванном изображении. Результирующее изображение находится по методу наименьших квадратов: где fix и Zx - соответственно априорные среднее и ковариационная матрица вектора x, Ze - ковариационная матрица ошибок. В предположении однородности изображений ковариационные матрицы состоят из значений автоковариационной функции. Для ошибок автоковариационная функция может быть оценена, например, по изображениям, смещённым на целое число пикселей [33].
Такой подход связан с большими вычислительными затратами. Для повышения производительности алгоритма используется обработка в «окне». Исключение из обработки краевых элементов позволяет уменьшить искажения, вызванные низкочастотной неоднородностью сцены. Алгоритм состоит из следующих шагов.
Шаг 1. Вычисление автоковариационных матриц исходного и шумового изображений - оценка матриц 1x и 1e.
Шаг 2. Регуляризированное обращение матрицы A:
Вычисляются четыре версии матрицы B. На следующем шаге для вычисления каждого пикселя высокого разрешения используется одна из версий матрицы B в зависимости от чётности координат пикселя, точнее - в зависимости от текущего положения «окна».
Шаг 3. Восстановление изображения высокого разрешения в окне проводится как
Поскольку используется только центральный элемент восстановленного изображения в «окне», все элементы произведения матрицы и вектора не выполняются.
Рассмотренный алгоритм имеет следующие недостатки.
Необходимо разработать способ оценивания автоковариационной матрицы результирующего изображения высокого разрешения без знания характеристик наблюдаемой сцены.
Необходимо определить оптимальный размер используемого «окна». В качестве «окон» можно использовать результаты сегментации. Это позволит избежать предположения об однородности изображения.
Сильное влияние шума на изображении на процесс комплексирова-ния.
1.1.3. Максимизация апостериорной вероятности [34]. Здесь полагается, что повысить детальность изображения можно путем его восстановления в более частой решетке, при этом значения неизвестных элементов можно предсказать использую вероятностную модель изображения. Общая модель наблюдения включает в себя преобразование оптической системы и учет шума: где Y - совокупность исходных субпиксельно смещенных друг относительно друга изображений низкого разрешения; Н - матрица, учитывающая смещения оптической системы; N - шумовая составляющая; f - изображение высокого разрешения.
Согласно предлагаемому методу искомая оценка f должна соответствовать максимуму апостериорной вероятности: где P{F/Y) - апостериорная вероятность высокодетального изображения F при условии наблюдения совокупности Y изображений.
Согласно правилу Байеса, выражение (1.8) представляется как: где P(Y/F) - функция правдоподобия; P(F), P{Y) - априорной плотности вероятности высокодетального изображения F и совокупности Y изображений с низким разрешением соответственно.
Так как максимум не зависит от наблюдаемых изображений, то fMAP = argmax[p(7/F)p( )]. (1.10)
Выражение (1.10) эквивалентно поскольку логарифм является монотонно возрастающей функцией.
Из (1.7) следует, что функция правдоподобия определяется плотностью вероятности шума:
В [34] шум предполагается гауссовым, использование натурального логарифма в приведенной выше формуле позволяет удалить экспоненциальный член из плотности вероятности. Для априорного распределения используется марковское поле, которое имеет плотность вероятности Гиббса: где Z - нормализующая константа; ft - «температурный» параметр; U{F) - «энергия» F.
Если предполагать, что шум гауссовский, а априорное распределение F - выпуклая функция, то решение fMAP существует и является единственным, что является достоинством данного подхода. Также к его преимуществам можно отнести его структуру, позволяющую напрямую включать априорные ограничения, что является важным для поиска качественных решений. Достоинством описанного подхода является возможность использования эффективных алгоритмов поиска оптимума.
Однако вводимые априорные допущения не всегда являются адекватными в смысле отражения свойств наблюдаемых исходных изображений и искомого результата комплексирования, что является проблемным вопросом рассмотренного подхода.
1.1.4. Наложение и сдвиг спектров. В работе [35] описан способ получения изображения повышенного разрешения из набора снимков одной и той же сцены с субпиксельным сдвигом друг относительно друга и, как следствие, наложение их спектров. Свойства сдвига и наложения спектров используются для формирования системы уравнений, которые связывают коэффициенты дискретного преобразования Фурье наблюдаемых изображений с выборками непрерывного преобразования Фурье неизвестной исходной сцены. Система уравнений решается для коэффициентов частотной области исходной сцены, которая затем восстанавливается с использованием обратного дискретного преобразования Фурье.
Пусть непрерывная сцена обозначается как /(JC1,JC2). Тогда сдвинутые изображения обозначаются как /г(х1,х2) = /(х1 + АХ1,Г,х2+АХ2,Г), г = 1,Ji. Непрерывное преобразование Фурье сцены обозначается как F(u1,u2), непрерывное преобразование Фурье для сдвинутых изображений как Fr(u1,u2). Наблюдаемые сдвинутые изображения представляют собой дискретные значения уг[т1,т2} = /{т{ГХ1+АХ1Г,т2ТХ2+АХ2Г) , 7 = 0 -1, /и2=0,М2-1.
Им соответствуют двумерные преобразования Фурье, обозначаемые как Yr[k1,k2]. Непрерывное преобразование Фурье сцены и дискретные преобразования сдвинутых изображений связаны через наложение спектров
Предпосылки к повышению детальности и информативности разноспектральных спутниковых изображений
Современные системы ДЗЗ позволяют выполнить одновременную съемку наблюдаемой сцены в нескольких спектральных диапазонах и с различным разрешением на местности. Полученные от системы наблюдения видеоданные формально могут быть описаны многозональной матрицей В = {В1,В2,...,Вк}, элементами которой являются наборы значений энергетической яркости, зафиксированные в К спектральных диапазонах где Sk[X) - спектральная чувствительность датчика в к-м диапазоне; Е(т,п,Л) - спектральная яркость наблюдаемой сцены; т, п - номера строк и столбцов изображения, которые соответствуют координатам X ,Y,Z некоторой точки объекта наблюдения.
Исторически спектрозональная и гиперспектральная съемка разрабатывалась с целью получения нескольких изображений в различных спектральных каналах для решения трудноформализуемых задач дешифрирования объектов наблюдаемой сцены. Однако разбиение входной лучистой энергии на К спектральных диапазонов приводит к уменьшению энергии в каждом диапазоне, что снижает отношение сигнал/шум и приводит к потере разрешающей способности по отношению к панхроматической съемке. То есть, с одной стороны, спектрозональный способ дает дополнительную информацию о спектральном составе излучения объектов наблюдаемой сцены, а с другой стороны, снижает пространственную разрешающую способность изображений.
3.1.2. Комплексирование разноспектральных данных осуществляется с целью получения на их основе нового изображения, на котором в отличии от панхроматической съемки более четко отображались бы объекты наблюдаемой сцены. Эта задача в определенной степени является обратной по отношению к спектрозональной и гиперспектральной съемке, и для ее решения есть весомые предпосылки [193].
Чтобы убедиться в этом, рассмотрим для простоты двух зональную съемку для следующего идеализированного случая. Пусть датчик имеет два спектральных канала, у которых функции спектральных чувствительностей S1(X), S2(/l) сдвинуты друг относительно друга по оси Л и симметричны относительно некоторого значения Л = Л0. Будем считать, что датчик имеет и панхроматический канал со спектральной чувствительностью 5(Я) = 0.5(51(Я)+52(Я)) (рис. 3.1). Рассмотрим две точки земной поверхности с функциями спектральной яркости Е1(Л) и Е2(Л), которые так же симметричны относительно точки Л0. В результате двухзональной съемки датчиком будут сформированы значения спектрозональных яркостей для 1-й точки (В11,В21), а для 2-й точки -(В12,В22): где первый индекс для Btj, i,j є {1, 2}, характеризует номер спектрального канала, а второй - номер точки.
При гиперспектральной съемке диапазон частот АЛ для каждого отдельного снимка настолько мал, что интегральные соотношения (3.2) вырождаются в более простые: Д., = Et S, АЛ, і J є {1, 2}.
Введем в рассмотрение меры различимости этих точек при панхроматической и спектрозональной съемке. При панхроматической съемке в качестве меры различимости точек естественно принять величину: где х1 и х2 - проекции вектора, соединяющего рассматриваемые точки, соответственно на оси - максимальное значение яркости.
В качестве меры различимости точек при спектрозональной съемке естественно принять расстояние между ними в спектрозональном пространстве d, отнормировав его так, чтобы диапазон изменения d совпадал с диапазоном изменения [193]: d = 1Jx12 + x22, de [ 0, Bm 1. (3.4)
Из рисунка следует, что мера различимости спектрозональных данных d всегда превосходит или, по крайней мере, равна , т.е. объекты на спектрозональных и гиперспектральных снимках более различимы, чем на панхроматическом изображении. Лишь в случае, когда приращения спектрозональных компонент при переходе от одной точки к другой одинаковы (x1=x2), различимости точек на панхроматическом и спектрозональных снимках совпадают.
Если приращения спектрозональных компонент при переходе от одной точки к другой равны по модулю и противоположны по знаку (x 1 = -x2), то спектрозональная съемка имеет максимальное преимущество. В данном случае на 1-м спектрозональном изображении первая точка светлее второй, а на 2-м изображении на столько же темнее, или наоборот, и всегда имеют не нулевую меру различимости d. В отличии от этого, на панхроматическом изображении эти точки будут иметь одинаковые яркости, т.е. иметь нулевую различимость = 0.
Отмеченные факты и создают предпосылки для получения по данным спектрозональной и гиперспектральной съемки некоего нового изображения, на котором по отношению к панхроматическому снимку более четко отображаются объекты наблюдаемой сцены.
Сделанные выводы легко распространить для общего случая многозональной и гиперспектральной съемки в K спектральных диапазонах. Здесь по аналогии с (3.3-3.5) получим
В данном случае лишь при х1= х2= .... = хк: у = 1, и спектрозональная съемка не дает дополнительной информации для повышения четкости изображения. По мере взаимной компенсации приращений спектрозональных компонент —»0 и создаются наилучшие условия для комплексирования разноспектральных данных.
Запишем выражение для у в виде т.е. по мере взаимной компенсации произведений положительных и отрицательных приращений спектрозональных компонент у —» 1\1К .
В качестве подтверждения сделанных выше выводов на рис. 3.4 представлены фрагменты двух разноспектральных изображений (слева и в центре) и фрагмент панхроматического снимка (справа), полученного путем усреднения первых двух. Как видим, многие объекты, четко представленные на спектрозональных изображениях, значительно теряют свою различимость на панхроматическом снимке.
Алгоритмы комплексирования оптической, тепловой и радиолокационной информации на основе независимой обработки низко- и высокочастотных компонент
По результатам анализа вопросов комплексирования существенно разнородной видеоинформации от современных систем оптической, тепловой и радиолокационной съемки Земли необходимо сделать следующие выводы.
Общность моделей и технологий получения и обработки разноспек-тральной информации более всего проявляются для данных видимого и теплового диапазонов спектра. Поэтому далее под ГСИ будем понимать набор изображений, которые одновременно получены в указанном диапазоне в одной и той же решетке пространственной дискретизации, но в различных соприкасающихся более узких спектральных поддиапазонах (каналах). Общие модели формирования и дальнейшей обработке ГСИ рассмотрены в п. 4.1 и п. 4.2.
Радиолокационные изображения (РЛИ) с точки зрения их формирования и обработки по отношению к ГСИ обладают и общностью и значительными различиями, этот вопрос обсуждался в п. 4.1.
Поэтому в п. 4.3 и п. 4.4 рассматриваются вопросы объединения раз-носпектральной информации по следующим вариантам:
- комплексирование спектрозональных изображений видимого или теплового диапазона с ограниченным числом спектральных каналов;
- комплексирование гиперспектральных снимков видимого и теплового диапазонов, содержащих десятки и сотни изображений, что дает возможность использовать для каждого многомерного пикселя его спектральную характеристику;
- комплексирование РЛИ, полученных с различных точек зондирования заданного участка земной поверхности;
- комплексирование оптической, тепловой и радиолокационной информации.
При реализации этих вариантов преследуется одна и та же цель – получение нового изображения с более высокими геометрическими и (или) радиометрическими характеристиками по отношению к исходным снимкам.
4.3.2. Комплексирование оптической видеоинформации. После проведения предварительной обработки (см. п. 3.5) низкочастотные составляющие разноспектральных оптических изображений почти не отличаются друг от друга. Основные различия комплексируемых изображений заключены в их высокочастотных компонентах, в которых содержится информация о контурах и границах объектов наблюдаемой сцены. Поэтому целесообразно проводить раздельную обработку низко- и высокочастотных компонент разно-спектральных видеоданных [89,93,94]. Для простоты изложения будем использовать изображения только от трех спектральных каналов.
Исходные изображения разбиваются на низко- и высокочастотную части: в1 = В1Н + BW, в2 =В2Н + В2В, в3 =в3н+в3в. Для этого путем расфокусировки изображений В1, В2, В3 формируются их низкочастотные составляющие Вш, В2Н, В3н, а затем определяются высокочастотные В1В = В1 -Вш, В2В =В2-В2Н, В3в =В3-В3Н. В качестве фильтра может быть выбран усредняющий, либо фильтр размытия по Гауссу. Размеры фильтра определяют порог, отделяющий высокие частоты от низких.
На рис. 4.2 приведен пример комплексирования нескольких разноспектральных изображений, дающий возможность визуально оценить достигаемый эффект. Критерии качества комплексирования (см. п. 2.5) также указывают на положительный эффект. Например, по критерию энтропии четкость скомплексированного изображения (рис. 4.2, нижний снимок) выше примерно на 30 % по отношению к исходному более четкому снимку (рис. 4.2, верхний снимок на переднем плане).
Реализация технологий комплексирования видеоинформации от различных систем космического наблюдения Земли
1 В современных системах ДЗЗ с различными по принципу действия сканирующими устройствами используется базовая схема получения стандартных информационных продуктов [91,94]. Сначала исходный цифровой поток целевой информации со спутника подвергается структурному восстановлению, затем проводятся радиометрическая, геометрическая нормализации, геодезическая привязка (рис. 5.19). На этих этапах учитываются характеристики и особенности устройств сканирующих датчиков, а так же навигационные данные и параметры ориентации спутников. После обработки изображения приводятся к единой картографической проекции, что позволяет их сопоставлять друг с другом и проводить совместную обработку.
Для решения задач комплексирования, рассматриваемых в настоящей работе, нормализованные спутниковые снимки необходимо подвергнуть предварительной обработке. При этом для отдельных задач изображения прецизионно геометрически совмещаются, выравниваются по яркости и на них выполняется поиск инверсных областей. Далее проводится комплекси-рование субпиксельно смещенных, разнозональных, тепловых и радиолокационных изображений, результаты которого поступают на тематическую обработку с целью обнаружения и дешифрирования объектов интереса.
С помощью спутниковых изображений осуществляется моделирование исходных видеоданных для комплексирования и эталонных снимков, как результат максимально качественного комплексирования. Сопоставляя исходные, эталонные и скомплексированные изображения можно получить достоверные оценки эффективности методов, алгоритмов и технологий комплек-сирования спутниковых видеоданных.
5.4.2. Представленная на рис. 5.19 технологическая схема легла в основу специального программного обеспечения комплексирования космических изображений с использованием современных высокопроизводительных вычислительных средств.
В основу программного обеспечения положен модульный принцип, который позволяет гибко адаптироваться к конкретной задаче комплексирова-ния (рис. 5.20). Программно данный подход в ОС Windows реализуется эффективно в виде отдельных dll-модулей. В этом случае главный модуль организации вычислительного процесса имеет возможность гибко принимать решения о загрузке того или иного dll-модуля обработки.
Разработка отдельных модулей производилась с применением методов объектно-ориентированного проектирования [255]. Такой подход повышает надежность разработки составных частей программного обеспечения и упрощает их модернизацию в ходе эксплуатации.
ОС Windows 7, 8, 10 позволяют каждому модулю работать с адресным пространством, значительно превышающим 2 ГБ. Это дает возможность хранить исходные, промежуточные и обработанные снимки в оперативной памяти без дополнительным механизмов кэширования.
Программное обеспечение включает функциональные модули чтения исходных разнородных изображений, построения модельных снимков, предварительной обработки, непосредственно комплексирования, анализа качества обработки, сохранения результирующих изображений в графических форматах.
Модуль импорта видеоданных обеспечивает преобразование изображений в обычную растровую матрицу. Работа модуля зависит от входного формата видеоданных. Модуль моделирования позволяет построить модели изображений от любого числа ПЗС-линеек, с любой частотой их опроса, с любым числом фотоэлементов в каждой линейке, а так же различными параметрами относительного смещения ПЗС-линеек.
Модуль анализа характеристик видеоданных осуществляет расчет критериев качества комплексирования, рассмотренных в разделе 2, а также оценку яркостных, статистических параметров изображений и их взаимных геометрических рассогласований. Модуль предварительной обработки выполняет яркостную и геометрическую нормализацию изображений.
Модули комплексирования реализуют рассмотренные в разделах 2, 3, 4 методы и алгоритмы объединения разно- и равнозональных изображений с нулевыми и постоянными геометрическими смещениями одноименных элементов, а также комплексировании данных видимого, теплового и радиолокационных диапазонов. Для каждого вида изображений применяется своя группа алгоритмов.
На современных ЭВМ высокая скорость обработки больших объемов данных достигается за счет распараллеливания обработки на несколько ядер (процессоров). Возможность распараллеливания в первую очередь зависит от решаемой задачи, особенностей конкретных алгоритмов и от качества реализации алгоритмов в отдельных модулях.
Разработанные методы и алгоритмы комплексирования информации от различных систем ДЗЗ реализованы в виде отдельных модулей в составе специального программного обеспечения комплексирования [168,173,177,181-188,192], которое получило внедрение в центрах приема и обработки спутниковой информации от существующих и вновь проектируемых отечественных систем ДЗЗ: «Ресурс-П», «Аист-2Д», «Обзор-Р», «Ресурс-О1», «Электро-Л», «Арктика-М» и др.