Содержание к диссертации
Введение
Глава 1. Физические и программные основы построения информационных систем обработки спутниковых данных 13
1.1. Физические принципы атмосферной коррекции спутниковых изображений земной поверхности 13
1.1.1. Многофакторный физический подход 13
1.1.2. Информационное обеспечение атмосферной коррекции данных дистанционного зондирования 18
1.2. Программные технологии построения информационных систем обработки спутниковых данных 24
1.2.1. Управление проведением расчетов. Автоматное программирование 25
1.2.2. Информационные технологии построения web-систем 31
1.2.3. Структуры данных 35
1.3. Программное обеспечение для репгения задачи атмосферной коррекции спутниковых данных 38
Выводы 47
ГЛАВА 2. Информационное и алгоритмическое обеспечение решения задачи атмосферной коррекции 49
2.1. Оптические характеристики атмосферы по данным дзз 49
2.1.1. Валидация спутниковых измерений оптических характеристик аэрозоля .. 49
2.1.2. Исследование оптико-метеорологических характеристик атмосферы по данным дзз 68
2.2. Алгоритмическое обеспечение решения задачи атмосферной коррекции 78
2.2.1. Оценка релевантности спутниковой оптико-метеорологической
Информации 78
2.2.2 алгоритм расчета атмосферных корректирующих поправок 91
Выводы 95
ГЛАВА 3. Информационная система атмосферной коррекции спутниковых данных 97
3.1. Разработка и реализация программного обеспечения системы 97
3.1.1. Технология разработки 97
3.1.2. Разработка управляющих модулей системы 103
3.1.3. Структура бд. Технология использования бд в составе системы 109
3.2. Программное обеспечение системы 112
3.2.1. Реализация управляющих модулей системы 112
3.2.2. Реализация функциональности системы 118
3.2.3. Характеристики разработанного программного обеспечения 121
3.3. Результаты работы системы 125
Выводы 137
Заключение 139
Список основных аббревиатур 140
Список обозначений 141
Литература
- Информационное обеспечение атмосферной коррекции данных дистанционного зондирования
- Информационные технологии построения web-систем
- Валидация спутниковых измерений оптических характеристик аэрозоля
- Разработка управляющих модулей системы
Информационное обеспечение атмосферной коррекции данных дистанционного зондирования
Определение и получение оптимального набора данных об атмосфере, позволяющего произвести расчет искажающих характеристик атмосферы с точностью, приемлемой для решаемой тематической задачи, является одним из ключевых вопросов атмосферной коррекции спутниковых изображений на основе МФП. Современный подход к проблеме получения данных, необходимых для решения уравнения переноса излучения, заключается в комплексном использовании результатов измерений и данных моделирования различных оптико-метеорологических атмосферных параметров.
Рассмотрим возможные источники задания оптико-метеорологических данных об атмосфере оптимального объема, требуемой точности и пространственного разрешения, позволяющих осуществлять атмосферную коррекцию всего спутникового изображения, а не отдельных его участков.
Типы и форматы оптико-метеорологической информации
В качестве информации о состоянии атмосферы в момент проведения спутниковых измерений могут быть использованы модельные данные, данные ДЗЗ, прогностические данные, данные радиозондов, данные сети AERONET и др. 1) Среднеклиматические и региональные метеомодели. Применение этих данных на начальном пути развития физического подхода показало, что такой источник метеоданных ведет к возникновению больших ошибок, связанных с пространственной и временной вариабельностью параметров атмосферы. Примером тому является опыт обработки в СССР данных со спутника "Метеор" в начале 80-х годов прошлого столетия. В основе обработки спутниковых данных использовалось понятие передаточной функции атмосферы, которую можно записать в виде Px=Ij/Bx(Ts) при 8 ,=1, введенное в монографии М.С. Малкевича [16]. Для атмосферной коррекции спутниковых данных "Метеор" на основе оптических моделей атмосферы с использованием каталогов климатологической информации были проведены расчеты атласов глобального пространственного распределения передаточной функции атмосферы. По данным работы [17], ошибки (СКО) восстановления температуры поверхности океана с применением этого метода составили 1.8-3.0 К. 2) Данные радиозондов. Данные радиозондирования обладают достаточно высокой точностью порядка 1 К для температуры и 10% для влажности воздуха. Однако они не могут быть универсальным источником метеоданных для целей атмосферной коррекции спутниковых изображений по следующим причинам: a) радиозонды осуществляют локальные измерения, а сеть станций аэрологических измерений является весьма редкой - 115 станций на всю территорию России и всего 5 станций для Западной Сибири; b) измерения проводятся только дважды в сутки в моменты времени t=0 и 12 GMT, которые фактически не совпадают со временем пролета спутников; c) затруднен оперативный доступ к этим данным. 3) Прогностические данные. Как известно, получение прогностических данных основано на совместном использовании результатов радиозондирования и моделей метеопрогноза (например, WRF или ММ5). То есть недостатки данных аэрологического зондирования отражаются на точности прогноза вертикального распределения метеопараметров атмосферы в глобальном масштабе. Тем не менее, есть примеры применения этой метеоинформации. В работе [18] описывается \уеЬ-калькулятор[19], который выполняет на основе программы MODTRAN расчет функций пропускания атмосферы t(k) и интенсивностей теплового излучения атмосферы Ідтм( ) для учета молекулярного поглощения при атмосферной коррекции данных теплового канала приборов ТМ/ЕТМ+ спутниковых систем Landsat-5,7. В качестве входной метеоинформации здесь используются данные NCEP (National Centers for Environmental Prediction). Авторы на основе проведенного тестирования [20] считают, что при известной излучательной способности ЕХ и в условиях прозрачной атмосферы с помощью разработанной ими программы можно осуществлять атмосферную коррекцию данных ТМ/ЕТМ+ в глобальном масштабе с погрешностью в пределах ± 2 К, что в безоблачных условиях соответствует достаточно низкому уровню точности решения этой задачи. (Более подробно эта работа рассматривается в разделе 1.3).
Данные об аэрозоле и облачности. В настоящее время функционирует сеть станций AERONET [21], где каждые 15 минут для безоблачных условий проводятся наземные спектральные фотометрические измерения. В ближайшем будущем планируется развитие аналогичной сети для территории Сибири (AEROSIBNET) [22]. Однако плотность сети AERONET заметно отличается для разных регионов - она насчитывает по всему миру несколько сот станций, но на территории России работает всего 4 станции в европейской части и 5 станций в азиатской. Таким образом, сеть AERONET не может обеспечить большие территории данными, которые бы соответствовали реальным масштабам пространственных вариаций параметров аэрозоля. Более того, обработка "сырых" (уровень 0) фотометрических измерений характеристик аэрозоля и получение на их основе данных уровня 2.0 (или хотя бы уровня 1.5) требует длительного времени. В этой связи данные станции AERONET нельзя рассматривать как источник оперативной информации о параметрах аэрозоля, необходимых для атмосферной коррекции спутниковых ИК-изображений.
Спутниковые данные. Современные спутниковые методы диагностики аэрозоля и облачности, несмотря на их недостатки, позволяют снять вопрос об оперативности данных и обеспечить относительно высокое пространственное разрешение восстановленных данных, сравнимое с пространственным разрешением спутниковых радиометрических каналов. При решении задачи атмосферной коррекции спутниковых изображений в качестве потенциального источника оперативной информации о состоянии атмосферы в момент проведения ДЗЗ необходимо эффективно использовать данные спутниковых приборов зондирования атмосферы. Выбирая оптимальную спутниковую систему для реализации физического подхода к атмосферной коррекции, следует руководствоваться следующими соображениями.
Информационные технологии построения web-систем
Как следует из анализа данных рисунка 2.2в, наименьшие относительные изменения из трех рассматриваемых параметров (при изменении алгоритмов восстановления спутниковых измерений) претерпел параметр (X формулы Ангстрема. В среднем различие этого параметра в С4 и С5 составляет 13-16% и заметно уменьшается в 2004 году до уровня 6%. При этом следует отметить, что максимальные различия этого параметра характерны для апреля, где среднее отношение значений С5/С4 составляют величину 1.35-1.50. На втором этапе работ был выполнен сравнительный анализ данных MxD04_L2 для двух спутниковых систем TERRA и AQUA (MxD=MOD для TERRA и MxD=MYD для AQUA). В этом случае сравнения производились по тем же трем характеристикам атмосферного аэрозоля - МКА, Т466 и параметра а. Все работы для сравнительного анализа двух спутниковых систем проводились с использованием файлов MxD04_L2 (пятая коллекция - С5) для территории 50-62N и 70-92Е за временной период с апреля по октябрь 2003-2006 гг. Количество таких гранул составляет в зависимости от года величину от 1988 до 2020 для спутника TERRA и 1978-2021 для спутника AQUA.
Иллюстрации результатов сравнительного анализа аэрозольных параметров МКА, І466 и параметра (X для 2003 года (средние значения для каждого месяца и для всего весенне-осеннего периода) приведены на рисунке 2.3.
Данные рисунка 2.3а позволяют сделать вывод о том, что в среднем расхождения значений МКА для двух спутников не являются значительными (до 10%). При этом необходимо отметить тот факт, что эти различия уменьшаются с "возрастом" данных от 2003 до 2006 года. Максимальные различия МКА наблюдаются для весенних месяцев.
На рисунке 2.36 также приводятся данные о средних по выбранному региону АОТ в спектральном канале 466 нм. Как и в случае с МКА, очевидно отсутствие заметных различий в средних значениях І466- Эти различия не превышают 13% и сопоставимы с методической погрешностью восстановления АОТ порядка ±0.05±0.15т.
Для данных 2003 и 2004 гг. различия а составили всего 1%, при максимальных отклонениях до 5%. Однако для данных 2005 и 2006 гг. средний уровень расхождений возрос до 11-12%, основной вклад в величину которых внесли летние месяцы.
При сравнении коллекций проводился анализ того, как изменения в методах и алгоритмах восстановления характеристик аэрозоля проявились в пространственной структуре спутниковых данных MODIS. В работах [72,73], сделанных на базе данных С4, анализ пространственных распределений усредненных значений АОТ выявил существование пространственно неоднородных структур, что входит в противоречие с ожидаемой квазиоднородностью распределений АОТ.
На рисунке 2.4 приведены пространственные распределения значений І466 (разрешение 0.5 по широте и 1 по долготе) для 2001 года, полученные путем сезонного усреднения данных за период май-сентябрь.
Из данных для коллекции С4 следует заметная пространственная неоднородность полей АОТ, структура которых хорошо коррелирует с пространственным распределением различных типов земной поверхности. При этом величина неоднородностей превышает уровень методических погрешностей. Сравнивая данные С4 с данными С5, можно сделать два основных вывода.
Величина А/Т - отношение значений для AQUA и TERRA 1. Пространственная структура значений аэрозольной оптической толщины І466 для С5 также содержит пространственные неоднородности, которые имеют сходное с данными С4 локальное расположение.
Масштаб неоднородностей и их величина заметно уменьшились, что отражает положительный эффект от изменений в оценках альбедо земной поверхности [66]. В качестве количественных характеристик тех изменений, которые произошли в пространственных полях АОТ при переходе от данных С4 к данным С5, можно привести оценки коэффициентов межгодовой корреляции пространственных структур для каждой из коллекций. В идеальной ситуации при отсутствии мощных локальных источников аэрозольного загрязнения атмосферы или каких-либо неучтенных факторов аэрозольные поля для рассматриваемых пространственных масштабов должны быть близки к квазиоднородным. Следовательно, и коэффициенты межгодовой корреляции в этом случае должны быть близки к 0. Для коллекции С4 коэффициенты корреляции составляют диапазон значений 0.52-0.75. Для коллекции С5 аналогичные коэффициенты корреляции уменьшаются в среднем на величину порядка 0.15. В целом, на основе сравнительного анализа данных MODIS Aerosol Products (MOD04_L2, level 2) коллекций C4 и C5 получены следующие результаты.
Валидация спутниковых измерений АОТ на основе данных сети AERONET Региональная валидация спутниковых измерений АОТ проводилась на протяжении ряда лет на основе измерений, полученных на станциях AERONET в Томске (с 2002 г.), Красноярске (2001-2004 гг.), Иркутске (с 2005 г.), а также в Уссурийске, Китае, Южной Корее и Японии (2009-2010 гг.). Расчеты выполнялись в соответствии с методикой, предложенной авторами алгоритма восстановления АОТ по данным измерений MODIS [67]. На первом этапе формируется тестовая выборка, включающая спутниковые и наземные измерения АОТ после их согласования по времени и пространству. С этой целью для заданной станции сети AERONET и заданного временного периода выбираются файлы спутниковых данных MxD04_L2, для которых географические координаты станции лежат в пределах снимка. Далее на снимке определяется положение пикселя, ближайшего к месту расположения станции. Он является центром прямоугольного тестового "окна" размером 5x5 пикселей, номинальный размер которого составляет в этом случае 50x50 км. Для этого окна вычисляются статистические характеристики значений АОТ в спектральных каналах. Затем отбираются наземные фотометрические измерения в пределах временного интервала ±30 мин от времени проведения спутниковых измерений и для них также вычисляются статистические характеристики. Для полученной тестовой выборки наземных и спутниковых данных далее осуществляется их статистический анализ, т.е. находятся средние расхождения (ц) данных, значения их СКО (о), коэффициенты корреляции R.
На рисунке 2.5 показаны результаты валидации данных MODIS Aerosol Product за весенне-осенние сезоны (май-сентябрь) 2000-2002 гг. для региона г. Томска. В качестве тестовых данных использовались результаты фотометрических измерений спектральной аэрозольной оптической толщины (АОТ), регулярно осуществляемых в ИОА СО РАН [82]. Сравнительный анализ спутниковых и наземных измерений АОТ проводился для длин волн Х=0.47, 0.55 и 0.66 мкм.
Валидация спутниковых измерений оптических характеристик аэрозоля
Таким образом, с помощью известных математических преобразований получены аналитические решения для проекции снимка на поверхности Земли.
На рисунке 2.22 показаны результаты тестов расчета контура снимка по данным файла GeoMeta. В качестве тестовых данных был использован тематический продукт MxD03, который содержит массив географических координат, соответствующих проекции спутникового снимка на земную поверхность. График показывает хорошее совпадение расчетного и тестового контуров снимка. Следует отметить, что такой же результат наблюдается для всех рассмотренных тестовых снимков, включая те, которые изображены на рисунке 2.22.
На графике показаны пять областей проведения расчетов. Рассчитывались области совпадения проекции снимка и заданных фрагментов. В результате получены следующие проценты совпадения площадей географических областей расчета и проекции спутникового снимка: 1 - 18,2%, фрагмент 2 - 0%, фрагмент 3 - 0%, фрагмент 4-100 %, фрагмент 1 - 70,9 %.
Таким образом, нами показано, что предложенная методика расчета проекции спутникового снимка с использованием данных GeoMeta и проверки уровня совпадения проекции снимка и заданного фрагмента поверхности является рабочей и может быть использована в схемах автоматической обработки спутниковых данных.
При создании распределенной автоматизированной информационной системы атмосферной коррекции одним из важных аспектов разработки является оценка релевантности информации, используемой при расчетах. Точность спутниковых метеоданных — важный критерий такой оценки. Вопрос точности спутниковых метеоданных, главным образом, температуры и влажности воздуха, в общих чертах затрагивался в работе [11] и зарубежных работах [92,93].
Атмосферная коррекция спутниковых инфракрасных изображений земной поверхности, полученных для метеоусловий прозрачной или замутненной атмосферы и ламбертовской подстилающей поверхности, основана на решении для каждого пикселя изображения уравнения переноса излучения с эффективной длиной волны X относительно параметра Ts (подробное описание приведено в разделе 1.1):
В длинноволновом диапазоне (8-13 мкм), где вклад солнечного излучения фактически равен нулю, уравнение (2.6) имеет более простой и вид и, что важно, требует значительно меньшее количество вычислений при его решении:
Для решения уравнения (2.7) необходимо задание параметров оптико-метеорологического состояния атмосферы - вертикальных профилей температуры T(z) и влажности W(z) воздуха, полученных по спутниковым или прогностическим данным.
Очевидно, что в случае отсутствия ошибок 5T(z) и 8W(z) в профилях метеопараметров, значения Ts,x, восстановленные в разных ИК-каналах, будут совпадать. Согласно [11], возможно совпадение Ts,x и ПРИ наличии ошибок в метеоданных, если при этом выполняется условие вида 8T(z)=108W(z), что приводит к взаимной компенсации их влияния на результаты восстановления ТЗП. В иных случаях при наличии ошибок в метеоданных значения восстановленных TS,X будут (согласно [11,92,93]) отличаться для различных ИК-каналов. Этот факт иллюстрируют расчетные данные для спутниковой системы EOS/MODIS, приведенные в таблице 2.1 для 8T(z)=2K и 8W(z)=20% и различных географических сезонных моделей атмосферы. Расчеты проводились с помощью программы MODTRAN.
При этом эффективная оценка качества АК очевидным образом требует, чтобы при выборе двух реперных каналов, требуемых для проведения оценки, выполнялись следующие условия: - минимальный объем вычислений, что возможно при малой спектральной ширине каналов и отсутствии рассеянного и отраженного солнечного излучения (т.е. исключаются каналы диапазона 3.5-4.1 мкм), которое в качестве дополнительного искажающего фактора может помешать проведению правильной оценки; - относительно небольшие значения коэффициентов отражения гХ земной поверхности и их различий в каналах; - один и тот же знак у разницы значений 8Ts,), в каналах, который сохраняется при различных метеоусловиях; - разница в значениях 8Ts,), значимым образом превышает ошибки радиометрических спутниковых ИК-измерений. Анализ данных таблицы 2.3 позволяет сделать вывод о том, что в случае EOS/MODIS перечисленным выше условиям оптимальным образом подходят каналы диапазона 8-13 мкм с эффективными длинами волн \=11 и 12 мкм (каналы #31 и #32).
Зная интенсивность 1 или соответствующее ей значение радиационной (яркостной) температуры Т\ и проведя расчеты величин, стоящих в правой части уравнения (2.7), можно восстановить Ts,x в указанных ИК-каналах. Затем по абсолютному значению разницы восстановленных «спектральных» ТЗП уже возможно оценить для каждого пикселя спутникового ИК-изображения качество его атмосферной коррекции.
В случае использования данных системы EOS/MODIS необходимые для решения задачи значения радиационных температур Т\ можно получить из файлов типа MxD07_L2, имеющих по сравнению с файлами калиброванных измерений Lib (MxD021KM) значительно меньший размер. Файлы MxD07_L2 также содержат восстановленные по спутниковым данным с номинальным (в надире) пространственным разрешением 5 км вертикальные профили температуры и влажности воздуха, а также общее содержание озона в столбе атмосферы.
Результаты апробации метода оценки релевантности спутниковых метеоданных MODIS Для апробации метода были выбраны более сорока изображений территории Западной Сибири для различных годов (2006-2010 гг) и месяцев за период май-сентябрь. Ниже приведен пример оценки метеоданных MODIS. Было использовано спутниковое изображение Томской области (54-62с.ш., 74-90в.д.) из [94,95] за 23 июня 2006 года со спутника Terra. Изображение в канале 31 MODIS приведено на рисунке 2.23а. На рисунке 2.236 приведена гистограмма ATs = Ts,3is,32 разницы восстановленных в каналах 31 и 32 значений ТЗП, а на рисунке 2.23в — пространственное распределение абсолютного значения ATs.
Анализ расчетных данных позволяет сделать следующий вывод: величина ATs, которая характеризует качество спутниковых метеоданных, составляет менее 0.5К для 78.6% случаев и 98.1% для уровня менее 1К. Таким образом, используемые в данном случае метеоданные MODIS в целом обладают хорошей суммарной точностью и обеспечивают проведение атмосферной коррекции спутниковых данных.
Для проверки полученных результатов были использованы спутниковые данные MOD11L2, содержащие значения температур поверхности, восстановленные с помощью стандартного регрессионного метода, где также приведены оценки погрешности восстановления. Для всей тестовой выборки спутниковых изображений оценки, полученные с помощью разработанного метода и с помощью данных MOD11L2, хорошо согласуются. Так, для рассмотренного здесь примера погрешность регрессионного метода для уровней 0.5К и 1К составила 69% и 93%.
Разработка управляющих модулей системы
Разработка системы основывается на лицензионно-чистых, открытых (open-source) программных средствах и ведется в среде операционной системы Линукс[99]. В качестве базового средства разработки выбран высокоуровневый язык Python[42], на котором написаны и реализованы управляющие сценарии автоматизированных объектов управления, модули системы для работы с информационными источниками, подсистемы обеспечения файлового обмена по сети и почтового сервиса. Подсистема обеспечения WEB-интерфейса создана на основе свободного фреймворка для веб-приложений Django[41], реализованного также на языке Python. Расчетные модули системы проведения расчетов написаны преимущественно на языках C++ и FORTRAN и реализованы с использованием программного обеспечения GCC[100] и Intel FORTRAN[ 101 ]. В качестве модели процесса переноса излучения использована программа MODTRAN[102]. При создании баз данных использована объектно-реляционная СУБД PostgreSQL[103]. Обоснование использования технологии БД и детальное описание реализации БД в составе описываемой системы приведено в п.3.1.3.
Для физического представления программной системы обычно используется диаграмма развертывания, которая показывает, на какой платформе и с помощью каких вычислительных средств реализована данная система. Для работы системы среда выполнения должна работать под управлением ОС Линукс и включать следующие службы:
Также среда выполнения должна предоставлять доступ к определенным ресурсам системы по http- и ftp-протоколам. Такая архитектура системы обеспечивает возможность развертывания и функционирования системы на нескольких узлах локальной сети в виде распределенной программной системы.
На рисунке 3.11 приведен пример диаграммы развертывания системы на восьми узлах с распределением компонентов системы, приведенным в таблице 3.2. Каждый процесс (демон) запускается на отдельном узле - сервере, на котором также разворачиваются службы, используемые процессом.
Основными характеристиками качества являются функциональные возможности, стабильность, расширяемость, кроссплатформенность, восстанавливаемость, практичность, эффективность. Представляемая система обладает следующими функциональными возможностями: - задание параметров расчета и типа оптико-метеорологической информации с помощью web-интерфейса; - выбор и получение оптико-метеорологической информации из распределенных архивов; - оценка релевантности оптико-метеорологической спутниковой информации; - проведение расчетов корректирующих атмосферных поправок; - предоставление результатов расчетов пользователю. Стабильность работы обеспечена проведенным многоуровневым тестированием как отдельных модулей, так и всей системы в целом. Расширяемость системы обеспечена ее архитектурой, спроектированной на основе автоматной модели и инфологической схемы данных. Кроссплатформенность достигнута за счет использования при разработке авторских модулей системы лицензионно-чистых, открытых (open-source) программных средств. Восстанавливаемость системы обеспечена за счет контроля ошибок на этапе ввода входных данных и разделения исполняемого кода и интерфейса данных.
Эффективность системы обеспечивается новыми возможностями проведения процедуры АК за счет использования различных моделей переноса и различных типов оптико-метеорологической информации из распределенных источников.
Теоретическое обоснование расчетов, оценки точности, обоснование использования спутниковой и прогностической АИ приведены в работах [6-11]. В данном разделе показаны результаты работы системы на примере выполнения типовой задачи при прохождении всех этапов расчетов. Каждый этап работы выполняется программой, реализующей соответствующий АОУ. Для каждого сенсора, поддерживаемого данной версией системы, были сформированы тестовые задания. Расчеты проводились для спутниковой априорной информации, с учетом солнечного излучения, атмосферных газов и аэрозоля. В тексте раздела приведены иллюстрации для одной типовой задачи (сенсор TERRA/EOS-AM). Параметры заданий приведены в таблице 3.3.
На рисунках 3.12, 3.13 показаны состояния таблиц БД после ввода параметров тестовых заданий через web-интерфейс перед проведением расчетов. Структура БД приведена на рисунке 3.7, описание таблиц БД дано в разделе 3.1. Иллюстрации состояния таблиц БД получены с использованием открытой среды администрирования и разработки для PostgreSQL - pgAdmin III [96].
