Содержание к диссертации
Введение
Глава 1. Анализ состояния вопроса проектирования распределённых геоинформационных систем
1.1. Развитие геоинформационных систем, краткий хронологический обзор23
1.2. Классификация распределённых ГИС 27
1.3. Анализ тенденций и проблем развития распределённых геоинформационных систем 31
1.4. Анализ тенденций, проблем развития распределённых ГИС и особенности построения САПР 34
1.5. Выводы 36
Глава 2. Проектирование и управление ресурсами распределённых геоинформационных систем 37
2.1. Поточная модель распределённой вычислительной системы 38
2.2. Послойная блочная модель распределённой вычислительной системы 40
2.3. Задача вычислительной оптимизации распределённой вычислительной системы 42
2.4. Выводы
Глава 3. Унификация протоколов информационной поддержки 46
3.1. Принципы централизованного обеспечения интероперабельности 47
3.2. Концепция и реализация унификации прикладных протоколов информационной поддержки 50
3.3. Преобразование форматов архивных данных на примере станций ВЗИ ИЗМИР АН 53
3.4. Тензорное поле - формат представления многомерных цифровых сигналов 56
3.5. Пример практического применения формата тензорного поля 59
3.6. Выводы 60
Глава 4. Структура, принципы проектирования и развёртывания хранилищ данных в распределённых геоинформационных системах 62
4.1. О сложностях построения некоторых высокоуровневых абстрактных моделей данных 67
4.2. Комплексы систем управления базами данных 70
4.3. Принципы структуризации данных при проектировании распределённых ГИС 75
4.4. Управление данными многолетних наблюдений за ионосферой
4.5. Выводы 80
Глава 5. Принципы построения интегрированных средств управления проектными работами 82
5.1. Задачи разработки распределённых ГИС 82
5.2. Модели разработки программного обеспечения 84
5.3. Персонал, инструменты управления проектными работами 90
5.4. Жизненный цикл проектов разработки программного обеспечения 95
5.5. Принципы оптимизации алгоритмов и программ в распределённых ГИС.
5.6. Организация параллельных вычислений в распределённых ГИС 101
5.7. Применение специальных средств для организации параллельных вычислений 103
5.8. Тестирование аппаратно-программных средств распределённых ГИС 105
5.9. Методика оптимизационного выбора программного обеспечения в распределённых ГИС 105
5.10. Принципы интеграции и создании единого информационного пространства в распределённых геоинформационных системах 106
5.11. Пример оптимизации программ на базе преобразования форматов 110
5.12. Пример оптимизации циклов с учётом организации памяти ЭВМ... 119
5.13. Пример оптимизации с использованием распределённых вычислений и многопоточности 121 5.14. Выводы 122
Глава 6. Методы декомпозиции и синтеза, а так же построения фильтров цифровых изображений средствами компьютерной графики 123
6.1. О неопределённости при спектральных преобразованиях сигналов 123
6.2. Формальное описание способа декомпозиции по базису прямоугольных всплесков 127
6.3. Декомпозиция по базису прямоугольных всплесков для одномерного случая 131
6.4. Декомпозиции двумерного сигнала 134
6.5. Свойства и особенности преобразования 137
6.6. Выводы 143
Глава 7. Формирования компактного вида цифровых изображений для применения в унифицированных протоколах обмена данными 145
7.1. Предпосылки к исключению избыточной информации на базе частотно-дифференциального анализа 145
7.2. Анализ дифференциальной структуры и формирование паттерна краевых условий цифрового сигнала 150
7.3. Восстановление сигнала методом конечных разностей 155
7.4. Сжатие многомерных цифровых сигналов с помощью анализа их дифференциальной структуры 156
7.5. Повышение эффективности сжатия с учётом специфики цифрового сигнала 163
7.6. Вычислительная оптимизация МКР на базе отыскания промежуточного решения 170
7.7. Сравнение и некоторые результаты сжатия цифровых сигналов с помощью анализа дифференциальной структуры 175
7.8. Выводы 179
Глава 8. Разработка математических моделей и методов автоматизированного анализа и синтеза средствами компьютерной графики 181
8.1. Решение обратной задачи вертикального зондирования ионосферы на основе методов распознавания образов 181
8.2. Модель синтеза объектов виртуальной реальности средствами компьютерной графики при локальном плазменном возбуждении ионосферы 189
8.3. Статистическая модель особенностей влияния солнечного радиоизлучения на число клинических состояний человека 200
8.4. Выводы 214
Заключение 216
Основные результаты работы 216
Приложение 219
Терминологический аппарат 219
Патенты и свидетельства о государственной регистрации объектов
интеллектуальной собственности Акты о внедрении 226
Список литературы 229
- Классификация распределённых ГИС
- Послойная блочная модель распределённой вычислительной системы
- Тензорное поле - формат представления многомерных цифровых сигналов
- Жизненный цикл проектов разработки программного обеспечения
Классификация распределённых ГИС
Наблюдения за окружающей средой производилось людьми с древнейших времён. Самые первые наблюдения в том или ином виде присутствуют практически у всех древних культур. Наблюдения за окружающей средой, сделанные на основе этих наблюдений прогнозы и выводы позволяли вести сельское хозяйство, заниматься мореходством, побеждать в сражениях, успешно организовывать уклад жизни. Современные распределённые ГИС имеют относительно недолгую, но стремительную историю развития. В России в 1849 г. была образована Главная Геофизическая обсерватория (ГГО) (первоначальное название до 1924 г. ГФО - Главная Физическая Обсерватория). А в 1923 г. произошло создание геомагнитных отделов в ГГО. Становление распределённых ГИС началось с изобретением электронных средств связи и коммуникации. Появление в начале ХХ-в проводного и беспроводного телеграфа позволило централизовать оперативный сбор данных, причём расстояние практически перестало оказывать сколько-нибудь значительное воздействие на время передачи данных, т.е. появилась возможность одновременного, централизованного мониторинга событий происходящих на значительном удалении друг от друга. Наряду с развитием средств связи появились новые методы геофизических исследований так, например, в конце 1920 начале 1330 гг. появился и нашёл широкое применение метод электроразведки, один из первых методов геофизической разведки. В начале 1920-х годов начались периодические исследования Арктического региона. Старейший и крупнейший в мире научный институт по исследованию полярных областей Земли - Арктический и антарктический научно-исследовательский институт (ААНИИ) ведет свою родословную от созданной Постановлением Президиума Высшего Совета Народного Хозяйства (ВСНХ) от 4 марта 1920 года крупной, хорошо оснащенной технически и укомплектованной учеными кадрами Северной научно-промысловой экспедиции (СНПЭ). В 1925 г. СНПЭ преобразована в Научно-исследовательский институт по изучению Севера (НИС), в котором наряду с промысловыми и геологическими работами успешно развиваются также океанографические, метеорологические, геофизические и географические исследования. Уже в 1929 г. на Земле Франца-Иосифа создана самая северная в мире геофизическая обсерватория. Так было положено начало систематическим исследованиям Арктического региона. В 1930-х гг. предпринимались воздушные и морские экспедиции. В 1932 г. экспедиция института на ледоколе «Александр Сибиряков» (нач. экспед. О. Ю. Шмидт) впервые в истории мореплавания прошла по всей трассе Северного морского пути от Архангельска до Берингова пролива за одну навигацию. В 1932-1933 гг. активное лидирующее участие СССР в проведении Второго Международного Полярного Года в Арктике. Участвовали 92 полярные станции, включая 33 новых. Было организовано 15 экспедиций в моря от Баренцева до Чукотского. С 1932 года начаты регулярные авиарейсы «ледовой разведки» и морские рейсы судов «ледового патруля». В 1935 г. состоялась первая высокоширотная комплексная экспедиция на ледоколе «Садко» в районе к северу от Шпицбергена, Земли Франца-Иосифа, Северной Земли. В этом же году начались детальные изучения гидрохимического режима арктических морей и низовьев сибирских рек. В 1939 г. произошло образование Научно-исследовательского института земного магнетизма (теперь ИЗМИРАН). В начале 1940-х годов решались вопросы удовлетворения запросов военно-морского флота и авиации в Арктике, обеспечение потребностей народного хозяйства, в первую очередь мореплавания по Северному морскому пути, значение которого в годы второй мировой войны резко возросло. После периода восстановления научно-исследовательского потенциала в 1950-х годах продолжились уже в систематическом режиме исследования Арктического и Антарктического регионов. Накопленные колоссальные объёмы научно-исследовательских данных и необходимость, для возможности дальнейших исследований глобальных явлений, межгосударственных взаимодействий стимулировало ряд научно-организационных проектов общемирового масштаба. С середины 1950-х гг. до начала 1960-х гг., международным мировым сообществом в лице
Послойная блочная модель распределённой вычислительной системы
Время передачи данных в различных каналах входящих в инфраструктуру сети может значительно отличаться, что особенно актуально для распределённых ГИС. Например, некоторые узлы могут находиться в соседних помещениях одного здания, при таком расположении, возможно, обеспечить наиболее высокие скорости обмена. В других случаях узлы РВС могут быть расположены на орбитальных станциях или наземных базах имеющих низкоскоростные каналы связи с «большой землёй», в этом случае скорость передачи данных может быть существенно ограниченна физическими условиями распространения радиосигнала.
Предпочтительно когда обработка данных организованна таким образом, что каждый узел, получив порцию данных, может начать её обработку, не дожидаясь получения следующих порций, а затем пересылать (или сохранять) готовый результат вычислений. Но такая схема может быть затруднена в практической реализации, т.к. зачастую данные связаны и могут быть обработаны только единым комплексом. Если данные связанны, и не возможно получить результат не получив всех необходимых порций входных данных, то необходимо таким образом организовывать передачу и обработку данных, чтобы при получении каждой порции производилась её предобработка способная сократить общее время вычислений процесса когда будут получены все порции данных.
Распределение некоторых вычислительных ресурсов может быть задано и изменить их мощности не представляется возможным. Например, это могут быть вычислительные модули неразрывно входящие в состав некоторого оборудования (расположенные на борту спутниковых систем, работающие в полевых условиях и др.). Таким образом, вычислительная мощность части узлов РВС может быть задана и должна сохраняться неизменной, обычно и каналы связи с такими узлами существенно ограниченны по скорости передачи данных. Возникает противоречивая задача: с одной стороны вычислительная мощность ограниченна и количество вычислений приходящихся на данный узел необходимо сокращать, с другой стороны необходима предобработка данных для исключения избыточности и уменьшения объёма передаваемой информации. Решение подобной противоречивой задачи, возможно, искать в применении новых алгоритмов предобработки, например, алгоритмов сжатия требующих (для процедуры сжатия) малого числа вычислений [44, 45].
Поточная модель РВС непрерывного времени на примере абстрактной вычислительной системы [9, 54], которую можно задать как ориентированный граф (орграф) G(V,E) [6]. Множество вершин орграфа V = {v1,v2,...,vn} соответствует некоторым вычислительным элементам (узлам) потребляющим и производящим данные. Рёбра орграфа Е соответствуют каналам обмена информацией между элементами множества v. Будем обозначать ребро etj, соответствующее информационному каналу, соединяющему вершину v,. с вершиной v . Положим, что каждый канал е„ предназначен для осуществления основного потока данных от узла vi к v., при этом канал может поддерживать некоторый, существенно меньший поток данных в обратном направлении (от v. к v;), что на практике соответствует запросам на: отправку, подтверждение получения, проверку целостности данных и т.д. Пусть каждый канал {v;, у,-} характеризуется весовой характеристикой Єі] определяющей скорость передачи данных в прямом направлении [бит/с]. С учётом, что в реальных ГИС объём данных xtj передаваемых в прямом направлении (обычно) существенно больше объёма данных передаваемых в обратном направлении, временем передачи данных в обратном направлении можно пренебречь [118, 141]. Каждый вычислительный узел, соответствующий узлу графа v., производит данные уг Каждый вычислительный узел v., характеризуется: вычислительной мощностью Q., единицы измерения [операций/с]; вычислительной сложностью алгоритма С, (единицы измерения [операций]), которая является функцией Cj= f(\e1jdt, \e2jdt,..., \en]dt) от получаемых узлом v; данных x1j,x2j,...,xnj за время 1,32,...,&п. Таким образом, множество С, С, є С соответствует элементам {локальным задачам) образующим общую (глобальную) вычислительную задачу решаемую РВС.
Вычисления обычно происходят порциями (блоками, пакетами). Таким образом, каждый узел ожидает некоторого объёма данных достаточных для начала вычислений, если при этом предыдущие вычисления на узле были завершены, то вычислительная мощность данного узла будет простаивать, что может негативно повлиять на общее время вычислений. При поточной обработке вычислительному узлу необходим некоторый малый объём данных, передача которого не занимает существенного времени и вычислительный процесс происходит непрерывно, и с точки зрения передачи данных ограничивается не временем получения пакета данных, а средней скоростью передачи данных по сети. В реальных системах обычно присутствуют как поточные вычисления, так и блочные.
Для построения данной модели допустим, что вычисления происходят поточно, причём при малом изменении времени (Л?— 0) приращение данных в потоке так же стремиться к нулю, что возможно выразить следующей системой дифференциальных уравнений (2.1):
Тензорное поле - формат представления многомерных цифровых сигналов
Современные САПР и проектируемые системы сбора, передачи и обработки данных требуют высокого уровня интероперабельности, в особенности это касается ГИС, когда огромные объёмы данных обрабатываются в режиме реального времени, требуется параллельный доступ к архивным данным и по возможности минимальные затраты для пользователей при эксплуатации этих данных. Развитие информационных технологий не обходит стороной ГИС, а зачастую даже порождено потребностями ГИС. Например, множество оборудования было разработано специально для спутников, осуществляющих ДЗЗ [152]. Разработка нового оборудования и программного обеспечения часто опирается на достижения самых последних научных достижений. С учётом процессов глобализации и межгосударственного сотрудничества в области технического оснащения ГИС, некоторого временного «провала» (в 90-е - 00-е гг.) в обновлении технического арсенала отечественных ГИС, зачастую не удаётся стандартными решениями сохранить совместимость технических средств различных поколений и различных производителей. В большинстве случаев обновление оборудования для каждого элемента (узла) ГИС производится комплексно и проблем совместимости на аппаратном уровне в масштабах ГИС не наблюдается, при этом вопросы совместимости переходят в область совместимости протоколов передачи данных и форматов хранения данных, и ориентированных на эти протоколы и форматы методов обработки данных. Поэтому, говоря об интероперабельности САПР при проектировании распределённых ГИС, мы будем иметь виду совместимость на уровне прикладных протоколов и форматов данных. Современные крупные распределённые ГИС интегрированы с САПР, позволяющими производить отладку и тестирование элементов и узлов ГИС. Поэтому спецификой САПР в ГИС является практически неотделимость прикладных протоколов передачи данных САПР от протоколов ГИС. В большинстве случаев каждый элемент ГИС (спутник, аппарат авиамониторинга, наземная станция наблюдения) получает комплекс данных. Например, спутники ДЗЗ оснащены мультиспектральными приёмниками и регистрируют геоизображения в различных диапазонах частот [152, 182]. Так, например, система ДЗЗ EOS MODIS использует 36 спектральных каналов для получения изображений поверхности Земли и околоземного пространства в различных спектральных диапазонах. Дополнительно каждый спутник требует обмена телеметрическими данными, связанными с мониторингом за состоянием и управлением оборудованием спутника. Другой пример, станции ВЗИ обычно регистрируют не только ионограммы, но и напряжённость магнитного поля в месте расположения станции ВЗИ, возможно метеоданные [206].
Высокая надёжность оборудования ГИС обычно позволяет производить его длительное использование. При параллельном вводе в эксплуатацию нового оборудования и частичном обновлении имеющегося, возможно возникновение несовместимости данных получаемых от различных объектов распределённых ГИС. Практически всегда при обновлении оборудования возникает несовместимость с архивными данными и программами. Таким образом, формируется комплекс проблем обусловленных несовместимостью форматов и протоколов.
Разработка и формализация форматов данных есть их определение. В современном мире информационных технологий существует такое понятие как «война форматов», обусловленная борьбой различных корпораций за рынки сбыта. Следующий источник проблемы с форматами может быть недостаточная или отсутствующая документация. При отсутствии должной документации разбор и преобразование форматов сопряжен с обратной задачей криптографии [18, 97], дизассемблированием программ и другими трудоёмкими задачами [103]. Для инженеров многообразие форматов, порой недостаточно документированных, является настоящей проблемой, решение которой сопряжено с многими часами кропотливого труда. Унификация форматов и интерфейсов позволяет добиться интероперабельности в информационных системах. При этом внутренние решения (реализации) могут оставаться скрытыми. Такой (объектный) подход позволяет сохранять «индивидуальность» каждого решения при высокой степени интеграции.
Оборудование, являющееся составной частью ГИС и расположенное в структуре отдельных элементов ГИС (рис. 3.1), зачастую имеет глубокую интеграцию с форматами данных. Например, формирование данных может быть реализовано на аппаратном уровне, поэтому практическое обновление форматов, в отдельных элементах ГИС, может обернуться потребностью существенной доработки аппаратной части, что не всегда возможно и целесообразно. Поэтому в рамках рассматриваемого подхода предлагается вести обмен данными между ОКУ (объектом координации и управления) и элементами ГИС на базе форматов и протоколов, наиболее подходящих из доступных на текущий момент.
Жизненный цикл проектов разработки программного обеспечения
Развитие научных основ построения средств компьютерной графики, методов геометрического моделирования проектируемых объектов и синтеза виртуальной реальности требует применения математического аппарата декомпозиции и синтеза. На сегодняшний день методы операторных преобразований (Фурье, Лапласа, z-преобразование [99, 106, 119, 167]) дополнены, ставшим уже фундаментальным, методом вейвлет-преобразования [153]. Актуальной, является задача поиска оптимальных материнских вейвлетов, особенно для многомерных сигналов [149]. Отличительные свойства цифровых сигналов (дискретность, конечность) и необходимость повышения быстродействия вычислительных систем за счёт оптимизации алгоритмов и применения новых методов, стимулирует поиски новых способов позволяющих производить частотный синтез и декомпозицию. Один из таких способов рассмотрен в данной главе.
В 1927 году В. Гейзенберг выдвинул предположение, что существует фундаментальный закон природы, объясняющий некоторые, парадоксальные с точки зрения классической физики, явления квантового мира [160, 161]. Этот закон Гейзенберг назвал принципом неопределённости, который ограничивает применение к микрообъектам классических понятий и представлений [1, 142].
Количественно принцип неопределённости Гейзенберга выражается в виде соотношений неопределённостей. Первое из них можно записать в виде: где Лх и Арх - неопределённости координаты х и проекции импульса рх, соответственно, h = 1.05457160 10 34Дж-с- универсальная постоянная Планка. В общем случае соотношение Робертсона-Шрёдингера приводит к неопределённости для любых двух переменных, которые не коммутируют друг с другом. Под неопределённостями понимают минимально возможные погрешности одновременного измерения величин, связанных соотношением (6.1), такие измерения в квантовой механике не трактуются как результат несовершенства измерительной техники, но считаются принципиальным законом, описывающим количественный смысл соотношения неопределённостей.
В качестве иллюстрации неопределённости Гейзенберг приводил пример с воображаемым микроскопом, с помощью которого исследователь измеряет положение и импульс электрона, отражающего падающей на него фотон и тем обнаруживающим своё присутствие. Энергия фотона описывается уравнением E = hco, где со- круговая частота излучения со = 2т$. Если фотон имеет малую длину волны 2 = — (где с- скорость света), и, следовательно, большой импульс, то положение электрона может быть измерено достаточно точно, при этом фотон рассеивается случайным образом, передавая электрону значительную и неопределенную долю своего импульса. Если у фотона большая длина волны и малый импульс, он мало изменяет импульс электрона, но рассеяние будет определять положение электрона очень неточно. В результате, произведение неопределённостей в координате и импульсе остаётся не меньшим, чем постоянная Планка.
Гейзенберг не сформулировал точное математическое выражение для принципа неопределённости, а использовал принцип как эвристическое количественное соотношение.
Неопределенность, замеченная в явлениях квантового мира, проявляется и в других областях. В теории и практике цифровой обработки сигнала известно, что чем уже сигнал во временной области, тем шире его образ в частотной области, и наоборот чем уже спектр сигнала в частотной области, тем шире его представление во временной области [99, 100, 138, 145]. Вообще говоря, единичный импульс относится к категории так называемых пар преобразований Фурье. Когда некоторому сигналу /( ) во времени, в частотной области соответствует такой образ F $(х) , что спектр, имеющий форму сигнала /( ), представлен во временной области формой F i(x) .
Если взглянуть более внимательно на изложенный выше принцип дуальности пар преобразований Фурье, то можно заметить, что функция единичного импульса S(x) при Дх— 0 и неограниченные по протяжённости гармонические элементы F 4( ) несоизмеримы друг с другом как несоизмерим, например, радиус и длина окружности (рис. 6.1). Гармоническая функция имеет неограниченную протяжённость, в то время как исходный сигнал 5(х), конечен, т.е. имеет ограниченную протяжённость. Фактически эти две функции имеют различные меры, что и приводит к невозможности ограничения спектра или протяжённости, в зависимости от направления преобразования. Попытка измерения, а преобразование Фурье -это мера, построенная на корреляционных отношениях базисных гармонических функций и сигнала, несоизмеримых величин приводит к возникновению неопределённостей. Проявлением таких неопределённостей являются колебания Гиббса.
