Содержание к диссертации
Введение
ГЛАВА 1. Анализ баз геоданных информационно-телекоммуникационных систем 10
1.1. Классификация баз данных распределенных информационно-телекоммуникационных систем 11
1.2. Определение и структура информационно-телекоммуникационной системы 13
1.3. Задачи представления геопространственной информации в распределенных информационно-телекоммуникационных системах 14
1.4. Классификация моделей геопространственных данных 16
1.5. Классификация информационно-телекоммуникационных систем, обслуживающих геопространственные данные 20
1.6. Метаданные геоинформационных систем 24
1.7. Выводы по главе 1 26
ГЛАВА 2. Моделирование базы геоданных распределенной информационной системы, содержащей сетевые ресурсы геопространственных данных 28
2.1. Иерархические структуры представления геоданных 31
2.2. Математическая модель иерархической структуры базы геоданных информационно-телекоммуникационной системы 32
2.3. Представление иерархической структуры модели базы геоданных информационно-телекоммуникационной системы 35
2.4. Иерархический каталог информационно-телекоммуникационной системы 41
2.5. Преобразование моделей геопространственных и атрибутивных данных 46
2.6. Отображение объектов через Интернет 50
2.7. Выводы по главе 2 52
ГЛАВА 3. Разработка структуры базы геоданных и архитектуры распределенной информационно-телекоммуникационной системы 53
3.1. Задачи информационно-телекоммуникационной системы 53
3.2. Возможности распределенной информационно-телекоммуникационной системы 55
3.3. Модель структуры базы геоданных информационно-телекоммуникационной системы 56
3.3. Архитектура распределенной информационно-телекоммуникационной системы 57
3.5. Логическая схема работы системы 59
3.6. Алгоритм работы системы 60
3.7. Технические характеристики системы 67
3.8. Функциональная схема работы системы 68
3.9. Выводы по главе 3 70
ГЛАВА 4. Результаты экспериментальных исследований информационно-телекоммуникационной системы на основе разработанной структуры базы геоданных 72
4.1. Описание экспериментальной системы 72
4.2. Структура базы геоданных экспериментальной системы 73
4.3. Описание портала 76
4.4. Визуализация организационной структуры 77
4.5. Работа с картами 80
4.6. Результаты эксперимента 82
4.7. Выводы по главе 4 85
Заключение 86
Литература
- Задачи представления геопространственной информации в распределенных информационно-телекоммуникационных системах
- Математическая модель иерархической структуры базы геоданных информационно-телекоммуникационной системы
- Возможности распределенной информационно-телекоммуникационной системы
- Структура базы геоданных экспериментальной системы
Введение к работе
Современное развитие информационных технологий способствовало накоплению организациями и ведомствами большого количества геопространственной информации, которая представлена в различных видах и системах. Существующие информационно-телекоммуникационные системы позволяют оперировать данными, но в недостаточной степени геопространственными. Построение таких систем на основе распределенных баз данных позволяет повысить эффективность и управляемость данными, а также простоту их получения и обработки.
Геоинформационная система - это, в первую очередь, данные, которые хранятся в базах данных, базах геоданных, отдельных файлах. Существует множество различных форматов и принципов описания данных. Существуют методы, которые позволяют консолидировано хранить эти данные, описывать их единым образом для потребления ГИС.[1]
Бурное развитие сетевых технологий и методов, особенно развитие Интернета, способствует выводу «в сеть» различных вариантов систем. Это сводится как к простому разрешению доступа к данным через Интернет, так и к более сложному использованию специальных приложений для работы через сеть. Готовые решения ведущих производителей программного обеспечения ГИС позволяют создать практически полную функциональность ГИС. Использование различных программ для организации работы через сеть позволяет не только получать геопространственную информацию, но и модифицировать ее, обновлять и т.д., в общем, работать с ней как в обычной настольной ГИС. [2]
В настоящее время идет поиск наиболее интересного, с точки зрения организации системы, метода, позволяющего легко и эффективно использовать глобальные и локальные сети для объединения данных и их использования в распределенных информационных системах. [8] Последние исследования в области применения единых хранилищ данных для геопространственной и атрибутивной информации позволяют сделать дополнительные шаги к единому представлению данных, методам эффективной обработки, использования информации, а также простого доступа к получению необходимых сведений.
Все географические информационные системы строятся на основе формальных моделей, описывающих размещение в пространстве объектов и процессов. [3] Формальная модель представляет собой обобщенную и четкую систему понятий, она задает тот лексикон, который может быть использован для описания и объяснения объектов и процессов. Географическая модель данных определяет лексикон для описания и объяснения объектов и процессов, находящихся на земле. Географические модели данных являются тем основанием, на котором строятся все географические информационные системы. Точно также географические модели данных определяют собственный набор понятий и отношений, которые должны быть понятны. Эти понятия определяют возможности воспроизведения географической информации средствами компьютерной системы.
Большинство современных программных средств ГИС определяют единую основу для представления географической информации в базе данных посредством нескольких наиболее обобщенных моделей данных.
Каждая из этих обобщенных моделей обладает собственным лексиконом, используемым для описания и объяснения географической информации. Представляя в ГИС различные объекты, прежде всего, необходимо решить, какую из указанных общих моделей использовать. Каждая модель данных определяет то, как именно будет отбираться и представляться географическая информация, как она будет визуализироваться, какие связи между элементами можно представить, и какие операции запросов и анализа можно будет адресовать к имеющимся данным.
Использование моделей данных для создания различных видов представления информации широко применимо и в информационных сетях. Такой подход позволяет создать то представление данных, которое будет доступно для программного обеспечения пользователя.
Интернет возможности ГИС сейчас достаточно широки, но, в тоже время, использование это подхода для комплексной и широкой системы для хранения и отображения геопространственных данных затруднительно. Возникают трудности как технического, так и пользовательского характера, иногда существует избыточность функциональности веб-приложений для решения не очень сложных задач по выводу информации и ее интерпретации.
Целью диссертационной работы является исследование и разработка структуры базы геоданных распределенной информационно-телекоммуникационной системы, содержащей ресурсы геопространственных данных, доступные через сеть. В работе проводится анализ эффективного представления каталога этих ресурсов в информационной системе, а также рассматривается функциональная схема такой системы.
В качестве направлений исследования были выбраны следующие:
1. Исследование структур баз геоданных современных систем для отображения геопространственной информации распределенной информационно-телекоммуникационной системы;
2. Определение путей представления распределенных источников геоданных в информационной системе для повышения эффективности работы с ней пользователей;
3. Разработка структуры базы геоданных информационно-телекоммуникационной системы;
4. Разработка функциональной схемы информационной системы для работы с удаленными источниками пространственных данных.
В качестве основы для построения базы данных современных систем используются два основных типа БД - единая БД, центральная БД. Создание единой базы данных путем копирования информации со всех источников в единое хранилище данных позволяет получать доступ к данным, независимо от доступности в данный момент времени удаленного источника. Отрицательной стороной подобного подхода являются большие объемы данных, которые необходимо хранить и передавать в единое хранилище. Такое количество информации требует дополнительных методов по обеспечению ее целостности и корректности.
Центральная база данных системы работает по принципу сбора некоторых заголовков системы и последующего получения информации непосредственно из удаленного источника. Такая конструкция позволяет представить базу данных в виде множества относительно небольших баз данных, интегрированных по средствам некоторого приложения или другой «обобщенной» базы данных.
В работе проводятся исследования организации центральной базы данных системы, которая позволяет представить записи о различных источниках данных в виде каталога метаданных системы, при этом каталог представляет собой иерархическую структуру.
В первой главе диссертационной работы приводится классификация баз данных распределенных информационно-телекоммуникационных систем, а также проводится сравнительный анализ существующих систем для работы с геопространственными данными, их характеристики, методы обеспечения данными пользователей сетей общего пользования. В заключение главы поставлены цели исследования.
Вторая глава посвящена аналитическому решению задачи создания структуры данных, построена математическая модель иерархической структуры, произведен анализ эффективного хранения иерархических моделей в реляционных базах данных, а также рассмотрены теоретические схемы преобразования моделей данных удаленных источников к единой модели базы геоданных.
В третьей главе приведены задачи и возможности распределенной информационной системы, приведена модель структуры базы геоданных, а также архитектура распределенной информационно-телекоммуникационной системы. Описаны алгоритмы основных действий системы и отражены технические требования и принципы работы системы.
В четвертой главе дано описание функционирующей системы, которая позволяет применить на практике все положения данной работы, приведены принципы ее работы, а также методы и способы решения задач.
В заключении работы приведена общая характеристика работы и основные выводы по результатам диссертации.
На защиту выносится:
1. Разработанная модель и структура базы геоданных информационно-телекоммуникационных систем, позволяющая объединить геоданные, поступающие с различных источников;
2. Архитектура информационно-телекоммуникационной системы для работы с базой геоданных распределенных источников информации;
3. Алгоритмы и реализация модуля информационно-телекоммуникационной системы «Каталог Метаданных».
Задачи представления геопространственной информации в распределенных информационно-телекоммуникационных системах
Информационно-телекоммуникационная система представляет собой программно-аппаратный комплекс по доставке, хранению и обработке информации. В основном, такие системы содержат большие массивы данных, которые эффективно используют их пользователи.
В логической структуре информационно-телекоммуникационной системы присутствуют три основных элемента: источники данных, система управления, хранения и обработки этих данных и конечный потребитель информации. Средством переноса данных является телекоммуникационная сеть общего пользования, например, Интернет, или сеть локальная, закрытая от внешнего доступа. Но в любом случае информационно-телекоммуникационная система это программный и аппаратный комплекс для обработки и доставки информации.
Информационно-телекоммуникационная система для работы с геопространственными данными в общем случае не отличается от системы другой информационной нагрузки. Компоненты те же, но информационная система геопространственных данных представляет собой более сложный механизм. Следует определить несколько понятий таких систем. [15]
Под геопространственными данными (геоданными) понимаются данные о географических объектах, которые являются формализованными цифровыми моделями материальных или идеальных (абстрактных) объектов реального или виртуального мира. Полное цифровое описание географического объекта и содержание пространственных данных складываются из идентификатора объекта, набора его атрибутов (свойств, характеристик) с их значениями и параметров локализации объекта в пространстве и времени (в некоторой системе пространственно-временных координат). Под моделью геопространственных данных понимаются правила цифрового моделирования объектов реальности путем описания типов и свойств элементарных пространственных объектов, их наборов и межобъектных отношений; каждая реализация модели данных в программных средствах ГИС имеет специальный формат данных.
Непространственные данные или непозиционная часть данных именуются атрибутивными данными.
В общем случае под географическим объектом понимается неподвижный или движущийся простой или сложный объект, явление, событие, процесс и ситуация, которые могут относиться к территории, акватории, недрам и воздушному пространству Земли, к околоземному космическому пространству, к другим космическим телам и небесной сфере. В более широком смысле понятие «геопространственных данных» выходит за пределы собственно цифровых данных, однако, если не предполагается иное, под ними понимаются именно цифровые пространственные данные.
Сегодня различные организации и ведомства собрали большой объем важных ресурсов, в которые входят картографические и кадастровые данные. [15]
В настоящее время в России существует ряд крупных наборов данных (государственные географические карты и планы, данные государственного учета объектов градостроительной деятельности, ряд данных федеральных и региональных структур и др.), производство которых организовано и контролируется государственными органами на федеральном и региональном уровнях. При этом наибольшая часть пространственных данных рассредоточена в информационных ресурсах субъектов хозяйствования и граждан РФ.
Параллельно с развитием геоинформационных технологий развивались иные информационные технологии, обеспечивающие массовый сбор, хранение, работку, использование и распространение пространственных данных. Среди этих данных: данные дистанционного зондирования — результаты съемки Земли с летательных аппаратов и с космических платформ;
цифровые карты и планы — цифровые модели традиционной «бумажной» картографической продукции, которые не только решают производственные задачи картографической отрасли (обновление и издание карт), но и используются за пределами интересов отрасли как источник данных и географическая основа пространственных данных разных типов, а в виде цифровых моделей местности — как основа для решения пространственных расчетных, аналитических и иных задач.
Сегодня широкое развитие технологий вызывает взрывной рост количества пространственных данных. В условиях постоянного роста объемов пространственных данных, значительных затратах на их производство, наличии проблем межведомственного взаимодействия производителей данных, трудностей доступа при массовом спросе на данные возникает необходимость формирования единых информационно-телекоммуникационных систем для их агрегации и хранения.
Поэтому можно выделить основные задачи создания информационно-телекоммуникационных систем для формирования единого пространства предоставления доступа к различным геопространственным данным: 1. Классификация источников пространственных данных для эффективного поиска информации; 2. Предоставление доступа к различным источникам пространственных данных через сети общего пользования; 3. Преобразование различных моделей данных пространственных источников к единому виду по требованию заказчика.
Математическая модель иерархической структуры базы геоданных информационно-телекоммуникационной системы
Математическая модель охватывает класс неопределяемых (абстрактных, символических) математических объектов таких, как числа или вектора, и отношения между этими объектами. Абстрактная модель с ее объектами произвольной природы, отношениями и операциями определяется непротиворечивым набором правил (определяющих аксиом), вводящих операции, которыми можно пользоваться, и устанавливающие общие отношения между их результатами. [7]
Для построения математической модели необходимо установить правила соответствия, связывающие специфичные объекты (элементы) модели.
Математическая модель строится, используя ряд объединений. Первое объединение - это объединение в группу с одинаковым иерархическим уровнем. Такое объединение будем называть обобщенным вектором уровня иерархии т, т.е. Ат, где m числа натурального ряда от 1 до N. Таким образом, математическая модель БД - А представляет собой последовательность обобщенных векторов A[,A2...AN
Второе объединение - это объединение в группу, соответствующую элементу более высокого иерархического уровня. Иными словами, в математической модели информационной системы, построенной на иерархическом принципе, каждому элементу более высокого уровня соответствует группа элементов текущего уровня. Подобные группы и являются независимыми обобщенными координатами векторов. В каждой такой группе число элементов будет lmJ, где / - номер группы в векторе Лт.і-натуральное число от 1 до Nm, a Nm - число групп в векторе Ат. Число элементов в векторе Ат определяется по формуле:
Каждый элемент математической модели определяется тремя индексами am.uk где к - номер элемента в группе / , и 1 к 1тЛ В представленной математической модели легко осуществить поиск необходимой информации в иерархической структуре путем вычисления сквозных номеров интересующих нас элементов по соответственным формулам. Представление данных математической модели в базе геоданных Математическая модель базы геоданных разделена на JV моделей - таблиц Тт т.е. каждая математическая модель Тт представляет собой обобщенный вектор Ат. Найдем (в соответствии с иерархической структурой математической модели БД) для атхк соответствующую группу элементов иерархического уровня т+1. Введем дополнительный индекс j. Сквозной номер атхь в Тт определяется по формуле:
Хранение иерархической структуры - это реляционная база данных, в которой находится и основной каталог системы. На основании этой математической модели строится база геоданных информационно-телекоммуникационной системы. Так же на основе представленной математической модели строятся алгоритмы информационной системы для работы с иерархией объектов модели базы геоданных.
Представление иерархической структуры модели базы геоданных информационно-телекоммуникационной системы
Существует множество возможных вариантов для хранения иерархических данных в реляционных таблицах, наиболее интересные для исследования: хранение всей структуры в одной таблице (рекурсивные иерархические данные) и хранение данных в разных таблицах, соответствующих конкретным уровням иерархии. [20]
Термин «рекурсивные иерархические данные» означает, что базовые и подчиненные данные находятся в одной таблице: одно не ключевое поле записи содержит ключевое значение другой записи, и это означает, что вторая запись принадлежит первой. Не ключевое поле называется внешним ключом, даже если по нему устанавливается связь с другим полем этой же таблицы. Дочерние, подчинённые записи не знают, является ли их базовая запись подчиненной для какой-то другой записи - для них это несущественно. Каждый уровень обладает своим набором базовых и подчинённых записей, и при «раскрытии» конкретной подчинённой записи изменяются только конкретные отображаемые данные.
Использование такого метода оправдано при относительно небольших иерархиях. Рекурсивная иерархия в одной таблице заметно упрощает обеспечение целостности структуры: одно поле таблицы ссылается на другое, принадлежащее этой же таблице. При этом защищаются все потомки объекта. Если же объединяющие значения находятся в нескольких полях или таблицах, в результате чего становится возможной многоуровневая группировка или установка сложных связей, обеспечить целостность структуры будет сложнее.
При хранении данных в разных таблицах проявляется дополнительная нагрузка на управляющую программу, поскольку необходимо отслеживать размещение соответствующих уровней в различные таблицы. А также производить контроль при создании новых уровней, при создании новых таблиц (рис. 2.1.).
Возможности распределенной информационно-телекоммуникационной системы
Для обеспечения требуемой функциональности, а также на основе данных, приведенных в предыдущих главах, представим модель структуры базы геоданных распределенной информационно-телекоммуникационной системы (рис. 3.3.).
Структура базы геоданных распределенной информационно-телекоммуникационной системы Представленная модель представляет собой связь двух основных элементов системы для отображения и доступа к геопространственным и атрибутивным данным системы. Основными компонентами системы являются каталог метаданных системы, а также таблицы сервера хранения запросов системы. Кроме этого, в базе геоданных существует ряд дополнительных таблиц: таблицы для хранения данных объектных моделей для преобразования данных и таблицы, которые определяют связи для таблиц преобразования данных.
Архитектура распределенной информационной системы представляется в виде клиент-серверной системы. Система представляет из себя 3 основных компонента: Клиентские приложения, Сервер системы, Удаленные базы данных (рис. 3.4.). В качестве основного элемента выступает «Сервер системы». [28]
Сервер системы состоит из двух основных элементов: сервера службы данных и каталога метаданных системы. Сервер службы данных - приложение, обеспечивающее доступ к источникам данных и выполнение запросов клиента на предоставления выбранных им документов. Основная функциональность приложения заключается в возможности подключения к удаленным базам данных, к серверам картографических данных клиентского приложения для работы, а также сохранение информации о подготовленных приложениях для дальнейшего использования и предоставление клиентскому приложению функциональности для получения каталога документов, выполнения запросов, вызова дополнительных функций, получения схем баз данных и ГИС данных. Организация сервера службы данных позволяет сохранять запросы в единой базе гео данных системы (ее структура отображена на рис. 3.3.). Это позволяет повысить эффективность запросов, т.е. позволяет сократить нагрузку на службу подготовки данных.
Крупной структурой сервера информационно-телекоммуникационной системы является комплекс Каталога Метаданных. Он состоит из 3-х компонентов. Система обеспечивает регламентированный многопользовательский доступ к данным удаленных источников посредством Каталога метаданных системы. Менеджер каталога метаданных - клиент-серверное приложение, предназначенное для организации и администрирования каталога данных. Документатор - клиент-серверное приложение, предназначенное для документирования процедуры формирования запрашиваемого документа из источника данных. Документация, созданная с помощью Документатора, представляет собой таблицы метаданных, включаемые в каталог документов с помощью менеджера каталога метаданных.
Основным информационным элементом системы является иерархический каталог, который содержит указание на все источники информации системы и аккумулирует данные в единой структуре. В рамках работы над системой учитывался большой перечень разнородной информации, составляющей данные системы. Каталог представляет собой систему, в которую заносятся источники данных. Этот каталог позволяет быстро и без особых усилий со стороны пользователя организовать доступ к данным системы. Все элементы системы представляют собой сложную иерархию, которая определяется по основной характеристике информации
Структура базы геоданных экспериментальной системы
Экспериментальная система представляет собой распределенную информационную систему. Схема системы приведена на рисунке 4.1.
Перечень удаленных источников геопространственных и атрибутивных данных (Приложение 1) представляет собой различного рода ведомственные базы данных, которые необходимы для работы системы. Каналы связи между удаленными источниками и центральным сервером системы достаточной пропускной способности до 10 МБ/с. Дополнительно для работы системы используется ГИС сервер портала, на котором хранится информация, подготавливаемая в рамках деятельности портала. В качестве ГИС сервера используется сервер с процессором Intel Pentium Хеоп с частотой 3.0 Гц и оперативной памятью 2 Мб. На ГИС сервере установлено программное обеспечение ESRI ArcGIS 9.1. Этот сервер используется для создания специфичной для системы информации и, с точки зрения системы, представляет еще один источник информации. Аналогичный сервер (Intel с частотой 3.0 Гц и оперативной памятью 2 Мб) используется для построения основного сервера системы, на котором размещается база геоданных системы и все ее серверные компоненты и приложения.
На основе разработанной модели базы геоданных для функций портала была создана структура базы данных системы. Были созданы таблицы данных -таблица структуры иерархического каталога системы (таб. 4.1.), таблица хранения связи многим-ко-многим (таб. 4.2.), таблица для хранения объектов данных системы (таб. 4.3.), таблица характеристик (атрибутов) объектов для всей системы (таб. 4.4.) и таблица для хранения значений характеристик (атрибутов) объектов (таб. 4.5.).
Таблица содержит информацию об иерархическом дереве атрибутов объектов. При проведении этого эксперимента для построения иерархии выбрано административное деление Российской Федерации. Выбор именно этого критерия для составления дерева был обусловлен требованиями этого проекта. Таблица содержит следующие поля: id - число, ключ таблицы для объекта; name - текст, название раздела; ownerid - число, ссылка на ID; nesting - число, вложенность текущего уровня; childs - число, количество потомков этого уровня; top_owner - число, самый верхний родитель; position - число, позиция в списке детей; full_path - текст, полный путь до самого верха
Портал предназначен для агрегации и анализа существующих информационных материалов по морской тематике, обеспечения доступа участников деятельности Морской Коллегии к информационным ресурсам ведомственных, межведомственных и международных (зарубежных) информационных систем и расширения информационных и функциональных возможностей существующих систем.
Основными задачами портала являются: создание информационной инфраструктуры, обеспечивающей взаимодействие органов исполнительной и законодательной власти в области морской деятельности; обеспечение диалога правительства и общества по вопросам морехозяйственной деятельности.
Портал «Морская коллегия» позволяет использовать информационные технологии в практике управления морской деятельностью. Одним из основных требований к порталу является обеспечение надежного взаимодействия распределенных информационных ресурсов и доступа пользователей к этим системам.
Для визуализации организационной структуры Морской Коллегии РФ были проведены разработки приложения, способного воспроизводить картографические данные и при этом отражать иерархическую структуру этих данных. Проведенные работы показали дееспособность методов иерархического отображения данных. На рис. 4.2. представлен самый верхний уровень информации для проекта отображения структурного деления Морской Коллегии РФ.
В качестве объектной модели представления данных была избрана объектная модель ActiveScript - языка расширения стандартного браузера для отображения графических данных Macromedia Flash. Методы, разработанные в системе обработки и преобразования данных, позволили привести из объектов базы геоданных ArcGIS в вид, доступный для отображения через браузер.
