Содержание к диссертации
Введение
Глава 1. Сравнительный анализ систем управления хранением верхбольших объектов данных .
1.1. Определение сверхбольших объектов сложной структуры 9
1.2. Обзор программных продуктов, используемых для хранения данных 13
1.3. Обзор систем хранения спутниковых данных 33
1.4. Основные ограничения и недостатки существующих 37
Программных решений для хранения сверхбольших объектов сложной структуры
Глава 2. Разработка методики построения активных баз данных, обеспечивающих долговременное хранение объектов сложной структуры 40
2.1. Постановка задачи построения активных баз данных 40
2.2. Разработка методики построения активной среды баз данных 51
2.3. Разработка методики построения системы информационных ресурсов долговременного хранения сверхбольших объектов сложной структуры
2.4. Оценка требований к ресурсам, необходимым для 76
Функционирования системы хранения, на основе активных баз данных
Глава 3. Разработка системы долговременного хранения Сверхбольших объектов сложной структуры, на основе активной базы данных 85
3.1. Назначение центра планирования, хранения, обработки и Распространения информации 85
3.2. Разработка структур программного обеспечения системы хранения
3.3. Реализация программных компонент системы хранения 98
Глава 4. Разработка системы доступа с даьшым, ориентированной на удаленных пользователей 116
4.1. Задача консолидации данных, при обеспечении доступа к про странстаеішо-распределенной информации 116
4.2. Архитектура построения каталога данных с возможностью доступа удаленных пользователей 120
4.3. Разработка программного обеспечения актуализации информации между долговременным архивом данных и web-каталогам 126
4.4. Гоинципы создания общего репозитария данных на основе распределенных архивов 130
Заключение 134
Список использованных источников
- Обзор программных продуктов, используемых для хранения данных
- Разработка методики построения активной среды баз данных
- Разработка структур программного обеспечения системы хранения
- Архитектура построения каталога данных с возможностью доступа удаленных пользователей
Введение к работе
Задача сохранения информации является одной из приоритетных в информационных технологиях, при решении которой необходимо обеспечить сохранность как накопленной, так и новой информации. Существуют виды информации, в том числе и научно-технической, для которой трудно указать сроки, когда эта информация потеряет значимость или станет ненужной, а во многих случаях ценность информации со временем будет возрастать. Примером может быть информация дистанционного зондирования Земли (ДЗЗ), которая позволяет объективно анализировать медленное изменение в окружающей среде.
Широкое представление информации в цифровом виде породила задачу обработки данных, организации долговременного хранения и создания специальных механизмов управления данными. Поэтому важной задачей системного программирования является создание программного обеспечения для баз данных (БД), содержащих сверхбольшие объекты сложной структуры: графические, картографические, мультимедийные объекты, т.к. эти данные требуют особых подходов к логическому и системно-техническому проектированию для хранения сотен гигабайт данных и доступа к ним.
Традиционные базы данных являются пассивными, т.к. объекты данных помещаются в базу данных пользователем или приложением, выборка объектов осуществляется под воздействием внешних источников. Правила, применяемые к содержимому базы данных, также исходят от внешнего воздействия. В то же время наличие скрытых неявных взаимосвязей между содержимым отдельных записей, позволяет использовать средства интеллектуализации в форме механизма логического вывода, для их обнаружения. Извлеченная таким образом информация, может быть использована для повышения эффективности функционирования СУБД.
Исследования логических аспектов представления функциональных зависимостей, развиваемые Дж, Греем, Р. Фагиным и др., ограничены рассмотрением взаимосвязей между атрибутами отношений и их группами. Исследования физических аспектов представления данных в БД, развиваемые А. Аиламаки, К. Россом и др., посвящены оптимизации хранения записей в странично-ориентированиых файлах БД, рассматривая значения атрибутов как атомарные, в соответствии с ограничениями первой нормальной формы.
Вопросы интеллектуализации БД в теоретическом и практическом смыслах рассмотрены в работах: А. Саймона[59], А. Тейза, К.С. Богданова[7], А.Н. Шевченко[70],.А. Халеви, Дж. Ульмана, С. Терви и др.
Подсистема управления хранением атрибутов может быть эффективно обеспечена введением механизма логического вывода, использующего в качестве входных воздействий, информацию о происходящих событиях в БД и срабатывании триггеров, отслеживающих условия, соответственно, не быть управляема пользователем или приложением. В качестве выхода -команды декомпозиции и синтеза значений атрибутов, направленные на их интерпретацию, обеспечивая тем самым оперативное управление данными в условиях постоянно увеличивающегося объема информации.
Для решения задачи создания долговременных архивов сверхбольших объектов сложной структуры требуется: развитие средств интеллектуализации активных БД; развитие способов построения интенсионального блока для анализа данных, на основе дедуктивного похода; оценка влияния временной эволюции данных на принятие решения по актуализации или «старению» информации, выражающейся в перемещении данных внутри системы хранения; оценка требований к ресурсам, необходимым для функционирования системы хранения.
Все вышесказанное дает основание рассматривать задачу разработки методов исследования отношений между данными и событий внутри БД, для того чтобы возложить непосредственно на БД выбор способа преобразования состояния системы, как актуальную научную и практическую задачу.
Целью диссертационной работы является разработка математического и программного обеспечения для построения активной БД, решающей задачи долговременного хранения сверхбольших объектов сложной структуры на основе использования методов интеллектуального анализа данных, а так же предоставления возможности оперативного использования накопленным материалом.
В соответствии с поставленной целью требуется решить следующие задачи:
Провести исследование и анализ систем управления, применяемых для решения задач долговременного хранения данных.
Разработать методику построения интеллектуальных баз данных, обеспечивающих долговременное хранение объектов сложной структуры, на основе активного управления событиями и условиями.
Разработать методику анализа данных, которая позволит исследовать и выделять параметры, оказывающие влияние на объекты хранения, на основе дедуктивного подхода.
Разработать методику оценки общего времени восстановления штатной работы после сбоя системы хранения, на основе активных БД, для заданной конфигурации аппаратных средств.
Решить практическую задачу построения информационной базы распределенного хранения данных на основе расширения использования сети InternetUntranet.
Внедрить и апробировать разработанное математическое и программное обеспечение активной БД для решения задачи долговременного хранения сверхбольших объектов сложной структуры.
Объект исследования. В качестве объекта исследования выбраны данные сверхбольшого объема (данные ДЗЗ, картографические, мультимедийные и др. объекты) сложной структуры, для которых необходимо обеспечить долговременное хранение.
Методы исследования основаны на теории искусственного интеллекта, теории баз данных, методах математической статистики объектно-ориентированном подходе программирования и принципе модульного построения программного кода.
Научная новизна работы, обусловлена следующими факторами:
Разработаны принципы организации баз данных, для управления долговременным хранением сверхбольших объектов, на основе математических методов активного управления событиями и условиями.
Предложена модифицированная модель дедуктивной БД, дополненная аксиоматически определенными правилами синтеза комплекса данных на основе хранимых значений.
Разработана методика оценки общего времени восстановления штатной работы системы хранения после сбоя, на основе активных БД, для заданной конфигурации аппаратных средств. Разработаны программные компоненты активной БД для решения задачи долговременного хранения объектов сложной структуры. Разработанный программный комплекс реализует методику построения активных баз данных (АБД), включает в себя приемы использования дедуктивных баз данных, основанные на аксиоматическом подходе и активную форму мониторинга событий и условий которые воздействуют на данные.
Предложенная в настоящей работе методика интеллектуального анализа данных для управления событиями и условиями при долговременном хранении сверхбольших данных сложной структуры, способствуют сокращению расходов, необходимых на их постоянную поддержку, и, тем самым, повышает степень использования рассматриваемых данных в различных прикладных областях.
Результаты диссертационной работы внедрены при создании системы хранения комплекса долговременного хранения в Центре планирования, хранения, обработки и распространения информации (ЦПХОРИ) ГКНГЩ им. М.В. Хруничева, предназначенного для работы с данными космического аппарата (КА) «Монитор-Э», а также могут быть использованы при построении глобальной системы наблюдения для сбора и обмена информацией, включающей мониторинг территорий и акваторий, между странами для выработки управленческих решений по устойчивому развитию, на основе спутниковых данных.
По основным результатам работы были сделаны научные доклады на IV всероссийской научно-технической конференции «Новые информационные технологии» (Москва, МГАПИ, 2001г.), научной конференции «Современные проблемы дистанционного зондирования Земли из космоса» (Москва, ИКИ РАН, 2003г.) и на VIII Всероссийском форуме "Геоинформационные технологии. Управление.
Природопользование. Бизнес. Образование.".
По результатам диссертационного исследования опубликовано 7 печатных работ. На разработанный продукт получено свидетельство об официальной регистрации программ для ЭВМ в Российском агентстве по патентам и товарным знакам (РОСПАТЕНТ) — "Серверное программное обеспечение поддержки хранения данных, ACT_JMON-2004" №2005613178.
Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 108 наименований, содержит 129 страницы машинописного текста, 29 рисунков, 9 таблиц и приложения на 2 страницах.
Обзор программных продуктов, используемых для хранения данных
Основная идея GRID - обеспечить эффективное использование составляющих ее ресурсов. Для этого оборудование и программное обеспечение GRID должно определять загруженность отдельных элементов GRID и балансировать нагрузки, направляя пользователей и приложения на менее загруженные узлы, подключая новые узлы и т. д.
Рассмотрим программный продукт Oracle 10G компании Oracle, который является платформой для реализации и выполнения приложений в среде GRID[26].
Эта платформа для поддержки коммерческих GRID-приложений -Oracle 10G - использует как прежние преимущества Oracle - кластерные архитектуры, мощные средства разделения информации, такие как Oracle Streams, Distributed Database, Transported Tablespace, так и новые возможности. Среди них следует выделить такие важные для GRID вещи, как самоуправляемость и самонастройка, автоматическое управление виртуальной областью хранения данных (Automatic Storage Management), балансировка загрузки узлов кластера и выделение групп узлов под конкретные приложения, работа с внешними файлами ОС и таблицами БД в едином режиме, клонирование БД, управление патчами и конфигурациями и тд.
Все механизмы Oracle 10G для реализации коммерческой GRID мы разобьем на следующие группы (рис. 1.7) [58]: ? Storage GRID - GRID хранения данных. ? Database GRID - GRID сервера БД. ? Application GRID - GRID серверов приложений. ? Средства самонастройки узлов БД. ? GRID Control - система управления GRID; ? Средства для разделения информации между узлами GRID. Информация хранится в GRID в базах данных и файлах. Множество узлов GRID обеспечивает доступ к этой информации, поэтому необходимо организовать разделение информации между узлами. Существует три способа разделения информации: централизация информации в единой БД; ? работы с множеством самостоятельных независимых БД и файлов (федерирование); ? временный вынос необходимой информации на узлы, где она будет обрабатываться (propelling).
Таким образом, ПП Oracle 10G позволяет пользователям на основе виртуализации применять аппаратное обеспечение - серверов и систем хранения данных, позволяющее предоставлять приложениям единый и перераспределяемый пул памяти, для хранения данных, динамическое добавление и удаление дисков, специальную настройку для ликвидации узких мест ввода/вывода, зеркалирование и выделение пространства для резервирования или восстановления данных, что позволяет надежно хранить, распределять и извлекать данные для пользователей и приложений.
НАУЧНЫЙ ЦЕНТР ОПЕРАТИВНОГО МОНИТОРИНГА ЗЕМЛИ
Научный центр оперативного мониторинга Земли (НЦ ОМЗ) предназначен для приема, регистрации, межотраслевой обработки, записи на архивные носители и распространение природно-ресурсной информации, поступающей с К А "Метеор-ЗМ" № 1 [15,21].
Система обработки и архивации природно-ресурсной информации обеспечивает выделение из файла-потока данных аппаратуры МСУ-Э и МСУ-СМ, их обработку, контроль качества информации, ведение оперативного архива, ведение оператором электронного каталога космической информации, поиск и выделение оперативных и ретроспективных данных из архивов по запросам потребителей, формирование выходных информационных продуктов. Технологическая схема приема, каталогизации, архивации и обслуживания потребителей представлена на рисунке ниже (рис. 1.8).
Разработка методики построения активной среды баз данных
Пусть А=(АЬ ..., Аіз ..., Aj, ..., Ап)-атрибуты отношения г(А). Следующие отношения являются результатами применения двух операторов выбора: здесь а есть п-набор констант (ah ..,, aj, ..., aj, ..., ап), с - константа и 6 -оператор сравнения (= или Ф а так же для числовых атрибутов или числовых кортежей-операторы , = ,= , ).
Оператор отбирает в отношении г такие п-наборы (аь ..., aj, ..., а,, ..., ап), для которых истинно условие a;0aj (соответственно ajGc). Оператор соединения.
Этот оператор определяет отношение, исходя из двух других, на основе равенства некоторых значений в п-наборах отношений-аргументов. Пусть даны два отношения Гі(А, С) г2(С,В), такие, что АГЇВ=0. Соединение отношений гь г2-это отношение Г] & r2= {(а, Ь, с)(а, с) єг, и (с, Ь) ЄҐ2}.
Этот оператор строит п-набор (а, Ъ,с), исходя из пары наборов (а, с) єгі и (с, Ъ) єг2) содержащих одно и то же с. Оператор деления.
Этот оператор выражает в ограниченной форме универсальную квантификацию. Пусть даны два отношения Г (А, В) и г2 (В). Деление первого на втрое определяется следующими образом: Г (А, В)н-г2 (В)={а(а,Ь є Г для всех Ьє г2} или так Г! (А, В)-гГ2 (В)={а[г2сті;ваА=а(гі))}.
Определим реляционный язык А, применяя синтаксис исчисления предикатов к схеме S базы данных следующим образом: Число констант в $ ограничено; множеством констант является объединение доменов, входящих в S. Функции отсутствуют (за исключением обычных констант, рассматриваемых как функции, не содержащие аргументов).
Число предикатов в S ограниченно.
Среди предикатов, входящих в S, имеется особый бинарный предикат, называемый равенством и обозначаемый символом Каждый, предикат из 9, кроме равенства, сопоставляется некоторой схеме отношения из S соответствует некоторый предикат из S. Каждый атрибут схемы отношения соответствует какому-то аргументу сопоставленного схеме предиката. Такой предикат называется реляционным. Реляционному предикату и отношению, которому он соответствует, присваивают для простоты одно и то же имя. Формулы реляционного языка строятся так же, как формулы исчисления предикатов.
Реляционный язык & служит основой для языка запросов. Запрос-это выражение вида xQ(x) (2.2), где х=(хь..., хп) есть набор n-набор переменных, которые называются переменными целями запроса. (З(х)-формула из 9, в которой свободными переменными являются только переменные, входящие В X.
Эрбрановский универсум (или область Эрбрана) всего множества формул языка 9 сокращается до констант, появляющихся в этих формулах.
В общем случае эрбрановской универсум Я17 множества формул включает в себя все термы, получаемые при всевозможных применениях символов функций, появляющихся в формулах, к константам множества формул и к другим термам эрбрановского универсума.
Конечен и эрбрановский базис множества формул языка 9 -эрбрановский базис г37 -это множество предикатов, построенных путем всевозможных применений символов предикатов, появляющихся в , к наборам констант из эрбраноского универсума Я17.
Семантика реляционного языка 9 задается посредством интерпретации моделей для формул из 9. Интерпретация языка 9 есть тройка 1={(D, Ic, Iv), где (D - непустое множество констант, 1С- функция которая каждой константе из 9 сопоставляет элемент из (D и каждому п-арному предикату из 9, кроме равенства, сопоставляет отображение множества 2 в {истинно, ложно}.
Разработка структур программного обеспечения системы хранения
Подсистема ведения архивов спутниковых является ключевой компонентой системы хранения и отвечает за организацию архивов спутниковых данных. Эта подсистема предназначена для организации архивов спутниковых данных, содержащих файлы спутниковых данных и сопутствующую им информацию.
Архив спутниковых данных реализуется в виде базы данных, содержащей описание спутниковых данных, локального файлового хранилище на жестких дисках сервера архивации и долговременного хранилища файлов данных на магнитных лентах, лазерных дисках и т.п. В состав архива включены следующие базы данных: база исходных изображений, прошедших предварительную обработку; база обработанных изображений; база текущих заказов;
База исходных изображений предназначена для хранения таблиц с информацией об исходных изображениях и адресов хранения самих изображений. База исходных изображений представлена в виде взаимосвязанных таблиц сканов, кадров и обзорные изображения (квиклуков). Заполнение данными этих таблиц осуществляется в ттодсистеме предварительной обработки. Скану присваивается уникальный регистрационный номер, получаемый в составе сопроводительной информации, и в дальнейшем все данные этого скана привязывают к нему.
Каталог изображений динамически формируется на основе таблиц, имеющейся базы исходных данных.
База обработанных изображений предназначена для хранения результатов обработки изображений прошедших высокий уровень обработки и представлена в виде таблиц, которые содержат данные об уровне обработки, картографической системе координат, точностных характеристиках. Связь с исходным изображением выполняется посредством номера скана и кадра.
База заказов потребителей предназначена для хранения заявок потребителей на информацию. Каталог заявок представлен в виде таблиц заказов потребителей, координат районов, заданных кадров.
Как уже, отмечалось для организации архивов спутниковых данных, был разработан программный пакет, который реализуется в виде набора активных хранимых процедур, предназначенных для работы мониторинга событий и условий. Эти процедуры воздействуют на данные и могут инициировать обработку, управляемую базой данных, вынося из программ приложений в саму базу данных, обеспечивая более тесную связь системных данных и операций над данными, чем это было принято в традиционных пассивных управляемых СУБД системах.
Каждая из утилит, так называемые хранимые процедуры, содержат программируемую логику, содержащуюся в базе данных, и имеют дополнительные возможности для выражения сложных правил.
Хранимая процедура представляет собой модуль прикладной программы с той лишь разницей, что он "относится" к базе данных, а не к внешней программной системе, использующей эту базу данных. Хранимые процедуры могут определяться относительно одной или более таблиц базы данных, точно так же, как ограничения и утверждения [42]. И отвечают базовые операции с таблицей или записями таблицы. Процедура "create" позволяет создать новую таблицу, "add" - отвечает за добавление новых записей и обновление существующих, "detach" - отвечает за перенос файлов на долговременный носитель, "attach" - позволяет восстанавливать файлы с долговременного носителя в режим непосредственного доступа, "export" -предназначена для экспорта данных в другие архивы. По существу, пакет является надстройкой сервера реляционных баз данных, позволяющей собственно хранить в БД объект и принимать и выполнять запросы пользователей, выполнять регистрацию поступающих электронных данных, в базы данных, контролировать и протоколировать операции доступа к данным и обеспечивает хранение содержания данных, а так же управление устройствами массовой памяти магнитных лент. Прозрачно для пользователей обеспечивает оперативный доступ к данным, направляемым от рабочих мест в основное хранилище или, наоборот, из основного хранилища (сервера хранения) на локальные станции-клиенты (рис. 3.5).
Все процедуры спроектированы для работы в активном режиме, поддерживают единую систему ведения файлов отчетов и диагностики ошибок и сбоев.
При добавлении в архив файлы помещаются под служебными именами в локальное хранилище файлов. Хранение файлов под исходными именами в исходной файловой структуре представляется нецелесообразным, так как это накладывает ненужные ограничения на систему пополнения архивов, в частности требование уникальности имен файлов и существенно усложняет задачу поддержания целостности архивов. Исходное имя файла сохраняется в соответствующем поле объекта файл и при необходимости может быть использовано при организации доступа к файлу.
Доступ к файлам, содержащимся в архиве, осуществляется обычным образом без использования специальных программных средств. Путь к файлу от корня файлового хранилища определяется на основе описания объекта в таблице.
Архитектура построения каталога данных с возможностью доступа удаленных пользователей
Доступ удаленных пользователей к архивам спутниковой информации, организуется с помощью глобальной сети Интернет, на основе специализированного Web-интерфейса.
Web-интерфейс представляет собой сочетание согласованных баз данных, HTML страниц, генерируемых CGI-скриптами, а также набор скриптов на языке Perl, позволяющих оперативно управлять актуализацией информацией между системой хранения спутниковых данных и Web -каталогом удаленного доступа пользователей. Вопросы построения WEB интерфейсов на основе использования cgi-скриптов освещены в изданиях [51,52]. Во многих интерфейсах используются возможности языка JavaScript [56] и технологии DHTML [72], позволяющие динамически менять содержание HTML страниц без обращения к WWW серверу. Часть интерфейсов разрабатывается на базе Java приложений, позволяющих создавать полноценные пользовательские приложения, загружаемые по сети и выполняемые средствами стандартных Web-браузеров. При разработке дизайна интерфейсов, в настоящее время, используются возможности современных стандартов HTML, XML и CSS [46]. Все основные компоненты системы доступа располагаются на Web-сервере. Структурная схема архитектуры Web-каталога для доступа удаленных пользователей представлена на рис. 4.1.
Рассмотрим представленные компоненты системы более подробно [73,20]: Web- браузер; Web-сервер; программа-шлюз; подсистема хранения. Web-сервер. Web-сервер выступает в качестве точки-входа пользователя в систему Интернет. Он выполняет функции: предоставляет доступ к статистическим и редко меняющимся HTML - файлам и файлам данных, используемым при формировании пользовательского интерфейса; служит в качестве среды исполнения для исполнения CGI-скриптов, через которые происходит взаимодействие пользователя с системой. Программа-шлюз. Данный компонент системы играет роль посредника между Web-сервером и пользователем системы. Шлюз реализовывается как CGI - скрипт. Его функции заключаются в отправке параметров запроса на поиск необходимых данных в каталоге к Web-серверу и передаче результатов обработки запроса в обратном направлении [36]: -динамическая генерация HTML-доку ментов, формирующих пользовательский интерфейс системы; - разбор и обработка приходящих от пользователей запросов; - взаимодействие с подсистемой хранения для получения данных.
Браузер (программа www-клиент) запрашивает у сервера документ по URL. Результат выводится web-сервером клиенту в окно браузера, откуда был послан.
По запросу пользователя на сервере динамически формируются HTML документы, содержащие метаданные об интересующих пользователя данных, их обзорные снимки и возможно ссылка на файл данных, если он находится в режиме непосредственного доступа.
Ниже рассмотрим основные пользовательские возможности типового Web-интерфейса каталога доступа удаленных пользователей к спутниковым данным, хранящимся в архиве: Каталог архива Интерфейс позволяет просмотреть содержимое архива по годам, месяцам и дням и выбрать интересующие пользователя данные. Дополнительно может быть также реализован каталог данных, находящихся в режиме непосредственного доступа. Поиск данных в архиве
Интерфейс предназначен для поиска данных в архиве по различным критериям, таким как диапазон географических координат и временных дат съемки, качество и облачность изображений, тип спутника или сканера и др. Ознакомиться с выбранными данными пользователь может при помощи интерфейса просмотра данных. Для задания географических координат используется специальный Java апплет. Интерфейс просмотра выбранных данных Интерфейс позволяет ознакомиться с описаниями выбранных данных, просмотреть их обзорные снимки. Интерфейс заказа данных Интерфейс позволяет пользователю сделать заказ на получение выбранных им данных или на восстановление их в режим непосредственного доступа Интерфейс регистрации пользователей
Интерфейс предназначен для произведения пользователем заявки на регистрацию.
Для просмотра спутниковых данных могут быть также реализованы интерфейсы, построенные на основе использования Java приложений, позволяющие провести более детальный анализ выбранных данных.
Web-каталог использует для хранения данных две отдельных логических базы данных, которые могут размещаться как в одной, так и в раздельных базах данных используемой СУБД [70]. Одна используется для хранения метаданных по представляемой потребителям космической информации, другая - для регистрации заказов на получение данных.
