Введение к работе
Актуальность темы. Одной из главенствующих тенденций развития современных вычислительных средств по-прежнему остается существенное увеличение объемов обрабатываемых данных и связанные с этим проблемы создания оптимальных архитектур для их хранения и обработки. Одним из наиболее эффективных архитектурных решений проблемы хранения и обработки сверхбольших баз данных является погружение в распределенную вычислительную среду, обеспечивающую параллельную обработку запросов на многопроцессорных вычислительных системах. В области технологий параллельной обработки запросов для реляционных баз данных достигнуты значительные успехи, воплощенные в целом ряде исследовательских и коммерческих СУБД. В качестве примеров успешных коммерческих проектов создания параллельных систем баз данных можно привести UDB DB2, NonStop SQL и Teradata. Подобные системы объединяют тысячи процессоров и жестких дисков и способны обрабатывать петабайтные базы данных. Тем не менее, в области параллельных систем баз данных и консолидации до сих пор остается ряд направлений, требующих дополнительных научных исследований. Одно из них - дальнейшее развитие архитектуры параллельных систем баз данных с целью консолидации ресурсов гетерогенных вычислительных комплексов.
Задача консолидации ресурсов не решена до сих пор даже на уровне лидеров рынка. Еще хуже обстоит дело для распределенных систем, где проблемы возникают уже на уровне консолидации данных.
С другой стороны, для большинства приложений было бы актуальным и эффективным даже промежуточное решение - консолидация серверов и данных. Если принять, что консолидация данных в такой парадигме является первоочередной, возникает вопрос - какие СУБД могут справиться с этой задачей?
В диссертации рассматривается технология консолидации баз данных для системной интеграции гетерогенных комплексов, решающих задачи проведения научных вычислений и поддержки принятия решений. При этом основное внимание обращено на создание элементов виртуального полигона (сервисов), необходимых для создания, управления и консолидации базы данных. При этом тестирование СУБД в распределённых гетерогенных вычислительных комплексах позволяет выбрать архитектуру и компоненты СУБД для задач консолидации.
Цель и задачи исследования. Целью диссертации является теоретический анализ и экспериментальное исследование вопросов системной интеграции гетерогенных комплексов для улучшения характеристик их производительности и расширения диапазона приложений, разработка научных методов и алгоритмов организации параллельной и распределенной обработки информации, оптимизация приложений баз данных. С точки зрения поиска перспективных архитектурных решений. Целью диссертации является создание такого операционного окружения для базы данных и консолидации в распределенной вычислительной среде, которое является некоторым общим решением для относительно небольших сетей и может быть использовано, и в научных институтах, и в коммерческих предприятиях, в которых ресурсы могут располагаться как в одном здании, так и в географически удаленных объектах.
Для достижения этой цели необходимо было решить достаточно сложные задачи выбора прототипа архитектуры системы, разработки алгоритмов, а так же проблемы создания и адаптации соответствующих программных продуктов. Сама такая система реализуется в виде блоков, которые составляют распределенный виртуальный вычислительный комплекс, называемый виртуальным полигоном.
Предмет исследования. Методы теоретического анализа и экспериментальное исследование архитектур вычислительных комплексов, в том числе, гетерогенных, методики специальной обработки данных больших объемов, информационные модели соответствующих архитектур, методы оптимизации программного обеспечения для гетерогенных комплексов, способы обеспечения интеграции компьютерных систем.
Методы исследования. Анализ и синтез архитектурных решений, технологии проектирования информационных систем, программного обеспечения, баз данных и консолидации ресурсов. Экспериментальные исследования реляционной модели данных на различных архитектурах. Использование предложенных автором программ для построения моделей управления распределенными массивами данных.
Научная новизна работы заключается в следующем: 1. Предложен новый подход для консолидации данных в гетерогенном распределенном вычислительном ресурсе.
-
Создана модель операционной среды, позволяющая моделировать работу приложения с интенсивной параллельной и распределенной обработкой информации.
-
Создано специализированное программное обеспечение для создания, консолидации и управления информационными структурами.
Достоверность научных результатов и выводов подтверждена результатами тестирования СУБД в распределенной среде гетерогенных вычислительных комплексов и консолидации информационных ресурсов таких комплексов, а также практическим использованием разработанных баз данных и предложенного программного продукта.
Основные научные результаты.
-
-
Разработана методика консолидации баз данных в гетерогенном распределенном вычислительном ресурсе.
-
Создана модель операционной среды, позволяющая моделировать работу приложения с интенсивной параллельной и распределенной обработкой информации.
-
Создано специализированное программное обеспечение для консолидации и управления информационными структурами.
Научные положения, выносимые на защиту:
Алгоритмы консолидации ресурсов в гетерогенной среде, основанные на распределенных базах данных.
Методика специальной обработки данных, позволяющая объединить возможности промежуточного программного обеспечения Sun Grid Engine и СУБД DB2 на распределённых гетерогенных вычислительных ресурсах с целью улучшения их технико- экономических и эксплуатационных характеристик.
Информационная модель обработки данных и ее оптимизация для консолидации данных в гетерогенном вычислительном комплексе.
Практическую значимость составляют:
Программный комплекс UDB DB2 в гетерогенном распределенном вычислительном комплексе.
Программные продукты, осуществляющих тестирование и консолидацию в гетерогенной распределенной вычислительной среде.
Внедрение результатов работы. Результаты диссертационной работы внедрены в гетерогенном вычислительном комплексе факультета ПМ-ПУ СПбГУ для поддержки баз данных и консолидации ресурсов и использованы в учебном процессе кафедр ВТ и ИТ СПбГМТУ и ВТ СПбГЭТУ «ЛЭТИ».
Апробация работы. Основные результаты работы докладывались и обсуждались на национальных и международных научно-технических конференциях:
Международная конференция МОРИНТЕХ 2009, Санкт-
Петербург, 2009 г.
Международная конференция «Computer Science & Information
Technologies»,Yerevan, Armenia, 2009 г.
4-ая Международная конференция «Distributed Computing and
Grid-Technologies in Science and Education». Dubna, 2010 г.
Международная конференция « Eighth International Conference on Computer Science and Information Technologies » Yerevan, Armenia, 2011Г.
Публикации. Основные теоретические и практические результаты диссертации опубликованы в 6 статьях и докладах, из них по теме диссертации 6, среди которых 1 публикация в ведущем рецензируемом издании, рекомендованном в действующем перечне ВАК. Доклады доложены и получили одобрение на 5 международных, всероссийских и межвузовских научно-практических конференциях.
Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав с выводами, заключения и списка литературы, включающего 115 наименований. Основная часть работы изложена на 142 страницах текста. Работа содержит 68 рисунков.
Похожие диссертации на Использование технологий баз данных для системной интеграции гетерогенных комплексов научных вычислений
-
