Введение к работе
Актуальность работы. На сегодняшний день уже не вызывает сомнения тот факт, что виртуализация является крайне актуальной и востребованной технологией. Применительно к настольным компьютерам и серверам, виртуализация — это создание на одном физическом сервере или компьютере нескольких «виртуальных» машин, на каждой из которых может быть установлена своя среда — операционная система, приложения, пользовательские настройки и т.п. При этом такие виртуальные машины (ВМ) оказываются абсолютно изолированными друг от друга и ведут себя, как отдельные физические компьютеры.
С помощью виртуализации удается организовать более эффективное управление вычислительными ресурсами и упросить администрирование оборудования, не нарушая при этом изоляцию несвязанных между собой приложений. Это достигается благодаря новым возможностям виртуализации по управлению ресурсами, которые сложно или невозможно реализовать при использовании традиционных подходов. Использование технологий виртуализации вычислительных ресурсов актуально, в том числе, и для кластерных систем, где ВМ позволяют значительно упростить задачу автоматизации распределения ресурсов и управления конфигурацией узлов кластера. Однако для практического использования одних только базовых функций ВМ часто оказывается недостаточно. Необходима полноценная платформа для автоматизированного централизованного управления комплексами ВМ.
В настоящее время существует ряд мощных систем для управления комплексами ВМ. В таких системах решения по вопросам распределения аппаратных ресурсов между приложениями принимается преимущественно вручную администратором или пользователями системы. Такой способ управления, тем не менее, не способствует оптимальному использованию ресурсов, поскольку пользователи стремятся обеспечить себя избыточным объемом ресурсов, чтобы гарантировать эффективную работу своих приложений при критических уровнях нагрузки.
Представляется возможным и актуальным сделать следующий шаг вперед: системы управления комплексами ВМ должны автоматизировать процесс распределения вычислительных ресурсов на основе соглашений, регламентирующих требуемое качество оказываемых приложениями услуг. Учитывая ценность предоставляемых приложению ресурсов, такие системы могли бы реализовать гибкие и эффективные стратегии управления, динамически наращивая и освобождая вычислительные ресурсы приложений по мере необходимости.
Предлагаемое в рамках диссертационной работы программное решение Виртуальные сервисы ориентировано на использование в первую очередь на высокопроизводительных вычислительных установках, где технологии виртуализации являются актуальной темой научных исследований. Такие вычислительные системы, как правило, используются одновременно несколькими пользователями для решения ресурсоемких, узкоспециализированных научных и инженерных задач, требующих для корректного функционирования определенного набора системного и прикладного ПО. Эти требования часто создают конфликтные ситуации, связанные с различиями версий служебного ПО. Система Виртуальные сервисы позволяет решить эти проблемы с помощью специализированных сервисов — изолированных вычислительных окружений для решения конкретных пользовательских задач. При этом объем аппаратных ресурсов, доступных сервису, может меняться динамически в соответствии с текущими потребностями пользователей этого сервиса.
В диссертации предлагаются новые подходы по управлению вычислительными ресурсами высокопроизводительного кластера, основанные на использовании профилей производительности приложения и концепции уровня сервиса, способствующих повышению КПД аппаратных ресурсов вычислительной системы. В системе Виртуальные сервисы реализован удобный пользовательский интерфейс, совместимый с промежуточным программным обеспечением (ППО) UNICORE, что позволяет использовать систему, в том числе, и в грид окружении.
Цель работы состоит в разработке методов и средств управления вычислительными ресурсами приложений, работающих на высокопроизводительном кластере в виртуальной среде.
В рамках диссертационной работы решаются следующие задачи
разработка и реализация архитектуры программного средства для развертывания, мониторинга и распределения вычислительных ресурсов комплексов виртуальных машин.
адаптация ряда типовых демонстрационных приложений для работы в виртуальной вычислительной среде.
разработка математической модели для автоматического динамического перераспределения вычислительных ресурсов с целью оптимизации их использования.
реализация математической модели в виде программной компоненты и проведение экспериментов, показывающих ее эффективность.
Методы исследования. Результаты исследования получены на базе разработанного программного комплекса Виртуальные сервисы. При проектировании и реализации системы применялись открытые международные стандарты (UML, WSDL, X.509 и другие), использовались инструментальные среды и пакеты системного ПО. Реализация программного комплекса велась с применением компонентного подхода. Математическая модель управления вычислительными ресурсами построена с помощью теории оптимизации динамических систем.
Научной новизной обладают следующие результаты диссертации:
-
Предложена архитектура программной системы для управления комплексами виртуальных машин.
-
Предложен подход к распределению вычислительных ресурсов на основе статистического и текущего потребления ресурсов виртуальными сервисами с применением профиля производительности и уровня сервиса.
-
Разработана и программно реализована модель оптимального управления вычислительными ресурсами для совокупности виртуальных сервисов.
Практическая значимость результатов работы определяется их применимостью для решения задач эффективного использования мощностей высокопроизводительных вычислительных кластеров, что продемонстрировано при реализации:
суперкомпьютерной программы «СКИФ-ГРИД» Союзного Государства в проекте «Разработка программных средств организации виртуальных кластеров на суперкомпьютерах семейства "СКИФ"»,
программы фундаментальных исследований Президиума РАН №15 «Разработка фундаментальных основ создания научной распределенной информационно-вычислительной среды на основе технологии GRID».
Система Виртуальные сервисы используется в Геофизическом центре РАН, при развертывании ресурсного узла национальной инфраструктуры СКИФ-ГРИД для системы управления метаданными в виртуальных обсерваториях по окружающей среде.
Разработанная в настоящей работе программная система предоставляет возможность эффективного управления аппаратными ресурсами высокопроизводительных вычислительных систем и суперкомпьютеров семейства «СКИФ». Предлагаемый в работе алгоритм управления ресурсами может иметь самостоятельное значение и использоваться в других аналогичных системах управления ВМ.
Апробация работы и публикации. Основные результаты работы докладывались и обсуждались на следующих конференциях и семинарах:
3-я международная конференция "Распределенные вычисления и Грид технологии в науке и образовании", Дубна, 2008 г.
XV Всероссийская научно-методическая конференция "Телематика'2008" Санкт-Петербург, 2008.
Международная научная конференция «Параллельные вычислительные технологии» (ПаВТ'2008), Санкт-Петербург, 2008 г.
IV международная конференция «Параллельные вычисления и задачи управления» (PACO'2008), Москва, 2008 г.
3rd Workshop on Virtualization in High-Performance Cluster and Grid Computing (VHPC '08), Las Palmas de Gran Canaria, Spain, 2008.
XVI Международная конференция по Вычислительной механике и современным прикладным программным системам (ВМСППС'2009), Алушта, Крым, 2009 г.
Семинары Исследовательского центра мультипроцессорных систем ИПС РАН в г. Переславль-Залесский (2007-2009).
Основные результаты диссертации отражены в пяти печатных работах, в том числе в трудах трех научных конференций и двух статьях, включая одну публикацию [5] в издании из списка ВАК.
Структура и объем работы. Диссертационная работы работа состоит из введения, трех глав, заключения, библиографического списка из 62 наименований и пяти приложений. Общий объем основного текста диссертации составляет 104 страницы, включая 31 рисунок.
Похожие диссертации на Система управления специализированными виртуальными инструментами с механизмами оптимального распределения вычислительных ресурсов
