Введение к работе
Актуальность темы исследования.
Две важные проблемы, решаемые распределенными вычислительными средами (РВС), главным представителем которых являются грид-системы, -повышение отдачи от вычислительных ресурсов в случае их недостаточной загрузки, а также обеспечение необходимой вычислительной мощности для решения масштабных научных и инженерных задач. Организация РВС во многих случаях обходится гораздо дешевле разработки высокопроизводительных компьютерных комплексов. С появлением такой технологии распределенных вычислений, как облачные вычисления, средняя стоимость вычислений снизилась еще больше. Недавно возникшие в рамках облачных вычислений парадигмы «программное обеспечение как услуга» (SaaS), «платформа как услуга» (PaaS), «рабочее место как услуга» предназначены для избавления конечного пользователя от проблем, связанных с подбором оборудования, организацией и настройкой инфраструктуры сети. В конечном итоге, пользователь платит только за необходимые ему ресурсы, выделяемые для него «виртуальным суперкомпьютером».
Сложность администрирования среды, в рамках которой объединяются разнородные вычислительные платформы, а также люди и стоящие за ними организации, пользующиеся совместным доступом к ресурсам, резко возрастает. Механизм доступа к ресурсам, реальная сложность среды при этом скрываются от конечного пользователя, становятся виртуальными, сходным образом виртуализируется и абстрагируется набор принципов, регулирующих работу всей системы, который носит название виртуальной организации (ВО).
В условиях коллективного характера функционирования РВС наиболее сложным и критически важным механизмом обеспечения качества обслуживания помимо прочих, например, обеспечения безопасности, является эффективное планирование с точки зрения баланса загрузки ресурсов. Дополнительную сложность данной задаче придает то, что осуществляющий планирование механизм РВС (грид-диспетчер, метапланировщик, брокер ресурсов) фактически не имеет полного контроля над ресурсами среды (которые являются неотчуждаемыми) и скорее вынужден вести переговорный процесс с контрагентами, в данном случае с локальными планировщиками вычислительных узлов.
В случае, если РВС используется коммерчески (как упомянутые облачные вычисления) и ВО, кроме пользователей, включает в себя собственников ресурса, то экономические интересы собственников (максимальный доход, обеспечение определенного уровня загрузки ресурсов) противоречат интересам пользователей (получить результаты вычислительных заданий как можно скорее и с минимальными затратами). Таким образом, помимо задачи балансирования загрузки ресурсов, возникает необходимость внесения экономических принципов в процесс управления ресурсами, а именно: учет экономических интересов сторон, обеспечение
качественного обслуживания пользователей, а также обеспечение прибыли организации, создавшей необходимую инфраструктуру самой РВС, -администраторов ВО.
Во множестве существующих реализаций систем управления ресурсами РВС (планировщиков) вышеперечисленные вопросы не рассматриваются. Одним из немногих исключений является брокер ресурсов Nimrod/G, основанный на рыночной модели распределения ресурсов. Однако, подход, примененный в алгоритме данного планировщика, сводится к оптимизации планирования приложений отдельного пользователя по заданным им критериям. Данное решение построено децентрализованно (каждый пользователь запускает свой экземпляр брокера) и не решает задачу балансирования экономических интересов в масштабе всей ВО, а также задачу оптимального планирования для набора (пакета) заданий, составленного из заданий различных пользователей. Кроме того, алгоритм Nimrod/G не включает детальное решение проблемы отбора вычислительных ресурсов, необходимых для выполнения пользовательских заданий. Другие планировщики РВС также основаны на довольно упрощенной модели распределения ресурсов.
Учитывая все вышеприведенные аргументы, представляется актуальной разработка и исследование модели ВО коммерчески используемой РВС, включающей в себя пользователей и собственников ресурсов, а также прослойку посредников - администраторов ВО. В рамках новой модели ВО необходима разработка комплексного механизма управления ресурсами, основанного на экономических принципах и обеспечивающего баланс экономических интересов участников ВО путем оптимизации распределения ресурсов на уровне целого пакета заданий нескольких независимых пользователей на произвольно заданном наборе частично доступных вычислительных узлов.
Объектом исследования является управление ресурсами в РВС, предметом исследования - модель и методы управления и планирования ресурсов в рамках виртуальной организации РВС.
Целью работы является разработка модели виртуальной организации коммерчески используемой распределенной вычислительной среды и механизма управления неотчуждаемыми вычислительными ресурсами в рамках данной модели виртуальной организации.
Для достижения указанной цели в диссертационной работе решаются следующие задачи:
Исследование моделей организации распределенных вычислений, существующих алгоритмов планирования и реализаций планировщиков.
Разработка модели ВО коммерчески используемой РВС, включающей независимых пользователей, собственников ресурса и прослойку администраторов ВО, разработка модели ценообразования вычислительных услуг в ВО.
Разработка механизма управления неотчуждаемыми ресурсами ВО РВС, реализуемого системой распределения ресурсов РВС -
метапланировщиком, построенным по иерархической схеме организации распределения ресурсов.
Разработка системы имитационного моделирования, реализующей программно работу модели ВО для исследования ее поведения и свойств.
Экспериментальное исследование модели ВО и механизма управления ресурсами при помощи программной реализации для изучения свойств и поведения модели, а также анализа эффективности алгоритмов металл анировщика.
Методы исследования.
Для решения поставленных задач в работе использовались методы теории расписаний, исследования операций, системного анализа, для исследования свойств модели виртуальной организации и анализа метода управления ресурсами использовалось имитационное моделирование на ЭВМ.
Научная новизна диссертации определяется получением следующих результатов, которые выносятся на защиту:
Разработан комплексный подход к процессу распределения и планирования неотчуждаемых вычислительных ресурсов РВС, обеспечивающий более эффективную обработку потока пользовательских заданий и использование доступных ресурсов за счет динамической приоритизации заданий, подбора альтернативных наборов ресурсов для каждого задания и оптимизации плана выполнения пакета заданий с применением временных и стоимостных критериев.
Разработан алгоритм формирования и ранжирования пакета заданий, реализующий политику приоритетной обработки заданий, устанавливаемую администраторами ВО, а также повышающий пропускную способность метапланировщика, выраженную в соотношении обработанных заданий к общему числу поступивших в очередь.
Проведен сравнительный анализ алгоритма поиска эффективного плана выполнения в рамках метода управления ресурсами, а также режима случайного подбора ресурсов, имитирующего работу других реализаций метапланировщиков без оптимизации на уровне пакета заданий, для различных модельных задач. В результате эксперимента показано преимущество разработанного алгоритма по сравнению со случайным подбором вычислительных ресурсов по интегральным результатам планирования пакета заданий (общая стоимость и время использования ресурсов).
Достоверность научных положений, выводов и практических рекомендаций, сформулированных в диссертации, подтверждается данными, полученными при имитационном моделировании.
Практическая значимость.
Разработанная в диссертации система имитационного моделирования, имеющая в основе предложенную модель ВО, позволяет моделировать условия работы метапланировщика в РВС с широким диапазоном параметров среды и поступающих заданий (настраиваемый генератор заданий и среды). Данная программная реализация была использована для исследования свойств модели и анализа разработанных алгоритмов метапланировщика. На основе данного прототипа возможна реализация системы управления ресурсами РВС, в частности, облачных вычислений или коммерчески используемого грида. Указанное программное обеспечение зарегистрировано в государственном реестре программ для ЭВМ: свидетельство № 2011611541 от 10.03.2011 г.
Теоретические и практические результаты исследования были использованы при подготовке лекционных курсов «Вычислительные системы» на кафедре ВТ МЭИ (ТУ), а также курсов «Моделирование систем», «Информационные технологии» кафедры АИЛУ МИЭМ (ТУ), о чем имеются соответствующие акты.
Исследования, проводимые по теме диссертации, были проведены при поддержке Совета по грантам Президента РФ для поддержки ведущих научных школ (грант НШ-7239.2010.9), РФФИ (проект № 09-01-00095), Минобрнауки в рамках аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы» (проекты № 2.1.2/6718; 2.1.2/13283) и федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы (государственные контракты № П2227; № 16.740.11.0038).
Апробация работы
Основные положения и результаты работы докладывались и обсуждались в рамках научных конференций «Информационные средства и технологии» в МЭИ (ТУ) в 2009 и 2010 гг.; ACS/IEEE International Conference on Computer Systems and Applications, Тунис, Хаммамет; 16-19 мая 2010, XXXVII «Информационные технологии в науке, образовании, телекоммуникации и бизнесе», май 2010 г., Крым; 5th International Conference on Dependability of Computer Systems DepCoS-RELCOMEX 2009. Брунов -Вроцлав, Польша, июль 2010 г., "Суперкомпьютерные технологии: разработка, программирование, применение" СКТ-2010. г. Таганрог; "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи", 20-25 сентября 2010 г., г. Абрау-Дюрсо; «Суперкомпьютерные технологии: разработка, программирование, применение», г. Дивноморское, Геленджикский район, сентябрь 2010 г.
Публикация результатов работы. По теме диссертации опубликовано 10 печатных работ, из них одна на английском языке, две работы в изданиях, рекомендуемых ВАК.
Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения и библиографического списка из 66 наименований.
Работа содержит 156 страниц машинописного текста содержательной части, 31 рисунок, 29 таблиц.
