Введение к работе
Актуальность проблемы. В настоящее время
высокопроизводительные вычисления занимают все более важное место в промышленности, науке, образовании. В июле 2009 года на заседании Совета безопасности России президент Д.А.Медведев заявил о важности суперкомпьютеров для страны. Современные суперкомпьютеры в подавляющем большинстве являются дорогостоящими blade-кластерами. Ведущие университеты устанавливают у себя подобные системы для обеспечения НИР, а также для обучения студентов параллельному программированию и навыкам работы с высокопроизводительными вычислительными системами. В подавляющем большинстве случаев подобные ресурсы используются в режиме разделения. Система управления, тем или иным образом выделяет время и процессорные мощности для каждой задачи, поступающей на выполнение. При этом каждый пользователь получает в свое распоряжение только часть системы производительностью порядка нескольких сотен GFlops. Этого оказывается достаточно для большинства приложений.
Для проведения высокопроизводительных вычислений можно использовать и гораздо более дешевые вычислительные комплексы типа кластеров рабочих станций (Cluster of Workstations, CoWS). Их можно создавать на основе учебных компьютерных классов, без которых не обходятся ни одно высшее учебное заведение. Считалось, что подобные системы могут использоваться в режиме высокопроизводительных вычислений (High Performance Computing, НРС) только в свободное от учебных занятий время, когда на рабочих станциях никто не работает.
В работе решаются вопросы, связанные с возможностью запуска параллельных приложений на кластерах CoWS в то время, когда на рабочих станциях - узлах кластера решаются локальные задачи пользователей.
Для этого в общем случае, надо знать ответы на следующие вопросы:
каков объем свободных вычислительных мощностей на рабочих станциях;
может ли существующая сетевая инфраструктура обеспечить межузловой обмен при запуске параллельных приложений;
каков должен быть механизм управления свободными вычислительными ресурсами?
Предлагаемый подход, позволит реализовывать на базе компьютерных классов суперкомпьютеры типа CoWS с пиковой производительностью 1-2 TFlops, доступные в течение 24-х часов в сутки.
Цель работы и задачи исследования. Цель работы: создание эффективной системы управления свободными вычислительными ресурсами узлов кластеров рабочих станций с многоядерными процессорами.
Для достижения поставленной цели в работе решаются следующие основные задачи:
Сравнительный анализ архитектур существующих высокопроизводительных вычислительных систем, процессоров, коммутационных решений.
Анализ загрузки узлов вычислительной системы типа CoWS.
Анализ загрузки коммуникаций вычислительной системы типа CoWS.
Разработка структуры и схемы управления кластером.
Построение модели вычислительной системы и оптимизация управления потоком поступающих заявок.
Проведение испытаний и анализ эффективности предложенного решения.
Объект и предмет исследования. Объектом исследований являются высокопроизводительные вычислительные системы.
Предметом исследования являются методы управления ресурсами кластерных систем с многоядерными узлами.
Методы исследования. При решении поставленных задач были
использованы положения теории систем массового обслуживания,
теории сетей Петри и событийного моделирования, теории вероятности
и математической статистики, теории параллельного
программирования.
Научная новизна. Теоретически обоснована возможность использования свободных мощностей рабочих станций компьютерных классов для создания на их основе суперкомпьютеров типа CoWS с пиковой производительностью 1-2 TFlops. Создана модель, позволяющая определить допустимые характеристики входного потока заявок и оптимальную с точки зрения показателей качества обслуживания стратегию управления.
Практическая значимость.
Работа выполнена при поддержке аналитической ведомственной целевой программы "Развитие научного потенциала высшей школы" министерство образования и науки РФ в рамках проекта «Решение прикладных комбинаторных и оптимизационных задач большой размерности в среде параллельных и распределенных вычислений». Регистрационный номер: 2.1.2/6394.
Предлагаемый подход позволяет создавать экономичные кластерные вычислители на основе свободных мощностей рабочих станций компьютерных классов. Разработанная модель, позволяет определять параметры системы управления кластером, обеспечивающие заданный уровень обслуживания потоков задач. Положения, выносимые на защиту.
Модель кластерной вычислительной системы под управлением MS НРС Server 2008, позволяющая определять параметры системы управления, обеспечивающие заданный уровень обслуживания потоков задач.
Программная реализация модели кластерной вычислительной системы в среде Any Logic.
Результаты исследований реальной производительности кластерной вычислительной системы на тесте Unpack и при решении комбинаторных задач, подтверждающие эффективность управления.
Реализация результатов работы. Теоретические и практические результаты диссертационной работы внедрены на кафедре Вычислительной техники в Московском институте электронной техники и на предприятии ОАО ЗИТЦ. Разработанный CoWS вычислитель с пиковой производительностью 1,6 и реальной (на тесте Linpack) 0,874 TFlops используется как в учебном процессе, так и при выполнении НИР. Параметры системы управления кластером, найденные при помощи предложенной модели, обеспечивают время реакции системы на уровне 1-2 минуты, как для локальных, так и для внешних заявок. При этом загрузка узлов кластера локальными приложениями составляет около 50 часов в неделю, а параллельными приложениями до 120 часов.
Апробация работы. Основные положения диссертационной работы
докладывались и обсуждались на Всероссийских межвузовских научно-
технических конференциях студентов и аспирантов "Микроэлектроника
и информатика - 2007", "Микроэлектроника и информатика - 2009",
"Микроэлектроника и информатика - 2010", Международной научно-
практической конференции "Современные информационные
технологии в ИТ -образовании", третьей Всероссийской научной конференции "Методы и средства обработки информации", Всероссийской ежегодной научно-технической конференции "ОБЩЕСТВО, НАУКА, ИННОВАЦИИ".
Публикации. По материалам диссертации опубликовано семь тезисов докладов и шесть статей (из них 3 в журналах, входящих в перечень ВАК), получено свидетельство о государственной регистрации программы для ЭВМ.
Структура и объём диссертационной работы. Рукопись диссертационной работы состоит из введения, четырех глав, заключения, списка литературы и пяти приложений. Она изложена на 124 страницах основного машинописного текста, содержит 54 рисунка, 22 таблицы и включает библиографию из 44-х наименований.
