Введение к работе
Актуальность темы. Современный этап развития технологий распределённых вычислений и систем тесно связан с общими тенденциями продвижения парадигмы «электронной науки» (e-Science). Понятие e-Science ассоциируется с технологическими аспектами организации разнородными группами специалистов совместных научных исследований, требующих объединения вычислительных и программных ресурсов для решения сложных междисциплинарных задач', в форме т.н. композитных приложений, состоящих из нескольких взаимодействующих между собой вычислительных сервисов. Специфической особенностью проектирования и использования композитных приложений является то, что их отдельные компоненты (сервисы) разрабатываются и поддерживаются различными группами специалистов, реализуют различные программные парадигмы, ориентированы на различные вычислительные платформы и требуют разных способов организации входных и выходных данных. Как следствие, для работы с композитными приложениями в распределённых вычислительных средах необходим специализированный класс промежуточного программного обеспечения, а именно — интегрирующие платформы, обеспечивающие исполнение и процессы взаимодействия предметно-ориентированных сервисов. В отечественной науке существенный вклад в развитие теоретических основ и практических решений в области платформ распределённых вычислений внесён научными школами А.П. Афанасьева, Вл.В. Воеводина, В.П. Гергеля, В.А. Ильина, Л.Б. Соколинского, и ряда других исследователей.
Платформа распределённых вычислений в общем случае должна обеспечивать не только исполнение композитных приложений на априорно заданном наборе вычислительных систем, но и управление процессом исполнения составляющих их сервисов с целью обеспечения эффективного использования ресурсов и минимизации общего времени решения задачи. Процесс управления сводится к построению расписания, обеспечивающего синхронизацию работы отдельных сервисов в условиях неоднородности вычислительных ресурсов и стохастической изменчивости параметров коммуникационных сетей и вычислительных систем, характеризуемой нестационарным поведением во времени. Как следствие, эта особенность затрудняет использование для решения задачи управления традиционных подходов распределения нагрузки, характерных, например, для кластерных систем, и требует развития специфического алгоритмического и программного инструментария, что и определяет актуальность темы исследования.
Предметом исследования является сервисно-ориентированная архитектура систем распределённых вычислений для компьютерного моделирования и обработки больших объемов данных.
Целью работы является развитие подхода к управлению параллельными вычислительными процессами на основе интеллектуальных технологий для обеспечения эффективного исполнения композитных приложений в распреде-
1 Sloot P.M.A., Frenkel D., Vorst H.A. Van der et al. Computational e-Science: Studying complex systems in silico. A National Coordinated Initiative. White Paper, February 2007.
лё'нных средах, и разработка соответствующего математического и программного обеспечения.
Задачи исследования. Достижение поставленной цели подразумевает решение следующих задач:
Формирование системы требований к программно-аппаратным платформам поддержки распределённых вычислений для нужде-Science.
Исследование методов планирования процессов исполнения композитных приложений в условиях неопределённости и стохастической изменчивости параметров распределённой среды, и разработка процедуры управления процессом их исполнения на основе отчуждаемых знаний предметной области.
Проектирование и разработка сервисно-ориентированной программной платформы для компьютерного моделирования и обработки данных в распределённой среде, обеспечивающей возможность создания, запуска, мониторинга и эффективного исполнения2 композитных приложений.
Исследование эффективности разработанных решений на основе вычислительных приложений в распределённых средах, функционирующих в режимах метакомпьютинга и Грид.
Применение разработанных методов, алгоритмов и программных инструментов для разработки интегрирующей платформы высокопроизводительного программного комплекса HPC-NASIS для квантово-механических расчётов и моделирования наноразмерных атомно-молекулярных систем и комплексов3.
Методы исследования включают в себя методы инженерии знаний, системного анализа и теории систем, инженерии программного обеспечения, анализа алгоритмов и программ, теории вероятностей, математической статистики и имитационного моделирования.
Научную новизну результатов работы определяют:
Построение технологии управления процессом исполнения композитного приложения в распределённой среде в условиях неопределённости с использованием экспертных знаний в форме параметрических моделей производительности вычислительных сервисов заданной предметной области.
Использование конкурентных эвристик для определения стратегии исполнения отдельных сервисов в составе композитного приложения с учётом стохастического характера изменчивости характеристик распределённой среды на основе имитационного моделирования.
Практическую ценность работы составляют:
Процедура планирования процесса исполнения композитного приложения с
использованием доступных вычислительных ресурсов, использующая сово
купность экспертных знаний и информацию об актуальном состоянии вы
числительной инфраструктуры, допускающая использование в распределён
ных средах различного назначения.
2 В данном случае под эффективностью понимается минимизация времени исполнения приложения. '
Программное средство — интегрирующая платформа для исполнения композитных приложений произвольной предметной области на вычислительных ресурсах различной архитектуры (SMP, МРР, GPGPU, СВЕА).
Повышение эффективности функционирования высокопроизводительного программного комплекса HPC-NASIS для квантово-механических расчётов и моделирования наноразмерных атомно-молекулярных систем и комплексов за счёт использования разработанной платформы для организации доступа к вычислительной инфраструктуре.
На защиту выносятся:
Процедура планирования процесса исполнения композитного приложения в
условиях неопределённости и неполноты информации о состоянии распре
делённой вычислительной среды, использующая формализм представления
знаний о производительности в виде параметрических моделей для опреде
ления оптимальной стратегии путем интервального сопоставления конкури
рующих эвристик.
Архитектура интеллектуальной платформы управления композитными при
ложениями, обеспечивающая повышение их производительности в неодно
родных распределённых вычислительных средах, функционирующих в ре
жимах метакомпьютинга и Грид.
Достоверность научных результатов и выводов обеспечивается строгостью наложенных ограничений предметной области, экспериментальными исследованиями эффективности распределённой платформы и производительности композитных приложений, а также практическим использованием разработанных методов и средств при создании высокопроизводительного программного комплекса HPC-NASIS для квантово-механических расчётов и моделирования наноразмерных атомно-молекулярных систем и комплексов.
Внедрение результатов работы. Результаты работы нашли свое применение при выполнении проектов «Инструментальная технологическая среда для создания массовых мобильных он-лайн сервисов нового поколения» (НИР 2008-4-1.4-18-01-022) направления 1.4 «Генерация знаний» ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы», «Разработка высокопроизводительного программного комплекса для квантово-механических расчётов и моделирования наноразмерных атомно-молекулярных систем и комплексов» (ОКР 2008-04-2.4-15-02-003) направления 2.4 «Осуществление комплексных проектов, в том числе разработка конкурентоспособных технологий, предназначенных для последующей коммерциализации в области информационно-телекоммуникационных технологий» ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы», «Инструментальная среда для построения композитных приложений моделирования сложных систем» (НИР П1386) направления «Распределённые вычислительные системы» ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы», «Интеллектуальные технологии распределённых вычислений для моделирования сложных систем» (НИР П469) направления «Распределённые вычислительные системы»
ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы», «Инструментальная технологическая среда для создания распределённых интеллектуальных систем управления сложными динамическими объектами» (НИР 2010-1.1-214-072-049) мероприятия 1.1 «Проведение научных исследований коллективами научно-образовательных центров» ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы», «Создание инструментальной среды для разработки композитных приложений в Грид-сети, как интеллектуальной системы поддержки принятия решений разработчика» (НИР, выполняемая по заказу Национальной ассоциации исследовательских и научно-образовательных электронных инфраструктур «е-АРЕНА»). Результаты работ внедрены в производственную деятельность ЗАО «Фирма "АйТи". Информационные технологии».
Апробация работы. Изложенные в диссертации результаты обсуждались на семи международных и всероссийских научных конференциях, семинарах и совещаниях, включая IX и X ежегодные Международные конференции «Высокопроизводительные параллельные вычисления на кластерных системах» (2009 г., Владимир; 2010 г., Пермь); XII ежегодную Всероссийскую научную конференцию «Научный сервис в сети Интернет: суперкомпьютерные центры и задачи» (2010 г., Новороссийск); IV Международную конференцию «Распределённые вычисления и Грид-технологии в науке и образовании» (2010 г., Дубна); XVII Всероссийскую научно-методическую конференцию «Телематика'2010» (2010 г., Санкт-Петербург); VII Межвузовскую конференцию молодых ученых (2010 г., Санкт-Петербург); Всероссийскую конференцию «Технологии Microsoft в теории и практике программирования» (2010 г., Нижний Новгород).
Публикации. По теме диссертации опубликовано 8 печатных работ (из них 3 — в изданиях из перечня ведущих рецензируемых научных журналов и изданий, рекомендованных ВАК РФ).
Личный вклад автора в работах, выполненных в соавторстве, заключался в выполнении аналитического обзора в проблемной области диссертационной работы, развитии теоретических основ и реализующих их алгоритмов планирования исполнения композитного приложения, проектировании и разработке основных программных компонентов ядра интеллектуальной платформы, выполнении экспериментальных исследований производительности композитных приложений, а также интеграция разработанного решения в высокопроизводительный программный комплекс HPC-NASIS. В диссертацию включены результаты, которые соответствуют личному участию автора.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы (109 наименований). Содержит 117 с. текста, включая 42 рис. и 11 табл.
Похожие диссертации на Интеллектуальная платформа управления композитными приложениями в распределённых вычислительных средах
