Введение к работе
Актуальность темы. Распределенные вычисления и Грид-технологии применяются для решения многих сложных вычислительных задач науки и техники, которые не могут быть решены за приемлемое время на однопроцессорной рабочей станции или даже в рамках одного многопроцессорного вычислительного комплекса. Однако, применение распределенных вычислительных комплексов (РВК) и Грид-систем осложняется тем, что они имеют неоднородную структуру вычислительного пространства, которая может изменяться с течением времени и не допускает централизованного управления всеми аспектами процесса решения задачи.
Вследствие того, что распределенные вычислительные комплексы не являются типовыми и часто разрабатываются для решения конкретной задачи или класса задач, для выбора комплекса и конфигурации вычислительного пространства необходимо средство анализа эффективности и производительности данных комплексов. Поэтому оценка эффективности и анализ производительности является не только важной и актуальной задачей.
Цели и задачи работы. Целями настоящей работы являются:
Проведение анализа текущего состояния исследований в области оценки производительности параллельных и распределенных вычислительных комплексов и постановка задачи оценки производительности с учетом особенностей РВК.
Решение задачи оценки производительности распределенных вычислительных комплексов на основе универсального подхода, применимого также к многопроцессорным и мультикластерным комплексам. Определение и формулировка количественных характеристик производительности.
Применение разработанного подхода к анализу производительности при решении декомпозируемых задач на распределенных вычислительных комплексах. Получение оценок эффективности, ускорения и других характеристик производительности. Разработка алгоритмов управления процессом вычислений при решении декомпозируемых задач и получение оценок эффективности применения данных алгоритмов.
Разработка программного комплекса для расчета характеристик производительности распределенных вычислительных комплексов, реализующего предложенный подход. Применение комплекса к оценке производительности нескольких распределенных вычислительных систем.
Научная новизна. Для изучения данной проблемы был произведен анализ состояния исследований, который показал, что к настоящему моменту задача оценки производительности решается для каждого распределенного комплекса на основе особенностей его структуры. При этом задача оценки эффективности всех систем данного класса на основе универсального подхода не была решена вследствие ее сложности и ориентации исследований на анализ систем по-отдельности.
Как следствие широкого применения и накопления опыта разработки распределенных вычислительных комплексов, стало возможным рассмотреть задачу оценки производительности как целостную задачу для класса систем, что и было сделано в данной работе.
Предлагаемый новый универсальный подход к оценке эффективности и производительности на основе сравнения с эталонными моделями позволяет сравнивать различные вычислительные комплексы на основе общего набора характеристик. По сравнению с распространенным методом бенчмаркинга, предлагаемый подход не имеет ограничений на размер анализируемого комплекса, а также учитывает изменения времен выделения ресурсов в распределенных комплексах.
Подход был разработан в виде совокупности моделей, характеристик производительности и схемы применения. Процедуры расчета характеристик были реализованы в программном комплексе, примененном к анализу нескольких распределенных вычислительных систем. Таким образом, предлагаемый подход обоснован тем, что все утверждения строго доказаны и проведены необходимые вычислительные эксперименты.
Методы исследования. В данной диссертационной работе используются методы математического моделирования, методы оптимизации, математической статистики и теории вероятностей, анализа производительности параллельных вычислительных систем. При разработке программного комплекса использованы современные методы инженерии программного обеспечения с использованием средств UML, языка программирования Java и промежуточного программного обеспечения Ice .
Практическая ценность работы. Разработанный подход к оценке производительности на основе эталонных систем применим для анализа и сравнения существующих распределенных вычислительных комплексов, при выборе схем управления при разработке новых комплексов и принятии решения о целесообразности решения задачи на РВК. Разработанные модели могут быть использованы для анализа производительности РВК как в рамках предлагаемого подхода, так и вне его; служить основой для построения более точных моделей для специальных случаев и систем управления процессом решения.
Предложенные методы и разработанный комплекс программ были применены для анализа нескольких РВК.
Апробация работы. Результаты диссертации и материалы исследований докладывались, обсуждались и получили одобрение специалистов на: 24-ой «Международной конференции по суперкомпьютерам» (Гамбург, Германия, 2009); X и XI Всероссийских научных конференциях «Научный сервис в сети Интернет» (Новороссийск, 2008, 2009); III и IV Международных научно-практических конференциях «Современные информационные технологии и ИТ-образование» (Москва, 2008, 2009); III Международной научной конференции «Параллельные вычислительные технологии» (Нижний Новгород, 2009); 50, 51 и 52-ой научных конференциях Московского физико-технического института (государственного университета), (Долгопрудный, 2007, 2008, 2009); 17-ой Международной научной конференции «Математика. Компьютер. Образование» (Дубна, 2010); II сессии научной школы-практикума «Технологии высокопроизводительных вычислений и компьютерного моделирования» в рамках VI Всероссийской межвузовской конференции молодых ученых Санкт-Петербургского государственного университета, Института точной механики и оптики (Санкт-Петербург, 2009); научных семинарах кафедры прикладной математики и моделирования систем Московского государственного университета печати.
По материалам работы опубликовано 14 печатных работ, пять из них в изданиях из списка ВАК [1, 2, 3, 7, 11].
Структура и объем работы. Общий объем диссертации включает 149 страниц. Работа состоит из введения, пяти глав, заключения, списка литературы (89 наименований).
