Введение к работе
Актуальность темы
Настоящая работа посвящена проблеме математического моделирования процесса сохранения состояния и миграции (переноса) группы исполняющихся приложений с одного компьютера на другой, а также проблеме математического моделирования балансировки нагрузки с использованием алгоритмов миграции между несколькими компьютерами, объединенными в один кластер. Данная тема связана с активно развивающимся в последнее время направлением виртуали-зации, одной из задач которого является миграция виртуальных серверов.
Виртуализация на уровне операционной системы – это расширение функциональности ядра ОС, которое дает возможность запускать несколько изолированных друг от друга групп процессов, известных как виртуальные серверы или контейнеры, не требуя при этом загрузки еще одного ядра. Подобная изоляция дает возможность сохранять полное состояние контейнера, чтобы в дальнейшем его можно было восстановить в такое же состояние.
Существующие в настоящее время алгоритмы миграции контейнеров имеют недостаток: они требуют остановки контейнера (завершения работы всех процессов) во время переноса этого контейнера с одного компьютера на другой, что приводит к перерыву в обслуживании конечных потребителей. Используя существующие системы миграции виртуальных серверов, администратор может осуществлять перенос контейнеров, но эта процедура должна быть запланирована заранее, чтобы иметь возможность остановить контейнеры без потери данных. Второе неудобство, которое свойственно миграции с остановкой – недоступность конечным пользователям сервисов, предоставляемых данным контейнером в момент переноса.
Возможность сохранения и восстановления группы исполняющихся процессов может быть использована также для:
обеспечения отказоустойчивости;
отладки приложений;
обеспечения возможности возвращения к контрольной точке.
Миграция группы процессов с одного компьютера на другой открывает возможность балансировки нагрузки между несколькими компьютерами при помощи переноса выполняющихся приложений. Система балансировки нагрузки позволяет использовать ресурсы всех компьютеров, находящихся в кластере, более эффективно (без простоя вычислительных мощностей).
Таким образом, актуальность темы исследования обусловлена тем, что, как предсказывается большинством аналитиков, ожидается стабильный рост количества вычислительных центров и центров данных, в которых системы переноса групп процессов и балансировки нагрузки между несколькими компьютерами позволят использовать ресурсы более эффективно.
Цель работы, задачи исследования
Целью данного исследования является разработка математической модели и алгоритма сохранения и восстановления состояния группы процессов и исследование свойств модели при ее конкретизации для операционной системы Linux с использованием функциональности проекта OpenVZ. Кроме этого, работа направлена на разработку математических моделей миграции группы процессов с одного компьютера на другой для оценки паузы в обслуживании во время миграции и накладных расходов, связанных с процедурой миграции. Также целью исследования является разработка математической модели и алгоритма балансировки нагрузки, основанного на моделях и алгоритмах миграции без перерыва в обслуживании конечных пользователей, между объединенными в кластер компьютерами. В данной работе ставится также задача исследования зависимости скорости миграции от различных внешних параметров, таких как загруженность сетевого канала, загруженность компьютеров и их характеристик.
Методы исследования
В процессе научных исследований в работе использовались методы теории алгоритмов, системного программирования и теории операционных систем, теории вероятности, а так же математической статистики.
Предложенные модели реализованы в виде комплекса программ. Проведён ряд вычислительных экспериментов с использованием программной реализации.
Научная новизна
В работе предложены математические модели и алгоритмы миграции группы процессов без прерывания обслуживания конечных пользователей, представляющие собой развитие нескольких ранее опубликованных подходов и ряд оригинальных решений.
Предложена новая математическая модель процесса сохранения и восстановления группы исполняющихся приложений, основанная на системе уравнений, зависящих от количества процессов и характеристик компьютера, а также учитывающих функцию распределения страниц между оперативной памятью и файлом подкачки. Данная модель позволяет оценивать время, необходимое для различных стадий процедур сохранения и восстановления группы процессов. Существующие в настоящее время системы не производят оценку времени, которое потребуется для завершения процедуры сохранения или восстановления группы процессов.
Предложены три модели миграции группы процессов, использующие разный порядок передачи данных и учитывающие загруженность вычислительного узла, сетевую пропускную способность и загруженность сетевого канала. Системы уравнений, на которых построены данные модели, позволяют получить верхние и нижние оценки для времени миграции. С использованием предложенных моделей разработаны новые алгоритмы, позволяющие осуществлять миграцию без прерывания обслуживания конечных пользователей. Предлагаемые алгоритмы отличаются от широко используемых в настоящее время процедур миграции тем, что существующие алгоритмы требуют остановки процессов, делая процесс миграции ощутимым для пользователей, в то время как предлагаемые алгоритмы осуществляют перенос незаметно для конечного потребителя сервисов.
Предложенная математическая модель распределения нагрузки между несколькими компьютерами использует систему миграции без прерывания обслуживания для переноса нужных групп процессов между компьютерами, гарантируя непрерывную работу сервисов.
Практическая значимость
Математические модели и алгоритмы сохранения и восстановления состояния групп процессов и различных ресурсов предлагались в нескольких проектах: CHPOX (Checkpointing for Linux), EPCKPT (Eduardo Pinheiro checkpointing project), TCPCP (TCP connection passing), CRAK (Checkpointing/restart as a kernel module), ZAP, BLCR (Berkeley lab checkpointing/restart). Отличительная черта настоящего исследования состоит в том, что во всех предыдущих проектах присутствовал ряд ограничений, не позволяющий сохранять и восстанавливать любые приложения, что существенно сужает область применимости существующих систем, в то время как в настоящей работе внимание концентрируется на сохранении полного состояния исполняемых программ.
Результаты исследования могут быть использованы на практике в вычислительных центрах и центрах данных для автоматической балансировки нагрузки, а также для обеспечения отказоустойчивости и сохранения промежуточных состояний выполняемых задач.
Разрабатываемый алгоритм сохранения и восстановления состояния группы процессов и его реализация являются востребованной компонентой ядра операционной системы Linux в связи с тем, что недавно в ядро была добавлена функциональность, позволяющая создавать изолированные группы процессов. В данный момент идет активное обсуждение с разработчиками со всего мира возможности включения уже созданной системы в очередную версию ядра Linux.
Апробация и реализация результатов работы
По выполненным диссертационным исследованиям опубликовано 9 работ, в том числе две [8, 9] – в ведущих научных журналах, рекомендованных ВАК РФ.
Результаты диссертационного исследования докладывались, обсуждались и получили одобрение специалистов на научных конференциях и семинарах: 48-51 научных конференциях МФТИ, Москва-Долгопрудный, 2005-2008 гг.; XXXIV международной молодежной научной конференции «Гагаринские чтения», Москва, 2008 г.; международной конференции «South California Linux Expo 6x», Los Angeles, USA, 2008 г.; международной конференции «Linux Symposium 2008», Ottawa, Canada, 2008 г.; научных семинарах кафедры информатики МФТИ, 2004-2008 гг.
Конкретизация разрабатываемых моделей и алгоритмов делалась для UNIX/Linux-подобных операционных систем, так как эти системы свободно распространяются и их исходный код доступен для изучения и модификации. В данной работе не рассматривалась возможность конкретизации моделей для коммерческих операционных систем с закрытым исходным кодом, хотя некоторые из предложенных математических моделей могут быть реализованы и в них.
Теоретические результаты исследования были реализованы в продуктах компании Parallels Virtuzzo Containers и OpenVZ. Результаты, полученные на тестовых данных, подтверждают возможность практического применения алгоритмов, разработанных в данном исследовании.
Положения, выносимые на защиту
На защиту выносятся следующие основные положения:
-
Математическая модель и алгоритм сохранения и восстановления состояния группы процессов, а также конкретизация модели и алгоритма для операционной системы Linux.
-
Математические модели и алгоритмы миграции группы процессов между разными компьютерами в режиме непрерывного обслуживания, включая итеративную модель миграции и модель миграции, использующую сетевой файл подкачки.
-
Математическая модель процедуры балансировки нагрузки, использующей систему миграции группы процессов.
Структура и объём диссертации
Диссертация состоит из введения, четырех глав, заключения, списка использованных источников и одного приложения. Работа изложена на 105 страницах, список использованных источников содержит 96 наименований.
