Содержание к диссертации
Введение 6
Глава 1. Анализ проблем повышения эффективности управления ресурсами центров обработки данных в сети Интернет 15
1.1. Основные понятия и тенденции развития сети Интернет 15
1.1.1. Основные тенденции 15
1.1.2. Кластерная обработка данных 17
1.1.3. Хостинг 17
1.1.4. Соглашения о качестве обслуживания 18
1.2. Сложность современных Интернет-приложений 22
1.2.1. Многозвенная архитектура Интернет-приложений 22
1.2.2. Характеристика нагрузки ЦОД 23
1.3. Проблемы управления ресурсами центров обработки данных 25
1.3.1. Проблема планирования и распределения ресурсов ЦОД 25
1.3.2. Проблема управления доступом пользователей в периоды пиковых нагрузок 28
1.3.3. Проблема выполнения SLA-соглашений 30
1.4. Постановка задачи исследования 30
Глава 2. Постановки задач оптимизации распределения ресурсов центров обработки данных в сети Интернет 32
2.1. Разработка моделей массового обслуживания в центрах обработки данных в сети Интернет 32
2.1.1. Модель массового обслуживания в центрах обработки данных без разделения запросов на классы 34
2.1.2. Модель массового обслуживания в центрах обработки данных с учетом сессий и классов запросов 36
2.2. Математические постановки задач оптимального распределения ресурсов центров обработки данных 40
2.2.1. Математическая постановка задачи нахождения оптимального среднего времени ответа по SLA-соглашениям 40
2.2.2. Выбор критериев оптимизации 44
2.2.3. Математическая постановка задачи оптимизации распределения ресурсов центров обработки данных без разделения запросов на классы 46
2.2.4. Математическая постановка задачи оптимизации распределения ресурсов центров обработки данных с разделением запросов на классы 48
2.3. Управление доступом пользователей к ресурсам ЦОД 50
2.3.1. Модель поведения пользователей коммерческих сайтов 50
2.3.2. Определение плотности распределения вероятностей длительности сессий 52
2.3.3. Схема выставления приоритетов пользователям коммерческих сайтов 61
2.4. Выводы 63
Глава 3. Выбор метода, разработка алгоритмов и программного обеспечения оптимизации распределения ресурсов центров обработки данных в сети Интернет 64
3.1. Анализ подходов и методов решения многокритериальных задач принятия решений 64
3.2. Выбор метода решения задач многокритериальной оптимизации распределения ресурсов центров обработки данных
3.2.1. Разработка требований к методу решения задач оптимизации распределения ресурсов центров обработки данных 74
3.2.2. Преимущества и недостатки метода ограничений 74
3.2.3. Преимущества и недостатки метода последовательных уступок
3.3. Теоретическое обоснование процедуры определения компромиссной уступки 80
3.4. Процедура определения компромиссной уступки 85
3.5. Исследование модифицированного метода последовательных уступок для оптимизации распределения ресурсов центров обработки данных 88
3.5.1. Сравнение трудоемкости алгоритмов 88
3.6. Программная реализация модифицированного метода последовательных уступок 91
3.7. Выводы 92
Глава 4. Практическая реализация методики оптимизации распределения ресурсов центров обработки данных в сети Интернет 93
4.1. Рекомендации по проведению анализа соглашений о качестве обслуживания 93
4.1.1. Выделенный хостинг 93
4.1.2. Совместный хостинг 96
4.2. Методики определения оптимального числа серверов в кластерах 99
4.2.1. Методика определения оптимального числа серверов без разделения запросов на классы 99
4.2.2. Методика определения оптимального числа серверов с разделением запросов на классы 1
4.3. Выбор метода задания коэффициентов предпочтения критериев многокритериальных задач 105
4.4. Рекомендации по обработке статистики 1
4.4.1. Процедура получения сессий из журналов регистрации запросов Web-серверов 108
4.4.2. Процедура получения матрицы вероятностей переходов пользователей по страницам сайта 114
4.5. Практическая реализация метода управления доступом пользователей коммерческих сайтов 115
4.5.1. Определение параметров плотности распределения вероятностей длительности сессий 115
4.5.2. Определение момента снижения приоритетов 118
4.6. Выводы 120
Заключение 121
Литература 123
Приложение 1 131 Приложение 2 148
Приложение 3 151
Введение к работе
Современный этап развития глобальной сети Интернет характеризуется трансформацией традиционных услуг и бизнес-процессов компаний в электронные, основанные на Web-технологиях, что привело к появлению широкого спектра систем электронного бизнеса, которые стали ключевыми в успехе работы компаний и поддержке их конкурентоспособности. Практически все крупные операторы связи и сервис-провайдеры стали оказывать услуги хостинга в центрах обработки данных (ЦОД), которые предоставляют физические ресурсы для размещения серверов и высокоскоростной доступ в Интернет. Современный процесс предоставления услуг компаниями, владеющими коммерческими ЦОД, характеризуется появлением соглашений о качестве обслуживания (Service Level Agreement—SLA), гарантирующих определенный уровень показателей качества, таких как среднее время ответа на запрос пользователя, максимальное время ответа для заданной доли запросов, коэффициент готовности и др.
Интенсивность запросов к Интернет-приложениям значительно меняется в течение суток, а в периоды пиковых нагрузок, возникающих в случайные моменты времени, может возрастать в несколько раз. Известно также, что в такие периоды значительно уменьшается число электронных платежей в единицу времени, которое в зарубежной литературе называют финансовой пропускной способностью (Revenue Throughput). Центры обработки данных в сети Интернет имеют многозвенную архитектуру, включающую в себя кроме Web-серверов, кластеры серверов приложений и серверов баз данных, число которых может достигать сотен и тысяч. Поэтому выполнение SLA-соглашений является сложной задачей, прямо влияющей на конкурентоспособность компаний. Одним из путей ее решения является оптимальное распределение серверов по кластерам и поиск более эффективного метода управления доступом пользователей к этим ресурсам в периоды пиковых нагрузок.
Современной тенденцией является увеличение числа показателей качества задаваемых в SLA-соглашениях, удовлетворение которых приводит к необходимости использования многокритериального подхода, теория которого развита такими отечественными учеными как Подиновский В.В., Ногин В.Д., Михалевич B.C., Волкович В.Л., Батищев Д.И и др.
Проблема оптимизации распределения ресурсов ЦОД рассматривалась в работах зарубежных ученых Menasce D., Almeida V. и др. Однако в существующих работах оптимизация проводилась по одному критерию для узкого класса SLA-соглашений. Отсутствует методика распределения ресурсов ЦОД, работающих по SLA-соглашениям различных видов, которая включала бы в себя определение оптимального числа серверов в кластерах по нескольким критериям и эффективный метод управления доступом, позволяющий повысить финансовую пропускную способность ЦОД. Поэтому тема диссертационной работы является актуальной.
Цель работы и задачи исследования. Целью диссертационной работы является разработка методики оптимизации распределения ресурсов центров обработки данных по нескольким критериям и обеспечения эффективного управления доступом пользователей к этим ресурсам в периоды пиковых нагрузок.
Для достижения поставленной цели в диссертационной работе решены следующие задачи:
1. Проведен анализ системы соглашений о качестве обслуживания. Сформулирована постановка задачи определения оптимального среднего времени ответа по соглашениям о качестве обслуживания.
2. Выбраны и разработаны модели центров обработки данных в сети Интернет, отражающих особенности их функционирования.
3. Разработаны математические модели распределения ресурсов центров обработки данных по нескольким критериям для различных видов соглашений о качестве обслуживания. 4. Выбран метод многокритериальной оптимизации распределения ресурсов центров обработки данных в сети Интернет, позволяющий получить оптимальный план размещения серверов не только для длительного времени повышения интенсивности потока запросов, но и в короткие периоды пиковых нагрузок.
5. Разработан алгоритм решения задачи многокритериальной оптимизации распределения ресурсов центров обработки данных.
6. Разработан метод управления доступом пользователей коммерческих сайтов в периоды пиковых нагрузок.
7. Разработаны рекомендации и процедуры практической реализации методики оптимизации распределения ресурсов центров обработки данных.
Методы исследования. Для решения поставленных задач использованы методы многокритериальной оптимизации, теории вероятностей и математической статистики, теории массового обслуживания.
Научная новизна работы состоит в разработанной методике оптимизации распределения ресурсов центров обработки данных в сети Интернет, включающей в себя:
1. Модели оптимизации распределения ресурсов центров обработки данных для соглашений о качестве обслуживания как с разделением, так и без разделения запросов на классы, в которых в отличие от известных моделей для оптимального распределения ресурсов используется многокритериальный подход;
2. Модифицированный метод последовательных уступок, сокращающий в зависимости от числа используемых критериев оптимизации в несколько раз время нахождения оптимального решения по сравнению с традиционным методом последовательных уступок, что позволяет использовать его в контуре оперативного управления ресурсами как в нормальном режиме функционирования центров обработки данных, так и в периоды пиковых нагрузок; 3. Усовершенствованный метод управления доступом к коммерческим сайтам, позволяющий повысить финансовую пропускную способность сайтов в периоды пиковых нагрузок до 30% и по сравнению с известным методом исключает необходимость проведения случайного числа экспериментов по определению момента снижения приоритетов пользователям.
Практическая ценность и реализация результатов работы:
1. Разработанная методика оптимизации ресурсов центров обработки данных позволяет найти оптимальное число серверов в кластерах в зависимости от нагрузки и обеспечить заданный в SLA-соглашениях уровень качества.
2. Программно реализована процедура определения компромиссной уступки, которая положена в основу предложенного модифицированного метода последовательных уступок, позволяющая сократить время решения задачи как минимум в два раза.
3. Разработаны алгоритмы по обработке журналов регистрации запросов с целью получения параметров пользовательских сессий и рекомендации по формированию критериев и систем ограничений задач оптимизации распределения ресурсов центров обработки данных, что позволяет реализовать разработанную методику.
4. Усовершенствован метод управления доступом пользователей к коммерческим сайтам, исключающий необходимость проведения случайного числа экспериментов по определению момента снижения приоритетов пользователям.
Результаты диссертационной работы используются в учебном процессе МТУСИ. Алгоритм расчета оптимального числа серверов используется в текущей деятельности Интернет-провайдера ООО «НФС Телеком», что подтверждено соответствующим актом.
Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на следующих конференциях: международной научно-технической конференции «Телекоммуникационные и вычислительные системы», Москва, 2006 г., 2007 г., 2008 г., московской отраслевой научно-технической конференции «Технологии информационного общества, Москва, 2007 г., 2008 г., международной конференции «Информационные средства и системы», Москва, 2008 г.
Публикации. По теме диссертационной работы опубликовано 10 печатных работ (из них 2 статьи в ведущих рецензируемых научных журналах из перечня, рекомендованного ВАК). Получено свидетельство об официальной регистрации программы для ЭВМ.
Объем и структура работы. Диссертационная работа состоит из введения, 4 глав, заключения, списка использованных источников и приложения. Работа содержит 170 страниц машинописного текста, содержит 36 рисунков и 20 таблиц. В списке используемой литературы 107 наименований.
В первой главе проанализированы основные тенденции и проблемы, связанные с распределением ресурсов ЦОД в сети Интернет. Рассмотрены основные параметры качества задаваемые в SLA-соглашениях, такие как среднее время ответа на запрос и максимальное время ответа для заданной доли всех запросов, а также методы обеспечения качества обслуживания. Рассмотрены способы задания ограничений на значения показателей качества обслуживания в SLA-соглашениях. Проведена классификация запросов. Рассмотрено влияние поведения пользователей на эффективность системы электронного бизнеса, а также ценность пользователей как клиентов коммерческих сайтов.
Также в первой главе проведен анализ проблем обеспечения заданного в SLA-соглашениях качества обслуживания, основными из которых являются неравномерность нагрузки в течение суток, наличие периодов пиковой нагрузки, возникающих в случайные моменты времени, а также сложность многозвенной архитектуры современных Интернет-приложений. Рассмотрены методы обеспечения заданного в SLA-соглашениях качества обслуживания, такие как оптимальное распределение серверов по кластерам и управление доступом пользователей сайтов. На основании проведенного обзора работ сформулированы цель и задачи диссертационного исследования, решение которых позволит усовершенствовать управление ресурсами ЦОД в сети Интернет.
Во второй главе на основе анализа известных моделей массового обслуживания применительно к задачам, решаемым в диссертации, развиты модели функционирования центров обработки данных как без разделения, так и с разделением запросов на классы. Полученные модели ЦОД послужили основой для разработки систем ограничений в задачах оптимизации распределения серверов в кластерах, участвующих в обработке запросов. Анализ возможных критериев оптимизации для рассматриваемой предметной области показал, что основными критериями могут быть максимум пропускной способности ЦОД и минимум совокупной стоимости владения (Total Cost of Ownership—TCO) серверами различных кластеров.
Также во второй главе предложен усовершенствованный метод управления доступом пользователей коммерческих сайтов. Было определено, что поступление пользовательских сессий имеет пуассоновское распределение, а число элементарных запросов в сессии подчиняется логарифмически нормальному закону. Найдено соотношение между характеристической функцией числа запросов и характеристической функцией длительности сессии. На основе этого соотношения найдено приближенное аналитическое выражение для плотности распределения вероятности длительности сессий. Предложена методика определения длительности пользовательских сессий, позволяющая определить их величину, начиная с которой следует ограничивать доступ к сайтам пассивных пользователей, что может повысить финансовую пропускную способность центра обработки данных до 30 % .
В третьей главе проведен анализ подходов и методов многокритериальной оптимизации с целью выбора метода решения поставленных задач с учетом предметной области. В качестве такого метода выбран метод последовательных уступок. Алгоритм данного метода предусматривает многократное решение задачи при различных величинах уступки, что приводит к относительно большому времени поиска оптимального решения и является основным недостатком этого метода, ограничивающим его применение для оптимизации распределения ресурсов в периоды пиковых нагрузок. Поэтому для эффективного использования метода последовательных уступок как в нормальном режиме эксплуатации ЦОД, так и в периоды пиковых нагрузок предложен алгоритм одноэтапного определения уступки на основе задаваемого вектора предпочтений.
Кроме этого в третьей главе выполнено теоретическое обоснование приведенной модификации метода последовательных уступок, включающее лемму и две теоремы, вывод которых сделан при условии, что М непрерывно дифференцируемых частных критериев попарно противоречивы и множество допустимых решений задачи выпукло.
Проведено сравнение трудоемкости предложенного и традиционного алгоритмов метода последовательных уступок с различным числом критериев. Показано, что предложенная модификация метода последовательных уступок в несколько раз сокращает время получения оптимального решения по сравнению с традиционным методом.
Модифицированный метод последовательных уступок реализован программно и зарегистрирован в реестре программ для ЭВМ.
Четвертая глава посвящена разработке методики оптимизации распределения ресурсов центров обработки данных и вопросам ее практической реализации. Из анализа системы SLA-соглашений известно, что данное множество может быть разделено на две большие группы. В первую входят SLA-соглашения без разделения запросов на классы, а во вторую—с разделением. Поэтому в работе разработаны методики оптимизации распределения серверов по кластерам для этих двух групп SLA-соглашений. В связи с тем, что в стандартных журналах регистрации запросов Web-серверов сессии явно не отражаются, то для получения параметров сессий разработан и программно реализован алгоритм выделения сессий из журналов регистрации запросов.
Также в четвертой главе разработаны рекомендации по получению плотности вероятности длительности сессий, используемой для обоснования выставления приоритетов пользователям коммерческих сайтов в предложенном методе управления доступом. В частности приведены рекомендации по определению параметров законов распределений числа сессий и числа элементарных запросов, а также параметров их зависимостей от времени наблюдения.
Предложенная методика оптимизации распределения ресурсов ЦОД может быть реализована программно и включена в контур оперативного управления ресурсами ЦОД.
В заключении приведены основные результаты, полученные в диссертационной работе.
В приложениях приведены экспериментальные результаты оптимального распределения ресурсов ЦОД, структура и описание программного обеспечения, а также некоторые промежуточные результаты по обработке статистики. Основные положения, выносимые на защиту:
1. Методика оптимизации распределения серверов в многозвенной архитектуре центров обработки данных по критериям минимума совокупной стоимости владения серверами и максимума пропускной способности центра обработки данных, обеспечивающая заданное в SLA-соглашениях качество обслуживания.
2. Предложенная модификация метода последовательных уступок по сравнению с традиционным методом сокращает время получения оптимального решения в зависимости от числа используемых критериев в несколько раз, что позволяет включить данный метод в контур оперативного управления ресурсами центров обработки данных. 3. Методика определения длительности пользовательских сессий, которая позволяет аналитически найти их величину, начиная с которой следует ограничивать доступ к сайтам пользователей, что может повысить финансовую пропускную способность центра обработки данных до 30 % .
