Обеспечение надежности автоматизированных информационных систем на основе сетевой кластеризации серверов Сутягин Максим Валерьевич

Содержание к диссертации

Введение

Глава 1. Анализ методов повышения надежности автоматизированных информационных систем 10

1.1. Надежность автоматизированных информационных систем 10

1.2. Анализ факторов, влияющих на надежность информационных систем 13

1.3. Уровни надежности автоматизированных информационных систем 21

1.4. Характеристики надежности автоматизированных информационных систем 27

1.5. Катастрофоустойчивость автоматизированных информационных систем 29

1.6. Методы обеспечения надежности автоматизированных информационных систем 36

Цели и задачи исследования 38

Глава 2. Особенности использования кластерных технологий в системах с высоким показателем готовности 40

2.1. Многоуровневая модель кластера 40

2.2. Классификация кластерных систем 44

2.2.1. Высокопроизводительные кластеры 44

2.2.2. Кластеры высокой надежности 46

2.2.3. Смешанные архитектуры 47

2.3. Классификация кластеров высокой готовности 48

2.4. Классификация катастрофоустойчивых кластерных систем 59

2.5. Существующие решения для организации кластеров высокой надежности 62

2.6. Сетевая кластерная система с использованием технологии FDDI 68

Выводы по главе 2 69

Глава 3. Разработка моделей оценки надежности сетевых кластерных систем и программной среды моделирования 70

3.1. Обзор методов моделирования 70

3.1.1 Подходы к построению моделей 72

3.2. Аналитические модели надежности 73

3.2.1. Использование моделей массового обслуживания для описания функционирования вычислительных систем 75

3.3. Имитационные модели надежности 76

3.3.1. Событийный метод 77

3.3.2. Процесс имитационного моделирования 78

3.4. Методика построения аналитических моделей для оценки надежности сетевых кластерных систем 82

3.5. Разработка критерия оценки надежности сетевой кластерной системы 98

3.6. Построение аналитической модели для предлагаемой схемы организации сетевой кластерной системы 99

3.7. Разработка и реализация имитационной модели надежности 102

3.8. Программная среда моделирования кластерной системы высокой готовности 105

Выводы по главе 3 106

Глава 4. Оценка надежности сетевых кластерных систем 107

4.1. Проверка адекватности разработанной аналитической модели оценки надежности сетевой кластерной системы 107

4.2. Анализ надежности предлагаемой сетевой кластерной системы с высоким показателем готовности 109

4.2.1. Кластерная система с одной магистралью FDDI 110

4.2.2. Кластерная система с двумя магистралями FDDI 115

4.3. Анализ надежности сетевой кластерной системы в различных условиях эксплуатации 123

4.3.1. Зависимость надежности системы от числа бригад восстановления 123

4.3.2. Зависимость надежности системы от распределения бригад восстановления по основной и резервной магистралям 124

4.3.3. Зависимость надежности системы от типа контроля магистралей 126

4.3.4. Зависимость надежности системы от стратегии переключения и учета времени переключения 127

Выводы по главе 4 128

Заключение 130

Список литературы 132

• Анализ факторов, влияющих на надежность информационных систем
• Классификация кластеров высокой готовности
• Методика построения аналитических моделей для оценки надежности сетевых кластерных систем
• Кластерная система с одной магистралью FDDI

Введение к работе

На современном этапе экономического развития страны одной из важнейших проблем является задача повышения качества продукции и работ (услуг). Важное место в решении этой проблемы занимает задача повышения надежности разработок в области создания автоматизированных информационных систем (АИС), используемых в различных сферах деятельности: обработки данных, проектирования, научных исследований [1,2].

Повышение надежности разработок в области создания АИС — разносторонняя проблема. Она имеет социальный, экономический и научно-технический аспекты.

Социальный аспект проблемы заключается в необходимости своевременного приведения надежности разработок в соответствие с мировыми постоянно ужесточающимися требованиями, предъявляемыми потребителем к надежности продукции, которое в первую очередь определяется такими социальными факторами, как профессиональное мастерство и качество труда.

Экономический аспект проблемы повышения надежности продукции определяется тем, что данная проблема является частью более общей проблемы — повышения эффективности производства.

Научно-технический аспект проблемы обусловливается тем, что уровень надежности разработок АИС зависит от достижений науки и техники, а также темпов внедрения этих достижений в различные сферы производственной и непроизводственной деятельности.

Эффективность и качество АИС во многом предопределяются их надежностью, т.е. свойством системы сохранять во времени в установленных пределах значения всех параметров, характеризующих способность системы выполнять требуемые функции в заданных режимах и условиях эксплуатации. Проблемам надежности АИС посвящены работы таких ученых, как В.П. Бобков, О.Н. Бодин, В.И. Будзко, А.Э. Говорский, А.Г. Додонов, К.А. Иыуду, В.П. Климанов, А.И. Костогрызов, И.А. Мизин, В.В. Липаев, В.А. Нетес, Б.В. Палюх, В.И. Потапов, И.В. Прангишвили, Дж. Сандлер, Г.С. Теслер, И.А. Ушаков, В.А. Фатуев, Я.А. Хетагуров.

Одной из актуальных задач, возникающих при проектировании и модернизации АИС, является задача обеспечения заданного уровня надежности [28, 33, 39, 47, 52, 53, 58, 79, 83, 89, 92]. При решении такой задачи возникает возможность уже на стадии проектирования АИС оценивать уровень надежности предлагаемых схем и технологий обработки данных [9, 17, 19, 27, 26, 29, 46, 55, 63, 66, 68, 86]. Для такой оценки необходима разработка математических моделей, учитывающих особенности режима эксплуатации [4, 5, 6, 21, 36, 45, 60, 72, 93] .

Одним из основных методов повышения надежности технических средств АИС является резервирование серверов. Резервироваться могут как отдельные элементы сервера (процессор, жесткий диск, блок питания и т.п.), так и сервер целиком — за счет использования кластерных технологий.

Общим вопросам кластеризации посвящено значительное количество работ. Существуют типовые схемы кластеризации, но практически не используется такая технология как сетевая кластеризация — это направление только начало зарождаться. Эффективное применение сетевых кластерных технологий позволяет обеспечить не только повышение надежности функционирования АИС, но и повысить их катастрофоустойчивость, за счет применении сетевых (территориально распределенных) кластерных систем [7, 14, 15].

Катастрофоустойчивость является составной частью надежности и подразумевает способность АИС противостоять природным и техногенным катастрофам, террористическим актам и другим экстремальным воздействиям.

В настоящее время практически отсутствуют работы по созданию методов и математических моделей для оценки надежности и катастрофоустойчивости современных технологических схем кластеризации серверов на стадии проектирования АИС, что и определяет актуальность настоящей диссертации.

Цель: Обеспечение надежности сетевых кластеров серверов автоматизированных информационных систем на основе применения сетевых схем кластеризации.

Для достижения данной цели в работе решены следующие задачи:

1. Проанализировать методы и средств обеспечения надежности и катастрофоустойчивости технических средств АИС.

2. Разработать математические модели высокой точности для описания процессов «отказов-восстановлений» на основе математического аппарата марковских цепей с непрерывным временем.

3. Разработать методику построения моделей для описания процессов «отказов-восстановлений», учитывающую технологические особенности контроля отказов и восстановлений серверов обработки данных высокой надежности.

4. Разработать имитационную модель описания процессов «отказов-восстановлений» для проверки адекватности аналитических моделей, разработанных с помощью созданной методики.

5. Разработать алгоритмы и программную среду математического моделирования технологических схем резервирования данных, обеспечивающих заданный уровень надежности и точности.

При выполнении диссертационной работы использовались методы теории вероятностей, случайных процессов, теории массового обслуживания, теории информации, теории катастроф, аппарат теории структурной надежности и методы математического анализа.

К наиболее значимым результатам исследования, обладающим научной новизной, относятся:

1. Разработка методики построения математических моделей надежности кластерных систем, позволяющая учитывать вид контроля, время переключения, надежность системы переключения и другие факторы.

2. Критерий готовности, учитывающий ненадежность системы переключения на резервные элементы и условия эксплуатации системы.

3. Разработка оригинальной схемы организации сетевого кластера для обеспечения катастрофоустойчивости функционирования информационных систем.

4. Разработка аналитических моделей высокой точности для оценки надежности предложенной схемы организации сетевого кластера.

5. Разработка имитационной модели для проверки адекватности аналитических моделей, разработанных с помощью созданной методики.

Практическая значимость работы состоит в следующем:

1. Предложенная оригинальная схема организации сетевого кластера обеспечивает высокий уровень надежности и катастрофоустойчивости хранения и обработки информации техническими средствами АИС различного назначения.

2. Разработанная программная среда для оценки надежности сетевого кластера позволяет выполнять оценку надежности различных вариантов организации кластера и выбирать эффективное решение на стадии проектирования.

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей.

Разработанная Монте-карловская модель, обеспечивающая высокую точность моделирования, подтверждает адекватность предложенных аналитических моделей надежности.

Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в проекты организации.

Разработанные в диссертационной работе оригинальная схема организации сетевого кластера, математические модели оценки надежности, методика построения математических моделей и программное обеспечение были использованы в рамках научно-исследовательских работ по программе «Научное, научно-методическое, материально-техническое и информационное обеспечение системы образования» по проектам:

• «Разработка принципов функционирования, организационно-методического и программного обеспечения ядра администрирования информационно-управляющей сети сферы образования»;

• «Разработка технических предложений по формированию сервера баз данных и приложений Минобразования на средствах ЕСЦ сферы образования»;

• «Создание систем и методов высокоскоростного доступа к ресурсам телекоммуникационных образовательных сетей»;

• «Исследование методов и обоснование выбора аппаратно-программных средств высокоскоростного доступа к информационным ресурсам образовательных сетей»;

• «Технические решения и технологии организации сетевого взаимодействия объектов управления в рамках ресурсного центра».

Основные положения, теоретические выводы и практические рекомендации диссертационной работы докладывались и обсуждались на международном конгрессе «Конструкторско-технологическая информатика - 96» (Москва, 1996 г.), международных конференциях «Информационные средства и технологии» (Москва, 2002 и 2003 г.г.), Всероссийской научно-практической конференции «Технологии Интернет — на службу обществу» (Саратов, 2003 г.), а также научных семинарах кафедры «Информационные системы» и Специализированного центра новых информационных технологий МГТУ «Станкин».

По материалам диссертации опубликовано 9 печатных работ.

Во введении обосновывается актуальность решаемой проблемы, формулируются цели и задачи исследования, определена научная новизна и практическая ценность работы.

В первой главе диссертационной работы проведен анализ факторов, влияющих на надежность информационных систем, предложена классификация АИС по уровням надежности, приведены характеристики надежности АИС и классификация методов повышения надежности АИС.

Показано, что требования к надежности для современных АИС значительно повысились. В последнее время появился новый класс надежности АИС — катастрофоустойчивые системы. Приведена зависимость стоимости системы от обеспечиваемого класса надежности.

Для создания катастроф оустойчивых систем требуется отнесение резервных элементов на значительные расстояния от основных элементов.

Сформулированы цель и задачи исследования.

Во второй главе проводится анализ существующих методов кластеризации и предлагается новая схема организации кластера на основе использования сетевых технологий, обеспечивающая повышение надежности функционирования информационных систем.

Приводится многоуровневая модель кластера, требования, предъявляемые к кластерным системам.

Приводится классификация кластерных систем по функциональному назначению, классификация высоконадежных кластеров по подсистемам хранения, по вариантам топологии, по распределению вычислительных ресурсов, классификация катастрофоустойчивых кластерных систем.

Приведен обзор существующих кластерных систем высокой надежности.

Проведен анализ отказов высоконадежных кластерных систем и показано, что отказы сетевого оборудования составляют около 20% от общего числа отказов.

Предложена новая схема организации сетевого кластера на базе двух магистралей FDDI, обладающего высокой надежностью сетевой составляющей.

В третьей главе представлены: методика построения модели оценки надежности сетевой кластерной системы, критерий, учитывающий виды контроля, математические модели надежности, учитывающие особенности функционирования предложенной схемы кластеризации. Разработанные модели оценки надежности реализованы в виде алгоритма и программной среды моделирования.

Проведен анализ методов моделирования, приведено описание методов аналитического и имитационного моделирования.

Предложены методика построения аналитических моделей для оценки надежности сетевых кластерных систем, учитывающая условия эксплуатации системы, и критерий оценки надежности сетевой кластерной системы, учитывающий ненадежность устройства переключения и контроля.

Разработаны аналитические модели оценки надежности предлагаемой сетевой кластерной системы, а также имитационная модель надежности для подтверждения адекватности аналитических моделей.

Создана программная среда моделирования, включающая оба типа моделей и реализованная с использованием объектно-ориентированного подхода и среды Borland Delphi версии 5.

В четвертой главе с использованием созданной программной среды моделирования проведен анализ надежности разработанной схемы сетевой кластерной системы.

Проведен сравнительный анализ надежности предлагаемой схемы сетевого кластера на базе двух магистралей FDDI с системой на базе одной магистрали FDDI.

С помощью созданной среды программной моделирования подтверждена адекватность разработанных аналитических моделей.

Выявлены зависимости надежности сетевой кластерной системы от числа и распределения бригад восстановления, периодического или непрерывного контроля магистралей FDDI, стратегии переключения и учета времени переключения.

В заключении приведены основные выводы по результатам диссертационной работы.

На защиту выносятся:

1. Схема организации сетевой кластерной системы высокой надежности на базе двух магистралей FDDI.

2. Методика построения математических моделей надежности систем, учитывающая виды контроля, время переключения, надежность системы переключения и другие эксплуатационные факторы.

3. Критерий готовности, учитывающий ненадежность системы переключения на резервные элементы и условия эксплуатации системы.

4. Аналитические и имитационная модели высокой точности для оценки надежности предложенной схемы организации сетевого кластера.

5. Программная реализация предложенных моделей.

6. Результаты проведенного моделирования и сравнительный анализ условий эксплуатации предложенной схемы сетевого кластера высокой надежности.

Анализ факторов, влияющих на надежность информационных систем

Долговечность — свойство объекта сохранять работоспособное состояние до наступления предельного состояния при установленной системе технического обслуживания и ремонта.

Ремонтопригодность — свойство объекта, заключающееся в приспособленности к поддержанию и восстановлению работоспособного состояния путем технического обслуживания и ремонта.

Сохраняемость — свойство объекта сохранять в заданных пределах значения параметров, характеризующих способности объекта выполнять требуемые функции, в течение и после хранения и (или) транспортировки [20].

Под надежностью будем понимать минимизацию вероятности возникновения отказа или сбоя в работе ИС. Под готовностью — возможность дальнейшего функционирования системы при возникновении неисправности каких-либо компонентов. Под удобством обслуживания — возможность проведения ремонтных и регламентных работ с минимизацией простоя или без прекращения доступа пользователей к информационному ресурсу [32].

Разница между надежностью и готовностью сводится ко времени, в течение которого система находится в рабочем состоянии [80]. Исходя из этого, надежность — вероятность того, что не подлежащая ремонту система будет продолжать функционировать в течение заданного конечного промежутка времени без возникновения каких-либо неисправностей, а готовность — вероятность того, что ремонтопригодная система в какой-либо момент времени в будущем будет продолжать функционировать, обеспечивая бесконечную продолжительность работы. Такую готовность иногда называют «теоретическая готовность».

В [30] выделяется два основных принципа организации информационных систем. Во-первых, это комплексный подход к построению системы, охватывающий как применение специальных аппаратных и программных средств, так и проведение организационно-режимных мероприятий. Во-вторых, высокие требования к квалификации обслуживающего персонала. Глобальными факторами, влияющими на эффективность функционирования системы и сохранность данных, являются: случайный отказ или разрушение ее отдельных компонентов и несанкционированный доступ к системе. Поскольку первые два фактора не связаны с прямой атакой на содержимое информационной системы, их можно объединить термином «внезапный отказ».

Внезапные отказы могут быть вызваны неисправностями оборудования, сбоями в работе программного обеспечения (ПО), ошибками обслуживающего персонала, а также внешними воздействиями — природными (землетрясения, ураганы, наводнения и т.п.), техногенными (пожары, перебои с энергоснабжением, прорывы водопровода и канализации и т. п.) и социальными (террористические акты, беспорядки, военные действия и т.д.). Российская действительность такова, что отечественные компании подвержены воздействию всех этих факторов (возможно, не считая природных катаклизмов) в значительно большей степени, чем фирмы из экономически развитых стран.

На надежности систем отрицательно сказываются и наличие большого количества устройств, собранных из комплектующих низкого качества, и нередкое использование нелицензионного ПО. Аппаратное и программное обеспечение зачастую не отвечает требованиям совместимости, а «прописанная» в соответствующих файлах конфигурация систем — имеющимся аппаратным ресурсам. Виной тому может стать недостаточная компьютерная грамотность ответственных за поддержание компьютерной системы сотрудников. Обобщая, можно сказать, что чрезмерная экономия средств (на обучение персонала, закупку лицензионного ПО и качественного оборудования) приводит к уменьшению времени безотказной работы и значительным затратам на последующее восстановление системы.

Рассматривая внешние воздействия на информационную систему, следует отметить, что вероятность ураганов, цунами и землетрясений на большей части Российской федерации незначительная, а вероятности аварии на городских электросетях или прорыва канализации — значительные. Это усугубляет рискованность бизнеса, поскольку подобные события, как правило, не относятся к разряду форс-мажорных обстоятельств, а, соответственно, компания не освобождается от штрафов в случае невыполнения обязательств.

В комплекс мероприятий по защите информационной системы от внезапных отказов специалисты компаний, занимающихся системной интеграцией, включают целый ряд действий, направленных на предотвращение внештатной ситуации.

Выбор надежного оборудования и ПО позволяет до определенной степени предотвратить сбой информационной системы. Однако встречаются и неподвластные системному администратору ситуации, влекущие за собой уничтожение информационной системы или какой-либо ее части. В условиях сложных деловых связей «падение» одной компании, ставит под удар функционирование многих ее партнеров. Поэтому задача руководства компании — заранее определить ряд мероприятий, составляющих план восстановления бизнеса после катастрофы (или Business Disaster Recovery, BDR), которые позволяют свести к минимуму потери информации и время простоя системы.

По существу, восстановление бизнеса после катастроф представляет собой форму страховки. Основу мероприятий, повышающих стойкость системы к событиям подобного рода, составляют различные формы резервирования и мультиплексирования оборудования и коммуникаций, принадлежащих к информационной системе [30].

Уровень защищенности ИС от различного рода угроз, приводящих к утрате данных и полному или частичному прекращению ее работы, зависит от степени важности ИС для функционирования предприятия. Затраты на повышение надежности должны быть адекватны прогнозируемым убыткам [87].

Классификация кластеров высокой готовности

В [11] приводится определение кластера, данное одним из первых архитекторов кластерной технологии Грегори Пфистером (G. Pfister): «Кластер — это разновидность параллельной или распределенной системы, которая состоит из нескольких связанных между собой компьютеров и используется как единый, унифицированный компьютерный ресурс».

В настоящее время общепринятым считается определение, впервые приведенное компанией DEC: «Кластер - группа вычислительных машин, которые связаны между собой и функционируют как один узел обработки информации» [48].

Кластер представляет собой объединение нескольких компьютеров, которые на определенном уровне абстракции управляются и используются как единое целое. На каждом узле кластера (по сути, узел в данном случае - компьютер, входящий в состав кластера) находится своя собственная копия ОС. Следует отметить, что системы с архитектурой SMP и NUMA, имеющие одну общую копию ОС, нельзя считать кластерами. Узлом кластера может быть как однопроцессорный, так и многопроцессорный компьютер, причем в пределах одного кластера компьютеры могут иметь различную конфигурацию (разное количество процессоров, разные объемы ОЗУ и дисков). Узлы кластера соединяются между собой либо с помощью обычных сетевых соединений (Ethernet, FDDI, Fibre Channel), либо посредством нестандартных специальных технологий. Такие внутрикластерные, или межузловые соединения позволяют узлам взаимодействовать между собой независимо от внешней сетевой среды. По внутрикластерным каналам узлы не только обмениваются информацией, но и контролируют работоспособность друг друга.

Кластеризация может быть выполнена на разных уровнях системы (в соответствии с ее многоуровневой моделью, рис. 2.1). Чем больше уровней охватывает технология кластеризации, тем более надежным, масштабируемым и управляемым будет кластер. Общая схема пятиуровневой модели кластера представлена на рисунке.

Кластерные приложения осуществляют восстановление после сбоев, распределение вычислительной нагрузки и поддержку параллельных вычислений. Средства системного управления позволяют максимизировать коэффициент готовности (минимизировать относительное время простоя) путем контроля исполнения приложений, ОС и аппаратуры, а также выполнения соответствующих управляющих функций. Управление всеми серверами кластера осуществляется из одной точки. Кластерное промежуточное ПО обеспечивает улучшенную защиту данных, восстановление данных и работоспособности незаметным для пользователей способом. Кластерный вариант ОС обычно обеспечивает улучшенное управление функционированием кластера и более высокий коэффициент готовности. Аппаратные средства серверов, межузловых соединений и запоминающих устройств в кластерной конфигурации позволяют производить зеркалирование данных, предоставляют компонентное резервирование, самоконтроль компонентов, подачу сигналов тревоги и совместное использование имеющихся ресурсов. Это исключает возможность выхода кластера из строя при отказе какого-либо одного устройства. Кластеры могут поддерживать следующие функции [49]: передача управления ресурсами при сбое (failover); возвращение управления ресурсами на исходный узел после его восстановления (fallback); перераспределение нагрузки (ресурсов) между узлами (load balancing). Наиболее совершенные типовые кластерные решения позволяют объединять до 32 узлов. Кластерное решение, объединяющее несколько серверов, включает следующие компоненты [67]: 1. Операционная система (ОС), которая поддерживает кластеризацию (в настоящее время этому требованию удовлетворяют практически все используемые сетевые ОС). -42 2. Собственно компьютеры (серверы), которые необходимо объединить. Крайне желательно, чтобы это были одинаковые компьютеры от одного производителя. В некоторых случаях (например, при построении крупных кластеров в интересах повышения производительности) применяются компьютеры разной комплектации. 3. Коммуникационные средства (сетевые карты, проводка), при помощи которых компьютеры соединяются в сеть. 4. Специализированное ПО кластеризации, которое устанавливается на объединяемых компьютерах. Впервые понятие кластера как системы, создаваемой с целью повышения надежности, было введено корпорацией DEC в 1984 г. В то время компьютеры моделей PDP&WAX широко использовались для управления технологическими процессами. Конечно, они еще не были кластерами в современном понятии, но уже позволяли распараллеливать вычисления и выполнять переключение задач между компьютерами при наступлении некоторых событий [101].

В [48] отмечается, что первым шагом к созданию кластеров можно считать системы «горячего» резерва, широко распространенные в середине 80-х годов прошлого века. Одна или две такие системы, входящие в сеть из нескольких серверов, не выполняют никакой полезной работы, но готовы начать функционировать, как только выйдет из строя какая-либо из основных систем. Таким образом, серверы дублируют друг друга на случай отказа или поломки одного из них.

Изначально кластеры использовались для мощных вычислений и поддержки распределенных баз данных, особенно таких, для которых требуется повышенная надежность. В дальнейшем их стали применять для Web-сервиса. Однако снижение цен на кластеры привело к тому, что подобные решения все активнее используют и для других нужд. Кластерные технологии наконец-то стали доступны рядовым организациям — в частности, благодаря использованию в кластерах начального уровня недорогих серверов Intel, стандартных средств коммуникации и распространенных ОС.

Методика построения аналитических моделей для оценки надежности сетевых кластерных систем

Кампусный кластер (рис. 2.22) используется во многих центрах как альтернативный способ размещения узлов обработки и хранения данных, которые распределяются по территории предприятия, и сбой в одном здании не приводит к простою всей системы. Расстояния между узлами ограничены использующейся технологией реплицирования данных, а сами такие кластеры обычно используют: избыточные диски со средствами реплицирования данных; избыточные сетевые кабели, проложенные по разным маршрутам; альтернативные источники питания каждого узла. Некоторые компании требуют подачи питания от разных подстанций, что защищает кластер от возможных перебоев с подачей электроэнергии. Метрокластер (класса города или района) имеет дублирующие узлы (рис. 2.23), расположенные в разных частях города или в пригородах. Разнесение узлов на большие расстояния уменьшает вероятность выхода из строя дублирующего узла в результате катастрофы. Архитектура метрокластера очень похожа на кампусный с той разницей, что значительно увеличены расстояния между узлами. Соответственно, предполагается наличие разрешения местных властей на прокладку сетевых кабелей и кабелей репликации данных, что может усложнить процедуру разработки и развёртывания кластера.

Метрокластер также предполагает наличие средств синхронизации работы. Обычно для выполнения этой задачи используется площадка-арбитратор, содержащая дополнительный узел, состоящий из выделенного сервера, выполняющего связующую и синхронизирующую роль для всех узлов кластера. Арбитраторы — это полнофункциональные системы, являющиеся составными частями кластера, но не подсоединённые к дисковым массивам SureStore ХР. В метрокластере поддерживаются конфигурации с одним или двумя арбитраторами, однако, конфигурации с двумя арбитраторами более предпочтительны, так как они обеспечивают больший уровень доступности.

Основное различие между кампусным и городским (метро) кластером в технологии реплицирования данных. Кампусный использует соединение FC и средство операционной системы MirrorDisk/UX для реплицирования данных, которые накладывают ограничения на расстояния между центрами обработки. Метрокластер использует репликацию данных, основанную на возможностях дисковых массивов, позволяющие разносить эти дисковые массивы на большие расстояния.

Остальные архитектурные требования для метрокластера такие же, как и у кампусного. Архитектура метрокластера реализована компанией HP в двух продуктах: MetroCluster with Continuous Access ХР и MetroCluster with EMC SRDF.

Континентальный кластер (рис. 2.24) представляет собой совокупность дублированных кластеров, разнесенных на значительные расстояния, причем так, чтобы между ними не использовались технологии локальных сетей. В архитектуре континентального кластера каждый входящий в него кластер является полностью правомочным, поэтому площадка-арбитратор не используется. Для соединения кластеров, в этой архитектуре используются глобальные сети на базе TCP/IP, однако, для репликации данных могут понадобиться и высокоскоростные соединения, такие как выделенные или коммутируемые линии ТІ или ТЗ/ЕЗ.

В 2001 г. компанией D. Н. Brown Associates были проведены сравнительные испытания кластерных решений от шести кластерных систем [23]. При проведении испытаний кроме основных характеристик — производительности и готовности — учитывались следующие дополнительные требования: скорость резервного копирования и восстановления данных; функциональные возможности по переносу нагрузки с аварийных узлов на исправные; параллельный доступ к базе данных; средства настройки высокого уровня готовности; единое внешнее представление системы; восстановление после аварии. Кластерные решения, протестированные D. Н. Brown Associates представлены в таблице 2.2.

Кластерная система с одной магистралью FDDI

Снижение надежности системы при выборе стратегии переключения с возвратом на основной канал при любом восстановлении объясняется более частыми переключениями между системами, чем при стратегии переключения при полном отказе текущей магистрали и, в связи с этим, большими потерями времени на переключение, в течение которого система находится в неработоспособном состоянии.

Выводы по главе 4 1. Проведен сравнительный анализ предложенной схемы организации сетевого кластера на базе двух двойных колец FDDI и сетевого кластера на базе одного двойного кольца FDDI путем сравнения вероятности единичного отказа сетевых соединений. Установлено, что надежность кластерной системы зависит от способа подключения оборудования (с чередованием или без). Допустимая вероятность единичного отказа для предлагаемой -схемы организации значительно превышает допустимую вероятность для схемы с одной магистралью FDDI, особенно для систем с высоким коэффициентом готовности. 2. Проведен анализ надежности сетевой кластерной системы в различных условиях эксплуатации и выявлена зависимость коэффициента готовности кластерной системы от различных факторов: числа бригад восстановления, стратегии переключения на резервную магистраль и др. 3. Предложенные модели и программная среда были использованы в ГосНИИ СИ при проектировании сетевой кластерной системы Центрального серверного узла Министерства образования и науки РФ и ЗАО «Медиател» при проектировании АИС FORIS OSS, а также использованы при выполнении ряда работ по научно-техническим программам Министерства образования и науки. 4. Представленный комплекс моделей позволяет проектировать кластерные системы высокой надежности Результаты теоретических и экспериментальных исследований, выполненных по проблеме повышения надежности автоматизированных информационных систем, а также опыт внедрения разработанных моделей, методики и программного обеспечения позволяют сделать следующие основные выводы: 1. Обоснована актуальность задачи обеспечения заданного уровня надежности путем резервирования серверов АИС на основе применения элементов сетевых кластерных технологий. 2. На основе проведенного анализа методов и средств обеспечения надежности и катастрофоустойчивости технических средств АИС предложена новая схема организации сетевого кластера на основе применения двух двойных колец FDDI, обеспечивающая катастрофоустойчивость функционирования АИС и позволяющая обеспечить снижение соотношения «цена/надежность системы» при условии обеспечения заданного уровня надежности системы. 3. На основе математического аппарата марковских цепей с непрерывным временем и разработанного критерия готовности, учитывающего ненадежность системы переключения на резервные элементы, разработана методика построения математических моделей надежности систем, позволяющая учитывать вид контроля, время переключения, надежность системы переключения и другие факторы. 4. С использованием предложенной методики разработаны марковские модели для оценки надежности предложенных схем организации сетевого кластера. Адекватность разработанных марковских моделей была подтверждена на основе сравнения результатов моделирования с результатами, полученными с использованием разработанной Монте-карловской модели высокой точности. 5. Реализованы алгоритмы и программная среда моделирования надежности и катастрофоустойчивости сетевых кластерных систем в соответствии с разработанными методикой и математическими моделями. 6. Разработанная схема организации сетевого кластера и модель оценки надежности были использованы при проектировании сетевой кластерной системы Центрального серверного узла Министерства образования и науки РФ. 7. Теоретические положения и результаты исследований обсуждались на международных конференциях «Информационные средства и технологии» (Москва, 2002 и 2003 г.г.) и Всероссийской научно-практической конференции Технологии Интернет — на службу обществу» (Саратов, 2003 г.)- Основные результаты работы представлены в 9 научных публикациях. Результаты исследований были использованы при выполнении 7 научно-исследовательских работ по заказу Минобразования России.