Содержание к диссертации
Введение
1. Анализ систем обеспечения отказоустойчивости информационных компонентов 11
1.1. Место и роль виртуализации в управлении предприятием 11
1.2. Актуальность применения технологий виртуализации в системах реального времени 18
1.3. Анализ технологий архивирования в системах вычисления реального времени 28
1.4. Анализ технологий виртуализации реального времени 33
1.5. Надежность информационных систем 38
1.6. Основные характеристики, достоинства и недостатки виртуальных машин 46
Выводы 49
2. Разработка методов и моделей обеспечения отказоустойчивости информационных компонентов АСУП 51
2.1. Эксплуатация интегрированных АСУП 51
2.2. Факторы отказоустойчивости модулей информационных компонентов АСУП 53
2.3. Математическая модель оптимизации затрат на аппаратное обеспечение АСУП 55
2.4. Математическая модель распределения информационной нагрузки в АСУП 62
2.5. Математическая модель определения затрат на обеспечение отказоустойчивости информационных хранилищ данных АСУП 71
2.6. Математическая модель виртуальной машины и оценка эффективности использования системы виртуальных машин 79
2.7. Информационно-логические модели процессов распараллеливания при использовании технологий паравиртуализации 89
Выводы 93
3. Моделирование процессов распараллеленной информационной обработки в АСУП
3.1. Разработка структуры универсальной реализации отказоустойчивости информационных компонентов АСУП 94
3.2. Структура системы резервирования для обеспечения отказоустойчивости АСУП 103
3.3. Ярусная параллельная форма представления алгоритмов информационных потоков 111
3.4. Математическая модель отказоустойчивой реализации 115
3.5. Оценка требований по производительности встроенной в АСУП системы информационной обработки 119
Выводы 123
4. Результаты практического внедрения и экспериментального исследования разработанных моделей и алгоритмов 125
4.1. Внедрение в организации «СВ-ТРАНСЭКСПО» 125
4.2. Экономический эффект от внедрения полученных результатов 131
4.3. Оценка факторов отказоустойчивости 135
4.4. Оптимизации затрат на обеспечение отказоустойчивости информационных системных хранилищ 136
4.5. Внедрение в организации «Климат-Контроль-Инжиниринг» 139
4.6. Экономический эффект внедрения „. 148
4.7. Распределение нагрузки информационных потоков в АСУП 150
Выводы 158
Заключение 160
Литература 161
- Анализ технологий архивирования в системах вычисления реального времени
- Математическая модель распределения информационной нагрузки в АСУП
- Ярусная параллельная форма представления алгоритмов информационных потоков
- Оценка факторов отказоустойчивости
Анализ технологий архивирования в системах вычисления реального времени
В последнее время намечается тенденция к введению в пакеты виртуализации для SMB средств «горячего» резервного копирования, высокой доступности и восстановления после сбоев, что говорит о том, что этот рынок также нуждается в поддержке своих критически важных production-серверов в виртуальных машинах [76]. Тем не менее, российский малый и средний бизнес еще не готовы психологически к технологиям виртуализации и их популяризация в этом сегменте является одной из самых непростых задач Мировых производителей виртуализационных решений [12].
Научные исследования диссертационной работы доказывают экономическую эффективность использования технологий виртуализации в различных отраслях промышленности. Помимо снижения материальных затрат, обеспечивается безотказное хранение информации в режиме реального времени с использованием существующих технологий виртуализации.
Идея виртуализации зародилась в 1960-х, когда корпорацией IBM была предложена концепция виртуальных машин на базе мэйнфреймов и быстро получила распространение, так как обеспечивала возможность одновременной работы нескольких пользователей на одной дорогостоящей машине [76]. С распространением персональных компьютеров в начале 1980-х интерес к виртуализации угас, но с появлением процессора Intel 80286 возродился вновь. К концу десятилетия возникла потребность в запуске программного обеспечения, разработанного для другой платформы, что привело к вьшуску компанией Insignia Solutions в 1988 г. эмулятора SoftPC. На протяжении 1990-х значительно вырос объем и сложность корпоративных вычислений, что повлекло за собой смену модели вычислений на мэйнфреймах на модель распределенных вычислений, значительно усложняя ИТ-инфраструктуру предприятия. Это привело к быстрому развитию технологий виртуализации [12].
В 1974 г. Джеральд Попек и Роберт Голдберг в [11] назвали виртуальные машины эффективными, изолированными дубликатами реальных машин. На сегодняшний день не существует единого взгляда на то, что такое виртуализация, как с научной, так и с практической точки зрения. А. А. Рыбалко в [8] определяет виртуализацию как логическое объединение ресурсов с целью получения преимуществ над оригинальной конфигурацией. А. В. Богдановым, Е. Н. Станковой и В. В. Мареевым в [1] виртуализация описывается как технология для разделения ресурсов компьютера на несколько независимых сред. Компания VMware считает, что виртуализация является программной технологией, преобразующей ИТ-инфраструктуру с помощью выполнения на одном физическом компьютере нескольких виртуальных машин и совместного использования его ресурсов, а в [2] виртуализацию определяют как архитектуры и продукты, эмулирующие физические устройства.
В то же время современное состояние технологий виртуализации показывает недостаточность приведенных выше определений. Так, существуют различные технологии аппаратной виртуализации, например [26]: Sun Dynamic Domains, предназначенная для создания гибких отказоустойчивых разделов, позволяющих одновременно использовать несколько копий ОС на одном сервере; Intel-VT и AMD-V - наборы физических расширений, обеспечивающие поддержку виртуализации; виртуальные маршрутизаторы, являющиеся независимым экземпляром виртуального маршрутизатора в рамках одного физического устройства маршрутизации; управляющие контроллеры, участвующие в процессах при виртуализации хранения данных [10].
В то же время, виртуализация хранения данных позволяет объединить ресурсы нескольких систем хранения в единый пул и управлять им как единым физическим устройством. Но помимо физических устройств, современные технологии виртуализации охватывают и нематериальные сущности: рабочую среду пользователя [12], зоны безопасности и др.
Таким образом, из проведенного выше анализа мы можем определить, что технологии виртуализации - это программные, аппаратные или программно-аппаратные технологии, позволяющие представить материальные и нематериальные ресурсы в виде одного или нескольких абстрактных ресурсов с различными целями: разделения на независимые среды, логического объединения, эмуляции другого ресурса, удобства эксплуатации.
На сегодняшний день виртуализация - одна из самых динамично развивающихся отраслей информационных технологий и согласно исследованиям аналитического агенства Gartner заняла первое место среди стратегических технологий в 2009 г., в 2009 г. 25% крупных предприятий используют виртуализацию, а малые и средние предприятия активно начали ее использовать в 2010 г. [9], а к 2012 году виртуализация, как таковая, стала важнейшим фактором, влияющим на ИТ-инфраструктуру. Динамику роста процента рабочих нагрузок, выполняемых в виртуальной среде, можно проследить на рис. 1.1, а количество инсталлированных виртуальных машин, возрастет с 5,8 миллиона в 2008 г. до 58 миллионов в 2012 г [9].
Математическая модель распределения информационной нагрузки в АСУП
Одним из первых производителей рынка виртуализационных платформ является корпорация VMware, запантентовавшая нишу программных технологий виртуализации еще в 1998 году [26]. В процессе работы по этому перспективному до сих пор направлению и смены информационных поколений было создано множество интересных профессиональных продуктов различного уровня и назначения: от десктопного дружелюбного для конечного пользователя VMware Workstation до глубоко специализированного требующего особого внимания VMware vSphere, главной особенностью которого является создание виртуальной информационной структуры предприятий посредством консолидации монолитного физического серверного оборудования [9].
Основной задачей продуктов VMware является миграция существующей структуры на виртуальную с целью оптимизации, повышения эффективности и безопасности, упрощения массового управления, снижения любого вида затрат. Аналоги продуктов VMware до сих пор гораздо менее функциональны и являются весьма «сырыми» для широких задач промышленных предприятий. Поэтому на Российском рынке продукция VMware достаточно популярна и заслуживает особое внимание, так как доминирует над своими конкурентами, широко шагая за набирающими обороты технологиями. По анализам глубокого тестирования производительности продукты технологий виртуализации VMware в большинстве случаев по множеству параметров на несколько шагов впереди. Главным образом за счет уникальных средств централизованного администрирования. На мировом рынке термин «виртуализация» на уровне информационного подсознания целиком подразумевает VMware [26].
Не смотря на все плюсы, технологии не лишены недостатков, таких как стоимость и собственная файловая система VMFS, практически не поддерживаемая в иных операционных системах. Также технологии имеют широкую направленность, ориентированную на различные потребности предприятий, в связи с чем, VMware не удается сосредоточиться на совершенствовании управления аппаратными ресурсами для достижения максимальных результатов мощностных показателей виртуальных машин. К сожалению, продукты по результатам тестирований уступают своим аналогам таких Мировых производителей, как Citrix при использовании Unix-подобных операционных систем и Hyper-V от Microsoft для разворачивания продуктов линейки Windows.
Бесплатный гипервизор Hyper-V отлично справляется с задачами виртуализации родных для него операционных систем Windows и сервисов Microsoft и практически не поддерживает операционные системы сторонних производителей. Разработки направлены именно в этом развитии с целью достижения максимальных результатов производительности [45].
Продукты Citrix наоборот имеют направленность на Open Source свободно распространяемые Unix-подобные операционные системы. В частности гипервизор Хеп является родоначальником использования технологий паравиртуализации с задействованием увеличенного количества логических процессоров согласно модели SMP, что обеспечивает значительное увеличение мощностных показателей виртуальных машин. Минусом является узкая направленность технологии на операционные системы Linux [26]. Также имеется поддержка практически всех известных файловых систем для обеспечения многофункциональности систем резервирования. Одним из плюсов Хеп является многозадачность, позволяющая использовать большинство наиболее востребованных сетевых технологий для файлового хранения виртуальных машин и их моментальных снимков Чего нельзя сказать об Hyper-V основанного на родной файловой системе NTFS.
Главным недостатком гипервизоров Хеп и Hyper-V является отсутствие административных централизованных средств глубоко анализа, мониторинга и сбора информации текущего состояния структуры в реальном времени. VMware уделило особое внимание этому вопросу, выпустив во всеобщее обозрение программное обеспечение центра консолидации виртуализационных сред в проектах vSphere под названием VMware vCenter Server [26].
Надежность вычислительной системы является ключевым аспектом при построении систем отказоустойчивости. В соответствии с ГОСТ 27.002-83 «Надежность в технике. Основные понятия. Термины и определения», надежность трактуется как свойство объекта сохранять во времени в установленных пределах значения всех параметров, характеризующих способность выполнять требуемые функции в заданных режимах и условиях применения, технического обслуживания, ремонта, хранения и транспортирования [18]. Как следует из определения, надежность является комплексным свойством, которое в зависимости от назначения объекта и условий его пребывания может включать несколько терминов.
Надежность в большой степени определяется теми же факторами, что и надежность технических средств, однако доминирующими являются программные дефекты и ошибки программирования [69]. Программа любой сложности при строго фиксированных исходных данных и абсолютно надежной аппаратуре исполняется по однозначно определенному маршруту и дает на выходе строго определенный результат. Однако случайное изменение исходных данных, накопленное или полученное при обработке информации, а также множество условных переходов в программе создают огромное число различных маршрутов исполнения вычислительного процесса, что может привести к неверному результату [101]. При анализе и оценке надежности, программные и аппаратные модули именуются обобщенным понятием «объект». Под объектом, понимается предмет определенного целевого назначения, рассматриваемый в периоды проектирования, производства, эксплуатации, изучения, исследования и испытаний на надежность. При расчетах надежности широко используются ещё один термин «элемент». Под элементом понимается часть сложного объекта, которая имеет самостоятельную характеристику надежности, используемую при расчетах. Термин Система рассматривается как совокупность нескольких объектов. Его надежность имеет самостоятельное значение [17].
Согласно ГОСТ 27.002-89 [18], показатели надежности количественно характеризуют, в какой степени данному объекту присущи определенные свойства, обусловливающие надежность. Показатели надежности (например, технический ресурс, срок службы) могут иметь размерность, ряд других (например, вероятность безотказной работы, коэффициент готовности) являются безразмерными. Количественной характеристикой только одного свойства надежности служит единичный показатель. Количественной характеристикой только нескольких свойств надежности служит комплексный показатель.
Ярусная параллельная форма представления алгоритмов информационных потоков
Для достижения поставленных целей необходимо разработать ряд математических моделей для оптимизационных задач. Анализ позволит выявить вычислительную сложность и оценить степень адекватности реальным ситуациям при организации вычислительных процессов решения задач управления в АСУП.
Как уже было сказано ранее, для решения задач повышения надежности вычислительных процессов наиболее эффективным средством является кластеризация при консолидации серверного аппаратного обеспечения для возможности оперативного распределения нагрузки между устройствами. Для этого требуется разработка автоматического равномерного распределения нагрузок между кластерными узлами в случае аппаратных сбоев с целью достижения наиболее эффективных производительностей. При этом особое внимание уделяется повышению информационной безопасности.
Представим имеющееся количество программных информационных модульных компонентов, содержащих набор определенных сервисов Srvlt Srv2, Srv3 ...SrvMo6 0 Є У), числом Мобщ. Количество Мобщ примем известным числом требуемых серверов Dev1,Dev2,Dev3 ... DevNo6 (і Є /). Аппаратные характеристики (оперативная память, процессор, ядерность, накопительная память массивов и т.д.) обозначим как Res1,Res2,Res3 ...Resk {к Є К). Тогда для любого сервиса Srvj должно быть назначено Unitjk единиц ресурсов Resk. Каждый физический сервер при этом имеет статическую величину производительности Srvik ресурса Resk. Зададим Reali в качестве двоичной переменной, демонстрирующей текущее использование серверов, Cost І - стоимость физического сервера. При этом Devij дает информацию о запущенных сервисах рассматриваемого сервера. Тогда учитывая возможность наличия различающихся типов аппаратных ресурсов, оптимальным решением является:
Результаты обосновывают минимизацию стоимости серверов, в то время как набор ограничений обеспечивает возможность распределения каждого сервиса и не превышает суммарную загрузку каждого физического кластерного узла. Вышеописанная модель показывает потребность в ресурсах единичного сервиса как неизменяемую во времени величину. На практике нередки случаи изменения нагрузок при стечении времени. Добавим корректирующие условия. Зададим период Г в качестве последовательности временных интервалов t — (С1( г2, t3 ... т). Тогда имеется возможность описать циклическую нагрузку времени в виде матрицы Unitjkt для обозначения необходимого объема производительности сервиса Srvj в соответствии с ресурсом Resk с течением интервала t. Тогда матрица циклической загрузки имеет вид: Unitjkt Devu Srvik Realt (Уі Є /, V; Є /, Vt Є Т) (2.19)
Этим доказывается возможность сокращения текущего количества серверного аппаратного обеспечения и подтверждается необходимость внедрения технологий виртуализации. Также вышеописанная модель показывает возможность оптимизации ресурсов. Элементы матрицы Unitjkt напрямую зависят от аппаратных характеристик кластерных узлов и программно-выделенных ресурсов для виртуальных машин. Поэтому неравенство Unitjkt Srvik для минимизации является верным. Модель учитывает параметры серверов, которые могут изменяться, например, при полном выходе из строя давно неподдерживаемого оборудования. В такой ситуации задание новых параметров должно являться результатом исследования изменения производительностей оборудования.
Существует ряд естественных возможных ограничений: Ограничение на количество перераспределений. Для случаев, когда задания перераспределения необходимо воспроизводить множество раз, требуется мало меняемое текущее распределение с целью оптимизации административных затрат, и число миграций в рамках системы может быть строго определено. Пусть D - это набор из Devij (Devij = 1), М - количество уже распределенных сервисов {М = \D\), a R - количество допустимых распределений. В данном случае DeVy = 1. Тогда получаем формулу: м Devtj M-R (2.20) DeVijED
Ограничения на предварительное распределение со стороны технической составляющей. Серверное множество Del способно иметь иную техническую характеристику, необходимую для функционирования модульного информационного компонента j. Тогда выражение \D\ = 1 имеет название ограничения на предварительное распределение, и получим выражение:
Ограничение на объединение. В этом случае множество сервисов Srv нужно распределить на те же физические серверы, согласно ряду технических требований. Обозначим переменную Esp как составляющую сервиса Srv для получения следующей формулы: -(\Srv\ - 1) DeviEsp + У Devtj = 0 (Esp є Srv, У і Є /) Q 22) jeSrv-{Esp]
Также одной из главных целей оптимизации распределения физических серверов между сервисами является оптимизация коэффициента их нагрузки и сокращение времени простоя. Однако следует учитывать тот факт, что электронные компоненты сервера в процессе обработки информации работают в режиме, весьма близком к верхней границе допустимого интервала температур. Хорошо известно о нелинейной зависимости надежности электронных компонентов от температурного режима [30]. Поэтому необходимо иметь в виду, что очевидно существует некоторое пороговое значение коэффициента загрузки сервера, выше которого подниматься не имеет смысла, поскольку увеличение частоты отказов не только способствует росту затрат на резервное оборудование, но и будет приводить к снижению эффективности вычислительного процесса и даже к его нарушениям.
Для оценки показателей безотказности невосстанавливаемых элементов будут применяться следующие количественные характеристики: вероятность отказа, вероятность безотказной работы, интенсивность отказов, средняя наработка до отказа (до первого отказа).
Мы будем использовать вычислительный кластер, состоящий из требуемого количества No6ui серверов с подключенными системами внешнего хранения данных, каждая из которых включает определенное количество дисков для записи данных (что практически является максимально возможной конфигурацией). В современных условиях все компоненты соединяются посредством высокоскоростного коммутатора [31]. Рассматриваемая модель изображена на рис. 2.3. Рисунок 2.3. Серверная кластерная модель.
В настоящее время кластеры используются для работы чрезвычайно важных приложений, поэтому необходимо определить надежность (отказоустойчивость) и производительность до ввода системы в эксплуатацию [32],[33]. В данной работе будет рассматриваться надежность всех компонентов кластера кроме коммутатора, так как современные стековые коммутаторы надежны и имеют длительное время наработки на отказ. Практически можно сказать, что оно больше чем время работы в сей системы до ее списания [34].
Предполагаемая модель должна описывать вычислительный кластер как две независимые системы - серверная и система хранения данных, таким образом надежность всего кластера включает в себя надежность обеих систем [35]. Далее предложим последовательность моделей надежности элементов и устройств, в которых уровень моделирования соответствует характеристикам кластера.
Итак, пусть кластер состоит из Мобщ серверов, Data0Qm систем хранения, каждая из которых содержит Disk дисков (диски как отдельный компонент мы рассматриваем в силу того, что время безотказной работы дисковой подсистемы всегда ниже других компонентов) [36]. Предположим, что кластер не работает когда все элементы любой из данных подсистем выходят из строя и величины времени наработки на отказ всех составляющих кластера независимы, а также являются экспоненциально распределенными. Также необходимо учитывать время доставки запчастей и время ремонта. В настоящее время, приобретая оборудование крупных производителей, можно заказывать сервисный контракт, обеспечивающий фиксированное время решения аппаратных проблем [37]. Кроме того, оправданно держать определенный сток компонентов (например, жестких дисков), чтобы в случае поломки оперативно произвести замену.
Оценка факторов отказоустойчивости
Заключительными этапами будет служить рациональное распределение нагрузки внутри вторичных гипервизоров родительских платформ и корректировка матрицы ESXi. Требуется производить перенос информационных модульных компонентов до тех пор, пока сумма векторов элементов ХСР и Hyper — V не будет приблизительно равна друг другу.
После уравнивания остается запас общей емкости. Именно этот запас отводится под нужды технологии DRM для сохранения максимально возможного числа резервных копий информационных модульных компонентов в соответствии с техническим заданием модернизированной архитектуры информационной структуры.
Разработанный алгоритм в сокращенном виде можно представить в виде блок схемы на рис. 3.6. Он достаточно прост в использовании и при правильном последовательном выполнении всех шагов не доставит каких-либо неудобств даже необученному штатному сотруднику средней квалификации. Также технология DRM напрямую зависит от объема информационных хранилищ. Для возможности сохранения и поддержания актуальных копий информации хранилища должны иметь достаточный запас. В классической схеме отказоустойчивости возможное количество резервных копий прямо пропорционально С0бщ.- К плюсам модели можно отнести низкую стоимость средств накопления информации в реальном времени. Поэтому при дополнительных небольших вложениях имеется возможность содержания желаемого количества копий требуемых объектов резервирования.
Структура системы резервирования является доработанной технологией виртуализации DRM. В диссертационной работе данная технология является главной составляющей системы общей отказоустойчивости. Она представлена на рис. 3.7 и состоит из трех основных частей — гипервизора, модуля управления и модуля исполнения.
Для информационного обмена между модулями системы резервирования используются сообщения. Сообщения создаются исполнительным модулями и поступают на вход гипервизора. Программы через специальный 1 исполнительный модуль так же могут создавать сообщения. Далее сообщение двигается по цепочке управления от модуля управления на соответствующий исполняемый модуль. После управляющего воздействия его результат возвращается на гипервизор и повторно анализируется модулями управления. По результатам анализа модуль управления повторяет управляющий цикл или закачивает обработку, игнорируя сообщение.
Сообщение в каждом новом цикле управления проходит свою управляющую цепочку. Это позволяет автоматически перенастраивать управляющее воздействие в зависимости от предыдущего результата. Гипервизор можно представить в виде программного модуля с памятью. Он задает базовые модели вида {М,Х, Y,S0, д, р}для каждого модуля управления. В эту модель входят: количество модулей управления, максимальный номер текущего сообщения, допустимая ошибка управления. Копия гипервизора присутствует на каждом резервируемом компьютере. Для согласования между ними используется протокол PAR {Positive Acknowledge with Retransmission), позволяющего выбрать задающий гипервизор и в случае его отключения провести выборы нового. Автоматная реализация PAR хорошо описана в [22].
Сообщения имеют три обязательных поля МП), BODY и END. Размер поля MID - 32 бита, что позволяет определить более 4-х миллиардов сообщений, поля END - 8 бит, что позволяет задать два числа по 16 комбинаций в каждом. Размер поля BODY не регламентирован. Это объясняется тем, что трудно заранее определить, каким это поле будет в процессе управления.
Поле МШ используется для идентификации сообщения. Оно назначается гипервизором для каждого нового сообщения и сохраняется на протяжении всего процесса управления. МШ - монотонно растущее число. Текущее максимальное значение МГО хранится на вершине стека гипервизора и передается в составе модели. На рис. 3.8 показан процесс выдачи нового MID с вершины стека. В случае появления МШ с нулевым значением, оно автоматически заменяется на то, что установлено на вершине стека.
Поле END содержит два числа - номер кода возврата конечного модуля и номер цикла управления. Поле разделено симметрично по 4 бита, что позволяет задать до 16 циклов управления и 16 кодов возврата. После прохода сообщения по цепочке управления и его повторного появления на шине значение поля цикла управления уменьшается на 1.
Поле MID размещается в начале сообщения, поле END - в его конце. Поскольку размеры полей строго заданы, их извлечение не представляется сложным. Чтобы получить MID, отсекаются 32 бита от начала сообщения; чтобы получить END, отсекают два раза по 8 бит от конца сообщения и добавляют разделительный знак. На рис 3.10 показана схема состояний гипервизора при разборе двух числовых значений поля END. При этом входная строка имеет вид N:N, где N - число от 0 до/(в шестнадцатеричной системе).
Модуль управления построен на основе конечных автоматов Мили. Модули по функциональным возможностям делятся на групповые и сервисные. Групповой модуль осуществляет синтаксическую проверку полученной модели на принадлежность к группе и её корректность. Сервисный модуль делает корректировку модели в зависимости от предыдущих действий. На рис 3.11 показана схема управления системой резервирования.
