Содержание к диссертации
Введение
1 Проблема построения программно-аппаратного комплекса технологического управления предприятиями энергетической промышленности 6
1.1 Субъекты и объекты управления - краткая характеристика структуры управления в целевой модели оптового рынка электроэнергии 6
1.2 Особенности технологического управления ЕНЭС в рыночных условиях 7
1.3 Краткая характеристика существующего состояния систем технологического управления 9
1.4 Требования к программно-аппаратным комплексам технологического управления сетевыми подстанциями 12
1.5 Требования к организации передачи данных по цифровым каналам связи между электросетевой подстанцией (ПС) и региональным узлом связи (РУС) 20
1.6 Иерархическая система показателей качества программно-аппаратного комплекса 22
1.7 Постановка задачи синтеза сетевой архитектуры программно-аппаратного комплекса 24
1.8 Методика синтеза сетевой архитектуры программно-аппаратного комплекса технологического управления сетевыми подстанциями 26
2 Методы обеспечения высокой надежности программно-аппаратного комплекса системы передачи данных, хранения и обработки информации 31
2.1 Аналитическое моделирование 31
2.2 Имитационное моделирование 34
2.3 Причины возникновения сбоев 36
2.4 Теоретические законы распределения отказов при расчете надежности 38
2.5 Методы обеспечения надежности 48
3 Проектирование сетевой инфраструктуры программно- аппаратного комплекса системы дистанционного управления подстанциями 51
3.1 Проектирование сетевой архитектуры 51
3.2 Проектирование коммутируемой сети 59
3.3 Проектирование подсистемы хранения данных программно-аппаратного комплекса системы дистанционного управления подстанциями 61
3.4 Фабрики SAN 67
3.5 Массив хранения данных 71
4 Обеспечение информационной безопасности программно-аппаратного комплекса центра дистанционного управления подстанциями 73
4.1 Постановка задачи формирования системы информационной безопасности 73
4.2 Методы и средства обеспечения информационной безопасности 76
4.3 Синтез архитектуры системы информационной безопасности 78
4.3 Анализ внешних угроз информационной безопасности 81
4.4 Принципы обеспечения информационной безопасности 101
Литература 118
- Краткая характеристика существующего состояния систем технологического управления
- Методика синтеза сетевой архитектуры программно-аппаратного комплекса технологического управления сетевыми подстанциями
- Теоретические законы распределения отказов при расчете надежности
- Проектирование подсистемы хранения данных программно-аппаратного комплекса системы дистанционного управления подстанциями
Введение к работе
Актуальность. Основой эффективного и безопасного функционирования промышленных предприятий является устойчивое централизованное электроснабжение. Гарантией энергетической безопасности России является Единая энергетическая система (ЕЭС России), созданная в процессе развития электроэнергетики СССР и остающаяся самым крупным в мире централизованно управляемым энергообъединением. Создание ЕЭС, так же как и других электрообъединений мира, продиктовано необходимостью надежного электроснабжения потребителей при одновременном повышении его экономичности (снижения капиталовложений и эксплуатационных затрат, требуемых для снабжения потребителей электроэнергией).
В настоящее время все промышленные энергообъединения в той или иной мере оснащены рядом автономных автоматизированных информационных систем и локальных автоматических систем управления на предприятиях энергетического комплекса. Такими системами являются функционирующие в «реальном времени» системы автоматического регулирования частоты и мощности, автоматического регулирования возбуждения, автоматизированная система диспетчерского управления, системы релейной защиты и автоматики, системы противоаварийной автоматики. Развивается автоматизированная система коммерческого и технического учета электроэнергии - АСКУЭ.
Исторически сложилось так, что каждая автоматизированная система и система автоматического управления/регулирования на каждом сетевом объекте имеет собственную подсистему измерений.
Необходимо в рамках реконструкции и технического перевооружения подстанций ЕЭС осуществить переход к организации единых измерительных комплексов, создаваемых на базе интеллектуальных измерительных устройств, с уменьшением суммарного количества датчиков, повышения точности измерений, обеспечения высокой надежности и простоты расширения, модернизации и эксплуатации.
Управление ЕЭС представляет собой многоплановый и разновременный процесс, который включает в себя разные виды и формы технологического, коммерческого и организационно-экономического управления.
Автоматизированная система технологического управления (АСТУ)
предприятиями энергетического комплекса должна быть ориентирована на решение задач
технологического управления ЕЭС. Решение технологических задач управления
режимами функционирования и пропускной способностью ЕЭС в нормальных и
аномальных режимах обеспечит выполнение главной миссии предприятий
энергетического комплекса — надежного приема и транспортировки электроэнергии через ЕЭС, а также задачи обеспечения качественной информацией о режимах работы и состоянии ЕЭС.
Таким образом, актуальность диссертационного исследования определяется необходимостью применения современных информационных технологий передачи и обработки информации для разработки методов и средств управления предприятиями энергетического комплекса России для решения задач обеспечения эффективности, надежности и качества его функционирования.
Цель диссертационного исследования состоит в повышении надежности функционирования промьппленных предприятий энергетического комплекса России и обеспечения эффективного технологического управления режимами их работы в нормальных и аномальных режимах на основе применения современных информационных технологий анализа, обработки и хранения информации.
Предмет исследования — система передачи данных по цифровым каналам связи электросетевыми подстанциями и региональным узлом связи
Для достижения поставленной цели необходимо было решить следующие задачи:
провести системный анализ существующих систем передачи данных между предприятиями энергетического комплекса, выявить особенности их построения, определить места усовершенствования системы на основе новых информационных технологий;
разработать методы и критерии выбора решений при построении системы информационного взаимодействия предприятий энергетического комплекса;
разработать программно-аппаратный комплекс для обслуживания системы передачи данных, хранения и обработки информации, поступающей от предприятий энергетического комплекса;
разработать методику построения эшелонированной системы обеспечения информационной безопасности системы технологического управления предприятиями энергетического комплекса.
Методы исследования. В процессе выполнения диссертационного исследования использовались методы целочисленной оптимизации, методы теории графов и теории систем массового обслуживания. Широко применялись методы системного анализа, что обеспечило возможность построения иерархической системы показателей качества функционирования системы технологического управления предприятиями энергетического комплекса и полноту учета факторов, определяющих особенности ее функционирования.
Научная новизна:
- решена задача оптимизации сетевой инфраструктуры программно-аппаратного
комплекса информационного взаимодействия предприятий энергетического
промышленного комплекса;
разработаны алгоритмы структурно-параметрического синтеза системы обработки и хранения информации, поступающей от предприятий энергетического комплекса;
предложена и обоснована структура программно-аппаратного комплекса обеспечения информационной безопасности системы технологического управления предприятиями энергетического промышленного комплекса, обладающая повышенной отказоустойчивостью.
Обоснованность научных положений.
Работоспособность и эффективность разработанных методов подтверждена решением сложной технической задачи синтеза архитектуры программно-аппаратного комплекса технологического управления предприятиями энергетики.
Практическая ценность. Модели, алгоритмы и проектные решения, разработанные в диссертации, применялись для решения практических задач управления взаимодействием промышленных предприятий энергетического комплекса России.
Апробация работы. Основные положения исследования докладывались и обсуждались на научных семинарах в МИРЭА и в ВЦ РАН.
Личный вклад.
Проведен качественный и количественный системный анализ проблемы передачи, хранения и обработки информации от предприятий энергетического комплекса.
Разработана методика многокритериальной оптимизации сетевой инфраструктуры программно-аппаратного комплекса технологического управления информационным взаимодействием предприятий энергетической системы.
3) Предложен алгоритм выбора архитектуры системы обработки и хранения информации,
поступающей от предприятий энергетического комплекса.
4) Предложен метод построения эшелонированной системы обеспечения
информационной безопасности технологического комплекса управления энергетическими
предприятиями, обладающей повышенной отказоустойчивостью.
5) Осуществлен синтез программно-аппаратного комплекса технологического управления энергетическими предприятиями России.
Публикации. Основные результаты исследования отражены в четырех статьях, написанных лично автором, которые опубликованы в изданиях, рекомендованных ВАК РФ. Общий объем публикаций — 38 с. Список работ приведен в конце диссертации.
Краткая характеристика существующего состояния систем технологического управления
В настоящее время все энергообъединения в той или иной мере оснащены рядом автономных АИС и локальных автоматических систем на объектах энергосистем. Такими системами являются функционирующие в «реальном времени» системы АСДУ, АРЧМ, АРВ, РЗА, ПА. Развивается автоматизированная система коммерческого и технического учета электроэнергии — АСКУЭ.
Исторически. сложилось так, что каждая автоматизированная система и система автоматического управления/регулирования на каждом сетевом объекте имеет собственную подсистему измерений.
Необходимо в рамках реконструкции и техперевооружения подстанций ЕНЭС осуществить переход к организации единых измерительных комплексов, создаваемых на базе интеллектуальных измерительных устройств, с уменьшением суммарного количества датчиков, повышения точности измерений, обеспечения высокой надежности и простоты расширения, модернизации и эксплуатации.
В предшествующие периоды в рамках ЕЭС СССР, а затем РАО ЕЭС основная технологическая информация по процессам производства, транспорта и распределения электроэнергии собиралась в целях информационного обеспечения функционирования диспетчерской вертикали РДУ-ОДУ-ЦЦУ главным образом с помощью устройств телемеханики (УТМ). На энергообъектах ЕЭС России эксплуатируется более 15000 УТМ различных производителей. Более 95% УТМ и комплектов датчиков находятся в работе более 20 лет, морально и физически устарели, не соответствуют необходимым требованиям по точности, достоверности, надежности и быстродействия. Каналы телемеханики организованы за счет уплотнения телефонных каналов связи (ТЧ) с сохранением голосовой связи и обеспечивают передачу данных со скоростью 100-300 бит/с. Хотя для современного уровня телекоммуникаций, обеспечивающего скорость передачи по телефонным каналам 56 Кбит/с и выше, использование телефонного канала на скоростях 100-300 бит /с представляется совершенно неэффективным со всех точек зрения, что характеризует аппаратуру телемеханики как устаревшую и не приспособленную для реализации современных информационных технологий. Применяемые в диспетчерских центрах управления центральные приемопередающие станции также морально и физически устарели, технически не поддерживаются и должны быть в кратчайшие сроки заменены на современные специализированные компьютеры. Эти обстоятельства снижают качество и надежность оперативного управления объектами ЕЭС. Серьезным фактором, ограничивающим возможности решения задач АСДУ на всех уровнях иерархии, является недостаточность объемов собираемой телеинформации.
Существующие первичные сети связи и передачи информации в основном являются аналоговыми и базируются на использовании кабельных и радиорелейных линий связи, ВЧ каналов по ВЛ и арендованных каналов тональных частот. Протяженность действующих волоконно-оптических линий связи по отношению к общей протяженности существующих линий связи других видов не превышает 1%.
Из-за сложности комплексного управления режимами ОЭС и ограниченных возможностей доступных ранее технических средств управления, была неизбежной функциональная, временная, территориальная декомпозиция общей задачи управления и независимая разработка систем, решающих отдельные задачи управления. Все эти системы создавались различными организациями, в разные периоды времени и используют морально устаревшие средства и принципы управления. Они оснащены медленными аналоговыми системами сбора и передачи информации, имеют слабо связанные между собой базы данных, используют различные по степени упрощения модели и методы расчетов и оценки допустимых режимов и запасов пропускной способности сети. Для подавляющего большинства из них характерным является отсутствие качественной проектной и эксплуатационной документации.
Основными средствами компенсации реактивной мощности в электрических сетях 110-750 кВ являются нерегулируемые масляные шунтирующие реакторы (ШР) и синхронные компенсаторы (СК) мощностью 50, 100 и 160 MB Ар, подключаемые к третичным обмотках AT 220, 330, 500 кВ. Однако в целом управляемость ЕНЭС не соответствует современным требованиям, недостаточен объем устройств регулирования напряжения и реактивной мощности, практически отсутствуют управляемые элементы сети на базе силовой электроники: шунтирующие реакторы, статические компенсаторы, элементы продольного и поперечного регулирования, накопители энергии и др, отношение мощности всех видов управляемых средств компенсации к установленной мощности электростанций в ЕЭС России значительно меньше, чем в энергосистемах развитых европейских стран. По этой причине для снижения напряжения до допустимых значений проводятся вынужденные отключения системообразующих ВЛ 750-330 кВ, что снижает надежность ЕНЭС и ЕЭС России в целом, ограничивает пропускную способность межсистемных транзитов, создает трудности при проведении ремонтов ЛЭП.
Значительную часть устройств релейной защиты и автоматики (РЗА) сетей 110-750 кВ составляют электромеханические устройства (95-97%). Доля микроэлектронных устройств составляет 3-4, а микропроцессорных — менее 1%. В среднем примерно 25% устройств РЗА в сетях ЕНЭС находятся в эксплуатации более 20-25 лет. Поддержание приемлемого уровня надежности в настоящее время обеспечивается за счет своевременного выполнения многочисленным персоналом служб РЗА большого объема работ по техническому обслуживанию этих устройств.
В состав противоаварийной автоматики (ПА) ЕНЭС входят автоматика предотвращения нарушения устойчивости (АПНУ, имеет иерархическую структуру), локальные устройства ликвидации асинхронного режима (АЛАР) и ограничения недопустимых отклонений частоты и напряжения. На уровне объектов находятся пусковые и исполнительные устройства АПНУ и локальные устройства. На уровне районов противоаварийного управления и на уровне ОДУ размещаются устройства автоматической дозировки управляющих воздействий (ЛАДВ и РАДВ). На нижнем уровне ЕЭС эксплуатируются несколько тысяч отдельных устройств ПА, в основном, на базе релейной аппаратуры и исполнительных механических систем, морально и физически устаревших. Для дозировки управляющих воздействий на среднем уровне применяются средства вычислительной техники.
В настоящее время низкий уровень автоматизации подстанций и незначительное количество реализованных на них проектов АСУТП, не обеспечивают достаточные информационные ресурсы для верхних уровней управления энергетической системой. Необходимо отметить, что создание АСУТП подстанций имеет самостоятельное важное значение для конкретной подстанции в плане повышения эффективности, оперативности, качества управления технологическими процессами, снижения уровня аварийности и т. д., что не потеряло, а скорее увеличило свою значимость и в настоящее время в связи с новыми требованиями, обусловленными рыночными отношениями и, в частности, требованиями по качеству электроэнергии, качеству обслуживания клиентов, снижению потерь электроэнергии, снижению эксплуатационных расходов, увеличению ресурса оборудования и ряда других.
Таким образом, можно утверждать, что АСУТП подстанции может рассматриваться как проект двойного назначения, с одной стороны — как информационный ресурс для внешних систем автоматизации различного назначения, необходимых для практической реализации рыночных отношений в ЕЭС, с другой стороны как самостоятельная система повышения рентабельности производственной деятельности подстанций и ЕНЭС в целом.
Методика синтеза сетевой архитектуры программно-аппаратного комплекса технологического управления сетевыми подстанциями
Главным достоинством метода является то, что множество Парето удается подвергнуть дальнейшему усечению, не вводя численных аналогов важности показателей качества, а пользуясь лишь качественной информацией об их сравнительной важности, без численной оценки превосходства одного показателя качества над другим.
Другими словами необходима лишь «качественная информация» о линейных порядках показателей качества (порядках предпочтений) при формулировке целей, которым должен отвечать проектируемый объект. При этом не требуется введения каких-либо количественных данных и метрических отношений на множестве показателей качества. Причем, качественные требования могут быть очень многообразны, и формулироваться проектировщиком исходя из понимания им сущностных характеристик проектного задания.
На основании представленной методики были определены основные принципы организации цифровых каналов передачи данных и голоса
Подключение электросетевых объектов (ПС) к центрам управления должно осуществляться через соответствующие узлы доступа ЕТССЭ (УД) по двум цифровым каналам (основному и резервному), проходящим по географически разнесенным трассам и/или организованным по разным средам передачи.
Для организации информационного обмена подстанции с центрами управления должны предусматриваться решения с использованием цифровых каналов внешней связи, в том числе (в общем случае): - арендованных каналов связи с привязкой к узлам доступа альтернативных операторов связи с применением ВОЛС, ЦРРЛ или модернизацией существующих металлических кабельных линий связи; - существующих цифровых каналов связи ЕТССЭ (фиксированных или подвижных систем связи) реализованных по другим программам: нового строительства, технического перевооружения и реконструкции электросетевых объектов, создания ЕТССЭ (ЕЦССЭ), создания АИИС КУЭ ЕНЭС и ЦУС; - вновь проектируемых каналов спутниковой связи на основе технологии VSAT; - вновь проектируемых каналов фиксированной связи от ПС до ближайших систем фиксированной связи ЕТССЭ (по Программам: создания ЕТССЭ, вновь проектируемых каналов фиксированной связи от ПС до ближайших систем фиксированной связи ЕТССЭ (по Программам: создания ЕТССЭ, нового строительства, технического перевооружения и реконструкции электросетевых объектов). Принимая во внимание изложенное выше для ПС, необходимо организовать основной цифровой канал связи с использованием прокладываемого вновь оптоволоконного кабеля связи между ПС и РУС. Основной цифровой канал связи организован для передачи голосовой информации и сигналов ТМ от ПС в диспетчерский центр ОАО «СО ЕЭС». Сигналы телемеханики (ТМ) передаются с использованием протокола ГОСТ-Р МЭК 60870-5-104. Протокол передачи ТМ совместим с сервером обмена данными ЦППС типа SMART-FEP. Сигналы, содержащие диспетчерскую голосовую связь и сигналы ТМ, группируются в цифровой поток El G.703 и при помощи мультиплексоров, установленных на ПС и на РУС. Мультиплексор ПС выделяет 2 тайм-слота потока Е1 и преобразует их в канал связи протокола Ethernet пропускной способностью 128 Кбит/сек для передачи данных ТМ. Полученный канал связи Ethernet подключается к коммутатору Cisco Catalyst 2960, связанного с маршрутизаторами Cisco 2821. Также к коммутатору подключены устройства ТМ. Мультиплексор ПС также выделяет 2 тайм-слота потока Е1 и подключает их как 2 СЛ для ЦАТС ПС. Мультиплексор РУС выделяет 2 тайм-слота потока Е1 и преобразует их в канал связи протокола Ethernet пропускной способностью 128 Кбит/сек для передачи данных ТМ. Полученный канал связи Ethernet подключается к коммутатору Cisco Catalyst 2960, связанного с маршрутизатором Cisco 3662. Данные ТМ далее передаются при помощи маршрутизаторов РУС и РДУ на сервер сбора данных РДУ. Мультиплексор ПС также выделяет 2 тайм-слота потока Е1 и подключает их как 2 С Л для ЦАТС РДУ с использованием интерфейса Е&М. Резервный канал связи организован для передачи голосовой информации и сигналов ТМ от ПС в диспетчерский центр ОАО «СО ЕЭС». Сигналы ТМ передаются с использованием протокола ГОСТ-Р МЭК 60870-5-104. Протокол передачи ТМ совместим с сервером обмена данными ЦППС типа SMART-FEP. Передача голоса организуется с использованием топологии «точка-точка». Оборудование спутниковой связи позволяет подключить программно-технический комплекс ТМ (ТИ и ТС) с использованием интерфейса Ethernet и организовать два голосовых канала с использованием интерфейса FXS. Оборудование спутниковой связи подключается к резервному коммутатору Cisco Catalyst 2960, связанного с маршрутизаторами Cisco 2821. Порты FXS оборудования спутниковой связи подключаются к интерфейсам FXO ЦАТС ПС. На РУС для этих целей необходимо запроектировать, выполнить монтажные и пусконаладочные работы оборудования спутникового терминала VSAT, позволяющего подключиться к коммутатору Cisco Catalyst 2960, установленному в помещении РУС с использованием интерфейса Ethernet, и подключиться напрямую к ЦАТС РДУ, используя стык El (G.703) по потоку ISDN PRI. Для организации диспетчерской голосовой связи с использованием спутникового терминала, устанавливаемого на РУС, с целью устранения промежуточной коммутации, VSAT терминал интерфейсом Е1 подключается непосредственно в ЦАТС РДУ. РДУ выделяет на своей ЦАТС необходимый ресурс нумерации из расчета один телефонный номер на одну ПС «ФСК ЕЭС». Из РУС необходимая информация поступает в РДУ. Далее был определен порядок обмена информацией между ПТК ПС и высшими уровнями иерархии управления режимами в энергосистеме: РДУ, ЦУС ПМЭС, ЦУС, РСК: - протокол передачи телеинформации соответствует протоколам Международной электротехнической комиссии (МЭК) IEC-60870-5-104; - при передаче телеинформации в соответствии с протоколом IEC-60870-5-104 на базе протокола TCP/IP скорость обмена не менее 64 Кбит/с; - передача телеинформации в диспетчерский центр осуществляется без промежуточной обработки (напрямую). - обмен информации контроллера SO-55 с вышестоящими диспетчерскими пунктами (ДП) выполняется по сетям с транспортным протоколом TCP/IP по протоколам IEC 60870-5-101/104. Коммуникационный контроллер обеспечивает обмен информацией с верхними уровнями по двум резервированным каналам связи. - Контроллер SO-55 двумя портами включается в оптические или медные порты Ethernet коммутаторов Cisco Catalyst 2960, которые устанавливаются на ПС в рамках настоящего проекта. При подключении контроллера к системе связи с использованием оптоволоконных линий связи, возможно снизить влияние на работу ПТК сильных электромагнитных помех, вызываемых первичными и вторичными цепями, а также авариями в работе сети или подстанций.
Теоретические законы распределения отказов при расчете надежности
Характер отказов технических средств и обычных радиоэлектронных систем идентичен. Влияние постепенных отказов, вызванных воздействием таких факторов, как нестабильность питания, тепловые воздействия, влажность, перепады давления, запыленность и агрессивность среды, компенсируется конструктивными методами при создании устройств и использованием специализированных защитных устройств. Таким образом, при оценке показателей надежности программно-аппаратного комплекса следует учитывать только потоки внезапных отказов. Среди внезапных отказов выделяются устойчивые отказы и сбои, то есть кратковременные самоустраняющиеся отказы. Для учета характеристик потока сбоев элемента комплекса достаточно использовать интенсивность этого потока, а для учета потока устойчивых отказов и потока восстановлений следует использовать коэффициент готовности и интенсивность отказов либо среднее время наработки на отказ и среднее время восстановления технических средств.
Отмечу, что пользователю безразлично, чем вызван отказ в обслуживании его заявки на обслуживание - отказом элементов системы или их занятостью обслуживанием других заявок. Современные методы анализа надежности позволяют учитывать занятость элементов при оценке показателей ее надежности.
Чаще всего нейтрализация влияния потока естественных помех достигается путем введения временной или информационной избыточности, либо применением помехоустойчивого кодирования, либо многократной передачей сообщения (что можно рассматривать так же, как применение своеобразных помехоустойчивых кодов). Влияние этого фактора учитывается путем соответствующего увеличения длительности сеанса связи с последующим использованием этого значения при расчете вероятности поддержания связи.
Характерные особенности воздействия потока искусственных помех позволяют рассматривать искусственную помеху, как сбой элемента, и учитывать влияние этого фактора на характеристики надежности системы аналогично способу учета сбоев технических средств.
Характерными для воздействия потоков искусственных разрушающих воздействий являются: полная потеря работоспособности компонента системы, подверженного этому воздействию; S возможность одновременного повреждения нескольких элементов; устойчивый характер повреждения, то есть отсутствие самовосстановления элемента после окончания воздействия; восстановление элемента после такого воздействия возможно только путем его ремонта или замены.
Эти особенности аналогичны условиям возникновения и устранения устойчивых отказов за исключением высокой кратности нарушений работоспособности элементов, большего времени восстановления и зависимости отказов элементов друг от друга. Природа ошибок программного обеспечения существенно отличается от природы отказов технических средств. На количество и качество ошибок программы в основном влияют субъективные факторы. Поэтому отказ ПО - это событие, заключающееся в проявлении, при определенных последовательностях входных данных, тех ошибок, которые были допущены при разработке ПО и не выявлены при его тестировании. В то же время отказ технических средств - это событие, заключающееся в изменении его параметров и приводящее к потере работоспособности. Второе существенное отличие состоит в том, что программа не стареет, то есть с течением времени количество ошибок в программе не увеличивается, а может только уменьшаться в результате их обнаружения и устранения. Другие отличия: если ошибка программы исключена, то она больше в ней не появится; предварительный анализ влияния ошибки практически невозможен из-за большого числа способов влияния ошибки на поведение программы. Количественным показателем корректности программы является число ошибок, оставшихся в программе после завершения отладки и тестирования. По аналогии с количественными показателями безотказности технических устройств используют также вероятность безотказной работы программы на интервале времени и интенсивность потока ошибок.
Отказы, вызванные деятельностью человека, можно разделить на отказы, вызванные деятельностью обслуживающего персонала, и отказы, вызванные деятельностью других людей.
Первая группа отказов обусловлена ошибками персонала при эксплуатации системы. Их характер и интенсивность существенно зависят от уровня автоматизации процессов управления комплексом. Применительно к программно-аппаратному комплексу системы дистанционного управления, отказы этой группы вызываются следующими ошибками: эксплуатации и ремонта кабельного хозяйства, систем питания, серверных и сетевых устройств, контроля питания, использования не тех версий программного обеспечения; некорректной инсталляции и определения конфигурации программного обеспечения (исключая ошибки, вносимые в тексты программ); неверного ввода даты. Вторая группа отказов обусловлена преднамеренной (вандализм) и непреднамеренной разрушительной по отношению к деятельностью людей, не являющихся персоналом, которая проявляется в нарушении целостности систем безопасности, попытках несанкционированного доступа к ресурсам системы, выводе из строя компонентов системы.
К отказам, вызванным природными явлениями, относятся повреждения кабельного хозяйства, систем питания и других устройств молнией, ураганами, землетрясениями, наводнениями и т.п.
Отказы в системах возникают под воздействием разнообразных факторов. Поскольку каждый фактор в свою очередь зависит от многих причин, то отказы элементов, входящих в состав системы, относятся, как правило, к случайным событиям, а время работы до возникновения отказов - к случайным величинам. В инженерной практике возможны и не случайные (детерминированные) отказы (отказы, возникновение которых происходит в определенный момент времени, т.е. в момент возникновения причины, так как существует однозначная и определенная связь между причиной отказа и моментом его возникновения). Например, если в цепи аппаратов ошибочно поставлен элемент, не способный работать при пиковой нагрузке, то всякий раз когда возникает эта нагрузка, он обязательно перейдет в отказовое состояние. Такие отказы выявляются и устраняются в процессе проверки технической документации и испытаний.
При анализе надежности объектом исследования являются случайные события и величины. В качестве теоретических распределений наработки до отказа могут быть использованы любые применяемые в теории вероятностей непрерывные распределения. В принципе можно взять любую кривую, площадь под которой равна единице, и использовать ее в качестве кривой распределения случайной величины. Поэтому прежде чем приступить к инженерным методам расчета надежности и испытаний на надежность, следует рассмотреть закономерности, которым они подчиняются.
Проектирование подсистемы хранения данных программно-аппаратного комплекса системы дистанционного управления подстанциями
В программно-аппаратном комплексе системы Дистанционного управления подстанциями клиенты предоставляют запросы к определенным службам, которые для них являются интерфейсом взаимодействия со всей системой. Компьютеры и программное обеспечение клиентов системы не имеют представления об архитектуре системы и о маршрутах своих запросов и ответов на них. Клиенты исключительно работают с интуитивно понятным интерфейсом, все остальные аспекты деятельности системы скрыты от них.
Пограничные маршрутизаторы обеспечивают соединение сетевой инфраструктуры ПАК с провайдером (или с несколькими провайдерами) Интернет. Для обеспечения доступности системы в режиме 24x7 (24 часа в сутки и семь дней в неделю), каналы связи с провайдерами Интернет должны быть продублированы. Такая отказоустойчивость требует как минимум двух пограничных маршрутизаторов, каждый из которых подключен к независимому поставщику услуг Интернет. Это решение предоставляет, во-первых, отказоустойчивость, во-вторых, при полноценно функционирующих каналах, агрегирование каналов пропорциональное увеличение пропускной способности Интернет-каналов системы. Оптимальный протокол маршрутизации, работающий на пограничных маршрутизаторах - Border Gateway Protocol (BGP). Все маршрутизаторы Cisco Systems поддерживают списки доступа, применение которых поможет обеспечить дополнительную безопасность пограничной сети и всей системы в целом.
Распределение сетевой нагрузки используется для обеспечения наивысшей степени доступности системы. На этапе системного проектирования программно-аппаратного комплекса распределение нагрузки используется на интерфейсных (front-end) веб серверах и пограничных межсетевых экранах. Это решение обеспечивает полную избыточность и отказоустойчивость этих важных элементов сети, а также их неограниченную горизонтальную масштабируемость.
Front-end сервера — набор серверов, которые предоставляют базовые услуги веб интерфейса, такие как HTTP и HTTPS, конечному пользователю. Рекомендуется использовать несколько идентично сконфигурированных серверов, выполняющих одинаковое программное обеспечение и имеющих идентичное информационное содержание. С помощью технологии распределения нагрузки на запрос клиента отвечает наименее загруженный сервер из набора. Такой набор называется серверной «фермой». Применение такой схемы обеспечивает необходимые уровни доступности системы и ее масштабируемости.
ПАК может быть реализован при помощи множества отдельных устройств или при помощи меньшего количества маршрутизирующих коммутаторов. Мы рассматриваем вариант с использованием двух таких устройств. При их использовании можно добиться высокого уровня управляемости и гибкости сетевой инфраструктуры. Коммутаторы разделены на несколько виртуальных устройств уровня 2 модели OSI (канального -Datalink). Виртуальные локальные сети (VLAN) создаются и распределяются по обоим устройствам для обеспечения функционирования системы в случае аппаратного сбоя. Сервера имеют по две сетевые карты, которые подключены к каждому устройству в одну VLAN. Трафик между VLAN маршрутизируется при помощи механизмов маршрутизации каждого коммутатора третьего уровня и контролируется его списками доступа (ACL). Некоторые специалисты по сетевой безопасности могут возразить, что это решение является менее безопасным, чем использование раздельных устройств для подключения внешних и внутренних сетей, однако в рассматриваемом случае взлом может произойти только при неправильном конфигурировании устройства и ни при каких других обстоятельствах. Все маршрутизирующие коммутаторы Cisco Systems проходят неоднократное тестирование в лабораториях как производителя, так и отечественными ответственными структурами, в том числе и по вопросам сетевой безопасности, поэтому их правильное конфигурирование является залогом безопасности системы.
Межсетевой экран - механизм для контроля потока данных между двумя или более сегментами сети с разными уровнями обеспечения безопасности. Проектирование межсетевых экранов ПАК будет подробно рассматриваться в Главе 4.
Сервера инфраструктуры («Сетеобразующие» сервера) располагаются в отдельной виртуальной сети (VLAN) и обеспечивают сеть базовыми службами, например домен Active Directory и внутренние сервера DNS.
Сервера хранения данных и управления, которые либо являются хранилищами актуальной информации, либо обеспечивают взаимодействие с другими серверами, распоряжающимися данными. Данные хранятся, как правило, на серверах, выполняющих программное обеспечение SQL Server. Сервера баз данных - наиболее нуждающийся в масштабируемости компонент системы, также не следует забывать о необходимости обеспечивать высокую степень доступности этих серверов.
Для обеспечения повышенной доступности используются кластерные технологии. Кластеры состоят из двух или более независимых узлов, которые имеют доступ к общему хранилищу данных. В случае сбоя на любом узле, другие узлы мгновенно детектируют неисправность, и берут все функции вышедшего из строя узла на себя.
Программно-аппаратный комплекс системы дистанционного управления подстанциями является гибким решением, благодаря использованию технологий VLAN. Базовые виртуальные локальные сети создаются для поддержки следующих областей сети: DMZ, «сетеобразующие» сервера и VLAN хранилища данных и управляющих серверов.
Зона DMZ, «сетеобразующие» сервера и хранилище данных — основные сегменты системы. На их применении строится весть программно-аппаратный комплекс. Зона DMZ содержит WWW сервера и внешние сервера DNS, к которым обращаются пользователи системы. Сегмент хранилища данных в основном содержит сервера SQL и другие необходимые для выполнения этих функций сервера. «Сетеобразующие» сервера являются контроллерами домена и обеспечивают доступ других компонентов к базе данных Active Directory и внутренним службам DNS. Перед более детальным рассмотрением компонентов каждого основного сегмента сети, полезно будет пояснить причины, по которым система выглядит именно так и никак иначе.
Представленная архитектура позволяет эффективно управлять трафиком и обеспечивать наивысшую степень защищенности серверов и других сетевых устройств.
Предлагаемая архитектура ПАК Центра дистанционного управления подстанциями обеспечивает защищенность WWW серверов используя политики безопасности и организационные единицы (Organizational Units - OU) службы каталогов Active Directory. Поскольку WWW сервера имеют два сетевых адаптера - один во внешнюю сеть, другой -во внутреннюю, при проектировании системы безопасности, возникло беспокойство относительно потенциально возможного получения доступа к внутренней сети. Эта проблема решилась установкой дополнительного межсетевого экрана между внутренними сетевыми адаптерами серверов, находящихся в DMZ и другими внутренними сегментами. Весь трафик из DMZ к серверам проходит через межсетевой экран. Если WWW сервер попадает под контроль злоумышленника, ему все равно придется взламывать внутренний межсетевой экран перед попыткой получения доступа к данным.
Помещая сервера хранилища данных и управления в разные VLAN, мы добиваемся перемещения наиболее важных серверов (как правило, это сервера SQL) за два уровня защиты. Первый - архитектура ПАК предусматривает списки контроля доступа на межсетевых экранах для обеспечения контроля TCP и UDP трафика между серверами в разных VLAN. Второй — данная архитектура разбивает общий VLAN хранения данных и управления на разные VLAN, что позволяет настраивать списки доступа не только для серверов в DMZ.
