Содержание к диссертации
Введение
ГЛАВА 1. Анализ состояния горно-химической промышленности в регионе ближнего востока и северной африки и применения информационных технологий для повышения эффективности её работы 13
1.1. Анализ производства фосфорных удобрений 13
1.1.1. Потребности в фосфорных удобрениях 13
1.1.2. Фосфатная промышленность в регионе БВиСА 14
1.1.3. Основные технологические фазы фосфорной промышленности
1.1.3.1. Разведка месторождений апатитовых и фосфоритовых руд 17
1.1.3.2. Добыча фосфоритовых руд 18
1.1.3.3. Транспортировка и хранение фосфатного сырья 19
1.1.3.4. Переработка и обогащение фосфатного сырья
1.1.4. Процесс обогащения фосфорита 22
1.1.5. Производство фосфорных удобрений
1.2. Учреждения и предприятия горной промышленности и их функции 25
1.3. Информационные системы в горнодобывающей промышленности
1.3.1. Разновидность информационных систем, используемых в горнодобывающей промышленности 26
1.3.2. Потребность в системе управления информацией
1.4. Динамика развития сети Интернет в странах БВиСА 31
1.5. Анализ развития технологии CDN з
1.5.1. Развитие способов доставки контента 38
1.5.2. Сравнение частных и общедоступных CDN 42
1.5.3. Сравнение CDN с разными распределёнными системами 1.6. Сети доставки контента для предприятий горно-химической промышленности 44
1.7. Концепция использования CDN для управления в горно-химических предприятиях 49
1.8. Выводы по главе 1 53
1.9. Постановка задачи исследования 55
ГЛАВА 2. Методика построения сетей доставки контента 57
2.1. Основные исходные данные для задачи проектирования CDN 57
2.2. Методика построения CDN 62
2.3. Решение задачи о размещении узлов сети
2.3.1. Анализ методов решения задачи о размещении узлов 71
2.3.2. Постановка задачи размещения узлов CDN 73
2.3.3. Алгоритм решения задачи размещения узлов CDN
2.4. Критерии эффективности CDN 81
2.5. Вывод по главе 2 85
ГЛАВА 3. Оптимизация нагрузки CDN-узлов 86
3.1. Балансирование нагрузки в CDN 86
3.2.1 Постановка задачи балансирования нагрузки 88
3.2.2. Выбор максимального значения загрузки узла 94
3.2.4. Алгоритм решения задачи балансировки нагрузки 97
3.2.3. Методика оптимизации нагрузки в сети 101
3.2. Оптимизация структуры сети 102
3.3. Кластеризация узлов обслуживания 105
3.4. Выводы по главе 3 111
ГЛАВА 4. Применение результатов диссертационного исследования при проектировании сетей доставки контента региона бвиса 112
4.1. Размещение узлов 112
4.2. Оптимизация нагрузки узлов сетиБВиСА 119
4.3. Оптимизация структуры CDNbBnCA 127
4.4. Выводы по главе 4 129
Заключение 130
Список использованных источников
- Основные технологические фазы фосфорной промышленности
- Решение задачи о размещении узлов сети
- Выбор максимального значения загрузки узла
- Оптимизация структуры CDNbBnCA
Основные технологические фазы фосфорной промышленности
Добыча руд производится открытым (в карьерах), подземным способом (в рудниках) или их комбинацией в зависимости от глубины их залегания. Перспективным направлением отработки месторождений фосфатных руд является скважинная гидродобыча. При открытом способе разработки месторождений возможны два способа удаления вскрышных пород: сухой с применением бульдозеров и экскаваторов и гидромеханический, применяемый при разработке мягких вскрышных пород — суглинков, глин и песков. С переходом на более глубокие горизонты горно -технические условия производства горных работ резко усложняются, производительность оборудования снижается, себестоимость добытой руды повышается. Все большее развитие получает три основные технологические системы разработки [10]: с использованием самоходного оборудования; с поточным ведением работ, основанные на применении комплексов вибрационных механизмов непрерывного действия; - с твердеющей закладкой выработанного пространства. Интенсификация процессов добычи руды с применением гранулированных взрывчатых веществ в сочетании с комплексной механизацией заряжания шпуров и скважин осуществляется с учетом необходимости максимального разупрочнения горной массы при взрыве. Лучшие результаты достигаются при учете стратиграфических особенностей залегания рудных тел, оптимальном содержании газообразующих компонентов во взрывчатом веществе, соответствующем расположении взрывных скважин и расходе взрывчатого вещества.
Фосфатное сырье доставляются на фабрики и заводы с помощью автомобильного и железнодорожного транспорта, воздушно-канатных дорог, ленточных транспортеров, гидротранспортов. Очевидно, что эксплуатационные расходы минимальны при использовании воздушно-канатных дорог и ленточных транспортеров, тогда как наиболее дорогой является доставка сырья автотранспортом. Хотя при больших объёмах перевозок преимущественно используется железнодорожный транспорт, применение гидротранспорта обеспечивает удобство эксплуатации.
Применение электромеханических лопат при разгрузке фосфатного сырья из вагонов позволяет значительно уменьшить количество рабочих, но это не исключает запыления и тяжёлых условий труда. Улучшение условий труда при разгрузке фосфатного сырья достигается путем использования пневматических разгрузочных установок, а также специальных саморазгружающихся вагонов бункерного типа и пневматических цистерн (пневморезервуаров) [11].
Пневматические разгрузочные устройства могут быть применены на заводах, располагающих достаточными ресурсами электрической энергии. Фосфатное сырье из железнодорожных вагонов выгружается в прирельсовые скреперные траншеи, расположенные по обе стороны от железнодорожного пути. Для транспортировки сырья на склад применяются элеваторы и ленточные конвейеры.
Хранение сырья на ряде заводов производится в складах силосного типа, которые, обеспечивают улучшение условий труда и предотвращают потери сырья, хотя и требуют больших капитальных вложений.
В природном виде фосфатное вещество растениями практически не усваивается и с этой целью оно подвергается переработке с применением кислот. Исключением являются некоторые виды низкосортных фосфоритных руд, перерабатываемых на фосфоритную муку благодаря наличию в них фосфатов, растворимых в 2%-й лимонной кислоте (до 25-30 %) [9].
Химическая переработка фосфатного сырья осуществляется путем: прямой обработки сырья с непосредственным получением готовых продуктов; разложения сырья с выделением промежуточных продуктов в том числе фосфора и фосфорной кислоты, используемых для дальнейшего производства разнообразных конечных продуктов. Для переработки фосфатов применяют как кислотные, так и термические методы. Непосредственной обработкой фосфатного сырья серной кислотой получают простой суперфосфат, фосфорной кислотой — двойной.
До переработки на сложные и концентрированные удобрения практически все виды фосфатных руд подвергаются обогащению. Качество фосфатного сырья, поставляемого в виде апатит-нефелиновой руды, товарных фосфоритов, фосфоритной муки, апатитовых и фосфоритовых концентратов, регламентируется требованиями потребителя или (при наличии) соответствующими стандартами и техническими условиями.
Обогащение полезных ископаемых осуществляется с целью концентрации ценных компонентов в кондиционных продуктах путем удаления пустой породы и разделения минералов. При обогащении полезных ископаемых решаются следующие основные задачи [12]: повышается содержание полезного компонента в сырье; из сырья удаляется большая часть вредных примесей; достигается однородность сырья по крупности и вещественному составу. Обогащение полезных ископаемых осуществляется на обогатительных фабриках, которые являются самостоятельными структурами или входят в состав горно-обогатительных или горно-металлургических комбинатов. В результате обогащения природного минерального сырья получают один или несколько концентратов, имеющий более высокое по сравнению с рудой содержание полезного компонента и отходы (хвосты).
Решение задачи о размещении узлов сети
Построение CDN, как и практически всех распределённых сетей, состоит из двух этапов: предварительное (системное) и инженерное (техническое) проектирование [27]. В рамках системного проектирования решаются задачи синтеза топологической структуры CDN, обеспечения заданной производительности, обоснования методов и алгоритмов функционирования её компонентов (маршрутизаторов, серверов и КС). Тогда как инженерное проектирование подразумевает реализацию технических решений аппаратно-программных средств, удовлетворяющих результатам, полученным на этапе предварительного проектирования.
Соответственно, исходными данными для задачи системного проектирования CDN являются:
1. Вид организации доставки контента [29]. При построении CDN применяется децентрализованный, централизованный или гибридный подход к доставке контента. Децентрализованная доставка контента используется для предварительного хранения и доставки по запросам, в основном, для статического контента, например, изображений и небольших файлов, требующих малого числа обращений к первичному серверу. Она заключаться в развёртывании множества не мощных серверов, по возможности, у Интернет-провайдеров (ISP), а также в использовании партнёрских кэш-серверов, для уменьшения кэш-промахов. Централизованный подход к доставке контента заключается в размещении несколько больших кластеров серверов в стратегически расположенных центрах обработки данных (ЦОД). Обычно в этом подходе кэширование не используются, так как весь контент находится в хранилищах информации в ЦОД, следовательно, нет необходимости обращения к партнёрскому или первичному серверу, а также отсутствует проблема кэш промахов. Гибридный подход с маршрутной оптимизацией включает в себя крупные территориально распределённые кэш-серверы и небольшое число крупных хранилищ контента. Этот подход отличается от других тем, что его большие территориально-распределённые кэш-серверы стратегически размещены и в нем применяется оптимизированная маршрутизация по всей сети провайдера. Постоянно анализируется состояние трафика на всех основных магистралях сети Интернет, и на его основе динамически определяется оптимальный маршрут для доставки контента.
2. Размещение узлов сети (УС) или топологическая структура CDN. Места размещения CDN узлов (называемых, суррогатными серверами) имеет ключевое значение для каждой CDN инфраструктуры, так как это напрямую связанно с критическими вопросами в процессе доставки. Поиск оптимальных мест для размещения CDN узлов [30-36], очень важен для производительности аутсорсинга контента (под которым подразумевается передача процесса распределения и доставки контента на другую компанию, имеющую мощное сетевое оборудование или взаимодействие узлов сетей для доставки и обновления контента). Топологическая структура CDN строится так, чтобы максимизировать производительность сети для клиента, при минимизации затрат на развёртывание соответствующей инфраструктуры.
Математические модели размещения узлов формулируются на основе выбранных критериев размещения УС, в том числе количества потенциальных пользователей [31], видов каналов связи, затрат на развёртывание и поддержание работоспособности сети, средней задержки передачи [35], важности мест размещения [30] и т.д. Часто, при разработке моделей взаиморасположение УС задаётся матрицей расстояний L = [/у], где элементы /у задают «близость» между узлами сети в некоторой произвольной системе метрик, например /у может быть геометрическим или временным расстоянием между узлами / иу. 3. Отношения между CDN-компонентами [24]. При построении CDN необходимо определить отношения между её компонентами для осуществления репликации и кэширования контента. Основное взаимодействие (взаимоотношение) в целях доставки происходит среди пользователей, вторичных и первичных серверов. Пользователь запрашивает у узла (узлов) контент, принадлежащий одному или нескольким первичным серверам. Когда CDN узел не задействован, пользователь напрямую взаимодействует с первичным сервером. CDN узлы обслуживает пользовательские запросы из своего локального кэша или действует в качестве шлюза для получения доступа к первичному серверу. 4. Методы коммутации в CDN. Сети доставки контента строятся на основе сети Интернет - протокола IP, следовательно, в сети реализуется только метод коммутации пакетов (КП). 5. Модели источников информации CDN. В общем случае, в качестве моделей можно использовать различные статистические модели [27]. Если моделью источников (пользовательской информации) являются пуассоновские входные потоки интенсивности нагрузок, прибывавших в CDN, то их можно представить матрицей л?у = [я ], гдеД интенсивность потока передачи информации /-го типа и у-го приоритета между сетевыми узлами s и d или же s-й группой конечных пользователей и d-ш сетевым узлом. Матрицу лу можно назвать матрицей тяготений между
УС (или между двумя сторонами, участвующими в передаче) для информации /-го типа и у-го приоритета. Для потоков информации характерна ещё одна, в общем случае случайная, величина - длина пакета. Длина пакета представляет объем содержащейся в нем информации, измеряемой единицами данных (битами, байтами). Часто в аналитических расчётах допускается, что длина пакета для контента разного вида и приоритета одинакова для всех пар источник-адресат и распределена экспоненциально со средним 1/цу.
Выбор максимального значения загрузки узла
На рис. 3.1 изображены два вида каналов: каналы А, по которым поступают запросы от конечных пользователей и обратно доставляется контент, и каналы В, по которым узлы могут взаимодействовать между собой. Первые каналы играют основную роль при обслуживании пользователей только из узла своей зоны, в то время как каналы В (изображенные пунктиром) являются узкими местами при распределении нагрузки и, следовательно, влияют на время отклика, если обслуживание пользователей осуществится не из своих узлов.
В зависимости от объема запрашиваемых пользователями объектов контента при доставке (обслуживании запроса, заключающемся в обработке, извлечении и отправлении запрашиваемого объекта контента, разделенного на пакеты) от /-ого узла к пользователю генерируется определенная информационная нагрузка (трафик), измеряемая байтами в секунду. Очевидно, что если мощность узла Q измерять единицами данных (байтами) в секунду, а измеряемая в байтах средняя длина пакета V объекта контента одинакова для всех узлов, то должно быть справедливым равенство jut = bCt. [81, 82] Следовательно, поток нагрузки ft в узле / можно выразить с 7 использованием обозначения f = — C. 1 Ъ f В выражение для определения средней задержки —v-— необходимо С і - /у включить межузловую задержку Tf =Tff-fff, i = \,n; j = \,п; ІФj, которая состоит из времени распространения информации, времени обработки и других фиксированных задержек в пути передачи и обратно пропорциональна пропускной способности.
Цель оптимизации состоит в том, чтобы необслуженные запросы F разделить между несколькими узлами так, чтобы общий получающийся в результате перераспределенный по узлам сети поток, минимизировал среднюю задержку в сети. Тогда математическая постановка задачи балансировки нагрузки путем перераспределения потоков имеет вид: где fr - интенсивность потока, перенаправляемого из узла / в узел j; W. коэффициент запаса по мощности С..
Ограничение (3.8) разрешает только положительные значения перенаправляемых потоков. Ограничение (3.9) ограничивает потоки значениями свободной мощности узлов, т.е. ограничение пропускной способности. Ограничение (3.10) является ограничением сохранения потока. Оно указывает на то, что входящий в узел поток должен соответствовать потоку, выходящему из узла. Задержку Tf в уравнении (3.7) можно
установить равной измеряемой / / -сообщениями. Очевидно, что первая часть суммы в уравнении (3.7) будет преобладать в средней задержке т, особенно когда узел сильно загружен.
Такая постановка задачи очень гибка, и может быть легко изменена для решения различных вариантов задачи выбора узлов обслуживания. Например, можно установить Тц = 0 между всеми узлами, если целью является балансировка загрузки узлов, несмотря на задержку, испытываемую между ними. Кроме того, CDN провайдер может явно предпочитать некоторые узлы для обслуживания запросов на конкретный объект (т.е., на основе политики перенаправления). Такой подход может быть реализован путем установки Т 0 между узлами / и j, если нужно препятствовать перенаправлению запросов на объект контента в узлеу. Критерий оптимизации (3.7) можно дополнить возможностью преобладания одной его части над другими путем добавления весовых коэффициентов wx для всех частей суммирования. Такой подход позволяет Fi влиять на решение путем уменьшения веса средней задержки —-— для C1 Fl резервирования узлов, а в других случаях для предотвращения их перегрузки или увеличения задержки Тк, если осуществляется обслуживание, пользователей или приложений, не чувствительных к задержкам при доставке контента. Помимо этого, установка одного из коэффициентов wt равным нулю приведёт к изменению поставленной задачи, например, если требуется распределить потоки путем минимизации только средней задержки в сети или задержки между узлами. В результате, при оптимизации критерия (3.7) может принимать вид: где wx и w2 - весовые коэффициенты каждой части критерия, они могут быть определены экспертным путем при условии что w2=\-wl. Процесс оптимизации заключается в нахождении потоков fy между узлами / и j, при которых средняя задержка Т минимальна. Другими словами, для удовлетворения требований к качеству обслуживания и обеспечения равномерной загрузки сети нужно в режиме реального времени решить задачу динамического определения долей нагрузки, поступающей на узлы, которая будет обслужена другими узлами.
Цель оптимизации состоит в том, чтобы необслуженные запросы F, поступившие на загруженные узлы, разделить между несколькими узлами так, чтобы общий получающийся в результате перераспределенный по узлам сети поток минимизировал стоимостную функцию (3.11).
Правильно рассчитанные вычислительные и сетевые мощности, как правило, не используются на 100 %. Необходимость в резервировании вычислительных мощностей и других ресурсов сети обусловлена неопределенностью вероятностного характера поступления запросов из-за неодинаковой активности пользователей различных регионов в потреблении различного вида контента и сетевых услуг. Следовательно, важным моментом при проектировании сетей CDN и оптимизации нагрузок сетевых узлов является выбор максимального значения их загрузки. Выберем один из показателей сети, который в данном случае представляется особенно важным, например среднюю задержку, определяемую по формуле и зависящую от мощности С и нагрузки F.
Если известны значение мощности узла и интенсивность запросов (нагрузки), то необходимо определить нагрузку, которую может обслужить узел при условии, что значение средней задержки было бы приемлемо.
На величину Т могут также влиять следующие факторы: местоположение узла, влияющее на задержку между узлами, вид поступающего потока, длина пакета объекта контента, тип оборудования узла. В общем случае при оптимальном проектировании эти факторы могут иметь несколько конкретных вариантов реализации. При этом задача оптимизации (выбора максимального уровня загруженности) должна решаться для каждого варианта в отдельности, а затем выбирается наиболее подходящий вариант. В связи с этим для простоты в дальнейшем полагаем указанные факторы конкретизированными. Тогда под выбором максимального уровня загруженности узла следует понимать нахождение значений мощности С узла и потока F, при которых средняя задержка не будет сильно возрастать.
Ясно, что в реальных условиях загрузка узла может изменяться лишь в определенных конечных пределах, которые мы обозначим буквами а и Ъ, где a = min(FIC), b = max(F/C). Кроме того, на них могут налагаться дополнительные ограничения, учитывающие взаимосвязи переменных.
Предположим, что мощность узла используется весьма эффективно: она практически не зависит от характеристик запросов (сообщений), поступающих на узел, и что пик загрузки равен единице. Интенсивность потока на входе узла может изменяться в достаточно широких пределах.
Оптимизация структуры CDNbBnCA
Для обслуживания пользователей из БВиСА требуется разместить имеющиеся однотипные узлы сети доставки контента в зонах таким образом, чтобы суммарный эффект от размещения, определяемый по формуле (2.1) был максимальным. Предположим, что имеется п = 20 узлов, которые будут размещены с помощью алгоритма выбора мест размещения CDN узлов, предложенного во второй главе диссертации.
Возможные зоны размещения, среди которых будут размещены узлы 5=18, каждая зона представляет собой одну страну (или группа соседних стран в других случаях) из региона БВиСА. S= {Бахрейн (1), ОАЭ (2), Катар (З), Оман (4), Йемен (5), Саудовская Аравия (6), Иордания (7), Кувейт (8), Ирак (9), Сирия (10), Ливан (11), Судан (12), Египет (13), Ливия (14), Тунис (15), Алжир (16), Марокко (17), Мавритания (18)}. В скобках показана используемая далее нумерация зон. Априорно определена значимость Д., (V Д. = 100%) всех S зон по их промышленным показателям.
Об объеме контента, принадлежащего промышленным предприятиям, можно судить по размеру самих предприятий. Но надо иметь в виду, что это результативный показатель, который формируется под воздействием многих факторов. Например, для определения объема корпоративного контента, который будет передаваться через CDN, требуется определить число компьютеров на одного рабочего, уровень использования Интернета на предприятии, уровень обеспеченности предприятия информационной системой, использования электронного документооборота, электронной рекламы через Интернет, использования Интернета для взаимодействия с работниками, партнерами в различных регионах и властными структурами. Однако и эти показатели зависят от других факторов: специализации предприятия, его технической оснащенности, экономических условий и т.д.
Предположим, что известно Ft - число запросов, поступающих из каждой зоны региона, а также примем, что каждый из однотипных узлов, доступных для размещения, может обслуживать 100 запросов в секунду (такое значение эквивалентно системе с высокой нагрузкой [97]). Однако в силу того, что сетевая инфраструктура (пропускная способность доступных КС и другого оборудования) в зонах может отличаться, то и количество обслуживаемых запросов узлом в каждой /-ой зоне разное. Т.е. при размещении узла в /-ой зоне обслуживается Лобс запросов в секунду, и остается Лшобс необслуживанных. Тогда в качестве эффекта со; от размещения единицы однотипного узла сети доставки контента в /-ой зоне может выступить процентное обслуживание (удовлетворение) запросов, поступающих из этой зоны. Следовательно, в качестве г выступает процентное неудовлетворение. В таблице 4.3 приведены предположительные данные для каждой зоны.
Вычислительная схема размещения узлов сети доставки контента в зонах региона представлена в таблице 4.4. В ней записана последовательность текущих векторов {А \ = ІА Г 1 г \. Из строки t=\, в которой записаны компоненты вектора Д.є, для первого шага процесса оптимизации, следует, что согласно 2-ому пункту алгоритма первый узел размещается в зоне / = rf=6, следующий также в зоне г2=6, а третий в зоне? =г3=9, и т.д. в соответствии с максимальными элементами вектора А . Согласно 6-ому пункту алгоритма производится пересчет только той компоненты вектора А ={ "1,ЄГ } который соответствует зоне, где был размещен узел, например, при размещении первого узла {гі = 6).
Результат расчета можно записать в виде цепочки размещений, т.е. последовательности номеров зон, выбранных для размещения в них узлов.
При решении задачи распределения, для каждого загруженного узла осуществляется поиск узлов-адресатов среди всех не загруженных узлов, тогда как алгоритм выбора соседей позволяет сузить круг поиска путем определения не загруженных соседей, среди которых можно осуществить балансировку, вследствие этого уменьшается время поиска и, следовательно, оптимизируется работа сети.
Предполагаем, что нагрузки на узлы і = \,п поступают в виде бесприоритетных потоков запросов. Узлом осуществляется обслуживание поступающей из его зоны нагрузки, соответствующей 80% его мощности, так как загрузка узла больше 80% приведет к быстрому снижению производительности. Остаток нагрузки требуется оптимальным образом распределить между менее загруженными узлами, минимизируя критерий (3.11) при выполнении ограничений (3.8-3.10).
Хотя при постановке задачи о выборе мест размещения узлов сети мы предполагали, что все узлы однотипны (равно эффективны), при решении задачи балансировки нагрузки первоначальные мощности (пропускные способности) узлов CDN будут заданы разными, так как процесс распределения осуществляется в разное время, когда узлы будут заняты обслуживанием нагрузки из предыдущих процессов распределения. Первоначальные мощности узлов CDN будут заданы в виде вектора Сг,
После исключения по формуле (3.2) из первоначальной мощности части, используемой для обслуживания собственной нагрузки, а также запаса (w - 20% от первоначальной мощности) для предотвращения перегрузки узла, оставшиеся мощности будут представлены вектором \Cr\,i = \,п.
Поступающие нагрузки аналогично будут заданы вектором i , i = \,n. Нагрузки, подлежащие распределению после исключения по формуле (3.1), будут представлены вектором \Frt .
Матрица задержек Ty,i = \,n;j = \,m - при передаче от узла / до узла у рассматриваемой сети необходима для формализации путей направления потоков запросов между узлами. В матрице Тц строка / характеризует направляющий узел, столбец j - узел-получатель. Сетевые задержки Т.. определим как матрицу размерности п т, для которой Tjj=Tjj,Tjj=0 если i = j. Очевидно, что матрица Ту симметрична и обладает нулевой главной диагональю.
