Содержание к диссертации
Введение
1. Анализ задач и методов учета загруженности и управления распределением телекоммуникационных ресурсов региональной научно-образовательной сети 10
1.1. Типовая архитектура построения региональной научно-образовательной телекоммуникационной сети 10
1.2. Анализ задач учета загруженности и управления распределением телекоммуникационных ресурсов региональной научно-образовательной сети 15
1.3. Анализ и сравнение существующих средств учета телекоммуникационных ресурсов 23
1.4. Анализ и сравнение существующих средств управления распределением телекоммуникационных ресурсов 29
1.5. Выводы по главе 1 49
2. Методы организации учета и управления распределением телекоммуникационных ресурсов 51
2.1. Традиционная схема построения средств учета в IP сетях 51
2.2. Разработанный метод решения задачи учета телекоммуникационных ресурсов НОТС 58
2.3. Способы управления интенсивностью информационных потоков в IP сетях 59
2.4. Метод распределения емкости в телекоммуникационном канале с возможностью резервирования и динамического распределения свободной емкости 70
2.5. Выводы по главе 2 77
3. Архитектура и реализация системы учета трафика 79
3.1. Архитектура системы учета трафика 79
3.2. Назначение и организация подсистемы сбора первичной информации 81
3.3. Назначение подсистемы обработки информации 90
3.4. Открытая архитектура мультиконвейерной обработки потока информации, основанная на графе обработки информации 91
3.5. Технология применения открытой архитектуры мультиконвейерной обработки потока информации на основе графа ОИ 94
3.6. Сравнение с другими реализациями аналогичных подходов к мультиконвейерной обработке потока информации 101
3.7. Организация подсистемы обработки информации 102
3.8. Удобство применения разработанной архитектуры и технологии построения подсистемы обработки информации 111
3.9. Назначение и организация базы данных учетной информации 112
ЗЛО. Программные интерфейсы доступа к учетной информации 113
3.11. Выводы по главе 3 116
4. Архитектура и реализация системы управления распределением телекоммуникационных ресурсов сети 119
4.1. Архитектура системы управления распределением телекоммуникационных ресурсов сети 119
4.2. Применение механизма «списков доступа» для определения классов информационных потоков 120
4.3. Назначение и организация конфигурационного файла 123
4.4. Назначение и организация модуля мониторинга текущего распределения телекоммуникационных ресурсов 123
4.5. Назначение и организация модулей мониторинга микропотоков 124
4.6. Назначение и организация внутренней базы данных 128
4.7. Назначение и организация модуля вычисления ограничений 129
4.8. Назначение и организация модулей управления маршрутизаторами 140
4.9. Возможности разработанной системы управления по формированию политик распределения пропускной способности 142
4.10. Анализ функционирования системы управления распределением телекоммуникационных ресурсов сети 143
4.11. Выводы по главе 4 148
Заключение . ...150
Литература
- Анализ задач учета загруженности и управления распределением телекоммуникационных ресурсов региональной научно-образовательной сети
- Разработанный метод решения задачи учета телекоммуникационных ресурсов НОТС
- Открытая архитектура мультиконвейерной обработки потока информации, основанная на графе обработки информации
- Применение механизма «списков доступа» для определения классов информационных потоков
Введение к работе
Актуальность темы. Телекоммуникации давно вошли в современную науку и образование и прочно заняли там свое место. Использование ресурсов сети Интернет в процессе обучения уже является принципиально необходимым средством, а научные исследования просто невозможно себе представить без анализа последних публикаций из электронных библиотек, обращения к мощным базам данных и обмена информацией с коллегами из других стран. Потребность в обеспечении науки и образования телекоммуникациями естественным образом привела к развитию научно-образовательных телекоммуникационных сетей (НОТС), удовлетворяющих эту потребность.
Для обеспечения эффективной работы каждой телекоммуникационной сети, в том числе и НОТС, большое значение имеет решение двух задач: задачи мониторинга того, как распределяются ресурсы сети между потребителями и задачи управления этим распределением. Для решения первой задачи применяется специализированное программное обеспечение (ПО), ведущее учет распределения сетевых ресурсов, а для решения второй - специальные алгоритмы, реализуемые в ПО компьютеров, подключенных к сети, и в активных сетевых устройствах. Задача ведения учета распределения ресурсов исторически возникла первой и проблемам построения таких систем посвящено достаточно много работ. Среди ученых, занимавшихся данной проблематикой можно перечислить Н.Браунли, К.Клаффи, Д.Крюкова, МФоменков. Задача управления распределением ресурсов сети между абонентами в связи с активным ростом области применения компьютерных сетей в последние годы приобрела особую важность. Исследованиям в этой области посвящены работы С.Флойд, В.Якобсон, С.Шенкер, С. Джамин и других ученых.
Как показано в главе 1 диссертации, ни одно существующее средство учета использования телекоммуникационных ресурсов не удовлетворяет полному набору требований, предъявляемых к средствам учета использования ресурсов НОТС. В первую очередь к таким требованиям относится требование высокой степени открытости этих средств для обеспечения необходимого взаимодействия этих средств со средствами управления распределением ресурсов. Другими важными требованиями являются всестороннее и целостное решение задачи учета, возмож-
ность работы средств на всех программно-аппаратных платформах, используемых в качестве маршрутизаторов НОТС и относительно невысокая стоимость, доступная научно-образовательным учреждениям.
Существующие средства управления распределением коммуникационных ресурсов (емкости каналов) представлены в основном не конкретными программными решениями, а технологиями и протоколами резервирования канала с определенными параметрами качества сетевого обслуживания (QoS - Quality of Service). Среди основных средств данной категории следует отметить механизм формирования заданной формы трафика - TrafficShaper, архитектуру Integrated Services и протокол RSVP, архитектуру Differentiated Services, механизмы управления распределением телекоммуникационных ресурсов технологии MPLS. Кроме того, среди технологий, обладающих возможностями обеспечения QoS, можно также упомянуть технологии передачи данных ATM и FrameRelay, которые, однако, в настоящее время по объективным причинам утратили свою популярность и применяются весьма редко. К сожалению, ни один из указанных механизмов не позволяет в полной мере решить задачу управления распределением телекоммуникационных ресурсов НОТС. Спектр доступных решений крайне мал, а каждое из них решает лишь часть задачи распределения телекоммуникационных ресурсов региональной НОТС в ее полной постановке. В частности, нет решений, которые бы одновременно позволяли учитывать при распределении ресурсов особенности микропотоков и управлять распределением ресурсов в пограничных каналах сети. Между тем и то и другое является необходимой частью рассматриваемой задачи распределения ресурсов. Кроме того, система управления распределения ресурсов в НОТС должна основываться на политике предоставления услуг НОТС, существенно отличающейся от политики предоставления услуг коммерческими телекоммуникационными сетями. Целью такой политики является не получение максимальной прибыли, а повышение эффективности образовательного и научно-исследовательского процесса за счет повышения уровня доступности вычислительных и информационных ресурсов, требуемых для научно-образовательного процесса.
Таким образом, актуальным является создание открытых систем для ведения учета того, как распределяются телекоммуникационные ресурсы сети между потре-
бителями, и для управления этим распределением на основании некоторой заданной политики. Система учета должна обеспечивать возможность получения всех отчетов, необходимых администрации сети, и должна легко интегрироваться с другими программными системами, ориентированными на решение смежных задач. Система управления распределением телекоммуникационных ресурсов должна позволять администрации сети реализовывать различные политики распределения ресурсов между потребителями. Такие политики, могут предусматривать резервирование ресурсов, установку индивидуальных параметров для отдельных микропотоков, установку верхних пределов на доступные потребителю ресурсы и динамическое перераспределение свободных ресурсов между активными потребителями в соответствии с их приоритетами.
Цель диссертационной работы заключается в разработке открытых систем ведения учета распределения телекоммуникационных ресурсов НОТС и управления этим распределением на основе заданной политики. Поставленная цель достигается решением следующих задач:
На основе требований к системам учета и управления распределением телекоммуникационных ресурсов провести анализ существующих средств учета и управления распределением, выявить их достоинства и недостатки.
Провести анализ известных методов ведения учета и механизмов управления распределением телекоммуникационных ресурсов.
Разработать методы ведения учета, алгоритмы распределения и механизмы управления распределением телекоммуникационных ресурсов.
Разработать открытые архитектуры систем учета и управления распределением телекоммуникационных ресурсов.
Выполнить реализацию системы учета и системы управления распределением телекоммуникационных ресурсов.
На основе исследования характеристик показать эффективность разработанных средств.
Научная новизна работы определяется следующими основными результатами:
Разработана открытая архитектура распределенной системы учета использования телекоммуникационных ресурсов НОТС.
Разработана открытая архитектура и объектно-ориентированная технология гибкой мультиконвейерной обработки потока информации.
Разработан адаптивный метод управления распределением пропускной способности, основанный на настраиваемой политике распределения и динамическом учете текущего уровня загрузки.
Разработан алгоритм вычисления ограничений для метода распределения пропускной способности.
Разработана модульная архитектура системы управления распределением пропускной способности.
Основные положения, выносимые на защиту:
Разработана открытая архитектура системы учета трафика, передаваемого по каналам распределенной телекоммуникационной сети.
Разработана открытая архитектура и технология мультиконвейерной обработки потока информации.
Разработана открытая архитектура системы управления распределением телекоммуникационных ресурсов распределенной научно образовательной телекоммуникационной сети на основе настраиваемой политики распределения ресурсов.
Разработан адаптивный метод управления распределением телекоммуникационных ресурсов, основанный на настраиваемой политике распределения и динамическом учете текущего уровня загруженности каналов.
Выполнены реализации систем учета и управления распределением телекоммуникационных ресурсов распределенной научно образовательной телекоммуникационной сети.
Практическая значимость работы. Практическую значимость работы представляют разработанные система учета использования телекоммуникационных ресурсов и система управления распределением телекоммуникационных ресурсов.
Применение разработанных систем позволяет организовать учет и повысить эффективность использования телекоммуникационных ресурсов сети.
Апробация результатов работы. Результаты работы докладывались и обсуждались на следующих научно-практических конференциях: Международная научно-методическая конференция «Телематика'2001», г. С.-Петербург, 2001г.; VIII конференция представителей региональных научно-образовательных сетей «Relarn-2001», г. Петрозаводск, 2001 г.; Всероссийская научно-методическая конференция «Телематика'2002», г. Санкт-Петербург, 2002 г.; IX конференция «Relara-2002», г. Нижний Новгород, 2002 г.; Всероссийская конференция «Научньш сервис в сети Интернет», г. Новороссийск, 2002 г.; Всероссийская научно-методическая конференция «Телематика'2003», г. Санкт-Петербург, 2003 г.; Научно-методическая конференция «Современные информационные технологии в образовании: Южный федеральный округ», г. Ростов-на-Дону, 2003 г.; Международная научно-технической конференция «Интеллектуальные и многопроцессорные системы -ИМС'2003», 2003 г.; III республиканская научно-практическая конференция «Информационные и телекоммуникационные системы: сетевые технологии», г. Махачкала, 2004 г.
Результаты работы использовались при выполнении и составили существенную часть результатов следующих НИР:
проект № В.ООП ФЦП «Интеграция» «Развитие центра высокопроизводительных вычислений для нужд вузовской и академической науки. Развитие сетевой инфраструктуры доступа к суперкомпьютерному центру Ростовского государственного университета», № гос. регистрации 01.200.118684;
проект № 4.3.3.(000)274.55 «Создание системного проекта телекоммуникационной среды высокопроизводительных вычислений Южно-Российского региона» (в рамках подпрограммы «Информационные технологии в образовании» НТП Минобразования РФ «Научное, научно-методическое, материально-техническое и информационное обеспечение системы образования»), № гос. регистрации 01.200.118683;
проект № 423 «Создание проекта создания научно-образовательной и административно-хозяйственной сети Ростовской области на базе телекоммуника-
ционных узлов Ростовского государственного университета» (в рамках подпрограммы «Высшая школа как важнейший государственный ресурс развития научно-технического потенциала регионов» программы Минобразования РФ «Государственная поддержка региональной научно-технической политики высшей школы и развитие ее научного потенциала»), № гос. регистрации 01.200.118681; грант РФФИ № 03-07-90365 «Развитие научно-образовательной телекоммуникационной сети Ростовской области и Южного федерального округа Российской Федерации». Публикации. По теме диссертационной работы имеется 17 публикаций, включая 2 статьи в журналах, рекомендованных ВАК для публикации результатов диссертаций [1,2], 5 статей в других изданиях центральной печати [3-7], 10 тезисов в сборниках тезисов международных и всероссийских конференций [8-17] и 2 свидетельства об официальной регистрации .программы для ЭВМ [18,19].
Структура и объем диссертационной работы. Материал основной части диссертационной работы изложен на 162 страницах машинописного текста. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 143 наименований, 14 рисунков, 2 таблиц и 5 приложений.
Анализ задач учета загруженности и управления распределением телекоммуникационных ресурсов региональной научно-образовательной сети
Экономический аспект деятельности, связанной с сопровождением работы НОТС, предполагает, с одной стороны, оплату некоторых сторонних ресурсов, используемых сетью, а с другой стороны, выставление счетов на оплату услуг, предоставленных самой сетью ее пользователям. Для правильного выполнения указанных действий требуется информация о том, какое количество телекоммуникационных ресурсов за учетный период было использовано самой сетью, и какое количество ресурсов было потреблено пользователями сети. Данная информация в последствии может быть использована для выставления счетов пользователям сети, а также, для решения некоторых других задач. В виду экономических корней данной задачи, информация, необходимая для ее решения определяется, прежде всего, принципами организации финансовых отношений между потребителями и поставщиками телекоммуникационных услуг. В настоящее время все схемы оплаты услуг передачи данных в телекоммуникационной отрасли строятся как комбинация, основанная на двух базовых принципах оплаты услуг: фиксированная оплата за предоставление потребителю подключения с некоторой заданной пропускной способностью и оплата объема информации, отправленной в сторону потребителя.
Первый принцип, как правило, применяется в тех случаях, когда потребителю требуется гарантированная пропускная способность в каналах передачи данных. Это, например, справедливо при организации каналов междугородней связи, потребителям которых, как правило, требуется относительно небольшая, но гарантированная пропускная способность.
Второй принцип применяется обычно при так называемом широкополосном доступе, когда активно используется статистическое мультиплексирование. В этом случае потребителю предоставляется доступ к высокоскоростной среде передачи данных, используемой совместно достаточно большим числом пользователей. При этом отдельным пользователям не предоставляется гарантированная емкость в канале или же предоставляется, но значительно меньше, чем пиковая пропускная способность, которой обладает общая среда передачи данных. Время, затрачиваемое на обслуживание запроса одного пользователя, обычно достаточно мало, что обусловлено высокой пропускной способностью общей среды передачи данных, а пользователи, как правило, не обращаются к ресурсам сети в один и тот же момент времени. Эти два фактора являются ключевыми в статистическом мультиплексировании, а само статистическое мультиплексирование как раз и заключается в том, чтобы предоставить множеству пользователей доступ к общей высокоскоростной среде передачи данных, принимая во внимание тот факт, что локальные пики загрузки, создаваемые отдельными пользователями не совпадают по времени. За счет применения статистического мультиплексирования оператор может предоставить множеству пользователей высокоскоростные услуги и, при этом, требуемая пропускная способность каналов будет значительно меньше, чем в случаях, когда каждому потребителю выделяется отдельный скоростной канал. Правда, при использовании статистического мультиплексирования отсутствуют гарантии постоянной доступности высокой скорости передачи информации, но во многих случаях это является вполне приемлемым и эффективным решением.
При рассмотрении типовой структуры телекоммуникационной сети научно-образовательного учреждения были перечислены правила оплаты услуг, применяемые в таких сетях. Легко видеть, что эти правила вполне соответствуют описанным выше принципам формирования тарифных политик. Действительно, в пределах го рода, как правило, удается организовать широкополосный доступ и в этом случае необходимо учитывать именно объемы переданной потребителю информации. В то же время междугородние каналы, обычно, арендуются у операторов дальней связи и аренда этих каналов оплачивается по первому принципу. Необходимо, отметить, что в ряде случаев при формировании ценовой политики необходимо учитывать уже сложившиеся в том или ином регионе принципы расчетов за услуги передачи данных. Важно также обратить внимание на то, что в НОТС могут действовать еще и дополнительные соглашения и принципы расчетов. Такие соглашения, могут, например, позволять передавать данные по внутренним каналам сети по сниженным ценам, а, возможно, и бесплатно, и в этом случае оплате подлежат только использованные потребителем ресурсы внешних каналов сети. Кроме того, для ряда потребителей возможно также существование централизованной оплаты некоторого объема ресурсов, предоставляемых им.
Очевидно, что суммы платежей и выставляемых счетов не зависят от количества фактически переданной информации, когда используется первый принцип оплаты телекоммуникационных услуг. В том же случае, когда применяется второй принцип, для формирования выставляемых потребителям счетов и контроля расчетов с поставщиками телекоммуникационных услуг, необходима информация о том, какое количество данных было получено сетью и какое количество передано потребителям. Принимая во внимание возможность наличия в НОТС дополнительных соглашений о бесплатной или льготной пересылке информации, можно сделать вывод о том, что эта информация необходима с точностью до отдельных телекоммуникационных каналов.
К сожалению, опыт эксплуатации НОТС, показывает, что периодически со стороны потребителей возникают претензии в отношении выставленных им счетов. Очевидно, что такие проблемы могут возникать только в тех случаях, когда оплате подлежит объем фактически переданной информации. Как правило, для урегулирования таких ситуаций достаточно представить потребителю подробный отчет о динамике потребления информации, переданной ему за отчетный период. Для такого отчета нужна информация о том, какое количество данных было передано для каждого рабочего места сети потребителя с почасовой, а возможно и более точной детализацией. Желательна также и информация об отправителях данных, однако следует иметь в виду, что сохранение информации об отправителе данных может существенно увеличить общий объем хранимой учетной информации.
Разработанный метод решения задачи учета телекоммуникационных ресурсов НОТС
Для программных систем, относящихся к категории решений, рассчитанных на крупных коммерческих операторов, характерны следующие основные отличительные черты: ориентация на автоматизацию финансовых взаиморасчетов: системы данного класса обычно ориентированы не на ведение учета как такового, а на обеспечение автоматизации процесса финансовых взаиморасчетов, а учет ресурсов выполняют только как необходимую подзадачу для осуществления взаиморасчетов; работа с коммерческим ПО: системы рассматриваемой категории, в основном, предназначены для работы под управлением коммерческих операционных систем, а информацию размещают в базах данных, которые управляются коммерческими СУБД; высокая стоимость: как правило, стоимость систем, предназначенных для эксплуатации в крупных телекоммуникационных сетях, предоставляющих свои услуги большому числу клиентов, составляет несколько десятков тысяч долларов; отсутствие в свободной печати подробной технической документации: производители систем рассматриваемого класса предпочитают не раскрывать подробной технической информации о своих продуктах, вместо этого либо предлагают заказчику материалы рекламного характера, дающие лишь поверхностное представление о программной системе, либо предлагают обратиться для разработки конкретного решения под нужды заказчика, что обычно означает дополнительное удорожание итогового решения и, опять же, не позволяет составить предварительного мнения о программной системе.
Следует отметить, что на самом деле систем данного класса на рынке существует не так уж много, что, в общем-то, и не удивительно, в виду того, что данный сегмент рынка никак нельзя назвать массовым. В качестве примера программного продукта, относящегося к категории решений для крупных операторов, можно привести систему Internet Usage Manager (IUM) [28], разработанную фирмой Hewlett-Packard (HP) для своей платформы HP OpenView (OV) [29].
IUM - это модульная платформа, на основе которой, как утверждается в распространяемых HP рекламных материалах, можно строить гибкие решения, используя различные модули, доступные для этой системы. Доступно действительно достаточно много различных модулей, начиная от предназначенных для организации учета в обычной телекоммуникационной сети и заканчивая ориентированными на учет при предоставлении услуг передачи данных в сетях сотовой связи с использованием возможностей технологий GPRS и CDMA.
В системе IUM большое внимание уделено вопросам создания различных схем оплаты за предоставленные услуги. Утверждается, что данная система позволяет строить гибкие тарифные планы, как кредитные, так и авансовые. К существенным плюсам ШМ следует отнести широкий спектр источников информации, которые могут быть им использованы, от ASCII файлов, до специальных сетевых протоколов, таких как NetFIow [30,31] и Sflow [32]. При этом поддержка текстовых форматов означает, что ШМ может быть легко адаптирован практически к любому источнику информации.
HP ШМ может работать под управлением операционных систем HP-UX, Windows 2000, Windows NT, Linux и Sun Solaris. Допускается написание разработка и подключение к платформе собственных модулей, для чего предлагается использовать ШМ SDK.
Привести более подробное описание системы HP ШМ, к сожалению, не представляется возможным по причине отсутствия в открытой печати технических описаний и руководств, которые позволили бы узнать детали о внутренней организации и возможностях этого продукта.
Стоимость данного решения весьма высока и в самой простейшей конфигурации составляет более $ 10 000.
В качестве других примеров систем, которые относятся к данной категории можно упомянуть системы CBOSSip [33], «Барсум Оператор» [34], «Буеръ-Теле-сеть» [35] и «ABACS» [36].
Следует отметить, что реальных примеров использования систем рассматриваемой категории в сетях телекоммуникационных операторов, которые сравнимы по масштабам с региональной НОТС, автору не известно. В частности, собранная информация свидетельствует о том, что различные операторы, действующие на территории ЮФО, для решения задачи учета применяют либо собственные разработки, либо используют решения, относящиеся к другим категориям, и не применяют средства рассматриваемого класса.
Принимая во внимание тот факт, что коммерческие операторы телекоммуникационных услуг не отдают предпочтения системам данного класса, учитывая высокую стоимость этих систем и отсутствие технической документации можно сделать вывод о нецелесообразности применения таких систем для решения задачи учета в региональной НОТС.
Коммерческие решения в области учета телекоммуникационных ресурсов сети, ориентированные на небольших и средних операторов связи, прежде всего, характеризуются следующими особенностями:
ориентация на автоматизацию финансовых взаиморасчетов: системы данного класса обычно ориентированы не на ведение учета как такового, а на обеспечение автоматизации процесса финансовых взаиморасчетов, а учет ресурсов выполняют только как необходимую подзадачу для осуществления взаиморасчетов;
работа с открытым ПО: системы данного класса, обычно рассчитаны на работу под управлением одной или нескольких наиболее распространенных свободно доступных операционных систем, таких как ОС FreeBSD и ОС Linux, а информацию сохраняют в базах данных, работающих под управлением популярных свободно распространяемых СУБД, таких как PostgreSQL и MySQL;
приемлемая для небольшого предприятия связи стоимость решения: как правило, такие решения стоят не более трех-четырех тысяч долларов, что является приемлемой суммой даже для небольших операторов связи.
Характерный пример системы, относящейся к данному классу - АСР «Профессиональная биллинговая система UTM». Автоматизированная система расчетов UTM [37], выпускаемая фирмой NetUP, предназначена для осуществления комплексного обслуживания абонентов предприятий связи. Система UTM ориентирована на финансовые взаиморасчеты и ведение бухгалтерского учета. Говоря упрощенно, UTM позволяет вести в компьютерной БД счета пользователей и выподнять автоматизированное списание с них средств, в соответствии с объемом предоставленных тому или иному пользователю услуг. В качестве одной из операций, необходимых для осуществления перечисленных действий, UTM выполняет подсчет объема сетевых ресурсов использованных потребителем.
Открытая архитектура мультиконвейерной обработки потока информации, основанная на графе обработки информации
Основная идея разработанной открытой архитектуры мультиконвейерной обработки потока информации, заключается в том, чтобы представить процесс обработки информации как процесс продвижения этой информации по некоторому ориентированному графу, называемому в дальнейшем графом обработки информации (графом ОИ). В случае подсистемы ОИ речь, конечно же, идет об учетной информации, которую она и обрабатывает. Продвижение информации по графу выполняется по его дугам, а с каждой вершиной графа сопоставлен некоторый набор действий. Продвижение может осуществляться сразу по нескольким путям, т.е. по нескольким конвейерам. Набор действий, сопоставленных вершине, выполняется над информацией, проходящей через эту вершину в момент прохождения информации через нее. Такой набор действий, сопоставленных одной вершине, реализует какую-либо одну операцию по обработке данных. При этом одна вершина выполняет одну операцию и эта операция должна быть атомарной в контексте того программного средства, для построения которого применяется описываемая архитектуpa. Требование сопоставления одной вершине одной атомарной операции обусловлено желанием достичь максимальной гибкости, для чего необходима возможность по-разному компоновать операции. Если же операция не является атомарной, то, следовательно, она сама состоит из некоторых атомарных действий, компоновка которых более или менее жестко зафиксирована, что сделает систему, использующую такую операцию менее гибкой.
Таким образом, можно говорить, что вершины графа ОИ - это элементарные операции, которые могут выполняться над информацией, а дуги графа определяют порядок применения этих операций к обрабатываемым данным. Следовательно, граф ОИ в целом определяет, какая процедура обработки будет применена к информации, проходящей через него.
Подход, основанный на применении графа ОИ, позволяет посмотреть на процесс обработки информации под несколько нетрадиционным углом зрения и представить процедуру обработки информации в виде наглядной, а, следовательно, и более понятной разработчику и пользователю схемы. Кроме того, данный подход побуждает разработчика выделять в процедуре обработки информации отдельные модули и четко формулировать функции этих модулей. В дополнение к этому, рассматриваемый подход может быть реализован таким образом, что пользователь программных средств, построенных на его основе, получит широкие возможности по изменению процедуры обработки информации применяемой этими средствами. В настоящей работе разработана открытая архитектура построения программных средств, основанная на изложенном выше подходе и реализована технология, позволяющая применять эту архитектуру и добиться высокой гибкости разрабатываемых программных средств.
Изначально архитектура мультиконвейерной обработки потока информации на основе графа ОИ, разрабатывалась исключительно как внутренняя архитектура подсистемы ОИ. Однако, в ходе исследования различных вопросов, связанных с построением подсистемы ОИ, был сделан вывод о том, что такая архитектура может быть успешно использована при решении целого ряда задач с сохранением ее достоинств и преимуществ. В частности, можно утверждать, что эта архитектура может быть эффективно применена для разработки различных программных средств, обрабатывающих информацию, представляющую собой последовательность достаточно большого числа относительно небольших записей некоторого известного формата, поступающих на обработку одна за другой. Далее в тексте информация такого сорта будет называться потоком информации. В качестве простейшего примера программных средств, относящихся к данному классу, можно привести обработчик журналов различных сетевых служб и обработчик сообщений, которые сетевые устройства отправляют на станцию слежения за состоянием сети по протоколу SNMP.
Как уже было отмечено, с каждой вершиной графа ОИ сопоставлен некоторый набор действий, которые выполняются над проходящей через эту вершину информацией. В разработанной архитектуре вершина с сопоставленным ей набором действий называется узлом графа ОИ или узлом обработки информации. Помимо функциональных элементов в состав каждого узла входят также интерфейсные элементы, называемые слотами. Эти слоты используются для организации связей между узлами, причем связи могут организовываться по принципам один к одному, один ко многим, многие к одному и многие ко многим. Слоты являются однонаправленными, т.е. каждый слот может предназначаться либо только для приема информации, либо только для ее передачи. Слоты являются типизированными, т.е. каждому слоту соответствует четко определенный формат данных, которые могут быть приняты или переданы по связям, организованным через данный слот. Связь, которой, очевидным образом, соответствует дуга графа ОИ, может быть создана только между двумя слотами, поддерживающими совместимые форматы информации. Формат информации может и, как правило, должен изменяться в процессе ее обработки, поэтому формат информации, поддерживаемый принимающими слотами узла, как правило, отличается от формата информации, поддерживаемого передающими слотами этого же узла. Узлы могут получать информацию извне графа, такие узлы являются точками входа информации в граф, и могут выполнять передачу информации наружу графа, такие узлы называются точками выхода информации из графа. Операции по обработке информации, которые узел производит над проходящими через него данными, могут быть выполнены как непосредственно сразу же при их поступлении, так и с некоторой задержкой после того, как данные были получены. Последнее может потребоваться, например, для синхронизации процесса обработки данных по системным часам или для выполнения группировки поступающих данных по тем или иным признакам. Возможно и комбинирование двух указанных подходов, когда часть обработки выполняется непосредственно при получении данных, а часть - в отложенном режиме.
Применение механизма «списков доступа» для определения классов информационных потоков
Общая схема архитектуры системы управления распределением телекоммуникационных ресурсов сети представлена на рисунке 4.1. Система состоит из следующих компонент: « модуль мониторинга текущего распределения телекоммуникационных ресурсов; модули мониторинга микропотоков; внутренняя база данных; модуль вычисления ограничений; модули резервирования; модули управления маршрутизаторами.
Неотъемлемой частью системы управления распределением телекоммуникационных ресурсов является также и конфигурационный файл, в котором хранятся все параметры работы системы управления.
Работа системы управления осуществляется по следующей схеме: Модули мониторинга собирают информацию, необходимую для распределения емкости каналов и помещают ее во внутреннюю БД. Модуль вычисления ограничений использует данные из внутренней БД и рассчитывает ограничения для каждого канала, в соответствии с набором параметров, определенных в конфигурационном файле.
Вычисление ограничений производится с помощью основного алгоритма, рассмотренного в параграфе 4.7.1 и с использованием модулей резервирования.
Вычисленные значения ограничений передаются модулям управления маршрутизаторами, которые выполняют непосредственную установку этих ограничений на сетевых устройствах, используя те или иные механизмы, специфичные для конкретных моделей маршрутизаторов.
В разработанной системе управления распределением телекоммуникационных ресурсов под информационным потоком (ИП) понимается последовательность IP пакетов с фиксированными значениями полей адреса отправителя, адреса получателя, номера порта отправителя, номера порта получателя и типа протокола четвертого уровня. Определение множества информационных потоков, формирующих класс информационных потоков (КИП), осуществляется с помощью механизма так назы ваемых списков доступа. Список доступа - это упорядоченная последовательность правил, которая позволяет задать некоторое произвольное множество информационных потоков. Каждое правило в списке доступа состоит из фильтра и признака включения или исключения ИП, соответствующих данному фильтру, во множество потоков, описываемое данным списком доступа. Фильтр в правиле списка доступа определяет допустимые для данного правила тип протокола четвертого уровня (TCP или UDP), диапазоны адресов отправителей, адресов получателей, номеров портов отправителя и номеров портов получателя. Диапазоны адресов описываются с помощью пар (IP адрес; маска сети), которые интерпретируются стандартным для IP сетей образом: некоторый ГР адрес ip_addr принадлежит множеству адресов, определяемому парой (ip_net; mask) тогда и только тогда, когда совпадают результаты логических операций ip_addr & mask и ip_net & mask, где & обозначает побитовую операцию «логическое И», a ip_addr, ip_net и mask интерпретируются как последовательность битов. Формальное описание синтаксиса определения списка доступа приводится в Приложении I.
Проверка на принадлежность какого-либо ИП некоторому КИП выполняется следующим образом: производится последовательный просмотр правил списка доступа, определяющего данный КИП. Для каждого правила выполняется проверка, соответствует ли исследуемый ИП фильтру данного правила. Если ИП соответствует фильтру, то на основании значения признака включения или исключения, принимается решение о том, принадлежит ли данный ИП данному КИП или не принадлежит, соответственно.
Определенные таким или аналогичным образом списки доступа весьма распространены и часто применяются для различных целей при решении задач системного и сетевого администрирования. Поскольку применение широко распространенных, известных, не требующих дополнительного изучения и проверенных подходов в тех случаях, когда это возможно дает, как правило, хорошие результаты и, учитывая, что описанные списки доступа позволяют полностью решить задачу определения КИП, их применение можно считать оправданным.
Следует отметить, что большое значение имеет тот факт, что в соответствии с требованиями разработанного метода распределения емкости телекоммуникаци онного канала, КИП не должны пересекаться и должны полностью покрывать все множество ИП, проходящих через канал передачи данных, в котором выполняется управление распределением пропускной способности. Задача автоматического объединения и пересечения нескольких списков доступа, а также проверки их пересечения на пустоту в настоящей работе не решалась. Поэтому автоматическая проверка того, что заданные администратором КИП являются не пересекающимися и действительно покрывают все множество возможных информационных потоков не производится. В силу этого, задача корректного разбиения всех ИП на классы ложится на плечи администратора системы.
Если некоторые потоки не будут входить ни в один КИП, то для таких потоков не будет вычислено и установлено ограничение и такие потоки смогут беспрепятственно использовать ресурсы канала передачи данных. Это приведет к тому, что работа системы управления распределением не даст желаемого результата, а, возможно, даже несколько ухудшит общее качество работы канала. Последнее возможно, когда существенная часть пропускной способности канала будет занята ИП, не попавшими ни в один из КИП. В результате этого пропускная способность, доступная сконфигурированным КИП будет существенно меньше, нежели общая пропускная способность канала. А последнее будет следствием того, что система управления работает с неверными начальными данными.
Попадание одного и того же ИП более чем в один КИП также будет иметь негативные последствия. В этом случае пропускная способность для такого ИП будет выделена столько раз, сколько существует КИП, в которые он попадает. А, следовательно, остальным КИП, будет выделено меньше пропускной способности, чем было бы выделено, если бы упомянутый ИП попадал только в один КИП.
