Содержание к диссертации
Введение
1. Анализ сети передачи данных на железнодорожном транспорте 11
1.1. Структура сети передачи данных ОАО «РЖД» и её отдельных компонентов 11
1.2. Общая характеристика типов трафика СПД ОАО «РЖД» 22
1.3. Постановка задачи обеспечения качества обслуживания с учетом интегрированного характера нагрузки СПД ОАО «РЖД» 29
1.4. Выводы по главе 36
2. Анализ и разработка моделей пакетной нагрузки в сетях передачи данных на железнодорожном транспорте 38
2.1. Самоподобный телетрафик 38
2.2. Классические методы статистического анализа 41
2.3. Фрактальные методы статистического анализа 45
2.4. Эксперимент по сбору трафика в сети передачи данных ОАО "РЖД" 49
2.5. Анализ результатов эксперимента 62
2.6. Моделирование пакетной нагрузки СПД 82
2.7. Выводы по главе 87
3. Моделирование системы обработки пакетной нагрузки 89
3.1.Модели СМО в системах обработки пакетной нагрузки 89
3.2. Технологии реализации и критерии оценки качества обслуживания в системах обработки пакетной нагрузки 96
3.3. Архитектура дифференцированного обслуживания 101
3.4. Алгоритмы контроля и управления трафиком 107
3.5. Модель системы обработки нагрузки на основе архитектуры дифференцированного обслуживания 115
3.6. Выводы по главе 128
4. Оценка качества обслуживания нагрузки в сетях передачи данных на железнодорожном транспорте на примере участка магистрального сегмента спд между октябрьской железной дорогой и ГВЦ 131
4.1. Анализ результатов имитационного моделирования процесса обеспечения качества обслуживания 131
4.2. Выводы по главе 144
Заключение 145
Список литературы
- Общая характеристика типов трафика СПД ОАО «РЖД»
- Постановка задачи обеспечения качества обслуживания с учетом интегрированного характера нагрузки СПД ОАО «РЖД»
- Эксперимент по сбору трафика в сети передачи данных ОАО "РЖД"
- Алгоритмы контроля и управления трафиком
Введение к работе
Исследования информационных процессов обработки и распространения информации в современных цифровых телекоммуникационных системах свидетельствуют о специфической природе явлений, происходящих в них, не укладывающейся в традиционные рамки известных моделей случайных процессов. Речь идет о свойствах масштабной инвариантности или самоподобия статистических характеристик информационного потока. В последние десятилетия такие свойства были выявлены у так называемого интегрированного сетевого трафика, порождаемого различными приложениями от видеоконференцсвязи и файл-серверных приложений до доступа к Web-ресурсам и др. При этом методы расчета пропускной способности каналов и емкости буферов, основанные на марковских моделях и формулах Эрланга, с успехом используемые при анализе телефонных сетей, не всегда дают правильные результаты для сетей с коммутацией пакетов и приводят к недооценке нагрузки. Рабочие параметры систем с самоподобным трафиком отличаются от параметров, рассчитанных для систем с простейшим потоком на входе.
Исследованию свойств интегрированного трафика систем передачи информации с пакетной коммутацией посвящены работы российских и зарубежных ученых - Г.П. Башарина, Б.С. Гольдштейна, Г.В.Горелова, У. Леланда, В.И. Неймана, О.Н. Ромашковой, У. Столлингса, У.Уиллингера, А.Эррамили и др.
В условиях необходимости включения в телекоммуникационные системы новых узлов и роста объемов передаваемой информации проблема увеличения эффективности обработки информационного потока путем оптимизации вероятностно-временных характеристик информационных систем становится одной из наиболее приоритетных. Одним из путей является исследование процессов в компьютерных сетях, построение имитационных моделей с учетом реальных характеристик входного потока данных и формирование на базе полученного і математического описания моделей систем обработки и управления сетевым трафиком.
Сеть передачи данных (СПД) является основой телекоммуникационной системы открытого акционерного общества «Российские железные дороги» (ОАО «РЖД»), обеспечивающей информационный обмен и некоторые виды обработки данных. Это транспортная инфраструктура для передачи трафика приложений общетехнологического назначения, в том числе видео и голоса. Несмотря на то, что основа сети уже сформирована, задача её дальнейшего развития и усиления транспортной функции остается одной из приоритетных проблем железнодорожного комплекса России. При увеличении числа пользователей, вводе в эксплуатацию новых автоматизированных систем и, соответственно, росте объема интегрированного трафика проблема учета его самоподобных свойств может потребовать значительных изменений в структуре существующей телекоммуникационной системы, что делает задачу разработки методики исследования нагрузки в СПД весьма актуальной.
Целью диссертационной работы является разработка методов исследования, моделирования и обработки пакетной нагрузки СПД ОАО «РЖД».
Для достижения поставленной цели в работе поставлены и решены следующие основные задачи.
Анализ существующих методов моделирования пакетной нагрузки в телекоммуникационных системах с интегрированным характером трафика.
Разработка статистической модели пакетной нагрузки магистрального сегмента СПД ОАО «РЖД».
Разработка имитационной модели системы обработки пакетной нагрузки магистрального сегмента СПД ОАО «РЖД».
Анализ методов обеспечения качества обслуживания пакетной нагрузки в телекоммуникационных системах, выбор критериев оценки и основных требований к качеству передачи в технологической сети с коммутацией пакетов.
Разработка методики оценки качества обслуживания нагрузки магистрального сегмента СПД ОАО «РЖД».
В работе использованы методы теории самоподобных процессов, теории телетрафика, математического анализа, теории вероятностей и математической статистики, теории массового обслуживания.
В работе получены и выносятся на защиту следующие новые научные результаты.
Методика экспериментального исследования пакетного трафика СПД ОАО «РЖД» и результаты её применения для участка ГВЦ - ИВЦ Октябрьской железной дороги.
Методика имитационного моделирования самоподобного пакетного трафика СПД ОАО «РЖД» и результаты её применения для участка ГВЦ - ИВЦ Октябрьской железной дороги.
Методика имитационного моделирования системы обработки самоподобного пакетного трафика СПД ОАО «РЖД» и результаты её применения для участка ГВЦ - ИВЦ Октябрьской железной дороги.
Основанные на применении разработанных методик рекомендации по выбору технических параметров телекоммуникационных систем ОАО «РЖД» и системы обработки пакетного трафика участка СПД ГВЦ - ИВЦ Октябрьской железной дороги в частности.
Практическая ценность заключается в использовании рекомендаций по выбору технических параметров телекоммуникационных систем при решении задач их анализа и моделирования, а также для построения системы учета, классификации и мониторинга трафика СПД ОАО «РЖД».
Разработанные модели и методы внедрены в филиале ОАО «РЖД» «Главный вычислительный центр», а также ЗАО "Микротек-Телеком". Представленные методики и рекомендации использованы при решении задач анализа как уже функционирующих, так и находящихся на стадии проектирования сегментов вычислительной сети, что подтверждено соответствующими актами.
Материалы диссертации использованы в учебном процессе на кафедре «Радиотехника и электросвязь» МИИТа.
Апробация работы выполнена на заседаниях кафедры «Радиотехника и электросвязь» МИИТа, на Шестой международной научно-технической конференции Перспективные технологии в средствах передачи информации -ПТСПИ'2005 Россия, Владимир - Суздаль, на научно-практической конференции «Неделя науки - 2005», МИИТ, Москва.
Материалы диссертации использованы в НИОКР «Исследование характеристик функционирования цифровых телекоммуникационных систем и сетей ж. д. транспорта», тема № 101Н/04-179Н/04 (заказчик -Российский научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи (ВНИИАС МПС России)).
По материалам диссертации опубликовано 9 печатных работ.
Общая характеристика типов трафика СПД ОАО «РЖД»
Инфраструктура СПД обеспечивает передачу трафика информационных и управляющих систем ОАО «РЖД». Сюда относят системы управления перевозками, дислокации вагонного парка, фирменного транспортного обслуживания, контейнерного парка.
На уровне дорожного сегмента также строятся сети оперативно-технологического назначения, объединяющие диспетчерские узлы, і оперативные .АРМ, серверы и оборудование сбора данных. Это позволяет автоматизировать процесс сбора первичной информации о состоянии объектов транспорта и ее передачи в объединенные дорожные и региональные центры управления, откуда информация передается автоматизированным системам управления (АСУ) перевозками в ГВЦ.
Трафик СПД включает в себя также информацию, поступающую из локальных вычислительных сетей (ЛВС) комплекса предприятий центрального подчинения. Это может трафик клиент-серверных приложений технологического характера, WEB-приложений, голос, видео и данные, передаваемые с связи с реализацией программы телемедицины и дистанционного обучения и повышения квалификации. Подключение . отраслевых учебных заведений к СПД позволяет студентам получать актуальную информацию о производственных технологических задачах отрасли [4].
В системах телемедицины и дистанционного обучения широкое применение получило использование такого вида связи как видеоконференцсвязь (ВКС). Эта технология в последнее время всё более активно применяется в деятельности ОАО «РЖД». Её используют при проведении наиболее важных совещаний и конференций, а также в ходе презентационных акций. При этом важную роль играет документирование конференций - запись на различные носители информации, в том числе и на дисковые массивы сетей хранения данных (SAN). Применение средств ВКС существенно сокращает время принятия решений, позволяет избежать как прямых, так и косвенных расходов - в частности, расходов на командировки, а также, что немаловажно, даёт возможность живого общения со специалистами в нескольких местах одновременно.
Значительный объём информации проходит через линии СПД в рамках проекта «Телемедицина МПС», предназначенного для повышения і качества принятия решений лечебным и управленческим персоналом и автоматизации профилактических, диагностических, лечебных и управленческих процессов на основе интегрированной базы данных. Основным типом трафика являются медицинские изображения, которые весьма ресурсоемки, их размер может колебаться от 500 кбайт до 50 Мбайт [6].
Система предусматривает также проведение удаленных медицинских консультаций в реальном времени и по электронной почте. При этом между участниками консультаций устанавливается двусторонняя видео- и аудиосвязь, требующая от цифрового канала СПД оптимальной пропускной способности в 1,5 Мбит/с. При этом опыт показывает, что возможно проведение консультаций и при пропускной способности 128 кбит/с.
Одновременно СПД служит транспортной системой для электронной почты, Интранета, корпоративных WEB-порталов и 1Р-телефонии.
Электронная почтовая система (ЭПС), созданная на базе СПД ОАО «РЖД» при участии компании Digital Design, призвана обеспечить единое информационное пространство для обмена электронными почтовыми сообщениями между отраслевыми подразделениями и выполнить роль технологической платформы для организации электронного документооборота. В структуре ЭПС выделяют 17 региональных единиц, имеющих сложную административно и территориально распределенную структуру и включающих в себя около 200 серверов. Количество абонентов приближается к 50000 [7]. Система построена на базе открытых стандартов электронной почты и служб каталога: простой протокол передачи электронной почты (SMTP), почтовый протокол (РОРЗ), протокол интерактивного доступа к электронной почте (IMAP) а также облегчённый протокол доступа к сетевому каталогу (LDAP), что позволило объединить уже используемые системы от различных і производителей.
Постановка задачи обеспечения качества обслуживания с учетом интегрированного характера нагрузки СПД ОАО «РЖД»
Задача обеспечения качества обслуживания в СПД состоит в эффективном обслуживании приложений технологического характера без сокращения при этом их функциональности и производительности. Для решения данной задачи прежде всего требуются методы управления такими параметрами, как полоса пропускания и потеря пакетов. Необходимость использования механизмов обеспечения QoS на уровне магистральных маршрутизаторов обусловлена несовпадением скоростей при переходе в этих точках от LAN, например, ЛВС дороги или ГВЦ, к WAN на магистрали (рис. 1.10). Это несовпадение является главной причиной переполнений буферов и резкого снижения производительности сети.
Различные типы нагрузки требуют различных методов обеспечения качества обслуживания. В [9, 14, 15] проведен анализ требований к параметрам QoS общих типов приложений, результаты которого представлены в табл. 1.2.
Трафик объединенных сетей разделяется на две категории: так называемый эластичный и неэластичный. К эластичному трафику, который может приспосабливаться к изменениям задержки и пропускной способности, относят трафик приложений по передаче данных, использующих протокол передачи данных (FTP), электронную почту, работающую по протоколу SMTP, WEB-доступ по протоколу передачи гипертекстовых файлов (HTTP). К неэластичному же трафику относят, как правило, трафик реального времени и трафик критически важных приложений (приложения систем управления предприятием (ERP), базы данных Oracle). Оба типа трафика представлены в СПД ОАО «РЖД».
Рассмотрим загрузку каналов магистрального сегмента СПД ОАО «РЖД». В качестве типового с точки зрения топологии и технических параметров будем рассматривать в дальнейшем канал участка ГВЦ - ИВЦ Октябрьской ж.д. (рис. 1.11). Анализ данных об уровне входящего и исходящего трафика, собранных средствами системы хранения, и отображение данных мониторинга RRDtool [13] с интервалом 5 мин на протяжении 31 дня с 12.01.2005 по 12.02.2005, показал следующее:
1. Каналами с наибольшей загрузкой являются каналы связи ГВЦ с ИВЦ Северо-Кавказской, Свердловской, Московской и Октябрьской железными дорогами.
2. Средняя загрузка магистральных каналов составляет около 50% от пропускной способности. В часы наибольшей нагрузки (с 11.30 - до 17.30) загрузка магистральных каналов превышает и может превышать 80%.
Кроме того была проанализирована информация о потерях пакетов (рис. 1.12), что дало возможность сделать вывод о её существенном уровне (свыше 1%) в часы наибольшей нагрузки и опасном влиянии на трафик приложений на основании WEB-доступа и передачи файлов (ЭТРАН, телемедйцина, оперативная отчетность). Необходимо отметить, что эти потери практически не связаны с физическим качеством канала, о чем свидетельствует распределение числа ошибок на соответствующем интерфейсе магистрального маршрутизатора, представленное на рис. 1.13, а связаны с некорректной настройкой параметров обработки очередей.
На основании проведенного анализа представленных данных можно сделать вывод, что при существующем уровне трафика и конфигурации в СПД ОАО «РЖД» наблюдается работа с перегрузкой и существенным уровнем потерь пакетов в часы наибольшей нагрузки. В условиях роста объемов передаваемой информации в связи с увеличением числа абонентов сети задача обеспечения качества обслуживания для приложений, чувствительных к ограничению полосы пропускания, задержкам и потере пакетов (голос, видео, FTP, HTTP, ERP приложения, база данных Oracle) требует современных методов решения, учитывающих специфические свойства интегрированного трафика сетей с коммутацией пакетов. Такие методы требуют исследования трафика сети передачи данных с целью выявления его фрактальных свойств и разработки имитационной модели с учетом реальных вероятностных характеристик входящего потока данных.
Эксперимент по сбору трафика в сети передачи данных ОАО "РЖД"
С целью исследования реального трафика и выявления его характерных особенностей был проведен сбор статистики трафика СПД Октябрьской железной дороги. Анализ его результатов позволит подойти к решению проблемы увеличения эффективности обработки нагрузки в СПД ОАО «РЖД».
Эксперимент предполагал следующие этапы: - сбор и анализ нагрузки магистрального сегмента СПД ОАО "РЖД"; - оценка степени самоподобия нагрузки магистрального сегмента СПД ОАО "РЖД". Для сбора данных использовался участок магистрального сегмента СПД ОАО «РЖД» между Главным вычислительным центром и і Октябрьской, железной дорогой. Был рассмотрен один Е1 канал, предоставленный компанией «Транстелеком» и используемый для соединения ГВЦ и ИВЦ Октябрьской железной дороги.
Сбор статистики проводился с помощью системы управления HP Open View [34] и, в частности, программы Open View Windows Network Node Manager Release В.06.41 (NNM) [35].
Программа HP Open View Network Node Manager является ядром всего семейства HP Open View, обеспечивающим четкое и полное интуитивное графическое представление всей сети. С помощью NNM можно поддерживать необходимую производительность сети, ее доступность и своевременно реагировать на рост сети и изменение ее топологии. NNM позволяет организовать удаленный доступ из произвольной точки сети с помощью консоли как на Windows NT так и на UNIX. Одним из достоинств NNM является возможность его интегрирования с приложениями третьих фирм для управления рабочими станциями, например, с HP Open View Desktop Administrator и Microsoft Systems Management Server, что позволило установить полный контроль над сетью и рабочими станциями.
Опишем архитектуру NNM. Network Node Manager позволяет организовать двухуровневую систему управления и мониторинга. Управляющая станция обеспечивает совместную работу нескольких собирающих станций. Собирающая станция осуществляет мониторинг только той части сети, которая ей выделена администратором, за счет чего может быть значительно снижена нагрузка на сеть. Управляющая станция получает всю информацию от собирающих станций и создает на этой основе целостную картину всей сети. При этом она сама может быть собирающей станцией при соответствующей настройке.
При проведении сбора статистической информации об информационном трафике были использованы возможности браузера DMI і (Desktop Management Interface), обеспечивающего доступ в реальном масштабе времени к удаленным агентам DMI и данным управления.
На графической схеме магистрального сегмента на порту маршрутизатора Октябрьской железной дороги средствами Network Node Manager были установлены правила сбора информации о трафике (Data Collection & Thresholds). В качестве статистических параметров в исследовании рассматривались средний размер пакета и число пакетов, являющиеся одними из основными факторов для определения загрузки сети.
Правила сбора информации NNM были настроены для сбора следующих значений: IfPktSizeSent, IfPktSizeRcvd, IfAUOutPackets и IfAllInPackets для каждого из четырех интерфейсов. IfPktSizeSent - средний размер пакетов, отправленных с интерфейса, рассчитываемый по формуле IfOutOctets ч IfOutUcastPkts + IfOutNUcastPkts где IfOutOctets - общее число октетов (байтов), отправленных с интерфейса, IfOutUcastPkts - общее число однонаправленных пакетов, IfOutNUcastPkts - общее число неоднонаправленных пакетов. Аналогичным образом рассчитывается значение IfPktSizeRcvd -средний размер пакетов, полученных на интерфейсе. IfAUOutPackets - общее число пакетов, отправленных с интерфейса, рассчитываемый по формуле IfOutUcastPkts + IfOutNUcastPkts . (4.31)
Аналогично рассчитывается значение IfAllInPackets - общее число пакетов, полученных на интерфейсе.
Алгоритмы контроля и управления трафиком
Для управления интенсивностью и сглаживания профиля передаваемого по сети трафика существуют два основных способа: шейпинг (Traffic Shaping) и полисинг (Traffic Policing) [44 - 45] (рис. 3.5). Шейпинг сглаживает трафик и пересылает его с постоянной интенсивностью (согласованной скоростью передачи) путем постановки в очередь (буферизации) пакетов, интенсивность передачи которых превысила заданное значение. Механизм полисинга в свою очередь просто отбрасывает пакеты, интенсивность которых выше согласованной скорости передачи.
Алгоритм полисинга в отношении трафика, обладающего высокой пачечностью, оказывается неэффективным: чтобы достичь приемлемых показателей потерь, необходимо значительно увеличить пропускную способность канала, снизив при этом утилизацию (коэффициент использования) в канале. В свою очередь шейпинг не допускает отбрасывания пакетов, это делает его привлекательным для управления передачей информации реального времени (голос, видео). С другой стороны он вносит задержки, связанные с буферизацией, что отрицательно сказывается на характеристиках передаваемого трафика.
Алгоритмы полисинга и шейпинга как правило основываются на так называемом принципе «корзины маркеров» (Token Bucket) или его модификациях[86].
Трафик в механизме «корзина маркеров» задается пиковым размером Вс за определенный интервал времени Тс. При этом интенсивность CIR генерирования маркеров определяется следующим образом CIR = BC/TC. (3.1)
Пакеты трафика, не превышающие пиковый размер, пропускаются на выход без задержки, а остальные отбраковываются. Механизм Token Bucket, включающий буфер для маркеров размером Вс , представлен на рис. 3.6.
Буфер заполняется маркерами с заданной интенсивностью. Если буфер переполнен, но вновь генерируемый маркер теряется. Пакет размера L, поступающий на вход Token Bucket, передается на выход системы только если в буфере имеется L маркетров. При этом содержимое/буфера уменьшается на L. Иначе пакет отбраковывается. Алгоритм работы рассмотренного механизма представлен на рис. 3.7.
Слева представлен алгоритм работы классификатора пакетов, а справа - алгоритм наполнения буфера маркеров.
Следует отметить одновременное выполнение правой и левой части алгоритма. Так как поступление маркеров происходит с постоянной интенсивностью CIR, можно утверждать, что минимальная интенсивность обработки поступающих пакетов равна интенсивности поступления маркеров.
Алгоритм шейпинга отличается от полисинга только наличием дополнительного буфера для входящего потока пакетов (рис. 3.8).
При этом алгоритме пакеты, которые не соответствуют заданному пиковому значению, не отбраковываются как в режиме полисинга, а буферизуются. Алгоритм схемы шейпинга представлен на рис. 3.9. Буферизация пакетов приводит к сглаживанию профиля трафика на выходе, что позволяет уменьшить потери при его дальнейшей обработке.
Благодаря наличию буфера для пакетов данная схема наряду с уменьшением показателя потерь вносит задержки, что в некоторых случаях ограничивает ее применение для систем обработки информации реального времени. Если буфер заполнен полностью, то вновь прибывающие пакеты сбрасываются до тех пор, пока (в результате обработки накопленных пакетов) в буфере не станет достаточно места для их хранения.
Таким образом, процедуру шейпинга также можно классифицировать как метод статического задания пропускной способности, но несколько более гибкий, чем полисинг, поскольку он позволяет не сразу отбрасывать неконформные пакеты, а буферизует их и обрабатывает при первой возможности.
