Содержание к диссертации
Введение
Обзор существующих решений и сущность проблемы мониторинга и диагностики сетей передачи данных регионального оператора связи 14
1.1 Анализ существующих систем управления сетями и место в них задач мониторинга и диагностики сетевых процессов 14
1.2 Анализ основных видов деятельности администратора сети передачи данных и экспертная оценка критического множества задач по управлению сетевыми ресурсами 21
1.3 Анализ существующих методов мониторинга и диагностики сетевых аномалий 26
1.3.1 Сигнатурный анализ 28
1.3.2 Статистические методы 31
1.3.3 Интеллектуальные системы 40
1.4 Анализ существующих методов и приемов поддержки принятия решений для задач мониторинга и диагностики состояния сети передачи данных 43
1.4.1 Обобщенная схема принятия решения 44
1.4.2 Типы управленческих решений и формы их поддержки 47
1.4.3 Требования к СППР должностных лиц предприятия связи по управлению сетью передачи данных 52
1.5 Характеристики и сравнительный анализ СППР, основанных на знаниях 54
1.5.1 Структура СППР, основанных на знаниях 54
1-.5.2 Классификация функциональных применений СППР, основанных на знаниях, в исследуемой предметной области 57
1.5.3 Организация знаний в базе знаний интеллектуальной системы 58
1.6 Цели и задачи исследования 63
1.7 Выводы 65
Теоретические основы и математическое обеспечение интеллектуальной СППР для диагностики состояния сети передачи данных 67
2.1 Математическая модель сигнатурного анализатора сетевого трафика 67
2.2 Математическая модель статистического анализатора сетевого трафика 72
2.3 Математическая модель нечеткой интеллектуальной системы для диагностики состояния сети передачи данных 82
2.3.1 Определение состава и характеристики входных и выходных переменных нечеткой интеллектуальной системы 84
2.3.2 Математическая модель нечеткой базы знаний 88
2.3.3 Модели функций принадлежности лингвистических переменных 92
2.3.4 Математическая модель системы нечеткого логического вывода и дефаззификация выходного показателя 94
2.3.5 Задача оптимизации нечеткой базы знаний и методы её решения 100
2.4 Выводы 103
Структура, состав, алгоритмическая и программная реализация интеллектуальной СШІР для диагностики состояния сети передачи данных 106
3.1 Общие принципы построения и структурная схема интеллектуальной СППР для диагностики состояния сети передачи данных 106
3.2 Операционная схема методики разработки интеллектуальной СППР для диагностики состояния сети передачи данных 113
3.3 Выбор инструментальных средств разработки интеллектуальной СППР для диагностики состояния сети передачи данных 118
3.4 Алгоритмическая реализация интеллектуальной СППР для диагностики состояния сети передачи данных 124
3.4.1 Структура входных данных для мониторинга состояния сети передачи данных 125
3.4.2 Алгоритм мониторинга состояния сети передачи данных 130
3.4.3 Алгоритмическая реализация статистического анализатора 131
3.4.4 Алгоритмическая реализация сигнатурного анализатора 134
3.5 Разработка нечеткой интеллектуальной системы 138
3.5.1 Структурная схема нечеткой интеллектуальной системы 138
3.5.2 Процедура разработки нечеткой интеллектуальной системы 145
3.6 Особенности программной реализации СППР 146
3.7 Выводы 151
Экспериментальные исследования работоспособности и эффективности интеллектуальной СППР для диагностики состояния сети передачи данных 153
4.1 Методика тестирования и оценки эффективности программных средств интеллектуальной СППР 153
4.2 Результаты тестирования программных средств системы 169
4.3 Оценка работоспособности и эффективности программных средств системы 170
4.4 Оценка экономической эффективности внедрения интеллектуальной СППР 174
4.5 Настройка нечеткой базы знаний интеллектуальной системы 176
4.6 Выводы 185
Заключение
- Анализ существующих систем управления сетями и место в них задач мониторинга и диагностики сетевых процессов
- Математическая модель сигнатурного анализатора сетевого трафика
- Общие принципы построения и структурная схема интеллектуальной СППР для диагностики состояния сети передачи данных
- Методика тестирования и оценки эффективности программных средств интеллектуальной СППР
Введение к работе
Актуальность проблемы. Телекоммуникация и сетевые технологии являются в настоящее время той движущей силой, которая обеспечивает поступательное движение вперед всей мировой цивилизации. Сегодня практически нет ни одной области человеческой деятельности, которая не использовала бы возможности современных информационных технологий на базе телекоммуникаций.
В 1980-х годах произошло слияние отраслей компьютерных наук и передачи данных, коренным образом изменившее индустрию компьютерной передачи информации. В результате таких революционных объединений в области компьютерной передачи данных произошло следующее:
• практически отсутствуют значительные отличия между обработкой информации (которая выполняется на компьютере) и передачей данных (которая выполняется аппаратурой передачи и коммуникации);
• сгладились различия между многопроцессорными и однопроцессорными компьютерами, локальной, региональной и глобальной сетями;
• отсутствуют значительные отличия в передаче данных, голоса и изображения.
В настоящее время мы являемся свидетелями развития интегрированных мультисервисных сетей передачи данных (СПД), выполняющих обработку и передачу всех типов данных и информации, что позволяет легко получить доступ к этим ресурсам практически в любой точке мира. Поэтому справедливо рассматривать современную СПД как сеть телекоммуникационных услуг, которая обеспечивает предоставление таких услуг, как высокоскоростной и широкополосный доступ в Интернет (по выделенным и коммутируемым каналам связи), доступ к специализированным информационным системам (ИС), организация корпоративных сетей передачи данных, виртуальных частных сетей (VPN), предоставление сетевых сервисов виртуальных соединений, передача голоса с использованием технологии VoIP, Web-хостинг и др. СПД, являясь сложной организационно-технической системой, должна обеспечить бесперебойную полноценную функциональность всех компонентов и гарантировать предоставление услуг пользователям независимо от времени суток.
Функционирование такой сложной системы обеспечивает система управления сетью, которая выполняет полный и непрерывный контроль за всеми элементами сети, своевременное обнаружение ошибок, неисправностей, сбоев и отказов оборудования, программного обеспечения, управление конфигурациями сетевых узлов, резервное копирование и восстановление всех элементов сети, управление сетевым трафиком и политикой безопасности.
С ростом размеров и топологии сети усложняется задача управления всеми процессами. Традиционный подход, который реализован в более простых СПД, основан на наблюдении за сетью и сборе информации (этот процесс называется мониторингом сети). В случае сложной сети трактовка результатов наблюдения - это задача для специалиста-эксперта по сетевому управлению. Эксперт, во-первых, должен отлично знать все используемое оборудование и программное обеспечение, чтобы быстро интерпретировать изменения каких-либо параметров. Во-вторых, он должен держать в уме всю топологию сети, чтобы быстро определить причину и источники таких изменений. В-третьих, при нарушении нормального режима функционирования сети, обычно, генерируется лавина сообщений и он должен уметь выделить из них существенные и отбросить те, которые являются следствием первых. Наконец, на нем лежит административный груз ответственности за эффективное использование огромных ресурсов (дорогостоящего оборудования, каналов связи, обслуживающего персонала). От его работы зависит экономическая эффективность предприятия.
Таким образом, сложное оборудование СПД, большой объем поступающей информации, трудность решения плохо формализуемых и слабо структурированных задач при отсутствии полной и достоверной информации о состоянии элементов сети, короткое время на анализ проблемных ситуаций и принятие решения приводят к несоответствию возможностей человека требованиям эффективно управлять сетью. Выход из данного положения заключается в создании систем поддержки принятия решений (СППР), которые помогали бы лицу, принимающему решения (ЛПР), вырабатывать и принимать рациональные решения. Все это касается и задач, связанных с поддержанием СПД в работоспособном состоянии, обеспечивающем предоставление пользователям сети услуг связи и информатизации в полном объеме.
В связи с этим, разработка и внедрение интеллектуальной СППР для диагностики состояния современной СПД является актуальной научно-технической задачей.
Кроме того, высокий уровень автоматизации и интеллектуализации системы позволит снизить нагрузку на специалистов по управлению СПД (сетевых администраторов), повысит эффективность их действий, увеличит надежность функционирования сети и снизит экономические риски для предприятия связи.
Объект исследования: сети передачи данных, управление которыми осуществляется в условиях неполной и нечеткой информации о сетевых процессах.
Предмет исследования: математическое и программное обеспечение системы поддержки принятия решений для управления диагностикой СПД в условиях отсутствия полной, четкой и достоверной информации о состоянии элементов сети и сетевых процессов.
Исходя из вышеизложенного, настоящая диссертационная работа посвящена разработке принципов функционирования и технологии создания комплексных интеллектуальных систем поддержки принятия решения, основанных на экспертных знаниях, предназначенных для мониторинга, анализа и диагностики состояния элементов мультисервисной сети передачи данных регионального оператора связи.
Целью диссертационной работы является разработка интеллектуальной СППР на базе комплексного подхода к проблеме диагностики состояния сети передачи данных, включающего использование методов сигнатурного и статистического анализа сетевого трафика для детектирования и идентификации сетевых аномалий, интеллектуальных (экспертных) систем реагирования на нештатные сетевые ситуации, а также создание моделей, алгоритмов и программ поддержки профессиональной деятельности специалистов-руководителей в области сетевого управления.
Для достижения этой цели в диссертационной работе решены следующие основные задачи:
• проведен анализ основных видов деятельности администраторов СПД регионального оператора связи по управлению программно-аппаратным комплексом и сетевыми службами;
• проведен анализ существующих методов диагностики сетевых аномалий, являющихся причинами нарушения нормального функционирования сети;
• исследованы существующие методы и приемы поддержки принятия решений для задач управления СПД (в том числе задачи анализа и диагностики элементов сети) регионального оператора связи;
• разработаны математические модели сигнатурного и статистического анализаторов потока пакетов сетевого трафика, нечеткой интеллектуальной (экспертной) системы анализа и реагирования на нештатные ситуации в СПД;
• разработан метод диагностики состояния СПД с использованием процедуры детектирования и идентификации сетевых аномалий на каждом уровне сети;
• разработан комплекс алгоритмов и программ: мониторинга состояния СПД, статистического анализа и детектирования сетевых аномалий;
• разработана интеллектуальная СППР на основе нечеткой логики для диагностики состояния элементов СПД;
• исследована эффективность разработанной интеллектуальной СППР с использованием следующих групп показателей: функциональная пригодность, оперативность, надежность, экономичность системы; • разработана и внедрена в опытную эксплуатацию первая версия программного обеспечения интеллектуальной СППР для диагностики состояния элементов СПД.
Методы исследования. Теоретические исследования проведены с использованием методов теории управления, системного анализа, исследования операций, принятия решений, алгоритмизации, моделирования, оптимизации, инженерии знаний, нечетких множеств и нечеткой логики, математической статистики. Экспериментальная часть работы основана на методах машинного моделирования и вычислительного эксперимента с использованием языков программирования высокого уровня и системы математического моделирования MatLab.
Достоверность научных положений, выводов и рекомендаций диссертационной работы подтверждается полнотой и корректностью исходных посылок, теоретическим обоснованием, основанном на использовании проверенного математического аппарата, результатами экспериментальных исследований и внедрением полученных результатов в практическую деятельность.
Научная новизна проделанной работы заключается в том, что разработан новый подход к построению интеллектуальной СППР для мониторинга, анализа и диагностики состояния СПД, базирующийся на комплексном использовании методов статистического и сигнатурного анализа сетевых аномалий и нечеткой интеллектуальной (экспертной) системы реагирования на нештатные ситуации в сети. Разработаны модели, алгоритмы, доведенные до программной реализации, для решения профессиональных задач по управлению СПД регионального оператора связи.
Практическая ценность работы. Первая версия программного обеспечения для поддержки принятия решений по диагностике СПД после проведения тестирования, испытания и оценки специалистов передана в 2006 году в опытную эксплуатацию в Центр новых технологий (филиал «Южной телекоммуникационной компании»). Комплексный подход при разработке интеллектуальной СППР, методики построения и оптимизации нечеткой базы знаний интеллектуальной системы используются в учебном процессе КубГТУ (на кафедре ВТиА-СУ, по дисциплине «Системы искусственного интеллекта»). По результатам проделанной работы получены два акта внедрения и свидетельство об официальной регистрации программ для ЭВМ.
Апробация работы. Основные положения работы апробированы на II, III и IV Всероссийский научных конференциях молодых ученых и студентов «Современное состояние и приоритеты развития фундаментальных наук в регионах» (Краснодар, 2005, 2006, 2007), II, III, IV и V Межведомственных научно-практических конференциях «Проблемы комплексного обеспечения защиты информации» (Краснодар, 2001,2002, 2003,2005).
По теме диссертации опубликовано 16 работ, из них 10 статей (в том числе 3 - в изданиях, рекомендованных ВАК) и 6 тезисов докладов на вышеперечисленных конференциях.
Основные положения, выносимые на защиту:
• принципы построения и структура интеллектуальной системы поддержки принятия решений на основе нечеткой логики для диагностики состояния сети передачи данных;
• алгоритмы основных методов и этапов поддержки принятия решения для диагностики состояния сети передачи данных;
• модели статистического анализатора сетевого трафика и нечеткой интеллектуальной (экспертной) системы реагирования на нештатные сетевые ситуации;
• механизм применения метода структурной декомпозиции для диагностики компьютерных сетей передачи данных;
• программное обеспечение системы поддержки принятия решений для мониторинга и диагностики состояния сети передачи данных.
Личный вклад автора. Все основные научные результаты, структура и методика разработки интеллектуальной СППР, алгоритмы основных методов и этапов поддержки принятия решения для диагностики состояния СПД, модель нечеткой интеллектуальной (экспертной) системы, разработанные на их основе программные средства, экспериментальные исследования, приведенные в диссертации, получены автором лично.
Объем и структура работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованных источников из 109 наименований и 4 приложения на 26 страницах. Объем основного текста составляет 191 страницы машинописного текста, в том числе 58 рисунков и графиков, 22 таблицы.
В первой главе проведен анализ систем управления телекоммуникационных сетей и определено место задач мониторинга, анализа и диагностики сетевых процессов. Показано на примерах их практики, что при решении этих задач требуется активное участие человека и использование интеллектуальных систем для обеспечения нормального режима функционирования программно-аппаратного комплекса СПД. Проведен анализ существующих методов диагностики сетевых аномалий (сигнатурный, статистический анализ, использование интеллектуальных (экспертных) сетей, генетических алгоритмов, нейронных сетей). Сделан вывод о целесообразности комплексного подхода к решению задач анализа и диагностики состояния элементов СПД. Проведен анализ содержания основных областей решений, принимаемых должностными лицами различного уровня при управлении СПД и соответствующих форм их поддержки. Показано, что решение задач по обеспечению нормального режима функционирования сети, в значительной степени зависит от интеллектуальной поддержки принимаемых решений по управлению СПД. Проведен сравнительный анализ моделей СППР, основанных на знаниях, и выбрана нечеткая модель для построения интеллектуальной (экспертной) системы реагирования на нештатные сетевые ситуации.
Во второй главе диссертации разработаны теоретические основы и математическое обеспечение для построения интеллектуальной СППР на основе нечеткой логики для диагностики состояния СПД. Разработаны математические модели сигнатурного и статистического анализаторов потока пакетов сетевого трафика для определения сетевых аномалий. Определены статистические критерии присутствия аномалий в сетевом трафике СПД. Проведено обоснование выбора нечеткой модели представления знаний об источниках сетевых аномалий и нечеткой интеллектуальной (экспертной) системы реагирования на нештатные ситуации, способной обрабатывать нечеткую информации в рамках нечетких алгоритмов функционирования СПД. Разработана математическая модель СПД на базе семиуровневой эталонной модели OSI. Определен состав и дана характеристика входных и выходных лингвистических переменных и их термов для построения нечеткой базы знаний с MISO-структурой. Построена система нечетких логических уравнений, позволяющая вычислять функции принадлежности различных решений. Разработана математическая модель системы нечеткого логического вывода и обосновано использование модели Мам-дани при нечетком значении входных переменных и метода дефаззификации (с использованием метода «центра тяжести») выходного показателя. Сформулирована задача оптимизации нечеткой базы знаний и показаны методы ее решения.
В третьей главе диссертации предложен метод диагностики состояния СПД на основе структурной декомпозиции диагностики отдельных уровней сети с использованием процедуры детектирования и идентификации сетевых аномалий. Разработана структура интеллектуальной СППР, реализующая комплексный подход к проблеме диагностики состояния элементов СПД. Разработаны алгоритмы функционирования сигнатурного и статистического анализаторов сетевого трафика. Проведен анализ и обоснован выбор инструментальных средств разработки составных частей СППР (объектно-ориентированный язык Java и пакет Fuzzy Logic Toolbox системы математического моделирования MatLab). Разработана нечеткая база знаний и с использование среды Mat-Lab - нечеткая интеллектуальная (экспертная) система на основе алгоритма нечеткого вывода Мамдани. С использованием языка Java создана действующая система мониторинга состояния СПД. Разработан программный модуль сопряжения системы Snort и блока детектирования сетевых аномалий сигнатурного анализатора.
Четвертая глава диссертации посвящена экспериментальному исследованию работоспособности и эффективности интеллектуальной СППР для диагностики состояния элементов СПД. В качестве показателей эффективности выбраны четыре группы показателей: функциональные показатели, оперативные показатели, показатели надежности и экономические показатели. Разработана методика проведения эксперимента по проверке работоспособности и эффективности созданной интеллектуальной СППР. Проведен сравнительный анализ работоспособности программного обеспечения системы на модели СПД и на реальной сети, дана оценка эффективности разработанной СППР. С использованием пакета оптимизации Optimization Toolbox системы математического моделирования MatLab, проведена настройка и тестирование нечеткой базы знаний интеллектуальной системы, построены таблицы весовых коэффициентов правил нечеткой базы знаний на двух обучающих выборках и графики функций принадлежности нечетких термов входных и выходных переменных.
Каждая глава заканчивается краткими выводами, а вся работа - заключением.
В приложения приведены листинги программных продуктов, обеспечивающих функционирование разработанной интеллектуальной СППР, акты о внедрении результатов исследования и свидетельство об официальной регистрации программного обеспечения в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам.
Анализ существующих систем управления сетями и место в них задач мониторинга и диагностики сетевых процессов
Сети передачи данных (СПД), называемые также вычислительными или компьютерными сетями, являются результатом эволюции двух научно-технических отраслей современной цивилизации - компьютерных и телекоммуникационных технологий [17,57,69,91]. С одной стороны, СПД представляет собой частный случай распределенной вычислительной сети (РВС). С другой стороны, компьютерные сети (КС) могут рассматриваться как средство передачи информации, для чего в них применяются методы кодирования и мультиплексирования данных, получившие развития в телекоммуникационных системах.
В последнее время характерна конвергенция компьютерных и телекоммуникационных сетей (телефонных, радио, телевизионных сетей). Во всех этих сетях представляемым ресурсом является информация.
Не смотря на различия между компьютерными, телевизионными, телефонными и первичными сетями (сетями электросвязи), все эти сети имеют сходные структуры, включающие следующие компоненты (рисунок 1.1): сети доступа - предназначены для концентрации информационных потоков, поступающих по каналам связи от оборудования пользователей (обыкновенных и удаленных) и передачи в узлы магистральной сети; магистраль - объединяет отдельные сети доступа, обеспечивая передачу трафика между ними по высокоскоростным каналам; информационные центры - это информационные ресурсы сети, с помощью которых осуществляется обслуживание пользователей.
Магистральная сеть и сети доступа строятся на основе маршрутизаторов, многофункциональных коммутаторов и другого коммуникационного оборудования.
СПД - сложная система взаимосвязанных и согласованно функционирующих программных и аппаратных комплексов, к которым относятся [9,17,26,69]: рабочие станции, коммуникационное оборудование, операционные системы, сетевые приложения.
Как и любая современная КС сеть передачи данных имеет дополнительные специальные средства управления, помимо тех, которые реализованы в стандартных операционных системах. Это связано с большим количеством коммуникационного оборудования, работа которого критична для выполнения сетью своих функций.
Первая система управления корпоративными сетями SunNet Manager фирмы SunSoft появилась в 1989 г. С тех пор системы управления сетями претерпели значительные изменения.
Система управления сетью представляет собор сложный программно-аппаратный комплекс (ПАК). Выбор системы управления зависит от сложности сети, применяемого коммуникационного оборудования и степени его распределенности по территории.
Однако, сеть, которая может работать сама по себе, ещё не придумана. Сетью необходимо управлять. В соответствии с международным стандартом ISO 7498-4 система управления КС должна выполнять пять задач [3,23,56,61], с которыми должен быть хорошо ознакомлен администратор сети: управление конфигурацией сети; анализ и обработка ошибок; анализ производительности и надежности; управление безопасностью; учет работы сети.
Управление конфигурацией сети. Эта задача заключается в конфигурировании параметров, как элементов сети, так и всей сети в целом. Для элементов сети (коммутаторов, маршрутизаторов, мультиплексоров и др.) определяются сетевые адреса, имена, географическое положение и др. Для сети в целом управление конфигурацией начинается с построения карты сети, на которой отображаются все реальные связи между элементами сети с помо щью таблиц коммутации и маршрутизации. Управление конфигурацией может осуществляться автоматически или вручную.
Обработка ошибок. Эта группа задач включает анализ, определение и устранение сбоев и отказов в работе сети. На этом уровне выполняется не только регистрация ошибок, но и их анализ на основе корреляционной модели.
Анализ производительности и надежности. Эта группа задач включает на основе статистической информации оценку таких параметров как пропускная способность канала связи, время реакции системы, интенсивность трафика на отдельных участках сети, вероятность искажения данных при их передаче через сеть, коэффициент готовности сети. Результаты анализа этих параметров позволяют контролировать соглашение об уровне обслуживания, которое заключается между оператором связи и пользователями сети.
Управление безопасностью. Задачи этой группы включают контроль доступа к ресурсам сети (оборудованию и данным) и сохранение целостности данных при их хранении и передаче по сети.
Учет работы сети. Задачи этой группы занимаются регистрацией времени использования ресурсов сети (отдельных устройств, сетевых служб, каналов связи и др.).
Как известно [17,22,69,91], модель управления OSI/ISO не делает различий между управляемыми объектами сети. Все эти объекты входят в понятие «система». Управляемая система взаимодействует с управляющей системой по открытым протоколам OSI.
На практике деление систем управления по типам управляемых объектов широко распространено. Коммерческие системы управляют только коммуникационными объектами корпоративных сетей. Оборудованием территориальных сетей управляют системы производителей телекоммуникационного оборудования.
На сегодняшний день к числу наиболее популярных систем управления, разработанных ведущими мировыми компаниями, относятся [56]: Spectrum компании Cabletron Systems, Open View фирмы Hewlett-Pockard, NetView корпорации IBM, Solstice производства SunSoft (подразделение Sun Microsystems). Три из этих компаний выпускают коммуникационное оборудование (Cabletron, Hewlett-Pockard, IBM). В таблице 1.1 приведены наиболее важные характеристики указанные выше платформ управления сетями.
Для поддержания сети в работоспособном состоянии необходим контроль всех процессов, обеспечивающих ее функционирование. Процесс контроля работы сети специалисты по сетевому управлению делят на два этапа - мониторинг и анализ.
На этапе мониторинга осуществляется сбор первичных данных о работе сети. На этапе анализа, который считается более сложным и интеллектуальным, осуществляется качественное осмысление собранной в период мониторинга информации о состоянии сетевых процессов, обнаружение неисправностей (сбоев, отказов) и ошибок в работе аппаратуры и сетевых служб (диагностика сети) и выработка предложений по их устранению.
Диагностика (diagnotics) - это процесс анализа состояния объекта [33,95 ]. Под диагностикой СПД будем понимать процесс непрерывного анализа состояния элементов сети. При возникновении неисправности сетевых устройств фиксируется факт неисправности, определяется её место и вид [33,56,95].
Математическая модель сигнатурного анализатора сетевого трафика
В настоящее время нет точного толкования понятия «сигнатура». Под сигнатурой понимают набор битовых критериев, используемых в качестве шаблона для обнаружения атак в трафике [59]. Некоторые производители оборудования употребляют «фильтр» в качестве логического правила обнаружения в комбинации с предлагаемым действием [56]. Мы же будем понимать под сигнатурой множество условий, при определении которых наступает событие, определяемое как нарушение нормального режима функционирования сети. Обнаружение сигнатур связывают с совпадением с шаблоном.
Для обнаружения сигнатур используют следующие подходы [59].
1. Совпадение с шаблоном - обнаружение базируется на поиске фиксированной последовательности байтов в рассматриваемом элементе данных сетевого трафика (например, единичном пакете). Эти сигнатуры содержат некоторые ключевые слова или выражения, обнаружение которых и свидетельствует о наличии сетевых аномалий.
2. Совпадение с шаблоном состояния - по одному пакету устанавливается состояние потока данных. Появление другого пакета (или пакетов), который не соответствует данному состоянию, считается аномалией.
3. Анализ на основе шаблона используемого протокола - для формирования состояния используется декодирование различных элементов протокола. При декодировании протокола осуществляется сравнение с правилами, которые определены как нарушения. В некоторых случаях эти нарушения могут находиться в определенных полях протокола, что требует более детального анализа.
4. Контроль частоты событий или превышение пороговой величины - эти сигнатуры описывают ситуации, когда в течение некоторого интервала времени происходят события, число которых превышает заданные заранее показатели. Это сигнатуры аномалий.
Структурная схема сигнатурного анализатора представлена на рисунке 2.1. Механизм функционирования сигнатурного анализатора включает два этапа: фильтрация и сборка фрагментов пакетов; распознавание аномалий по сигнатурам.
Данные для анализа сетевого трафика поступают из сетевых адаптеров телекоммуникационного оборудования. Захват сетевого трафика с адаптера осуществляется с помощью драйвера самой системы. В модуле распознавания аномалий производится сигнатурный анализ по занесенным в базу сигнатур шаблонам аномалий. Блок-схема алгоритма обнаружения сетевых аномалий представлена на рисунке 2.2.
Математическая модель сигнатурного анализатора может быть представлена следующим образом. Пакеты из сетевой карты телекоммуникационного оборудования поступают в модуль захвата. Обозначим сетевой трафик как поток пакетов в виде множества 5 = {s J", где п - общее количество пакетов. Базу сигнатур представим в виде множества В, объединяющего кластеры типов сигнатур BjJ = 1,т:
B = B1UB2U...UBm = \jBj где т - количество кластеров сигнатур; Bj -у-й кластер, являющийся множест IS вом однотипных сигнатур, Bj = {Ь;/Л ; К- общее количество сигнатур в у -м кластере.
Аномалия считается найденной, если выполняется следующее вие: S Q В. На вход модуля реагирования подается сигнал Г, который может принимать два значения: «О» , если есть совпадение с сигнатурой; «1» - в противном случае.
Оценка вычислительной сложности сигнатурного метода. Проведем оценку вероятности ложных обнаружений СА при следующих допущениях: N- длина одной сигнатуры; L» N- общая длина анализируемых данных; С - общее количество символов в алфавите, они встречаются в анализируемых данных с равной вероятностью; М — М - общее количество известных сигнатур СА. Тогда оценка вероятности ложных обнаружений примерно будет равна:
Можно также определить вычислительную сложность алгоритма, выполняющего поиск СА по сигнатуре. Для этого требуется последовательно сравнить все ячейки анализируемой строки данных с первыми ячейками базы сигнатур. В общем случае потребуется M L сравнений. Далее, при обнаружении совпадения потребуется провести сравнение со второй ячейки базы сигнатур.
Учитывая вероятность совпадения значения первой ячейки, количество сравне 1 і с2 ний второй ячейки будет М L--. Аналогично для третьей - М 1-- , четвер той - М L -= и т. д. с3 Общее количество сравнений составит Sl = M-1.(1 + 1 + 1 + 1+... + ). В худшем случае, когда сигнатуры полностью различны, а С и N достаточно велики, то количество сравнений составит S = М L- N. Следовательно, сигнатурный поиск может быть выполнен за полиномиальное время.
Общие принципы построения и структурная схема интеллектуальной СППР для диагностики состояния сети передачи данных
Как было показано в 1.2, основными задачами по анализу и диагностике СПД являются определение состояния сетевых процессов - обнаружение неисправностей, сбоев, отказов и отклонений (мы их назвали «сетевыми аномалиями») в работе аппаратуры, программного обеспечения и сетевых служб. В настоящее время не существует единой, общепринятой системы устранения неисправностей (сбоев и отказов), которая бы решала задачи обнаружения, диагностики, восстановления, учета и контроля неисправностей. Новой идеей в этом направлении является использование, предложенного в 2.3, метода моделирования процессов передачи информации между объектами сети передачи данных с использованием эталонной модели взаимодействия открытых систем (модели OSI) для диагностики СА на каждом уровне модели сети. Преимуществом данного метода является то, что он полностью охватывает все уровни модели и может быть использован для любых других многоуровневых моделей.
Как известно, эталонная модель OSI состоит из семи уровней (физический, канальный, сетевой, транспортный, сеансовый, представительный и прикладной). Каждый из этих уровней характеризуется функционированием соответствующего сетевого оборудования, сетевых сервисов и протоколов. Используя метод структурной декомпозиции, с учетом допущений и ограничений, сформулированных в 2.3, можно рассматривать каждый уровень модели сети как самостоятельный объект со своими источниками сетевых аномалий.
В таблице 3.1 представлена взаимосвязь уровней модели OSI и возможных источников появления сетевых аномалий. Путем экспертного опроса спе циалистов в области сетевого управления установлено, что источниками аномалий в СПД могут быть: на физическом уровне - выход из строя комплектующих телекоммуникационного оборудования (процессоров, модулей памяти, жестких дисков), наводки от проходящих рядом высоковольтных кабельных магистралей и др; на канальном уровне - ошибки в настройках коммутаторов, ошибки в программном коде операционных систем сетевого оборудования и т.д.; на сетевом уровне - ошибки в настройке маршрутизатора, ошибки в программном коде его операционной системы, намеренные искажения таблиц маршрутизации; на транспортном и сеансовом уровнях - ошибки настройки сетевой подсистемы и ошибки её программного кода, применение атак типа отказ в обслуживании, эксплуатация различных уязвимостей (например, ошибка переполнения буфера); на представительном и прикладном уровнях - различные ошибки в настройке и программном коде сетевых вирусов и приложений, а также сами сетевые вирусы.
При разработке структурной схемы интеллектуальной СППР были использованы методы объектно-ориентированного проектирования, включающие два вида деятельности: проектирование структуры системы, проектирование элементов системы.
Структурная схема комплексной интеллектуальной СППР для диагностики состояния сети передачи данных (рисунок 3.1), при разработке которой использованы указанные методы, содержит множество функциональных компо нент, позволяющих максимально автоматизировать и ускорить выработку управляющих воздействий при изменении ситуации в СПД.
На первом этапе выполняется процедура сбора первичных данных о работе сети: статистики о количестве циркулирующих в сети кадров и пакетов различных протоколов, состоянии портов сетевого оборудования и др. Эти задачи решают блоки захвата и предобработки данных системы мониторинга.
Блок захвата данных осуществляет прием данных, анализ которых позволит выявить сетевые аномалии. Такими данными могут быть журналы событий; базы данных управляющей информации (базы МШов) маршрутизаторов, коммутаторов, межсетевых экранов и другого телекоммуникационного оборудования; журналы событий различного сетевого программного обеспечения, реализующего такие сетевые сервисы как www, ftp, электронная почта и др., а также журналы событий сетевой подсистемы операционной системы.
Блок предобработки данных предназначен для предварительной обработки поступающих в систему данных. Данные могут быть в различном виде (формате), поэтому для дальнейшего использования их необходимо привести к каноническому виду.
После предобработки данные поступают в блоки статистического и сигнатурного анализа. В основе статистического анализа лежит вычисление таких текущих статистических характеристик как выборочного среднего , выборочной дисперсии d2 и статистики х2 по формулам, полученным в 2.2.
При нормальной работе СПД эти статистические характеристики осциллируют вокруг глобальных значений, полученных на этапе обучения системы. При возникновении аномалии их значения выходят за пределы установившегося диапазона (рисунок 3.2) на величину Аь определяющую степень серьезности возникшей аномалии: чем её величина больше, тем серьезнее аномалия.
Методика тестирования и оценки эффективности программных средств интеллектуальной СППР
Показатели оценки эффективности функционирования интеллектуальной СППР. Под эффективностью процесса функционирования СППР КЭф будем понимать степень его приспособленности к достижению цели. Обоснованный выбор требуемого уровня функционирования СППР является системообразующей задачей проектирования СППР, поскольку как снижение, так и завышение этого уровня неизбежно ведет либо к потерям качества системы, либо к нарушению баланса по показателю «эффективность/стоимость». При этом выбор требуемого уровня функционирования СППР основывается на априорной оценке эффективности системы.
Данная задача относится к классу многокритериальных задач, что обусловлено сложностью определения качества разнородных составляющих СППР с помощью единственного показателя эффективности. Для таких целей необходимо использовать счетное множество показателей: W = {Wt}, ієї/п. В 3.2 было предложено на этапе эксплуатации СППР проводить контроль эффективности работы системы по следующим группам показателей: функциональная пригодность - Rf\ оперативность -R0; надежность -Rn; экономичность - Re.
Каждая из указанных групп состоит из количественных и качественных показателей: Rf - число одновременных источников информации о состоянии сети, тип выявляемых СА, число ложных и верных срабатываний анализаторов СА; R0 - продолжительность обработки поступающих в систему данных о состоянии элементов СПД, время идентификации СА и выработки управляющих действий по их устранению; Rn - длительность работоспособного состояния системы; Re - стоимость разработки, эксплуатации, экономическая выгода от внедрения системы.
Методика оценки эффективности программных средств интеллектуальной СППР заключается в оценке, как отдельных её составляющих, так и всей системы в целом. В таблице 4.1 приведен набор показателей, по которым оценивается эффективность функционирования отдельных компонент и системы в целом.
Рассмотрим более подробно показатели оценки эффективности, а также факторы, от которых они зависят. Функциональные показатели: Коэффициент выявления сетевых аномалий ЛСАо/о: Лет = Т , (4-І) -"всего где Лверно - число верных выявлений, Лвсего - общее количество аномалий. Этот показатель оценивает качество работы системы, чем больше его значение, тем лучше. Коэффициент ложных срабатываний ДлЖо/о: « == (4-2) всего где Алоукь - число ложных выявлений, Лвсег0 - общее количество аномалий. Оперативные показатели: Продолжительность обработки Т0 рданпых поступающих в систему данных. обр.данных "1 0 \ -3) где t0) t± - начало и конец временного интервала на котором проводились измерения.
Данный показатель оценивает продолжительность обработки поступающих в систему данных статистическим, сигнатурным анализаторами и системой мониторинга. Время идентификации сетевых аномалий 7\,ден СА: иден.СА. — ттоп — -старт \уЛ) где старт - время начала работы алгоритма анализатора, стоп - время окончания работы алгоритма анализатора.
Время выработки действий для устранения аномалий Ту сд: уст.СА = НИС стоп — НИС старт» 0 -5) где нис старт - время начала работы нечеткой интеллектуальной системы (НИС), tHHc стоп - время окончания работы НИС.
Показатель надежности. В теории надежности работоспособным называется такое состояние объекта, при котором он способен выполнять заданные функции с параметрами, установленными требованиям технической документации [40]. Надежность является внутренним свойством системы, проявляющимся только во времени. Показатели надежности информационных систем в значительной степени адекватны аналогичным характеристикам, принятым для промышленных изделий. Используем в качестве оценки надежности - длительность работоспособного состояния системы.
Экономическая выгода от внедрения системы. Для этих целей используем подход, позволяющей оценивать успех того или иного проекта в терминах возврата инвестиций (ROI - return of investment) [18]. ROI - это выраженное в процентах отношение заработанных денег к тем, которые вкладываются в то или иное направление. В процедуре расчета ROI учитывается большое количество параметров, включая общие финансовые параметры компании.
Ущерб экономике предприятия за счет выхода из строя одного узла (например web-сервера) или сегмента сети, может быть подсчитан по методике, изложенной в [51]. Исходные данные для расчета: время простоя вследствие аномалии, tn (в часах); время восстановления после аномалии, в (в часах); время повторного ввода потерянной информации, ви (в часах); зарплата обслуживающего персонала, Z0 (в рублях за месяц); зарплата сотрудников узла или сегмента, вышедшего из строя вследствие аномалии, Zc (в рублях за месяц); число обслуживающего персонала, N0; число сотрудников узла или сегмента, вышедшего из строя вследствие аномалии, Nc; доход, приносящий узел или сегмент сети, вышедший из строя, О (в рублях в год); стоимость замены оборудования или запасных частей, Рзч (в рублях); число узлов или сегментов сети, вышедших из строя, і; число выходов из строя вследствие проявления аномалий
