Содержание к диссертации
Введение
ГЛАВА 1. Классификация сетевых аномалий и анализ существующих методов их обнаружения
1.1 Классификация сетевых аномалий із
1.1.1 Удаленное сканирование сетевых ресурсов 14
1.1.2 «Отказ в обслуживании» 15
1.1.3 Удаленное «переполнение буфера» 15
1.1.4 Аппаратные сбои сетевых устройств 16
1.1.5 Программные сбои сетевых приложений 16
1.1.6Вирусы, сетевые черви 17
1.1.7 Скрытые люки 17
1.2 Особенности аномалий, распределенных во времени 18
1.3 Обзор существующих методов обнаружения аномалий 21
1.3.1 Методы выявления аномалий, реализованные в современных системах. 22
1.3.2 Обзор результатов исследований, проводимых в зарубежных научно-исследовательских центрах 29
1.4 Требования к создаваемой методике и ее программной реализации 42
1.4.1 Требования к методу обнаружения аномалий 42
1.4.2 Требования к технической реализации 43
1.4.3 Пользовательские требования 44
Выводы 45
ГЛАВА 2. Разработка методики обнаружения аномалий 47
2.1 Схема обработки сетевого трафика 48
2.2 Выбор объекта анализа 49
2.3 Модель сетевого устройства 54
2.4 Структуризация сетевого трафика 61
2.5 Формирование шаблона нормального поведения сетевого устройства 63
2.6 Методика выявления распределенных во времени аномалий 67
Выводы 72
ГЛАВА 3. Разработка системы принятия решений по выявлению аномалий, распределенных во времени 73
3.1. Исследование математических свойств характеристик сетевых устройств 73
3.1.1 Описание тестовой среды 73
3.1.2 Анализируемые массивы данных 75
3.1.3 Результаты анализа математических свойств отдельных характеристик * (одномерный анализ) 77
3.1.4 Результаты анализа математических свойств совокупности характеристик (многомерный анализ) 82
3.2 Система принятия решений для выявления аномалий 88
3.2.1 Основные принципы, лежащие в основе системы принятия решений 88
3.2.2 Построение системы принятия решений, оценивающей степень аномальности отдельных событий 90
3.2.3 Построение системы принятия решений, оценивающей степень аномальности множества событий 98
3.3 Вопросы автоматизации системы принятия решений и анализа ее
эффективности 104
выводы 116
ГЛАВА 4. Разработка программной системы выявления аномальных состояний компьютерной сети П8
4.1 Архитектура САВС 119
4.1.1 Принципы функционирования 119
4.1.2. Соотнесение принципов архитектуры САВС с требованиями к методике выявления аномалий 120
4.1.3 Вопросы повышения эффективности работы отдельных компонент 122
4.2 Структуры таблиц базы данных 124
4.3 Сетевой агент 125
4.4 Система управления ресурсами 128
4.5 Система отображения и анализа данных 142
4.6 Интеграция компонент савс 150
Опытная эксплуатация савс '. 151
Выводы 152
Заключение 154
Библиография
- «Отказ в обслуживании»
- Структуризация сетевого трафика
- Результаты анализа математических свойств отдельных характеристик * (одномерный анализ)
- Вопросы повышения эффективности работы отдельных компонент
Введение к работе
Актуальность проблемы. Важнейшим атрибутом нашего времени является глобальная информационная интеграция, основанная на построении компьютерных сетей масштаба предприятия и их объединении посредством сети Internet.
Сложность логической и физической организации современных сетей приводит к объективным трудностям при решении вопросов управления и защиты сетей. В процессе эксплуатации компьютерных сетей администраторам приходится решать две главные задачи:
Диагностировать работу сети и подключенных к ней серверов, рабочих станций и соответствующего программного обеспечения;
Защищать информационные ресурсы сети от несанкционированной деятельности хакеров, воздействий вирусов, сетевых червей и т.п., то есть обеспечивать их конфиденциальность, целостность и доступность.
При решении задач, связанных с диагностикой и защитой сетевых ресурсов, центральным вопросом является оперативное обнаружение состояний сети, приводящих к потере полной или частичной ее работоспособности, уничтожению, искажению или утечке информации, являющихся следствием отказов, сбоев случайного характера или результатом получения злоумышленником несанкционированного доступа к сетевым ресурсам, проникновения сетевых червей, вирусов и других угроз информационной безопасности. Раннее обнаружение таких состояний позволит своевременно устранить их причину, а также предотвратит возможные катастрофические последствия.
Для их обнаружения используется большой спектр специализированных систем. Так, при решении проблем диагностики сетей применяются средства систем управления, анализаторы сетевых протоколов, системы нагрузочного тестирования, системы сетевого мониторинга. Проблемы защиты информационных ресурсов сетей решаются с помощью межсетевых экранов (firewall), антивирусов, систем обнаружения атак (IDS), систем контроля целостности, криптографических средств защиты.
Характерными особенностями использования этих систем является либо их периодическое и кратковременное применение для решения определенной проблемы, либо постоянное использование, но с довольно статическими
6 настройками. Так, методы анализа, используемые в современных системах, направлены на обнаружение известных и точно описанных типов воздействий, но зачастую оказываются не в состоянии обнаружить их модификации или новые типы, что делает их использование малоэффективным.
Таким образом, на сегодняшний день очень актуальной задачей является поиск более эффективных методов выявления недопустимых событий (аномалий) в работе сети, являющихся следствием технических сбоев или несанкционированных воздействий. Основным требованием к этим методам является возможность обнаружения произвольных типов аномалий, в т.ч. новых, а также воздействий, распределенных во времени.
Это направление научных исследований является очень молодым. Первые работы, посвященные данной проблеме, были опубликованы в 90-х годах прошлого столетия.
В настоящий момент, исследования в этой области ведутся как крупными зарубежными коммерческими компаниями (Cisco [18,19], Computer Associates [21], ISS [74], Symantec [80] и др.), так и университетскими научно- исследовательскими центрами (Columbia University [26,50,70], Florida Institute of Technology [17,56,57,58], Purdue University [46], Ohio University [5,13,72,73] и др.). К сожалению, в свободном доступе представлено очень мало информации по аналогичным российским исследованиям.
Общий подход, лежащий в основе этих исследований, заключается в поиске методов анализа, позволяющих выявлять аномальные состояния информационных ресурсов в виде отклонений от обычного («нормального») состояния. Эти отклонения могут являться результатами сбоев в работе аппаратного и программного обеспечения, а также следствиями сетевых атак хакеров. Такой подход теоретически позволит обнаруживать как известные, так и новые типы проблем. От эффективности и точности аппарата, определяющего «нормальное» состояние и фиксирующего отклонение, зависит в целом эффективность решения вопросов диагностики и защиты сетевых ресурсов.
Особую важность на текущий момент представляет проблема обнаружения аномальных состояний в работе сети, имеющих распределенный во времени характер (АРВ). АРВ могут являться следствиями: специально маскируемых
сетевых атак злоумышленников, скрытых аппаратно-программных сбоев, новых вирусов и т.п.
Цели работы. Целью работы являлась разработка методики выявления АРВ компьютерной сети на основе анализа сетевого трафика и создание программной системы, реализующей предложенную методику.
Основные направления работы сводятся к решению следующих задач:
Разработка принципов структуризации сетевого трафика;
Выбор объекта анализа, обоснование выбора;
Разработка принципов и механизмов формирования характеристик объекта анализа;
Исследование статистических свойств сетевых потоков, характеризующих поведение объекта анализа на сетевом и транспортном уровнях TCP/IP, выявление закономерностей в их поведении и степени влияния на них АРВ;
Разработка математической модели объекта анализа, позволяющей задать шаблон его «нормального» поведения;
Разработка СПР, позволяющей фиксировать переход объекта анализа в аномальное состояние (по степени отклонения от шаблона «нормального» поведения) и корректировать собственные параметры при объективно «нормальных» изменениях в сетевой среде (свойство адаптивности);
Разработка принципов использования математической модели объекта анализа и системы принятия решений для выявления сетевых аномалий;
Разработка архитектуры программной системы, реализующей предложенную методику;
Создание прототипа САВС.
Сетевой трафик выбран в качестве информационных данных для выявления сетевых аномалий не случайно. Он является наиболее полным источником данных о происходящих в сети взаимодействиях.
Другими источниками данных могут выступать данные, накапливаемые активным сетевым оборудованием в собственных базах МІВ (Management Information Base) или данные, содержащиеся в лог-файлах операционных систем и приложений. Это также очень важные источники информации, но эффективность
выявления аномалий на их основе будет ниже вследствии изначально более низкой информационной насыщенности.
Выбор TCP/IP в качестве анализируемых протоколов обусловлен их повсеместным распространением при построении современных сетей.
Методы исследований. В теоретических исследованиях применены современные методы теории вероятностей, математической статистики, кластерный анализ.
При разработке программной системы использовались методы объектно-ориентированного проектирования и программирования.
Достоверность научных результатов. Достоверность научных результатов подтверждена результатами статистических исследований реального сетевого трафика, а также результатами внедрения и практического использования в действующих компьютерных сетях.
Научная новизна диссертации заключается в следующем:
Впервые предложена методика решения важной научно-технической задачи выявления аномальных состояний сетевого устройства, имеющих распределенный во времени характер;
Создана новая математическая модель функционирования сетевого устройства на основе интегральных показателей, извлекаемых из полей сетевых пакетов;
Предложена система принятия решений, выявляющая распределенные во времени аномалии в функционировании сетевого устройства, описываемого указанной математической моделью;
Получены сравнительные результаты статистических исследований интегральных показателей работы сетевого устройства при «нормальном» функционировании и в случае наличия АРВ, позволившие разработать решающие правила системы принятия решений.
Замечание. В источниках, доступных в свободном доступе, автору не удалось обнаружить результатов исследований, делающих акценты на выявлении АРВ на основе анализа сетевого трафика. Поэтому можно утверждать, что приводимые в работе результаты получены впервые.
Разработаны и обоснованы методы структуризации сетевого трафика и последующего формирования интегральных показателей сетевого устройства, позволяющие снизить объем обрабатываемых данных без существенной потери степени информативности с точки зрения обнаружения АРВ;
Предложена распределенная архитектура программной системы, автоматизирующая методику выявления АРВ;
Разработаны и реализованы алгоритмы работы отдельных программных модулей, протокол сетевого взаимодействия между компонентами программной системы. Создан ее прототип.
Положения, выносимые на защиту:
Методика выявления аномальных состояний сетевого устройства, имеющих распределенный во времени характер;
Математическая модель функционирования сетевого устройства на основе интегральных показателей, извлекаемых из полей сетевых пакетов;
Система принятия решений, выявляющая распределенные во времени аномалии в функционировании сетевого устройства, описываемого указанной математической моделью;
Результаты статистических исследований интегральных показателей работы сетевого устройства при «нормальном» функционировании и в случае наличия АРВ, позволившие разработать решающие правила системы принятия решений.
Методы структуризации сетевого трафика и последующего формирования интегральных показателей сетевого устройства, позволяющие снизить объем обрабатываемых данных без существенной потери степени информативности с точки зрения обнаружения АРВ;
Архитектура распределенной программной системы, автоматизирующая методику выявления АРВ;
Алгоритмы работы отдельных программных модулей, протокол сетевого взаимодействия между компонентами системы.
Практическая ценность. Основной практический результат: создание научно - обоснованной методики выявления аномальных состояний сетевого устройства, имеющих распределенный во времени характер.
Разработаны и внедрены алгоритмы структуризации сетевого трафика и формирования интегральных показателей функционирования СУ.
Разработаны и внедрены алгоритмы визуализации истории сетевых взаимодействий.
Разработаны и внедрены алгоритмы решающих правил для оценивания степени аномальности поведения сетевого устройства на временных интервалах различной длительности.
Предложенные методы могут быть использованы при построении систем, предназначенных для выявления аномальных состояний компьютерных сетей.
Реализация результатов. Методы и алгоритмы, предложенные в диссертации, были реализованы в виде программного комплекса, получившего название «Система Аудита Вычислительной Сети» (САВС).
САВС внедрена в сети МИФИ, а также в представительствах коммерческих компаний "Beauty&Co" и "Aria" (что подтверждено соответствующими актами о внедрении (см. приложение 8)).
Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались:
На научных сессиях МИФИ с 2001 по 2004 гг.;
На ХІ-ом и ХП-ом Международных научно-технических семинарах «Современные технологии в задачах управления, автоматики и обработки информации» (г. Алушта 2002,2003 гг.);
Работа участвовала в конкурсе молодых ученых «Ползуновские гранты'2002» (Барнаул, 2002г.) и стала ее лауреатом. В результате был получен грант на проведение исследовательских работ от Фонда поддержки развитию малых форм предприятий в научно-технической сфере.
На ХШ-ой ежегодной конференции «Техникон'2003» (г.Москва 2003г.).
В начале 2004 года данная работа в виде проекта по созданию программного комплекса «Система Аудита Вычислительной Сети»
11 прошла конкурсный отбор по программе «СТАРТ», проводимой Фондом поддержки развитию малых форм предприятий в научно-технической сфере для поддержки малых предприятий, занимающихся наукоемкими разработками. Для ее реализации в виде инновационного коммерческого программного продукта были выделены финансовые средства. В настоящий момент продолжается реализация и доведение до совершенства всех предложенных в работе идей в рамках этой программы. Публикации. По теме диссертации опубликовано 13 печатных работ. Далее кратко изложено содержание диссертации.
Первая глава посвящена анализу текущего состояния решения в мире проблемы выявления аномальных состояний компьютерный сетей на основе анализа сетевого трафика.
В ней приводится классификация известных типов сетевых аномалий, анализируются результаты анализа методов обнаружения аномалий, реализованных в коммерческих системах.
Рассматриваются и анализируются доступные в свободном доступе результаты исследований по данной проблеме в крупнейших западных научно-исследовательских центрах и университетах.
Приводятся выявленные недостатки существующих подходов и методов обнаружения сетевых аномалий и формулируются основные требования к программной реализации системы выявления аномальных состояний компьютерной сети.
Вторая глава посвящена разработке методики выявления распределенных во времени аномалий.
В ней рассматриваются и обосновываются входные данные для обнаружения АРВ, принципы структуризации сетевого трафика, общие идеи выявления АРВ, принципы создания и модификации шаблона «нормального» поведения сетевых устройств, ключевые идеи, связанные с автоматизацией методики в целом.
Третья глава посвящена разработке системы принятия решений (СПР), реализующей принципы выявления АРВ.
В ней приводятся результаты исследований математических свойств характеристик сетевых устройств. Исследования осуществлялись на основе реальных данных, полученных при захвате и структуризации трафика в течении нескольких месяцев в сети МИФИ с помощью прототипа САВС. Анализ был направлен как на выявление свойств отдельных характеристик, так и их совокупности.
Кроме этого, в третьей главе предлагаются и обосновываются алгоритмы работы СПР по выявлению распределенных во времени аномалий сетевых устройств, приводится оценка их эффективности и рассматриваются результаты проверки их реальной работоспособности.
Четвертая глава диссертационной работы описывает практические аспекты разработки и создания Системы Аудита Вычислительной Сети (САВС). В этой главе рассматривается программная архитектура САВС.
Детально описываются отдельные программные компоненты САВС: сетевой агент, система управления ресурсами (СУР), система отображения и анализа данных (СОАД).
Рассматриваются вопросы программной реализации, связанные с воплощением конкретных положений методики и оптимизацией работы отдельных компонент.
Приводятся результаты опытной эксплуатации САВС.
«Отказ в обслуживании»
Как правило, удаленное проникновение в компьютерную сеть злоумышленником подразумевает проведение действий по всестороннему исследованию цели. Для осуществления такого рода исследований существует технология называемая сканированием. Сканирование удаленных ресурсов компьютерных сетей позволяет: Определить реально работающие сетевые устройства; Выявить тип и версию запущенного сетевого приложения; Выяснить тип и версию запущенной операционной системы; Определить реально настроенные и работающие типы сетевых протоколов. Полученные в результате сканирования сведения позволяют злоумышленнику оценить степень уязвимости удаленной системы.
Технологии сканирования основываются на возможностях и особенностях реализации сетевых протоколов. В их основе лежит отправка на исследуемую систему специально сформированных сетевых пакетов и анализ ответных пакетов.
Программные системы, реализующие сканирование, как правило, содержат множество специфических опций, позволяющих пользователю влиять на характер сканирования. Это позволяет осуществлять маскировку действий злоумышленника.
Например, существуют возможности по заданию различных временных задержек между сканирующими пакетами, введению в пакеты фиктивных адресов отправителя. Существует возможность изменять размеры полей данных пакетов, фрагментировать пакеты и так далее.
Все это позволяет сканирующему уменьшить множество признаков в сетевом трафике, указывающих на его действия.
Аномалия типа «отказ в обслуживании» (или Denial of Service, DoS) является, как правило, сетевой атакой, проводимой злоумышленником в отношении сетевого объекта, чье функционирование он желает нарушить (например, замедлить или прекратить).
Наиболее характерным проявлением DoS является «затопление» канала связи или конкретного сетевого устройства огромным количеством сетевых пакетов. В зависимости от типа пакетов, это может приводить к повышенной загрузке канала и, как следствие, невозможности прохождения по нему легитимного трафика, либо к повышенной загрузке устройства (заполнению доступного объема оперативной памяти и загрузке ресурсов процессора).
DoS может быть проведен не только на основе отправки огромного числа пакетов. Возможны ситуации, когда его можно вызвать малым числом пакетов. Это возможно в случае наличия специфической уязвимости в программной или аппаратной реализации устройства. Обнаружение DoS с случае отправки огромного числа пакетов не представляет трудностей, в отличие от DoS, проводимого на основе их малого числа.
Необходимо отметить, что существует еще разновидность DoS, называемая распределенная DoS (Distributed Denial of Service, DDoS). Этот тип DoS характерен участием огромного числа атакующих сетевых устройств для его осуществления. Удаленное переполнение буфера является сетевой атакой, позволяющей злоумышленнику, используя программную уязвимость атакуемой системы, получить доступ к устройству с правами атакуемого программного обеспечения. Проведение этой атаки основано на архитектурных и логических особенностях, лежащих в основе выполнения программы в памяти компьютера. В частности, на принципах использования части оперативной памяти, называемой стек, в процессе вызова дополнительных подпрограмм из основной программы.
Возможность ее осуществления возникает в случае наличия программных ошибок в сетевом приложении, связанных с некорректной обработкой данных в оперативной памяти. Так, отсутствие корректной проверки размера передаваемого массива данных из одной области оперативной памяти в другую (меньшего размера) может привести к нарушения содержимого стека и, как следствие, к ошибке сегментации. Это может позволить злоумышленнику внедрить специальный программный код в стек и выполнить его с привилегиями текущего приложения.
Структуризация сетевого трафика
Структуризация сетевого трафика позволяет преодолеть «проклятие размерности», т.е. уменьшить объем анализируемых данных без существенной потери информативности с точки зрения выявления АРВ. Она представляет собой процесс упорядочения трафика с целью его рационального хранения и возможности извлечения рассмотренных ранее интегральных показателей СУ.
Основной ее задачей является создание логической связи между отдельными пакетами. Ее результатом являются массивы структурированных данных о трафике, из которых могут быть извлечены необходимые интегральные показатели (см. п.2.3). Массивы сохраняются для последующей обработки, что является обязательным условием для выявления АРВ и восстановления истории взаимодействий.
К этим массивам предъявляются следующие требования: Должна существовать возможность формировать на их основе интегральные показатели СУ; Должна предоставляться возможность извлечения детальной информации об истории сетевых взаимодействий. Это подразумевает возможность анализа администратором как обобщенной статистики работы сети, так и истории отдельных сессий.
Базовой идеей структуризации является хранение «информации о значениях полей пакетов», вместо самих значений. Структурирование данных во времени необходимо осуществлять с некоторым фиксированным временным интервалом. Такой процесс формирования характеристик сетевых устройств можно сравнить с работой датчика. Датчик «опускается» в сетевую среду, накапливает значения характеристик за фиксированный интервал времени и передает свои показания для дальнейшей обработки.
Выявление аномалий в этом случае будет происходить с таким же фиксированным временным интервалом. Это внесет задержку в процесс их выявления, но для обнаружения АРВ, фиксируемых по определению на временных диапазанах, заведомо превышающих интервал структуризации, это не является ограничением.
Для хранения данных предложено использовать SQL базу данных. Это позволит проектировать структуры хранимых данных рациональным образом. При этом характеристики устройств будут формироваться на основе выполнения SQL-запросов.
Рассмотрим разработанный способ структуризации, удовлетворяющий введенным выше требованиям:
Для разных уровней сетевых протоколов выбираются ключевые поля сетевых пакетов. Так, для трафика, использующего в качестве транспорта протоколы TCP и IP, ключевыми параметрами могут выступать параметры сессии: IP_S (IP-адрес источника пакета), IP_D (ІР-адрес приемника пакета), PORT_S (порт источника пакета), PORT_D (порт приемника пакета). См. рис.2.4.1. Для протоколов UDP и IP сочетание ключевых полей будет аналогичным. Для протоколов ICMP и IP ключом будет выступать четверка: «IP_S, IP_D, TYPE, CODE»;
В процессе захвата и анализа сетевых пакетов значения из их полей заносятся в соответствующие «счетчики» (см. рис.2.4.1), связанные с «ключом»;
Имея в наличии информацию, структурированную подобным образом, существует возможность сформировать интегральные показатели СУ и иметь детальную картину о возникавших TCP/IP сессиях. Заметим, что в данном контексте, TCP/IP сессией считается все множество пакетов, имевших одинаковое сочетание «IP_S, IPD, PORTS, PORTJD».
Сохранив эти данные в базе появляется возможность формировать новые массивы характеристик, которые будут определять поведение интересующих нас объектов. В разделе, посвященном проектированию системы, будут рассмотрены соответствующие структуры данных как для их формирования в памяти при захвате сетевого трафика, так и для хранения в базе данных.
Проведенные эксперименты показали, что предложенный способ структуризации, позволяет трансформировать сетевой трафик в данные, размер которых составляет в среднем 1-ь5 % от первоначального объема. 2.5 Формирование шаблона нормального поведения сетевого устройства
Введем следующие определения.
Шаблонными данными СУ назовем массивы векторов значений интегральных показателей СУ на некотором временном интервале (шаблонном окне), которые считаются данными, характеризующими его нормальную работу.
Шаблонные данные необходимо подразделять на инициализирующие и текущие. Инициализирующие шаблонные данные - это шаблонные данные, собранные в процессе начального накопления структурированной информации о l % сетевом трафике и используемые при первоначальном построении шаблона нормального поведения. Текущими шаблонными данными будем называть данные, на которых построен текущий шаблон нормального поведения.
Под шаблоном нормального поведения (ШНП) СУ условимся понимать вектор значений интегральных показателей SUA, содержащий наиболее вероятные значения каждого из них и значений параметров, вычисленных на основе нормированных шаблонных данных СУ и определяемых алгоритмами обнаружения АРВ (подробно рассматриваются в гл.З). 5«=(5,«А2-АіЛЛ2 -"»Л ГДЄ k ЧИСЛ MHTCrP b"bIX показателей, S - наиболее вероятное значение г -го нормированного показателя, / -общее число параметров, р - значениеу-го нормированного параметра.. Ш) Период модификации шаблона - интервал времени через который происходит актуализация шаблонных данных. Период (этап) обучения - интервал времени, на котором происходит накопление структурированных данных о сетевом трафике после внедрения соответствующей системы в инфраструктуру компьютерной сети. Система принятий решений (СПР) - способ преобразования (набор алгоритмов) характеристик СУ в новое метрическое пространство и задающая ч критерии (решающие правила), согласно которым АРВ выявляются по степени отклонения параметров текущего состояния СУ от шаблонных параметров. Обнаружение АРВ в работе СУ должно осуществляться СПР путем выявления степени близости текущих значений характеристик СУ по отношению к ШНП в метриках СПР.
Результаты анализа математических свойств отдельных характеристик * (одномерный анализ)
Для интервального оценивания генеральных средних использовалась формула (3.1.2) [111,112]: s _ _ s X t —j= X0 X+t—j= (3.1.3) где - о - генеральное среднее, X - выборочное среднее, г - аргумент функции Лапласа, соответствующий задаваемой доверительной вероятности у, S -выборочное среднеквадратическое отклонение, П - объем выборки. Оценивание проводилось для у - 0 95.
Анализ табл. 2.3 (см. приложение 2) показывает, что доверительные интервалы генеральных средних для отдельных характеристик не пересекаются. Это указывает на высокую степень разделения нормальных данных и данных, содержащих АРВ по генеральным средним или, иначе, подчеркивает разницу между генеральными совокупностями значений характеристик, формирующихся на нормальных данных и данных, содержащих следы АРВ.
Таким образом, сопоставляя результаты, можно сделать вывод, что диапазоны значений характеристик, не содержащих следов АРВ, имеют относительное постоянство оценок математических ожиданий и дисперсий. При возникновении АРВ аналогичные оценки по различным характеристикам изменяются существенно.
Более полное представление о характере поведения характеристик СУ было сформировано на основе построения и анализа их функций плотностей распределения. С этой целью для характеристик, приведенных выше выборок, были построены гистограммы распределений. В приложении 3 приведен пример сопоставления гистограмм распределений характеристик двух произвольных выборок, одна из которых принадлежит массиву «нормальных» данных (1-3.12.2003г. 14-20 чч.), а другая (11.11.2003 г. 14-20 чч.) - массиву, содержащему АРВ (распределенное XMAS сканирование).
Приведем результаты экспертного заключения, сделанного на основе визуального анализа гистограмм, представленных в приложении 3. Выборку «1-3.12.2003г. 14-20 чч.» будем называть первой, а «11.11.2003 г. 14-20 чч.» - второй.
Визуально легко заметить, что распределения характеристик обеих выборок схожи. Так, большинство из них проявляет свойство одномодальности (достигают максимума только в одной точке) и имеет положительную асимметрию. Для некоторых характеристик заметны проявления полимодальности (TCP_SENDSYN_FIN, TCP_CNTSENDPSH, TCP_CNTRECVFIN), при этом, таких проявлений заметно больше для второй выборки (TCP_CNTSES, TCP_CNTCLIENTPORTSOWN, TCP_CNTSERVERPORTSEXT, TCP_RECVSYN_FIN, TCP_CNTSENDRST и др.).
Акцентируем внимание на распределениях характеристик, для которых должно быть характерно изменение статистических свойств при возникновении данного типа АРВ. Рассмотрим ее особенности.
Данная АРВ представляет собой XMAS сканирования TCP портов в диапазоне 1-1024 с 5-секундной задержкой. Сканирование осуществлялось с исследуемого сетевого устройства. Ее проявление заключалось в генерации пакетов с выставленными TCP флагами FIN, URG и PUSH. «Выброс» пакетов в сетевую среду производился с интервалом 5 сек. Общее время сканирования составляло 1 час.
Такое поведение СУ должно вызывать изменение многих интегральных показателей. Наиболее заметно по общей статистике это должно проявиться на значениях следующих интегральных показателей: Числе сетевых сессий (TCP_CNTSES), т.к. каждый новый пакет будет определять новую сессию; Числе уникальных значений серверных ( 1024) TCP-портов для сетевых устройств, взаимодействовавших с исследуемым (TCP_CNTSERVERPORTSEXT); Числе, характеризующем разницу между отправленными пакетами с установленным TCP флагом SYN и с установленным TCP флагом FIN (TCP_CNTRECVSYN_FIN). Для него должно быть характерно превышение числа отправленных пакетов с флагом FIN пакетов числа пакетов с флагом SYN;
Кроме них, естесственно, будут увеличены и другие показатели, но приведенные являются наиболее чувствительными к такому типу АРВ.
Анализ гистограмм характеристик второй выборки демонстрирует существенное отличие по отношению к первой. Так, для распределений характеристик TCP_CNTSES, TCP_CNTSERVERPORTSEXT и
TCP_CNTRECVSYN_FIN резко выделяется наличие полимодальности, которое проявляется в «расслоении» гистограммы на две части (характерно заметное отклонение дополнительной точки максимума функции плотности распределения от основной моды). Наличие полимодальности в законе распределения для выборки, содержащей следы АРВ, хорошо объясняет полученные ранее различия в оценках выборочных средних и дисперсий. Это указывает на возможность фиксации АРВ по факту возникновения полимодальности.
Замечание: подобные рассуждения были также проведены в отношении других выборок и были получены аналогичные результаты. При этом, естесственно, иные типы АРВ вызывали изменения как рассмотренных выше характеристик, так и других. В, силу схожести рассуждений и выводов, необходимость их приведение в работе опускается.
По гистограммам также была проведена аппроксимация значений отдельных характеристик различными стандартными законами распределения (нормальным, бета, экспоненциальным, гамма, геометрическим, Лапласа, логнормалъным, Пуассона, Релея, Вейбулла). Для этого была осуществлена статистическая проверка гипотез о модельном виде закона распределения вероятностей с помощью критерия согласия х2 Пирсона. Этот критерий позволяет проверять гипотезы как для дискретных, так и для непрерывных случайных величин [85, 114].
Исследования проводились в математическом пакете Statistica 6.0. Для аппроксимация функций плотностей распределения и их согласованности со стандартными законами распределений был использован механизм «Distribution Fitting», который применяет критерий хи-квадрат для проверки гипотез о законе распределении [90].
Вопросы повышения эффективности работы отдельных компонент
Функционирование САВС должно осуществляться в режиме реального времени. Поэтому, на этапе проектирования и создания САВС решался вопрос обеспечения приемлемой скорости обработки данных отдельными ее компонентами. В качестве критерия приемлемости скорости обработки был принят факт синхронизации скоростей поступления сетевого трафика и его обработки. Иными словами, скорость обработки должна быть меньше или равна скорости поступления трафика.
Общий анализ программной архитектуры, приведенный в п.4.1.1, позволяет выявить «узкие» (ресурсоемкие) места в каждом из компонентов, которые могут оказать существенное влияние на производительность САВС в целом и, поэтому, изначально требуют повышенного внимания к оптимизации их алгоритмов. К ним относятся: Процесс структуризации сетевых пакетов в СА; Взаимодействие с базой данных (загрузка/извлечение данных). Повышение производительност процесса структуризации
Результатами структуризации сетевого трафика являются наборы записей для соответствующих таблиц базы данных. Наиболее удобным видом структур данных для хранения этих записей в оперативной памяти, используемой СА, являются линейные динамические списки.
Структуризация сетевых пакетов предполагает либо внесение новой информации в списки, либо изменение данных для уже существующих элементов списков. Этот процесс требует выполнения большого количества операций поиска необходимых элементов в линейных списках.
Таким образом, задача повышения производительности структуризации сетевых пакетов должна решаться применением алгоритмов, ускоряющих поиск. В данном случае наиболее быстрым способом поиска данных в таких списках является индексация их элементов с помощью хеш-таблиц. Проведение однозначной индексации возможно благодаря наличию ключевых элементов, идентифицирующих уникальным образом каждый элемент списка.
Если сделать ключом хеш-таблицы уникальное число, удентифицирующее уникальный объект структуризации, а значением - ссылку (указатель) на соответствующий элемент списка, то можно выполнять операцию поиска элемента за один шаг.
Это решение было реализовано в СА на основе стандартных библиотек языка Си, реализующих хеш-функции. Опыт эксплуатации СА (PC Intel РІП, CPU 500 MHz, RAM 500Mb, HDD 240Gb (software raid-0)) в высоко-нагруженном 100 Мбитном сегменте сети МИФИ продемонстрировал эффективность данного решения. СА оказался в состоянии обрабатывать трафик в течении шага структуризации.
Сопоставление времени работы СА по структуризации методом последовательного поиска и на основе хеш-таблиц продемонстрировало ускорение работы на порядок в случае использования хеш-таблиц. Это особенно проявляется в высокозагруженных сегментах, т.к. в этом случае время операции последовательного поиска в списках резко возрастает из-за наличия огромного количества элементов в списках.
Повышение производительности процесса взаимодействия с базой данных Очевидно, что одним из наиболее узких мест в программных системах, работающих с хранящимися данными, является механизм загрузки/извлечения данных из базы данных.
В САВС эту проблему было предложено решать на основе повышения эффективности использования в СУР функций драйвера (JDBC), выполняющего роль интерфейса с базой данных (Oracle). Этот способ позволяет ускорить загрузку данных в базу.
Особенностью данных, предоставляемых СА и загружаемых СУР в базу, является их однородность и потенциально большой объем. В зависимости от используемой СУБД, занрузка таких массивов может выполняться либо выполнением одиночных запросов типа INSERT, либо блоками.
СУБД Oracle позволяет проводить загрузку данных в блочном режиме, т.е. не выполнять множество запросов типа INSERT, а загружать данные в таблицы блоками. Эта возможность может быть задействована активизацией соответствующего режима в драйвере JDBC, что было использовано в СУР.
Сопоставление способов загрузки одиночными элементами и блоками в СУР продемонстрировало ускорение процесса загрузки в 2-2,5 раза в случае использования блочного режима. Ускорение процесса извлечения данных из СУБД VT/ было предложено осуществлять при помощи задания индексов для таблиц и настройки параметров Oracle. К параметрам базы данных, которые необходимо настраивать на этапе внедрения САВС относятся размеры следующих областей системной оперативной памяти: буферного кэша базы данных, совместно используемого пула, области сортировки.
