Содержание к диссертации
Введение
Глава 1. Индексы как комплексная оценка для распознавания состояния многомерных систем 12
1.1. Современное состояние проблемы формирования индексов 12
1.2. Обзор методов искусственного интеллекта для формирования индексов 16
1.3. Распознавание образов 26
1.3.1. Математическая формализация задачи 28
1.3.2. Искусственные нейронные сети 29
1.3.3. Генетические алгоритмы 30
1.3.4. Иммунокомпьютинг 33
1.4. Постановка задачи исследования 37
1.5. Выводы по главе 38
Глава 2. Математические методы формирования индексов на основе иммунокомпъютинга 40
2.1. Базовый алгоритм вычисления индекса 40
2.2, Определение оптимальных коэффициентов индекса в общем случае 42
2.3. Одномерный линейный случай 45
2.4. Одномерный нелинейный случай 48
2.5. Многомерный линейный случай 51
2.6. Выводы по главе 56
Глава 3. Индексные формальные иммунные сети 58
3.1. Базовая индексная формальная иммунная сеть 58
3.2. Блок оптимизации коэффициентов индекса 61
3.3. Блок обучения 63
3.4. Блок отбора 65
3.5. Блок распознавания 68
3.6. Селекция наиболее значимых индикаторов с помощью индексной
формальной сети 69
3.7. Минимальная индексная формальная иммунная сеть 72
3.8. Программная реализация 74
3.9. Выводы по главе 77
Глава 4. Практические применения индексных формальных иммунных сетей для оценки многомерных систем 78
4.1. Индекс вторжений в компьютерные сети 78
4.1.1. Актуальность проблемы 78
4.1.2. Исходные данные 79
4.1.3. Данные 81
4.1.4. Блок обучения 84
4.1.5. Блок «Тимус» 85
4.1.6. Блок «Оптимизации» 85
4.1.7. Блок «Апоптоз» 86
4.2. Индекс риска чумы 88
4.2.1. Актуальность проблемы 88
4.2.2. Исходные данные 91
4.2.3. Результаты расчетов 93
4.3. Индексы риска подросткового кризиса 95
4.3.1. Актуальность поблемы 95
4.3.2. Индекс обучаемости , 97
4.3.3. Индекс темперамента , 98
4.3.4. Индекс адаптивности 99
4.3.5. Индекс успешности 101
4.4. Результаты сравнения с нейронной сетью и генетическим алгоритмом ЮЗ
4.4.1. Актуальность проблемы 103
4.4.2. Описание задачи 104
4.4.3. Тестовые данные 104
4.4.4. Вычислительный эксперимент 106
4.5. Выводы по главе 109
Заключение 110
Список использованной литературы 112
- Современное состояние проблемы формирования индексов
- Базовый алгоритм вычисления индекса
- Базовая индексная формальная иммунная сеть
- Индекс вторжений в компьютерные сети
Введение к работе
Актуальность темы диссертационного исследования. В настоящее время становится актуальной разработка нового класса интеллектуальных систем мониторинга безопасности. Традиционные методы системного анализа и поддержки принятия решений оказываются недостаточными для оперативной и интеллектуальной обработки данных мониторинга и формирования на их основе интегральных показателей, позволяющих наглядно отображать и предсказывать опасности и риски. Особую остроту эти задачи приобретают для систем компьютерной, информационно-психологической и эпидемиологической безопасности. Для решения таких задач необходимы методы современного искусственного интеллекта в сочетании с индексами, получившими широкое распространение для комплексной оценки состояния, динамики, активности, а также для прогнозирования рисков и тенденций сложных систем в экономике, здравоохранении, социологии, экологии и т.д. Под индексом сложной многомерной системы понимается число, которое объединяет большое количество компонентов (факторов) или переменных величин, называемых индикаторами. Например, риски деловой активности, такие как Dow-Jones или NASDAQ, широко используются в экономике и финансах. Как правило, такие индексы были введены на основе эмпирических соображений, некоторые из них рассчитываются достаточно легко, как среднее арифметическое последовательностей определенных переменных. Например, The Standard and Poor Index применяет стоимость к среднему представлению 500 акций на Нью-Йоркской фондовой бирже в течение дня. The Retail Price Index, как другой пример, измеряет среднее увеличение цены обычной сети продуктов питания в Великобритании.
Аналогичные индексы являются такими же важными, как в экономике, так и в других областях, например, в медицине - в практике Всемирной Организации Здоровья (ВОЗ). Подобные индексы, как правило, имеют один общий недостаток - они достаточно субъективны.
Все работы, посвященные комплексной оценке состояния многомерных систем, обращают внимание на колоссальный объем требуемой для этого информации.
Несмотря на широкое применение эвристически введенных индексов в различных областях, все более возрастает актуальность строгих математических моделей, которые должны обеспечить разработку индексов, различных по специфичности и агрегированности, вплоть до национального уровня. Существенный вклад в решение этой проблемы внесли работы И. Фишера, Н.В. Хованова и др.
При разработке математических моделей и вычислительных методов для определения значений индексов желательно иметь эффективную интеллектуальную информационную технологию, ориентированную на переработку больших массивов разнородной исходной информации (символьной, числовой непрерывной и дискретной, вероятностной, нечеткой и т.д.).
К наиболее развитым информационным технологиям, пригодным для решения подобного рода задач, можно отнести искусственные нейронные сети и генетические алгоритмы, а к наиболее перспективным - искусственные иммунные системы и иммунокомпьютинг. Существенный вклад в научную разработку указанных технологий внесли работы Д. Е. Румельхарта, А. В. Тимофеева, С. Форрест, Д. Дасгупты и др.
Сравнительный анализ эффективности использования указанных интеллектуальных информационных технологий, выполненный в работах А. О. Тараканова и др. на примере задач экологического мониторинга и лазерной физики, продемонстрировал явные преимущества математических методов иммунокомпьютинга по точности и быстродействию.
Такое состояние в данной области позволяет сделать вывод, что разработанные в данной диссертационной работе математические модели и вычислительные процедуры формирования индекса на основе методов иммунокомпьютинга имеют как научную, так и практическую актуальность.
Цель и задачи диссертационной работы. Цель работы заключается в разработке математических моделей и вычислительных алгоритмов формирования индексов на базе методов иммунокомпьютинга для комплексной оценки состояний, рисков и трендов многомерных систем.
Для достижения этой цели необходимо решить следующие основные задачи:
Разработать базовые математические модели формирования индекса.
Оптимизировать параметры индекса по обучающей выборке.
Разработать метод определения индикаторов, наиболее значимых для вычисления индекса,
Разработать структуру индексной формальной иммунной сети для реализации основных вычислительных алгоритмов.
Обосновать эффективность разработанных моделей и алгоритмов на основе их сравнения с основными конкурентами в области вычислительного интеллекта.
Методы исследования. Для решения поставленных задач используются методы обработки информации и распознавания образов на базе вычислительного интеллекта, включая искусственые нейронные сети, генетические алгоритмы и иммунокомпьютинг, а также математические методы теории матриц.
Научная новизна:
Разработаны математические модели формирования индекса на основе распознавания образов, превосходящие по точности и быстродействию основных конкурентов в области вычислительного интеллекта.
Предложены индексные формальные иммунные сети для алгоритмической и программной реализации разработанных моделей.
Сформированы индексы, позволяющие оценивать и прогнозировать опасные состояния компьютерных, военно-прикладных и эколандшафтных систем на основе обработки информации по их мониторингу.
8 Обоснованность и достоверность научных положений, основных выводов и результатов диссертации обеспечиваются корректным анализом состояния исследований в области интеллектуальных информационных технологий, подтверждаются корректностью предложенных математических моделей и вычислительных алгоритмов, а также согласованностью полученных теоретических результатов с результатами их практической реализации. Основные результаты диссертации также прошли апробацию в научных трудах и докладах на международных научных конференциях.
Практическая ценность работы. Полученные теоретические результаты по формированию индекса вторжения в компьютерную сеть, оптимизации параметров индекса и выделению наиболее значимых индикаторов использованы при решении задач информационной безопасности. Аналогичные результаты по формированию индекса риска чумы использованы для обработки данных мониторинга природных очагов чумы. Эти результаты могут быть использованы для прогнозирования вспышек особо опасных инфекций.
Реализация и внедрение. Основные научные результаты работы внедрены и использовались в следующих организациях:
В рамках международного проекта № 2200р Европейского бюро аэрокосмических исследований (EOARD, г. Лондон) через Международный научно-технический центр (МНТЦ, г. Москва) «Разработка математических моделей иммунных сетей для обеспечения безопасности информации».
В Санкт-Петербургском государственном университете аэрокосмического приборостроения (ГУАП) в учебном процессе по интеллектуальным информационным технологиям и системам.
В Военно-медицинской академии им. СМ. Кирова для прогноза развития дезаптационных нарушений у военнослужащих в рамках отбора к профессиям повышенного риска.
Апробация результатов работы. Основные результаты и выводы диссертации докладывались на: первой международной конференции по Искусственным иммунным системам - (ICARIS - 2002), Университет графства Кент, г. Кентербери, Великобритания, 2002; второй международной конференции по Искусственным иммунным системам - (ICARIS — 2003), Университет г. Эдинбурга, Великобритания, 2003; XIV Всероссийском совещании «Управление качеством образования», Москва-Уфа, 2004; III Санкт-Петербургской межрегиональной конференции «Информационная безопасность регионов России (ИБРР - 2003», Санкт-Петербург, 2003; IX Санкт-Петербургской международной конференции "Региональная информатика (РИ - 2004)", Санкт-Петербург, 2004.
Публикации. Основные результаты и выводы диссертационной работы представлены в 8 научных публикациях.
Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы и актов внедрения результатов диссертации. Объем основного текста диссертационной работы: 118 страниц, 14 рисунков и 7 таблиц. Список литературы включает 1 Об наименования.
В первой главе представлен аналитический обзор современного состояния проблемы формирования индексов. Проанализированы существующие методики формирования индексов в областях информационной безопасности, здравоохранения, экологии, экономики, психологии и др.
Современное состояние проблемы формирования индексов
Индексом сложной многомерной системы является общая величина, которая объединяет большое количество особых множителей (факторов) или переменных величин, называемых индикаторами. В некоторых случаях такой индекс является единственным путем представления текущего состояния системы и ее динамики, по которым возможно оценить активность системы и предсказать риски и тенденции. Например, риски деловой активности, такие как Dow-Jones или NASDAQ, широко используются в экономике и финансах. Как правило, такие индексы были введены на основе эмпирических соображений, некоторые из них рассчитываются достаточно легко, как среднее арифметическое последовательностей определенных переменных. Например, The Standard and Poor Index применяет стоимость к среднему представлению 500 акций на Нью-Йоркской фондовой бирже в течение дня. The Retail Price Index, как другой пример, измеряет среднее увеличение цены обычной сети продуктов питания в Великобритании.
Аналогичные индексы являются такими же важными, как в экономике, так и в других областях, например, в медицине.
В области здравоохранения постоянно возникает необходимость дать общую оценку состояния здоровья населения некоторой территории, позволяющую сравнивать различные территории между собой, контролировать изменения в состоянии здоровья и результаты мероприятий по охране здоровья.
Наиболее распространено определение здоровья как состояния полного физического, психического и социального благополучия, а не только как отсутствия болезней и телесных пороков [45]. Поскольку здоровье является такой многосторонней характеристикой, его детальная оценка по каждому показателю в отдельности, либо по одному показателю (заболеваемость конкретной болезнью, уровень детской смертности и др.) не дает объективной оценки территории. Очевидно, для этого требуется проведение комплексного оценивания, учитывающего в каком-либо общем виде все важнейшие показатели [32].
Подобные комплексные оценки в значительной степени влияют на качество и результативность работы управляющих структур, выявляя районы, требующие первоочередного реагирования. Исследования сложных систем показывают важность этого положения и в процессе проведения решений в жизнь, поскольку отсутствие или искаженность информации может привести к отклонению от поставленной цели или даже к отрицательным результатам [18,22]. При этом специальные показатели не могут быть использованы в качестве общей оценки здоровья, а применение показателей-суррогатов порождает некачественную информацию о здоровье, способную в лучшем случае имитировать обоснование решений, а в худшем - обосновывать неверные решения врача или администратора [7].
В практике Всемирной Организации Здоровья (ВОЗ) для решения проблемы комплексного оценивания здоровья сравнительно давно используется понятие индикатора [55]. К числу наиболее известных индикаторов, позволяющих сравнивать уровни здоровья населения в различных странах, относятся такие индикаторы, как: продолжительность жизни, рождаемость, детская смертность и др. [48]. Следует отметить, что подобные немногочисленные примеры являются скорее следствием удачного выбора на основе эвристических и эмпирических процедур.
Однако, как отмечено в [7], несмотря на всю привлекательность единого индекса здоровья, сегодня для его создания отсутствуют предпосылки. В частности, нет общепринятого критерия здоровья, по отношению к которому мог бы быть разработан подобный индекс. Кроме того, практически реализуемые подходы к созданию индекса здоровья разнородны и в большинстве своем методически неполноценны.
При этом все настойчивее отмечается отсутствие концептуальных моделей (методик), которые должны обеспечить разработку индикаторов различных по специфичности, агрегированное и уровню, вплоть до национального уровня [64]. Они должны фокусировать политику и обеспечивать конкретные измерители эффективности, а, следовательно, ответственности (отчетности).
В отличие от областей здравоохранения, экономики и социологии, экологические индикаторы еще только начинают формироваться. Между тем, как отмечено в [64], эмпирические индикаторы управляемого развития окружающей среды имеют все возрастающее значение. В общем виде, сложность при разработке экологических индикаторов заключается в том, что необходимо оценить систему воздействия на окружающую природную среду, рассмотреть различные стороны воздействия, связи в природной среде, решить множество вопросов, относящихся к самым различным направлениям естественных наук.
Следует отметить одну из немногих работ [17], в которой предложена и реализована информационная технология формирования и расчета экологических индикаторов для комплексной экологической оценки (КЭО). Речь идет об экологическом атласе крупного города - Санкт-Петербурга [14]. В состав этого атласа вошли 11 тематических карт, каждая из которых раскрывала только один из факторов воздействия на окружающую среду или отклика на подобные воздействия. Поэтому на базе указанных карт была создана карта комплексной экологической оценки (КЭО), рассматриваемая как основная карта атласа, которая отображает общую экологическую ситуацию. Такое объединение достаточно разнородных показателей стало возможным благодаря их осреднению по некоторой территории и переходу от натурных (измеренных) значений к безразмерным шкалам-оценкам.
Базовый алгоритм вычисления индекса
Пусть состояние многомерной системы характеризуется вектором индикаторов X = [xt,...,xB]. Пусть имеется набор из т векторов Хк, к-\,...,т, с известными значениями индикаторов. Предлагается следующий базовый алгоритм вычисления индекса данной системы. 1. По исходным данным формируется матрица A = [Xl3„.tXa]r размерности ЩУП, где т — количество объектов, которые соответствуют строкам матрицы, а п -количество параметров (индикаторов), которые соответствуют столбцам матрицы. 2. Методом сингулярного разложения матрицы А вычисляется А й правый сингулярный вектор Vk =[ ,...,УЯ]А, который соответствует к-му сингулярному числу матрицы sk. 3. Для любого входного (распознаваемого) вектора Z размерности и х 1 вычисляется его энергия связи с вектором Vk =[vt vn]k: 4. Искомое значение индекса вычисляется по следующей формуле: Рассмотрим важное математическое свойство алгоритма. Предложение 1. Если входной вектор совпадает со строкой матрицы A: Z1 = Д, і -\,...,т, то энергия связи в точности совпадает с соответствующей компонентой левого сингулярного вектора Uk = [u]t...tum\k - Доказательство: Это утверждение следует из известного свойства сингулярного вектора [40]: Умножим обе части этого соотношения справа на VkT: . Учитывая условие ортогональности сингулярных векторов, получим Подставив (2.6) в выражение для энергии связи (2.1), получим: что подтверждает справедливость (2.3). В формуле (2.2) в качестве параметров обучения выступают значения коэффициентов индекса с0, с, и номер к правого сингулярного вектора. В следующем подразделе представлены результаты параметрической оптимизации данных величин. 42 2.2. Определение оптимальных коэффициентов индекса в общем случае Значения коэффициентов с0 и с, индекса Ik(Z), а также номер к правого сингулярного вектора в уравнении (2.2) могут определяться двумя способами: 1) экспериментально (на основе экспертных оценок) в соответствии с особенностью приложения, 2) на основе строгих математических методов, как решение задачи параметрической оптимизации значения индекса. Рассмотрим решение второй задачи на основе среднеквадратического критерия качества. Пусть имеется матрица М - [н ] размерности (/ х/и), где к = 1,...,р и р - количество сингулярных векторов, используемых для расчета индекса, а У = 1,..., ли... и т— количество обучающих векторов. При этом значение элементов данной матрицы вычисляются по формуле (2.1) базового алгоритма для обучающих векторов. Представим задачу в следующем векторно-матричном виде: где С - вектор коэффициентов индекса размерности т xl: вектор В - вектор размерности (p xl), компонентами которого являются заданные значения индекса для обучающей выборки: Рассмотрим сингулярное разложение матрицы М : Определим матрицу Л/+ следующим образом: Предложение 2. Справедливо следующее условие: ММ+М = М. (2.11) Доказательство: Используя выражения (2.9, 2.10) в левой части соотношения (2.11), получим
Базовая индексная формальная иммунная сеть
На основе ИК-алгоритма распознавания образов, приведенного в главе 1, а также результатов главы 2, в данной главе введено новое понятие индексной формальной иммунной сети и разработана ее базовая структура. Эта структура представлена на рисунках 3.1 и 3.2. На рисунке 3.1 представлена базовая сеть для расчета индекса. На вход блока умножения подаются значения компонент «антигена» - вектора Z =[z(J...,zn] и значения компонент «антитела» V = [vlt...,vn]. Производится покомпонентное умножение и затем суммирование. Полученный результат умножается на обратное значение соответствующего сингулярного числа. Полученное значение энергии связи w умножается на коэффициент сх и суммируется со значением коэффициента с0. Формирование обучающей выборки, компонент «антигена» и «антитела», оптимальных значений коэффициентов индекса с; осуществляется с помощью индексной формальной иммунной сети, структура которой представлена на рисунке 3.2. Индексная формальная иммунная сеть включает следующие блоки: - блок обучения; - блок распознавания; - блок оптимизации коэффициентов индекса; - блок вычисления значений индекса. Рассмотрим последовательно функциональное назначение, структуру и вычислительные алгоритмы, реализованные в каждом из вышеперечисленных блоков. 3.2. Блок оптимизации коэффициентов индекса Структура блока оптимизации коэффициентов индекса представлена на рисунке 3.3. Блок оптимизации коэффициентов индекса включает следующие вычислительные процедуры: - формирование матрицы М коэффициентов индекса. Входом этой процедуры являются вычисленные значения энергии связи, выходом -матрица М коэффициентов индекса; - сингулярного разложения матрицы М коэффициентов индекса. Входом является матрица М коэффициентов индекса, выходом - компоненты сингулярного разложения Z,, УХ , Д,,..., Ln, тп,Лп; - вычисление псевдообратной матрицы М ; - оптимизация вектора коэффициентов индекса. Входом являются вычисленные компоненты псевдообратной матрицы М+, выраженные через компоненты сингулярного разложения матрицы М коэффициентов индекса, заданные значения коэффициентов индекса для обучающей выборки 6]t...,6m. Выходом - оптимальный вектор коэффициентов С (2.13) индекса. Назначением блока обучения является выбор оптимального вектора для формирования индекса. В состав блока обучения (рисунок 3.4) входят процедуры: формирования обучающей матрицы, сингулярного разложения обучающей матрицы, «Тимус» - выбора оптимального вектора для формирования индекса. На вход блока обучения подается обучающая выборка Xv...,Xm, каждый из векторов которой является л-мерным вектором индикаторов xlrx2,...txn. На основании входной информации формируется обучающая матрица А размерности тхп. С использованием итеративной вычислительной процедуры и метода исчерпывания (1.12), приведенных в первой главе, осуществляется сингулярное разложение обучающей матрицы А. В результате сингулярного разложения формируются соответствующие ортогональные матрицы левых и правых сингулярных векторов и диагональная матрица сингулярных чисел. 3.4. Блок отбора В соответствии с базовым алгоритмом (раздел 2.1), назначением данного блока является отбор номера к правого сингулярного вектора, который будет использоваться для расчета индекса. Для этого компоненты сингулярного разложения обучающей матрицы sl,Vl,,..,srtVr поочередно подаются на вход вычислительной процедуры "Тимус", с помощью которой осуществляется выбор оптимального правого сингулярного вектора Vk и соответствующего ему сингулярного числа $к для формирования индекса по базовой сети на рисунке 3.1. В качестве критерия отбора предлагается использовать среднеквадратичное отклонение расчетных и обучающих значений индекса (2.16) на обучающий вектор: В качестве допустимости отбора вводится пороговое значение qh критерия (3.1). Это значение может задаваться экспертами на основе эвристических соображений. Рассмотрим цикл отбора на примере fc-ro правого сингулярного вектора Vk. Данный вектор подается на вход блока распознавания, в котором вычисляются т значений энергий связи wtl...,№m с каждым вектором обучающей выборки Xt,...,Xm. На основе этих значений проводится оптимизация коэффициентов с0,С!,...,сг и расчет значений индексов /,,..., . Затем производится расчет критерия qk по формуле (3.1). После перебора всех правых сингулярных векторов Vv---,Vr и вычисления соответствующих значений критерия (3.1): q ...,qri отбирается компонента, дающая минимальное значение этого критерия: Если минимальное значение критерия меньше заданного порога тогда правый сингулярный вектор, соответствующий минимальному значению критерия q , отбирается для расчета индекса.
Индекс вторжений в компьютерные сети
На сегодняшний день информация стала высоко ценимым продуктом и его уязвимость вызывает большое беспокойство в любой крупномасштабной организации, использующей компьютерные сети.
Как было отмечено в первой главе, в связи с появлением глобальной сети Интернет и организацией различного рода атак и вторжений в эту сеть актуальной стала проблема обеспечения информационной безопасности компьютерных сетей. Последствия различного рода информационных атак, как правило, приносят значительный ущерб в плане возможной потери ценной информации. Примером тому может служить представленная в [82] анатомия информационной атаки в компьютерную сеть, связанная с запуском в компьютерную сеть червя W32/Blaster. В результате чего в течение 3 дней было заражено 188,000 компьютеров с последующим выходом их из строя. Это один из многих примеров подобных вторжений в компьютерные сети.
Такие примеры еще раз подчеркивают актуальность развития интеллектуальной технологии для формирования индексов вторжений в компьютерную сеть.
Проблема информационной безопасности признается как одна из наиболее сложных и ее важность возрастает с увеличением числа связанности узлов сети, их размеров и внедрением новых информационных технологий. Согласно широко признанной точки зрения, вторжение определяется как «любое множество мероприятий, которые пытаются подвергнуть опасности целостность, конфиденциальность или работоспособность средства» [58]. Согласно этому определению существуют три основных типа угроз для информационной безопасности [41, 43,63,68]. угроза несанкционированных доступов к информации; угроза уничтожения информационной целостности, и угроза отказа от обслуживания, делая опасным источник и/или информацию недоступными.
Предположим, что состояние компьютерной сети характеризуется набором индикаторов и возможны следующие ситуации: стандартная или режим нормального функционирования и абнормальная ситуация или режим вторжения.
Под индексом вторжений в компьютерную сеть будем понимать обобщенный показатель, сигнализирующий о вторжении в компьютерную сеть.
Продемонстрируем процедуру формирования и вычисления индекса вторжений в компьютерную сеть с использованием вышеприведенных математических моделей и вычислительных процедур индексной формальной иммунной сети.
Для формирования индекса вторжений в компьютерные сети был использован хорошо известный KDD архив Калифорнийского университета [45]. Архив KDD представляет собой набор данных, использовавшийся для 3-го международного конкурса, который проводился в связи с 5-й международной конференцией по выявлению знаний и анализу данных KDD-99. Конкурсная задача заключалась в построении детектора сетевых атак -предсказательной модели, способной различать «плохие» подключения, называемые вторжениями или атаками, и «хорошие» нормальные подключения. Эта база данных содержит стандартный проверочный набор данных, который включает широкий диапазон вторжений, имитирующих окружение военной компьютерной сети.
Программа агентства DARPA по оценке обнаружения вторжений была подготовлена и управлялась Линкольновскими лабораториями Массачусетского института технологий (MIT). Цель этой программы заключалась в отслеживании и оценке исследований по обнаружению вторжений. Для этой цели был сформирован стандартный проверочный набор данных, который включает широкий диапазон вторжений, имитирующих окружение военной компьютерной сети. Этот конкурс по обнаружению вторжений 1999 KDD использовал версию такого набора данных,
Линкольновские лаборатории обеспечили среду для получения девяти недельных данных по протоколу управления передачей данных (TCP) для локальной сети (LAN), имитирующей типичную локальную сеть ВВС США. Они оперировали сетью так, как если бы это было реальной сетью ВВС, но приправленной многочисленными атаками.
Сырые обучающие данные составляли около 4 гигабайт заархивированных бинарных данных TCP, сброшенных с семи недельного сетевого потока. Это было обработано в около 5 миллионов записей сетевых соединений. Соответственно, двух-недельные тестовые данные составляли около 2 млн записей соединений.
