Содержание к диссертации
Введение
Глава 1. Использование методов теории экспертных систем для моделирования систем управления в области информационных технологий 10
1.1 Развитие и недостатки информационных технологий на современном этапе 10
1.2 Возможности использования принципов построения экспертных систем для управления информационными структурами 20
1.3 Постановка цели и задач исследования 32
Глава 2. Разработка функциональной модели системы управления информационными структурами на основе принципов построения экспертных систем 34
2.1 Использование элементов теории массового обслуживания для моделирования компьютерной системы централизованного доступа к информационным ресурсам 34
2.2 Разработка структуры и функциональной схемы серверной части компьютерной системы централизованного доступа к информационным ресурсам 38
2.3 Разработка структуры и функциональной схемы системы управления информационной структурой на базе принципов построения экспертных систем 45
2.4 Алгоритм оптимизации распределения приоритетов обработки запросов 51
Глава 3. Разработка обобщенной математической модели интерпретатора системы управления информационными структурами .. 54
3.1 Моделирование стохастических сетей 54
3.1.1 Использование методов регрессионного анализа при построении интерпретатора экспертной системы 54
3.1.2 Категорирование данных, построение стохастической сети 55
3.1.3 Применение коэффициента корреляции для автоматизации выявления стохастических связей 59
3.1.4 Циклы в стохастической сети 61
3.2 Разработка математической модели для решения задач прогнозирования на стохастической сети '.-. 62
3.2.1 Использование методов регрессионного анализа для решения задач прогнозирования 62
3.2.2 Алгоритм решения задачи прогнозирования для двух стохастически связанных процессов 67
3.3 Моделирование инерционных зависимостей с использованием методов анализа распределенных лагов 69
3.3.1 Применение методов анализа распределенных лагов для решения задач управления 71
3.3.2 Нахождение лаговой функции по заданным выборкам двух процессов 78
Глава 4. Экспериментальная проверка эффективности предложенных алгоритмов 81
4.1 Программное обеспечение, использующееся при проведении экспериментов 81
4.2 Экспериментальное исследование процессов, протекающих в серверной части информационной системы 89
4.3 Выявление зависимости времени обработки запроса от его приоритета. 92
4.4 Формализация многокритериальной регрессионной модели 102
Заключение 119
Приложения 121
Публикации по теме исследования 149
Список использованных источников
- Возможности использования принципов построения экспертных систем для управления информационными структурами
- Разработка структуры и функциональной схемы серверной части компьютерной системы централизованного доступа к информационным ресурсам
- Использование методов регрессионного анализа при построении интерпретатора экспертной системы
- Экспериментальное исследование процессов, протекающих в серверной части информационной системы
Введение к работе
Актуальность темы
В настоящее время одной из самых перспективных областей в развитии технических систем самого различного назначения является разработка и внедрение современных информационных технологий [8, 21, 34]. Темпы развития сетевых информационных технологий связаны с появлением все более производительной и компактной цифровой и компьютерной техники. Новые возможности открываются при конфигурировании локальных сетей различного назначения. Использование ресурсов глобальных сетей (INTERNET, Fido, ведомственных сетей) становится все более доступным и интегрированным в процесс работы с компьютерной техникой.
Информационные технологии, функционирующие в
вычислительных сетях, становятся все более сложными и «интеллектуальными» и могут в некоторой степени составлять конкуренцию биологическим системам. Такие технологии в настоящий момент находят самое широкое применение в различных областях человеческой жизнедеятельности.
Поскольку процесс управления современной информационной
системой носит сложноформализованный характер, становятся
актуальными вопросы разработки систем управления и экспертных систем
в области управления информационными технологиями,
функционирующими в рамках компьютерных сетей.
" Для решения сложноформализованных задач, как правило, используются методы моделирования экспертных систем. Экспертные системы (ЭС) находят свое применение в тех областях, где процесс принятия решения не может быть подчинен «жесткому» алгоритму, или не может рассчитываться по заданным формулам, и в то же время к принятию решения предъявляются требования оперативности. Общей особенностью
всех экспертных систем является «интеллектуальность», под которой принято понимать способность системы к обучению в той или иной форме.
Важнейшим элементом любой экспертной системы является интерпретатор, в основе которого могут лежать различные математические методы, - блок, решающий на основе имеющихся в системе знаний предъявленную ему задачу.
В настоящее время теория экспертных систем изучена достаточно хорошо [15, 22, 23, 32, 54, 55, 57, 63, 69, 70, 81, 91, 92, 101, 113, 121, 127,' 131, 142-147], однако ранее основное внимание уделялось т.н. системам первого поколения, интерпретатор которых строится на базе методов искусственного интеллекта, к ним относятся методы, основанные на использовании продукционных правил, нейронных систем, имитационные методы и т.п. Однако, несмотря на быстрые темпы роста быстродействия и объемов памяти компьютерной техники, «интеллектуальность» таких систем на сегодняшний день серьезно ограничена аппаратной частью. Это делает невозможным создание мощных экспертных систем на базе современных персональных компьютеров.
В последнее время возрос интерес к экспертным системам, интерпретатор которых имеет в своей основе классические методы, в первую очередь - теории вероятностей и математической статистики. Исследования показали [70, 139, 146], что эффективным средством преодоления проблемы ограниченности ресурсов аппаратной части является использование в модели вероятностного аппарата.
Все вышеизложенное говорит об актуальности исследований в области экспертных систем и систем управления сложными информационными структурами, функционирующими в условиях современной компьютерной техники и сетевых телекоммуникационных технологий (в первую очередь - систем типа «клиент-сервер»), с применением классических методов теории экспертных систем, систем автоматизированного управления, а также теории телетрафика.
6 Разработка таких систем призвана уменьшить выявленные в течение
последних лет недостатки, присущие известным функционирующим
информационным системам.
Решение данной задачи предполагает не только использование
современного математического аппарата, но и конструирование новых
моделей, синтез алгоритмов, а также их апробацию с помощью
программных средств.
Цель и задачи работы
Целью диссертационного исследования является математическое моделирование систем управления информационными структурами, функционирующими в вычислительных сетях, разработка комплекса функциональных, математических и программных моделей таких систем с использованием принципов построения экспертных систем.
Для достижения цели работы возникла необходимость в решении следующих основных научных задач:
обоснование целесообразности использования методов теории экспертных систем для моделирования систем управления в области информационных технологий;
разработка функциональной модели системы управления информационными структурами, функционирующими в вычислительных сетях, с использованием принципов построения экспертных систем;
разработка обобщенной математической модели интерпретатора системы управления информационными структурами на основе методов регрессионного анализа;
разработка частной математической модели компьютерной системы удаленного доступа к информационным ресурсам на основе предложенной обобщенной математической модели;
разработка комплекса программ для экспериментальной проверки эффективности предложенных математических моделей и алгоритмов.
Методы исследования
Для решения перечисленных задач в диссертационной работе были использованы методы системного анализа, математического моделирования, теории вероятностей, математической статистики, теории графов, регрессионного анализа, корреляционного анализа.
Научная новизна диссертационной работы
1. Разработана функциональная модель, совмещающая в себе
принципы построения ЭС, основанных на концепции искусственного
интеллекта (1-е поколение), и ЭС, основанных на методах экспертных
оценок (2-е поколение), что позволяет добиться высокой эффективности
принятых решений, присущей ЭС 2-го поколения, и оперативности
процесса принятия решений, присущей ЭС 1-го поколения.
2. Предложен алгоритм нахождения значимой функции
полиномиальной регрессии, использующий программу численного
нахождения минимальной степени полинома, позволяющий не
рассматривать Ф-критерий для функций меньших степеней.
3. Предложен алгоритм управления выходными параметрами,
зависящими от предикторов посредством лаговых функций.
4. Получена зависимость времени выполнения группы запросов в
системе с приоритетами при известных параметрах от распределения
приоритетов между запросами для рассматриваемого сервера.
Практическая значимость работы
Предложенные в работе алгоритмические средства реализованы в виде комплекса программ, ориентированного на решение вычислительных задач на базе системного программирования. Практические результаты исследования могут найти применение в информационных системах, функционирующих в условиях вычислительных сетей, например в системах управления базами данных (БД), построенными по принципу
«клиент-сервер» и т.п., что позволит улучшить качество обслуживания в таких системах за счет оптимизации временных характеристик.
Реализация и внедрение результатов работы
Основные теоретические и практические результаты работы
реализованы в виде алгоритмов, программ и блок-схем программ и
использовались при разработке программного обеспечения и
администрировании информационных систем в информационном центре ГУВД Воронежской области, ОАО «Криста-Офис», о чем получены соответствующие акты.
Апробация работы
Основные результаты работы докладывались и обсуждались на следующих конференциях:
Всероссийская научно-практическая конференция «Охрана-98» (Воронеж, 1998 г.).
Всероссийская научно-практическая конференция «Охрана-2000» (Воронеж, 2000 г.).
3. Всероссийская научно-практическая конференция «Охрана и
безопасность-2001» (Воронеж, 2001 г.).
4. Всероссийская научно-практическая конференция «Современные
проблемы борьбы с преступностью» (Воронеж, 2001 г.).
5. Всероссийская научно-практическая конференция "Проблемы
управленческого консультирования" (Воронеж, 2003 г.).
6. Всероссийская научно-практическая конференция «Современные
проблемы борьбы с преступностью» (Воронеж, 2003 г.).
7. Всероссийская научно-практическая конференция «Охрана,
безопасность и связь — 2003» (Воронеж, 2003 г.).
8. Всероссийская научно-практическая конференция «Современные
проблемы борьбы с преступностью» (Воронеж, 2004 г.).
9. Всероссийская научно-практическая конференция «Современные проблемы борьбы с преступностью» (Воронеж, 2005 г.).
Публикации
По теме диссертации опубликовано 18 печатных работ. Список научных работ приведен на стр. 149.
Структура и объем работы
Диссертационная работа состоит из введения, четырех разделов, заключения, списка литературы из 178 наименования и 4 приложений. Работа изложена на 166 страницах машинописного текста (основной текст занимает 116 страниц), содержит 44 рисунка и 12 таблиц.
Возможности использования принципов построения экспертных систем для управления информационными структурами
Для обработки информации на базе электронно-вычислительных машин создаются специальные программы разной степени сложности. Программы высокой сложности, в силу широко используемого в последние годы структурного подхода к программированию, называют большими системами или сложными системами. Системы такого рода могут выполнять в зависимости от назначения множество функций. Они применяются даже в тех областях человеческой деятельности, в которых ранее использование компьютерной техники казалось необоснованным или даже невозможным, таких, например, как: геология, медицина, правоохранительная деятельность, управление, юриспруденция [8].
Основополагающую роль в развитии сложных компьютерных систем сыграли результаты, полученные путем исследований проблем искусственного интеллекта [13, 25, 31, 35, 36, 55, 63, 66, 67, 68, 84, 93, 94, 97, 99, 117, 118, 120, 128, 129, 136, 148], при этом под искусственным интеллектом понимают способность прикладного процесса обнаруживать свойства, ассоциируемые с разумным поведением человека.
Искусственный интеллект (ИИ), как научное направление, связанное с попытками формализовать мышление человека, имеет длительную историю. Еще Платон, Аристотель, Р.Декарт, Г.В.Лейбниц, Дж. Буль и многие другие исследователи на уровне современных им знаний стремились описать мышление как совокупность некоторых элементарных функций, правил и процедур. Качественно новый период развития ИИ связан с выходом книги Н.Винера «Кибернетика, или управление и связь в животном и машине» и с появлением компьютерной техники. Первые шаги кибернетики были направлены на изучение и осмысление процессов, протекающих в сложных, прежде всего естественных системах, включая и мыслящие.
Но уже тогда стали появляться разработки, направленные на воспроизведение в ЭВМ определенных процессов мышления. Позднее именно это направление работ и оформилось в самостоятельную область, разрабатывающую проблему искусственного интеллекта. В ходе последующего развития исследований по ИИ, в 60-х - 70-х годах прошлого века, произошло их разделение на два самостоятельных направления.
Первое направление рассматривает продукт интеллектуальной деятельности человека, изучает его структуру и стремится воспроизвести этот продукт средствами современной техники.
Второе направление ИИ рассматривает данные о нейрофизиологических и психологических механизмах интеллектуальной деятельности, а в более широком плане - разумном поведении человека. Разработчики стремятся воспроизвести эти механизмы с помощью технических устройств, чтобы поведение их хорошо совпадало с поведением человека в определенных, заранее задаваемых пределах.
В середине семидесятых годов в рамках искусственного интеллекта сформировалось самостоятельное направление - «инженерия знаний», в задачу которого входит разработка, исследование и использование экспертных систем [91,92].
Под экспертной системой принято понимать систему искусственного интеллекта, включающую знания об определенной слабо структурированной и трудно формализуемой узкой предметной области и способной предлагать и объяснять пользователю разумные решения. Экспертная система состоит из базы знаний, механизма логического вывода и подсистемы объяснений.
Огромный интерес к экспертным системам вызван, по крайней мере, тремя причинами [91,92]. Во-первых, они ориентированы на решение широкого круга задач в неформализованных областях, т.е. на приложения, которые до недавнего времени считались малодоступными для вычислительной техники. Во-вторых, экспертные системы предназначены для работы специалистов, не имеющих навыков программирования, что дает возможность резко расширить сферу использования вычислительной техники. В-третьих, экспертные системы предназначены для решения практических задач и при этом позволяют получать результаты, сравнимые, а иногда и превосходящие те, которые может получить человек-эксперт.
Цель исследований по экспертным системам состоит в разработке программ (устройств), которые при решении задач, трудных для эксперта-человека, получают результаты, не уступающие по качеству и эффективности решениям, получаемым экспертом. В большинстве случаев экспертные системы решают трудноформализуемые задачи или задачи, не имеющие алгоритмического решения. В настоящее время экспертные системы нашли применение в разнообразных предметных областях (медицина, вычислительная техника, геология, математика, управление, электроника, юриспруденция и др.).
Разработка структуры и функциональной схемы серверной части компьютерной системы централизованного доступа к информационным ресурсам
Задачи управления компьютерными системами централизованного доступа к информационным ресурсам (информационными системами «клиент-сервер») можно отнести к задачам теории массового обслуживания. В теории массового обслуживания все рассматриваемые объекты объединяются под общим названием «системы массового обслуживания». Одним из классов систем массового обслуживания являются системы распределения информации (системы телетрафика). Системой распределения информации могут быть совокупность коммутационных приборов, часть или весь коммутационный узел либо сеть связи, которые обслуживают по определенному алгоритму телефонные, телеграфные и другие сообщения.
В настоящее время методы теории массового обслуживания используются для решения самого широкого круга задач - от быстрого обслуживания до космических исследований, однако определяющую роль в развитии теории массового обслуживания продолжает играть одна из ее ветвей - теория телетрафика [64].
Предметом теории телетрафика является количественная сторона процессов обслуживания потоков сообщений в системах распределения информации.
Методы теории телетрафика активно использовались при проведении исследований, и в дальнейшем будут использоваться термины теории телетрафика.
Согласно теории телетрафика, математическая модель системы распределения информации включает следующие три основных элемента: входящий поток вызовов (требований на обслуживание), схему системы распределения информации и дисциплину обслуживания потока вызовов [64, 126].
Рассматривая информационную систему, работающую в режиме «клиент-сервер», например, в условиях локальной сети со стандартными протоколами, схему системы распределения информации можно определить как простейшую однозвеньевую полнодоступную схему.
Дисциплина обслуживания характеризует взаимодействие потока вызовов с системой распределения информации. В теории телетрафика дисциплина обслуживания в основном описывается следующими характеристиками: - способами обслуживания вызовов (в рассматриваемом случае имеет место комбинированное обслуживание с ожиданием и потерями); - порядком обслуживания вызовов (исследуется, в частности, обслуживание пакетами); - режимами искания выходов схемы (свободное, групповое, индивидуальное); - законами распределения длительности обслуживания вызовов (в исследовании длительность обслуживания вызовов считается процессом, стохастически связанным с совокупностью других случайных и детерминированных процессов); - наличием преимуществ (приоритетов) в обслуживании некоторых категорий вызовов (в исследовании рассматривается система с приоритетами); - наличием ограничений при обслуживании всех или некоторых категорий вызовов (по длительности ожидания, числу ожидающих вызовов, длительности обслуживания); - законами распределения вероятностей выхода из строя элементов схемы (в исследовании не рассматривалось).
Основная цель теории телетрафика заключается в разработке методов оценки качества функционирования систем распределения информации. В соответствии с этим в рамках данной теории выделяют следующие задачи: - задачи синтеза; - задачи анализа; - задачи оптимизации.
В исследовании не рассматривались задачи синтеза (за исключением непосредственного моделирования информационной системы), особое внимание уделено задачам анализа (выявление и формализация стохастических связей между рассматриваемыми процессами) и задачам оптимизации (задачи стратегического и оперативного управления работой информационной системы).
Использование методов регрессионного анализа при построении интерпретатора экспертной системы
Входными данными для исследования является набор статистических данных, которые можно представить в виде совокупности случайных процессов: Вся совокупность данных описывает определенную физическую систему. Причем параметр п может обозначать как количество периодов измерений, так и, например, количество подразделений, в которых проводились измерения, т — количество анализируемых процессов.
Системный анализ предусматривает макромодель — как наиболее общее описание исследуемой системы.
Здесь: Х1-Хп - входные воздействия; Yl-Ym - выходные параметры (отклики системы); F - набор внутренних операторов системы.
Для приведения модели к этому виду необходимо из всего набора процессов выделить те, которые будем считать входными воздействиями и откликами системы. К первым следует отнести процессы, по отношению к которым имеется возможность непосредственного управления (количество одновременно выполняемых сервером запросов, их приоритеты и т.д.). Ко второй категории относятся процессы, которые несут в себе оптимизационный смысл (общее время выполнения всех запросов сервером, производительность сервера и т.д.). Остальные процессы играют роль внутренних параметров системы.
После категорирования параметров перепишем (3.1) как: Л t{xu ,xl2,..,xlny, При таком подходе целью моделирования является выявление структур связей между входными и выходными параметрами системы.
Будем считать, что рассматриваемые процессы не имеют между собой прямых функциональных зависимостей. Однако, так как все они описывают одну и ту же физическую систему, наличие между ними стохастических связей не оставляет сомнений.
Здесь под стохастической зависимостью понимается зависимость изменения величины математического ожидания одного случайного процесса от изменения значения другого процесса. Если рассмотреть наличие стохастических связей между каждой парой рассматриваемых процессов, то получим стохастическую сеть - метод моделирования, наиболее часто используемый, например, в экономике.
В общем виде стохастическая сеть представляет собой граф, узлы которого являются рассматриваемыми процессами, а связи между ними носят направленный характер и характеризуют собой наличие и направление выявленных стохастических связей в системе.
Использование графовой модели для создания экспертной системы удобно, в первую очередь, простотой представления графа в математическом виде. Как известно, любой граф может быть представлен в виде матрицы смежности (сопряженности), элементы которой характеризуют наличие, а в некоторых случаях и величину связей между узлами графа.
Классическим методом математической статистики для выявления наличия и величины стохастических связей является корреляционный анализ.
Корреляция представляет собой меру зависимости переменных. Наиболее известна корреляция Пирсона. При вычислении корреляции Пирсона предполагается, что переменные измерены, как минимум, в интервальной шкале (интервальные переменные позволяют не только упорядочивать объекты измерения, но и численно выразить и сравнить различия между ними). Некоторые другие коэффициенты корреляции могут быть вычислены для менее информативных шкал. Коэффициенты корреляции изменяются в пределах от -1.00 до +1.00. Значение -1.00 означает, что переменные имеют строгую отрицательную корреляцию. Значение +1.00 означает, что переменные имеют строгую положительную корреляцию. Значение 0.00 означает отсутствие корреляции.
Наиболее часто используемый коэффициент корреляции Пирсона Ккор называется также линейной корреляцией, т.к. измеряет степень линейных связей между переменными. Корреляция определяет степень, в которой значения двух переменных «пропорциональны» друг другу. Важно, что значение коэффициента корреляции не зависит от масштаба измерения. Пропорциональность означает просто линейную зависимость. Корреляция высокая, если на графике зависимость «можно представить» прямой линией (с положительным или отрицательным углом наклона).
Экспериментальное исследование процессов, протекающих в серверной части информационной системы
Перед тем как проводить анализ процессов, протекающих в серверной части информационной системы, необходимо определится с общей структурой графа зависимостей между процессами. В первую очередь, необходимо выделить совокупность процессов, которые оказывают значимое прямое или косвенное влияние на оптимизируемый параметр, в данном случае на общее время обработки всех запросов.
Для этой цели был проведен экспертный опрос, в результате которого были выделены следующие процессы: - приоритет конкретного запроса; - объем результата по конкретному запросу; - количество одновременно обрабатываемых запросов; -точность конкретного запроса (подразумевается степень заполнения атрибутов запроса); - загруженность системы(%); - загруженность канала сети(%); - время Ping между сервером и клиентом; - время выполнения конкретного запроса.
При проведении экспертного опроса были выявлены также наличие и направление зависимостей между вышеперечисленными процессами. Полученный по результатам экспертного опроса граф зависимостей представлен на рис. 4.8.
При проведении первого эксперимента было рассмотрено три одновременно выполняющихся запроса: «запрос 1», «запрос 2» и «запрос 3». «Запрос 1» организован таким образом, что на его выполнение требуется всего один элементарный поиск и объем пересылаемой информации по этому запросу минимален. Таким образом, на общее время выполнения всех запросов влияют целиком «запрос 2» и «запрос 3», специфика которых в том, что при одинаковых приоритетах они выполняются за одинаковое время, так как объем пересылаемой информации по этим запросам одинаков, а последний найденный файл удовлетворяет как «запросу 2», так и «запросу 3». Было произведено 23 запуска сервера с постоянными параметрами для обработки этих запросов. Результаты работы сервера приведены в таблице 4.1.
Следующим шагом исследования стало рассмотрение общего времени обработки запросов в условиях изменяющихся приоритетов. Для этой цели была рассмотрена совокупность тех же запросов, что и в предыдущем эксперименте.
Для проведения нового эксперимента была выбрана следующая система приоритетов: 1) приоритет - целое положительное число, больше единицы; 2) сумма приоритетов по всем запросам должна быть равна 10. Таким образом, в системе трех одновременно выполняющихся запросов каждый запрос может обладать максимальным приоритетом, равным 8. Причем всего возможных вариантов распределения приоритетов в этом случае 36.
Для сбора статистических данных было проведено 50 запусков сервера для трех заданных запросов при постоянных параметрах, но с изменением распределения приоритетов, таким образом, что были охвачены все возможные распределения (таблица 4.2).
На основе полученных статистических данных об изменении приоритетов и соответствующем изменении времени выполнения запросов была построена корреляционная матрица, которая имеет следующий вид (таблица 4.3):
Как видно из таблицы 4.3, абсолютные значения коэффициентов корреляции между приоритетами и временем выполнения соответствующих запросов значительно превосходят значения остальных коэффициентов корреляции и составляют порядка 0,8. Как правило, в исследованиях абсолютное значение коэффициента корреляции порядка 0,8 является достаточным основанием для применения линейных методов анализа зависимостей. Следует обратить внимание на то, что эти коэффициенты отрицательны. Это говорит об обратном характере зависимости, т.е. чем выше приоритет запроса, тем меньше времени требуется приложению для обработки этого запроса, что в полной мере соответствует физическому характеру исследуемой зависимости.
Поскольку эксперты утверждают о наличии связи между приоритетом и временем выполнения соответствующих запросов и абсолютное значение коэффициента корреляции между ними достаточно велико, можно сделать вывод, что такая связь действительно существует и для ее анализа достаточно применять линейные методы. Для формализации этих зависимостей целесообразно использовать методы линейной регрессии.
