Содержание к диссертации
Введение
Глава 1. Анализ процесса развития сапр применительно к использованию аппарата знаний и сети Internet 13
1.1 .САПР, процесс интеллектуализации 13
1.2. Развитие глобальной сети Internet - новые возможности для САПР 16
1.3.Представление данных и знаний, проблема приобретения знаний 21
1.4. Анализ современного состояния автоматизированных систем
приобретения знаний 27
1.5.Анализ моделей представления знаний 30
1.6.Типичная структура ЭС, анализ ЭС проектирования 36
1.7. Анализ проблем методологии разработки ЭС 42
1.8.Выводы и рекомендации 46
Глава 2. Разработка методов построения и реализации модулей эс на примере решения задачи проектирования ЭВМ 51
2.1. Постановка задачи проектирования ЭВМ 50
2.2. Метод проектирования и разработки ЭС 52
2.3. Метод построения модели проектируемого объекта 58
2.4. Методы, используемые для организации знаний 62
2.5. Автоматизированные методы извлечения знания и поиска новых знаний 69
2.6. Применение принципов самоорганизации в построении системы данных и знаний 75
2.7. Выводы и рекомендации 80
Глава 3. Разработка архитектуры эс проектирования,представления, выявления знаний, данных 83
3.1. Принципы построения модуля ЭС проектирования 83
3.2. Структураи функции ЭС проектирования 85
3.3. Выбор инструментария для разработки экспертной системы 89
3.4. Технологии, используемые системой для работы в сети 93
3.5. Общий алгоритм работы системы при решении задачи проектирования конфигурации ЭВМ 100
3.6. Строение банка знаний ЭС 103
3.7.Вывод на основе фреймовой модели представления знаний 113
3.8. Работа блока организации приема, накопления данных, выявления знаний из данных 116
3.9. Выводы и рекомендации 131
Глава 4. Экспериментальное исследование разработанных структур 133
4.1. Цель и средства экспериментального исследования 133
4.2. Методы и средства применяемые в экспериментальном исследовании 134
4.3. Планирование размера системных ресурсов для систем с использованием Internet технологий 147
4.4. Выводы и рекомендации 161
Заключение 162
Литература 163
Приложения 178
- Развитие глобальной сети Internet - новые возможности для САПР
- Автоматизированные методы извлечения знания и поиска новых знаний
- Общий алгоритм работы системы при решении задачи проектирования конфигурации ЭВМ
- Планирование размера системных ресурсов для систем с использованием Internet технологий
Введение к работе
В современных условиях жесткой конкуренции и значительного ускорения
темпов технического прогресса необходимо при минимальных сроках
проектирования обеспечить высочайшее качество проектируемых изделий
электронной вычислительной техники большой функциональной сложности.
Решение сложных задач проектирования сегодня уже невозможно без
применения помощи систем автоматизированного проектирования (САПР) (CAD/CAM/CAE систем). Постоянное усложнение и увеличение задач, решаемых проектировщиком, обуславливает потребность в постоянном развитии САПР, совершенствовании и внедрении накопленных, а также разработке новых методов и средств, способных существенно повысить качество проектирования.
В основе современных САПР лежит опыт формализованных этапов
проектирования, методов и моделей, описывающих проектные процедуры,
подробно разработаны схемы их реализации на традиционных математических
методах [Курейчик, 1990], [Норенков, 2000], [Будя, 1988]. Однако процесс
проектирования сопровождается решением большого класса
трудноформализуемых и неформализованных задач, которые с трудом поддаются описанию традиционными методами. Поэтому дальнейшее совершенствование качества принимаемого конструкторского решения лежит в использовании в технологии проектирования экспертных знаний и умении их применять, т.е. в интеллектуализации процесса проектирования. В решение задач принятия решений на трудноформализуемых этапах проектирования в условиях нечеткости, определяемой как нечеткой постановкой самой задачи, так и использованием интуитивных представлениях эксперта о путях ее решения и нечетком описании параметров [Малышев, 1991]. Сегодня накопление опыта и сложных форм знаний проектировщика становятся частью основы для подхода к созданию современных полнофункциональных САПР и отдельных модулей САПР, отвечающим всем жестким требованиям. В итоге в настоящее время компьютер в паре с
пользователем должен лучше опытного эксперта, проектировщика выполнять всевозможные процедуры проектирования, традиционно относимые к области интеллектуальной деятельности человека. Акад. Г.С. Поспелов писал: «Способность компьютера выдавать творческие результаты - это не что иное, как овеществленные знания в машине и интеллект человека».
Интеллектуализация проектирования является одной из сложнейших задач, которой посвящен ряд работ [Малышев, 1991], [Чигварин, 1991], [Мищенко, 1988]. Изучению интеллекта, накоплению, организации и использованию знаний уделяется пристальное внимание на протяжении нескольких десятков лет. История и обзор основных достижений представлены в ряде работ [Поспелов, 1990], [Попов, 1996], [Уотермен, 1996], [Гаврилова, 2000]. Направление, связанное с экспертными системами (ЭС) проектирования, является интегрирующим для области традиционных САПР и множества направлений в области искусственного интеллекта и инженерии знаний. По мнению специалистов [Hayes-Roth, 1994], в перспективе экспертные системы будут играть ведущую роль во всех фазах проектирования, в производстве, а также в поддержке и организации консультаций. Одним из факторов внедрения ЭС, является то, что использование ЭС приносит значительный экономический эффект. К примеру, можно привести факт из области использования ЭС в проектировании [Попов, 1996]: корпорация DEC ежегодно экономила 70 млн. долларов в год, благодаря системе XCON/XSEL, которая по заказу покупателя составляет конфигурацию вычислительной системы VAX. Ее использование сократило число ошибок с 30% до 1%.
В современном мире ускорение эволюции информационных технологий, в частности, развитие нового информационного пространства - глобальной сети -выдвигает новые требования к программным продуктам, дальнейшее развитие которых лежит в интеграции с глобальной сетью [Гречин, 2003]. Весьма актуальным является вопрос качественного внедрения и использования Internet технологий в программные средства. Так как в настоящее время уже создаются
7 виртуальные предприятия и практически значимыми становятся проекты,
основанные на реализации межнациональными и трансконтинентальными
мировыми компаниями проектных работ, основанных на взаимодействии
опытных конструкторов посредством глобальной сети. Крупные производители
САПР уже начали внедрение в свои системы возможность поддержки Internet
технологий. Так система AutoCAD 2002 имеет возможности для публикации в
Internet и возможность совместной работы через Internet , новая версия
программного обеспечения Pro/ENGINEER 20001 включает улучшения в области
Развитие глобальной сети Internet - новые возможности для САПР
Последние годы в мире и в России происходит развитие глобальной сети Internet [Басин, 1999], разрабатываются и внедряются новые Internet-технологии [Федоров, Елманова, 2002]. Постоянно увеличивается число пользователей глобальной сети [Шляхтина, Прохоров, 2003], растет количество серверов, множатся предоставляемые сервисы и объем информации, в электронном виде расположенной в сети. В сети Internet зарегистрировано на сегодня около 660 млн., в Европе - 70 млн., в России - 20 млн. пользователей и их количество постоянно растет. По прогнозам аналитиков IDC, к 2005 году число пользователей может возрасти до 800 млн. Темпы роста примерно- 40-45% в год. Региональный рост проиллюстрирован в таблице 1.1. Рынок электронной коммерции к 2004 г. достигнет 980 млрд. долл. По прогнозам, в России в результате реализации Федеральной целевой программы «Электронная Россия» до 2005 года рынок информационных услуг вырастет вдвое, до 2010 года число компьютеров в стране увеличится в 4 раза, а число пользователей сети Internet в 8 раз. Объем экспорта из России высокотехнологичной продукции и услуг к 2005 году достигнет 2 млрд. долларов.
В наши дни происходит глобализации бизнеса и активизируется сотрудничество фирм через Internet. Уже сейчас продукт проектируется, например, в Германии, а производится в Польше - и компании производят взаимодействие через сеть Internet. Сотрудничество посредством Сети становится повседневной практикой даже небольших фирм. Компании, занимающиеся разработкой САПР, расширяют возможности работы своих систем с помощью Internet-ориентированных приложений среды. К примеру, Parametric Technology Corporation в комплексе Pro/ENGINEER 2000/ включает интерактивный доступ в режиме реального времени к DesignSuite - библиотеке 3D моделей, содержащей более 300000 широко используемых стандартных деталей и сборок. Для адаптации Pro/ENGINEER и создания аппаратно-независимых приложений пользователи теперь могут обращаться к J-Link - новой объектно-ориентированной среде программирования на базе Java. Другие инструменты предоставляют возможности для распространения электронных моделей в Internet, добавления в сборки отдельных компонентов из Internet, а так же просмотра 3D сборок из Internet -приложений [Степанов, 2001]. Наличие в Autodesk CAD Internet и Intranet-функций дает возможность быстрее оправдать затраты на обработку традиционных чертежей или изображений [Харрингтон, 2002]. Компания Dassault Systemes возлагает большие надежды на продукты CATweb браузера, который создан на базе технологии Java и обеспечивает удаленный доступ к системам CAD/САМ через Internet. Уже сегодня передача 3D CAD-моделей через Internet стала реальностью. Компания ParallelGraphics, разработчик в области трёхмерных Interenet технологий, выпустила Internet Model Optimizer v. 1.5 - инструмент для оптимизации сложных трёхмерных моделей, созданных при помощи CAD/CAM/CAE и других автоматизированных проектировочных систем, для использования в Internet. Новая технология поможет пользователям повысить окупаемость своих вложений в системы автоматизированного проектирования. В частности, последние смогут более эффективно распространять информацию о технических характеристиках своей продукции, создавая трёхмерные модели, которые можно передавать по сети Internet на любой настольный или портативный компьютер даже по узкополосным каналам связи. Internet технологии находят применение практически во всех новых создаваемых системах, таких, как: P-CAD, OrCAD и др. [Розевиг,2001],[Саврушев, 2002].
При разработке совместного проекта в сети пользователи САПР, принимающие участие в проекте, территориально могут быть значительно удалены друг от друга. Рассмотрим организацию работы таких пользователей через Internet рис 1.1. Возможны два подхода к организации работы пользователей [Артамонов, 1998].
1. Каждый из них работает на собственной, полностью автономной САПР и обменивается по сети связи результатами работы с другими пользователями на уровне метафайлов посредством передачи стандартных текстовых описаний, таких как IGES, VDI, DXF и т.п., используя для этого либо возможности самой САПР, либо специальный модуль САПР. На основе этих описаний пользователь имеет возможность воспроизвести геометрические модели создаваемых объектов и продолжить работу с ними, редактируя их или объединяя с другими объектами. Достоинства данного подхода: единообразие взаимодействия пользователей, наглядность передаваемой информации, минимальная загрузка сети связи.
Автоматизированные методы извлечения знания и поиска новых знаний
Для ЭС, работающей в сети и обладающей свойством открытости в плане поступления как знаний, так и данных, перспективно организовать блок способный автоматизировано производить поиск и обнаружение в поступающих данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений. Вероятно существование знаний, которым эксперты не уделили должного внимания. Реализовать их получение возможно с помощью автоматизированных методов извлечения знаний. Полученные этими методами знания внесут свою долю энтропии в систему и будут использованы в процессе эволюции системы. Рассмотрим процесс выявления знаний из данных. Выделяются следующие основные этапы исследования данных с помощью методов обнаружения знаний в базах данных [Арсеньев, 2002]: Приведение данных к форме, пригодной для применения конкретных реализаций систем. Для этого надо выработать четкий набор числовых или нечисловых параметров, характеризующих данную область. Выбор системы параметров производится человеком, хотя значения параметров могут вычисляться автоматически. Данные после выбора описывающих параметров могут быть представлены в виде прямоугольной таблицы, где каждая запись - это отдельный объект или состояние объекта, а каждое поле - свойства или признаки всех исследуемых объектов. Практически все имеющиеся системы обнаружения знаний работают только с подобными прямоугольными таблицами. Если же данные размещены в нескольких связанных между собой таблицах, то все равно необходимо привести их в прямоугольную форму
Полученная прямоугольная таблица еще не пригодна для применения методов извлечения знаний, и входящие в нее данные необходимо предварительно обработать, так как они могут быть в разных форматах, могут быть неполными или избыточными. В случае избыточности данных необходимо ограничить количество полей. Некоторые поля являются неинформативными: почти все записи имеют одинаковое значение поля или, наоборот, количество записей, приблизительно равно количеству значений этого поля. Наконец полей может быть очень много, и если все их включить в исследование, то это увеличит время расчета, поскольку практически для всех методов извлечения знаний характерна сильная зависимость времени расчета от количества параметров, поэтому необходимо выбрать данные значимые для исследования. Существует не только избыточность полей, но и избыточность записей. Часть в системах при очень большом количестве записей их выбирают случайным образом или берут каждую п-ю запись таблицы. Количество записей зависит от метода анализа, но практика показывает, что в основном записей должно быть не менее 30 и не более нескольких сотен тысяч. Во многих системах к данным предъявляют строгое требование: для каждой записи должно быть известно значение каждого поля.
В этом случае приходится восполнять недостающие значения. Очевидным является заполнение отсутствующих значений средним значением. Любая реальная база данных обычно содержит ошибки, неточно определенные значения, записи, соответствующие каким-то исключительным ситуациям, и другие дефекты, которые могут понизить эффективность методов извлечения знаний, применяемых на следующих этапах анализа. Такие записи необходимо отбросить. Идеальным является случай, когда данные не коррелируют друг с другом, но на практике это практически неосуществимо. В случае сильной корреляции полей можно взять одно из них. Еще одним этапом подготовки данных является их нормализация. Необходимо стараться приближать данные к нормальному или равномерному распределению. Используют следующий способ нормализации: пусть есть а - среднее ист- дисперсия. Тогда х -» Третий этап - это применение методов извлечения знаний. Сценарии этого применения могут быть различными и включать сложную комбинацию разных методов, особенно если используемые методы позволяют проанализировать данные с разных точек зрения. Верификация и проверка получившихся результатов. Простой и часто используемый способ заключается в том, что все имеющиеся данные для анализа разбиваются на две группы. Как правило, одна из них - большего размера, другая - меньшего. На большей группе, применяя те или иные методы извлечения знаний, получаем модели, зависимости - все, что требуется в нашей задаче, а на меньшей группе данных их проверяют. По разнице в точности между тестовой группой и группой, использованной для обучения, можно судить, насколько адекватна, статистически значима построенная модель.
Последний этап - это интерпретация автоматически полученных знаний человеком в целях их использования для принятия решений, добавление получившихся правил и зависимостей в базы знаний и т.д. Необходимо отметить, что работа с данными становится более эффективной, когда возможна интеграция следующих компонентов: визуализация, графический инструментарий, средства формирования запросов, оперативная аналитическая обработка. Эти средства позволяют понять обрабатываемые данные и интерпретировать полученные результаты. Одной из систем, которая объединяет в себе все перечисленные компоненты, является пакет PolyAlalyst компании «Megaputer Intelligence»,. В его основу положена технология Data Mining. При обработке исходных данных она позволяет обнаруживать многофакторные зависимости, которым придает затем вид функциональных выражений (класс функций в них практически произволен), можно также строить структурные и классификационные правила (по автоматически формируемым обучающим примерам). При этом анализу подвергаются исходные данные различных типов: действительные числа, логические и категориальные величины. Выводимые правила принимают вид либо функций, либо циклов, либо условных конструкций.
Общий алгоритм работы системы при решении задачи проектирования конфигурации ЭВМ
Общий алгоритм работы экспертной системы при случае обращения к ней проектировщика, в режиме работы системы используемом для проектирования оптимальной конфигурации компьютера представлен на рис. 3.8.
На первом шаге производится регистрация пользователя в системе и создается профайл пользователя, который заносится в базу данных о пользователях. В профайле накапливаются данные о пользователе и его запросе, это в дальнейшем используется системой для идентификации пользователя и для анализа пользовательского спроса. Далее система формулирует проблему пользователя, выявляет цель использования проектируемого компьютера, выясняет у пользователя его потребности. Если пользователь не знаком с ключевыми понятиями, необходимыми для формирования запроса, то система произведет разъяснение и обучение. Затем производится определение основного критерия, который показывает приоритетное назначение будущей ЭВМ. В результате завершения первого шага работы ЭС на машине пользователя происходит формирование пакета запроса с описанием требований к проектируемой системе.
На втором шаге пакет запроса отправляется со станции пользователя на сервер с расположенной на нём ЭС для дальнейшей обработки и формированию ответа.
На третьем шаге ЭС формирует конфигурацию ЭВМ, производится поиск идентичного не устаревшего запроса, и если таковой существует, то выдается его результат, в противоположном случае производится расчет наилучшей конфигурации. В итоге выдается результат с техническим описанием, и фиксируется вариант итоговой конфигурации в файл ответа. Также производится запись варианта решения запроса в базу вариантов.
На четвёртом шаге файл ответа преобразуется в XML формат и отправляется на станцию пользователя на рассмотрение.
На пятом шаге в случае согласия пользователя с итоговой конфигурацией ЭВМ производится подтверждение сохранения результата в базу вариантов. В случае несогласия производится выяснение причин не согласия пользователя с итоговой конфигурацией, производится формирование новых, откорректированных данных для файла запроса и повторяется процесс формирования конфигурации ЭВМ с шага 3.
Как было отмечено ранее, процесс проектирования требует привлечения всех видов форм знаний. Эффективное использование всех имеющихся знаний в полном объёме возможно лишь при построении САПР в виде гибридной экспертной системы (ГЭС). ГЭС отличаются от традиционных ЭС тем, что дают в распоряжение пользователя различные способы представления и использования знаний.
Гибридной ЭС называется сложная система, построенная на совместном согласованном использовании двух и более различных по характеру моделей представления знаний [Алексеев, 1997]. Гибридной системой W будет являться система из М функциональных компонентов K={Ki}, использующих знания различных моделей: SN-семантической сети, Р-продукционной модели и F-фреймовой модели представления знаний, связанных между собой межмодельным интерфейсом J. Каждый компонент Кі из К образует функциональную подсистему, реализующую один из М, включённых в W методов моделирования или выработки решений. В качестве реализации компонента Кі возможно брать любую модель представления знаний и соответственно аппарата их обработки.
Для организации диалога проектировщика с системой и определения цели использования проектируемой ЭВМ, выполняется шаг первый общего алгоритма работы системы и используется методика опроса, представленная знаниями в виде семантической сети [Гаврилова, 2002]. Технологически это осуществляется использованием гиперсреды. Гиперсреда образует пространство, заполненное знаниями по конкретной области предмета. Знания представлены собранием тематических узлов, связанных между собой паутиной ссылок. Тематический узел представляет собой гипертекстовые формы, динамически взаимодействующие с пользователем посредством DHTML , дополненных аудио и видео информацией, что значительно может улучшить дружественность и эргономичность интерфейса для работы с системой с использованием «тонкого» клиента. Положительной стороной в использовании DHTML является то, что в системе возможно организовать активное взаимодействие с пользователем и получать информацию о его действиях в реальном времени.
Основная суть гипертекстов состоит в том, чтобы предоставлять быстрый и удобный интерфейс к текстовым фрагментам. Однако гипертексты возможно рассматривать как специальную, поддерживаемую компьютером среду для мышления и общения. Узлы в системе гипертекста играют важную роль. В частности, если гипертекст используется как инструмент для мышления, написания, проектирования, может возникнуть естественное соответствие между объектами окружающего мира и узлами в базе данных гипертекста.
Достоинствами такого объектно-ориентированного аспекта является возможность построения гибкой сети, которая моделирует некоторую проблему (или ее решение). В таких приложениях связи могут быть менее важными, чем узлы: связи формируют смысловые группы, которые собирают узлы вместе, но основной акцент делается именно на узлы.
С точки зрения программирования суть гипертекста заключается в том, что они - гибрид нескольких традиционных технологий. Гипертексты - это метод баз данных, обеспечивающий новый способ прямого доступа к данным. Этот метод отличается от традиционного доступа к базам данных через серию запросов на специальном языке. В то же самое время, гипертекст - это некоторая схема представления, разновидность семантической сети, в которой смешаны неформальные текстовые фрагменты с более формальными и механизированными операциями и процессами.
Планирование размера системных ресурсов для систем с использованием Internet технологий
Так как временные показатели работы системы напрямую зависят от технической организации системы, то для определения технических параметров при организации сетевой системы существует необходимость выявления зависимости объемов технических ресурсов для ЭС от нагрузки на нее. Эту задачу можно разбить на подзадачи: Описание текущей конфигурации системы; Анализ предметной области и выявление требований к системе; Планирование размера ресурсов. Текущая конфигурация сервера рассмотрена в 4.1. это сервер HP. Желательно проводить тестирование на наиболее мощном из имеющихся компьютеров. Тестирование производилось с использованием рабочей станции конфигурации: Intel Pentium IV, кэш процессора 512 Кб, частота 1600 МГц, ОЗУ 256 Мб, операционная система Windows ХР Professional. Основное требование для системы - время ответа сервера на запрос пользователя. Время ответа складывается из времени выполнения запроса на сервере, времени ожидания выполнения запроса и времени передачи ответа по сети.
Так как в данном случае все тестирование проводится в рамках Intranet сети и объем выдаваемой сервером информации невелик, то время передачи ответа по сети можно опустить. Время ответа должно быть меньше или равно 2-3 секундам, но в случае необходимости рассматривается вариант, не превышающий 5 секунд. Кроме требований по предметной области существуют и технические требования, которые должны соблюдаться в процессе тестирования. Основным техническим требованием является использование процессора не более чем на 90%. Задачу по планированию конфигурации для программных систем возможно решить двумя основными путями. Первый - традиционный подход подразумевает использование нескольких конфигураций для тестирования с последующим сравнением полученных результатов тестов и выбора оптимальной конфигурации. Отрицательным фактором такого метода является необходимость затрат на оборудование и большие трудозатраты на настройку и на сам процесс проведения тестирования. Другой метод планирования конфигурации - метод анализа стоимости транзакции в системе, его задача определить стоимость в ресурсах для каждой операции, производимой в системе пользователем. Традиционный подход состоит из двух видов тестов: a) Stress test. Задача теста - определить максимальную нагрузку на систему при данной конфигурации и измерить используемые при этом ресурсы системы: пропускную способность , загруженность процессора и т.п. Тест проводится в несколько итераций с постепенным повышением нагрузки, например, 10 пользователей, 100 пользователей, 300 пользователей. После каждой итерации проверяются показатели работы системы, если показатели превышают указанные допустимые пределы (например CPU Utilization 90%), то нагрузка, вызвавшая это, считается критической для данной конфигурации и дальнейшие итерации прекращаются. 6) Scalability test. Задача теста - подобрать необходимую конфигурацию для системы. Тест состоит из нескольких итераций Stress tests на разных конфигурациях. Если при критической нагрузке на данной конфигурации не выполняются требования к некоторым параметрам работы системы, то конфигурация считается неприемлемой и подбирается новая, в которой ресурс, не справившийся с критической нагрузкой, наращивается.
Для решения задачи определения и прогнозирования конфигурации оптимальным методом является анализ стоимости транзакции в системе (Transaction Cost Analysis). Этот метод подробно описан в статьях [Hyson, 1999] Задача метода - определить, сколько ресурсов будет стоить выполнение каждой транзакции в системе. Затем на основе полученной информации спрогнозировать зависимость необходимых ресурсов от нагрузки. Воспользуемся этим методом для решения поставленной задачи, для этого используем план выполнения анализа, определим: время работы в системе одного пользователя (время сессии); транзакции, которые выполняет пользователь в системе; загрузку системы для каждой транзакции (стоимость транзакции); профили использования системы; стоимость ресурсов для одного пользователя в системе; количество пользователей в сутки; максимальное количество одновременных пользователей.; прогноз необходимого количества ресурсов для указанного количества пользователей. Список этих транзакций определяется исходя из функциональности системы. Операциями могут являться: поиск, запрос определенной страницы на сайте и прочее.
