Содержание к диссертации
Введение
1 Анализ индустрии экспертных систем. определение цели и постановка задач исследования 12
1.1 Области применения экспертных систем и основные достижения... 12
1.2 Структура и принципы функционирования традиционных экспертных систем 18
1.3 Технология разработки и условия применения экспертных систем 23
1.4 Обзор существующих средств программной реализации экспертных систем 27
1.4.1 Инструментальных средства для реализации экспертных систем и их типы 27
1.4.2 Экспертные системы с веб-интерфейсом 30
1.4.3 Сравнение современных способов представления знаний и механизмов принятия решений в экспертных системах 31
Определение цели и постановка задач исследования 34
2 Разработка информационной технологии построения экспертной системы на основе нейросетевой модели и с распределенным вводом данных 36
2.1 Основы реализации нейросетевых и веб-ориентированных ЭС 36
2.1.1 Основы аппарата искусственных нейронных сетей 36
2.1.2 Нейросетевые экспертные системы, структура и технология разработки 44
2.1.3 Основы построения и функционирования веб-ориентированных экспертных систем 48
2.2 Разработка информационной технологии построения экспертной системы на основе нейросетевой модели и с распределенным вводом данных 49
2.3 Оценка функциональных преимуществ разработанной технологии... 62
2.4 Особенности предметных областей и задач, определяющих возможность применения разработанной технологии 66
Выводы 67
3 Практическая реализация информационной технологии построения экспертной системы на основе нейросетевой модели. Примеры использования 68
3.1. Разработка программного комплекса, являющегося практической реализацией предложенной информационной технологии 68
3.1.1 Информационная подсистема 68
3.1.2 Интеллектуальная подсистема 80
3.1.3 Общий механизм работы программного комплекса 85
3.2. Апробация программного комплекса 91
3.2.1 Медицинская экспертная система 91
3.2.2 Экспертные системы для социологических исследований 95
Выводы 103
Заключение 104
Список использованной литературы 106
- Структура и принципы функционирования традиционных экспертных систем
- Сравнение современных способов представления знаний и механизмов принятия решений в экспертных системах
- Разработка информационной технологии построения экспертной системы на основе нейросетевой модели и с распределенным вводом данных
- Общий механизм работы программного комплекса
Структура и принципы функционирования традиционных экспертных систем
В настоящее время наиболее широкое распространение получили так называемые традиционные или типичные ЭС. На основе работ [19, 20, 29, 30, 35, 40, 43, 53, 67, 111, 116-118, 120, 130, 134] российских и зарубежных ученых был проведен анализ структуры и режимов функционирования типичной ЭС. В общем виде типичную ЭС можно представить следующим образом.
Типичная ЭС состоит из следующих основных компонентов (рис. 1.1): решателя (интерпретатора); рабочей памяти (РП), называемой также базой данных (БД); базы знаний (БЗ); компонентов приобретения знаний; объяснительного компонента; диалогового компонента.
Рабочая память (база данных) предназначена для хранения исходных и промежуточных данных решаемой в текущий момент задачи. Этот термин совпадает по названию, но не по смыслу с термином, используемым в информационно-поисковых системах (ИПС) и системах управления базами данных (СУБД) для обозначения всех данных (в первую очередь долгосрочных), хранимых в системе.
База знаний предназначена для хранения экспертных знаний о предметной области, используемых при решении задач экспертной системой. База знаний традиционной ЭС состоит из набора фреймов и правил-продукций. Фреймы используются в базе знаний для описания объектов, событий, ситуаций, прочих понятий и взаимосвязей между ними. Фрейм — это структура данных, состоящая из слотов (полей). Правила используются в базе знаний для описания отношений между объектами, событиями, ситуациями и прочими понятиями. На основе отношений, задаваемых в правилах, выполняется логический вывод. В условиях и заключениях правил присутствуют ссылки на фреймы и их слоты [19].
Решатель, используя исходные данные из рабочей, памяти и знания из БЗ, формирует такую последовательность правил, которые, будучи примененными к исходным данным, приводят к решению задачи. Компонент приобретения знаний автоматизирует процесс наполнения ЭС знаниями, осуществляемый пользователем-экспертом. Объяснительный компонент объясняет, как система получила решение задачи (или почему она не получила решение) и какие знания она при этом использовала, что облегчает эксперту тестирование системы и повышает доверие пользователя к полученному результату. Диалоговый компонент ориентирован на организацию дружественного общения с пользователем, как в ходе решения задач, так и в процессе приобретения знаний и объяснения результатов работы.
Для построения типичной ЭС требуется привлечение следующего круга специалистов: эксперт в проблемной области, задачи которой будет решать ЭС; инженер по знаниям — специалист по разработке ЭС (используемые им технологию, методы называют технологией (методами) инженерии знаний); программист по разработке инструментальных средств (ИС), предназначенных для ускорения разработки ЭС [82].
Эксперт определяет знания (данные и правила), характеризующие проблемную область, обеспечивает полноту и правильность введенных в ЭС знаний. Инженер по знаниям помогает эксперту выявить и структурировать знания, необходимые для работы ЭС; осуществляет выбор того ИС, которое наиболее подходит для данной проблемной области, и определяет способ представления знаний в этом ИС; выделяет и программирует (традиционными средствами) стандартные функции (типичные для данной проблемной области), которые будут использоваться в правилах, вводимых экспертом. Программист разрабатывает ИС (если ИС разрабатывается заново), содержащее в пределе все основные компоненты ЭС, и осуществляет его сопряжение с той средой, в которой оно будет использовано.
Экспертная система может работать в двух режимах: режиме приобретения знаний и в режиме решения задачи (называемом также режимом консультации или режимом использования ЭС) [87].
В режиме приобретения знаний взаимодействие с ЭС осуществляет (через посредничество инженера по знаниям) эксперт. В этом режиме эксперт, используя компонент приобретения знаний, наполняет систему знаниями, которые позволяют ЭС в режиме решения самостоятельно (без эксперта) решать задачи из проблемной области. Эксперт описывает проблемную область в виде совокупности данных и правил. Данные определяют объекты, их характеристики и значения, существующие в области экспертизы. Правила определяют способы манипулирования с данными, характерные для рассматриваемой области. В режіше консультации взаимодействие с ЭС осуществляет конечный пользователь, которого интересует результат и (или) способ его получения. Необходимо отметить, что в зависимости от назначения ЭС пользователь может не быть специалистом в данной проблемной области (в этом случае он обращается к ЭС за результатом, не умея получить его сам), или быть специалистом (в этом случае пользователь может сам получить результат, но он обращается к ЭС с целью либо ускорить процесс получения результата, либо возложить на ЭС рутинную работу). Следует подчеркнуть, что термин «пользователь» является многозначным, так как использовать ЭС кроме конечного пользователя может и эксперт, и инженер по знаниям, и программист. Поэтому когда хотят подчеркнуть, что речь идет о том, для кого делалась ЭС, используют термин «конечный пользователь».
Сравнение современных способов представления знаний и механизмов принятия решений в экспертных системах
В настоящее время существует множество способов представления знаний экспертов (семантические сети, фреймы, продукционные правила, нейронные сети и т.д.) и основанных на них механизмов принятия решений, но в обобщенной форме из них можно выделить три класса (рис. 1.3).
Самым распространенным классом систем являются традиционные ЭС, основанные на базах знаний, состоящих из символо-логических представлений знаний экспертов (рис. 1.3, 1) [20, 31, 60]. Такой класс систем обладает рядом достоинств, например возможность обосновывать выдаваемые решения в доступной для пользователя форме, но и не лишен недостатков. Недостатками такого подхода являются: трудности извлечения знаний из предметных областей и формализация их в надлежащем виде, необходимость в инженере по знаниям, громоздкость базы знаний, невозможность идентифицирования новых данных, не имеющих соответствующих им правил в базе. Также существуют задачи, при решении которых знания эксперта невозможно формализовать в символо-логическом виде, следовательно, данный способ становится неприменимым в рамках такой задачи.
Другим классом являются системы, использующие в качестве решающего компонента математическую модель (рис. 1.3, 2), разрабатываемую конкретно под решаемую экспертной системой задачу [2, 14, 15, 16]. В свою очередь данный подход обладает определенными достоинствами перед первым. Это сравнительная компактность базы знаний, прогностическая способность, дающая возможность генерировать новые решения. Но данный подход не обладает достаточным универсализмом и предполагает при смене задач привлечение квалифицированных специалистов для разработки новых моделей.
Также существует класс систем, объединяющий в себе достоинства и исключающий недостатки вышеуказанных методов. Системы такого класса используют в качестве системы представления знаний и решающего механизма искусственные нейронные сети (ИНС) (рис. 1.3, 3) [18, 22, 106]. Что позволяет при значительной доле универсализма и независимости от предметной области осуществлять построение достаточно интеллектуальных ЭС, сочетающих в себе интеграцию «опыта экспертов», самостоятельную систему представления и формирования знаний, значительные прогностические способности «интеллектуального ядра», бионический принцип построения и распределенность во времени самого процесса построения ЭС.
Таким образом, на основе характеристик вышеописанных подходов, можно сделать вывод о том, что третий класс систем является наиболее перспективным, так как при его использовании упрощается процесс построения ЭС и увеличиваются возможности переносимости ЭС в различные предметные области.
На основе материала исследованного в ходе литературного обзора можно сделать следующие выводы. 1. В результате анализа областей применения ЭС и достижений в них, была установлена значительная эффективность использования ЭС для решения определенного круга задач. Вследствие чего можно сделать вывод о практической ценности ЭС и актуальности их разработки. 2. Наиболее распространенными на сегодняшний день являются традиционные (типичные) ЭС, основанные на символическом представлении знаний эксперта. В результате их детального рассмотрения были выявлены трудности при построении и дальнейшем сопровождении, связанные с жесткой привязанностью к области решаемой задачи, с представлением знаний экспертов в формализованном символическом виде и привлечением для этого дополнительного круга специалистов - инженеров по знаниям. 3. В результате анализа современных средств программной реализации ЭС была выявлена актуальная задача создания специализированного программного комплекса позволяющего осуществлять построение, сопровождение и эксплуатацию ЭС. 4. На основе изучения передовых разработок ЭС выявлена тенденция развития веб-ориентированных ЭС, обладающих следующими преимуществами перед традиционными: отсутствие пространственных ограничений по организации взаимодействия с ЭС, общедоступность, простота распространения и удобство сопровождения, эффективность и оперативность обновлений базы знаний системы, централизованность процессов сбора и обработки данных для всего контингента пользователей системы. 5. В ходе анализа способов представления знаний и механизмов принятия решений определено, что нейросетевой подход обладает характеристиками, на основе которых возможно: автоматизировать процесс формирования системы представления знаний экспертов без привлечения инженеров по знаниям, адаптировать разработанную базу знаний под изменяющиеся условия задачи. Полученные в ходе реализации первой главы результаты получили отражения в работе [8]. На основе сделанных выводов определена цель и поставлены задачи диссертационного исследования. Целью диссертационной работы является повышение эффективности процесса построения ЭС путем разработки информационной технологии, предполагающей использование развивающейся системы представления знаний на базе ИНС-модели и системы распределенного сетевого ввода данных. Для достижения поставленной цели необходимо решить следующие основные задачи: - проанализировать индустрию ЭС: исследовать современные разработки и технологии построения, определить стратегии их совершенствования; - построить концептуальную модель ЭС, позволяющую использовать развивающуюся систему представления знаний, основанную на ИНС-модели, посредством веб-интерфейса; - разработать информационную технологию построения ЭС с распределенным вводом данных на основе нейросетевых моделей; - создать аналитические модели для планирования процессов формирования развивающейся системы представления знаний ЭС, и соответствующую функциональную модель ее жизненного цикла; - разработать специализированное программное обеспечение (ПО), позволяющее осуществлять построение, совершенствование и эксплуатацию ЭС с распределенным вводом данных и использующей нейросетевую модель знаний.
Разработка информационной технологии построения экспертной системы на основе нейросетевой модели и с распределенным вводом данных
На сегодняшний день развитие и повсеместное внедрение сетевых технологий охватывает большинство областей производственной деятельности человека. Получают развитие веб-ориентированные ЭС. В настоящее время такой подход в области ЭС только набирает обороты, но уже показывает достаточно высокую эффективность, наблюдаемую за счет использования механизмов удаленного и централизованного взаимодействия.
Итак, ЭС, ориентированные на взаимодействие через сеть Интернет, называются веб-ориентированными экспертными системами (ВОЭС). Основным структурным компонентом таких систем, отличающих их от традиционных, является веб-интерфейс, который и расширяет функциональные возможности ЭС для сетевых пользователей. Процессы построения и функционирования таких ЭС идентичны построению и функционированию традиционных, за исключением некоторых особенностей. При построении ВОЭС важное значение имеет разработка эффективной архитектуры клиент-серверного взаимодействия между ЭС и пользователем [94]. Сегодня существует два главных подхода к реализации данной архитектуры: сервер-главный и клиент-главный. Архитектура сервер-главный предполагает выполнение всех программно-логических операций на стороне сервера, предоставляя пользователю лишь интерфейс. В архитектуре клиент-главный все операции выполняются на стороне клиента (пользователя). В настоящее время для реализации архитектур клиент-серверного взаимодействия существуют большое количество программных средств и технологий, таких PHP, Java, ASP, Perl, Python и др.
Принципы функционирования веб-ориентированных ЭС имеют особенность в реализации диалогового компонента, который обеспечивает организацию взаимодействия с ЭС через сеть Интернет (рис. 2.7).
Основными целями разработки информационной технологии построения ЭС является совершенствование методов их компьютерной реализации, повышение удобства использования и упрощение взаимодействия пользователей с экспертными системами. Согласно разрабатываемой технологии это достигается объединением функциональных преимуществ нейросетевого и веб-ориентированного подходов.
На основе изученных особенностей организации и функционирования нейросетевых и веб-ориентированных систем была разработана концептуальная модель ЭС, объединяющая в себе эти два подхода. На рисунке 2.8 представлена такая модель.
В состав разработанной модели входят следующие компоненты. Веб-интерфейс, являющийся модернизацией диалогового компонента традиционных ЭС, позволяющий при этом организовывать взаимодействие с пользователями из различных точек удаленного доступа, что дает существенные преимущества перед ограниченным локальным взаимодействием. Веб-интерфейс является в разработанной модели связующим звеном между пользователем и базой данных, организуя при этом ввод информации в систему, и визуализацию результатов ее обработки. База данных, используемая в данной модели для долговременного хранения технической информации. Конфигуратор, отвечающий за построение и обучение ИНС, предоставляющий при этом алгоритмическое и программное обеспечение процессов конструирования, обучения и дообучения ИНС. Развивающаяся система представления знаний экспертов, основанная на нейросетевой модели, включающей сведения о внутренней структуре исследуемого объекта, представленной в виде весовых коэффициентов синаптических связей нейронов.
Основными идеями, лежащими в основе информационной технологии, являются принципы формирования и использования интеллектуального ядра биологических объектов. В общих чертах процесс накопления знаний и их использование такими объектами выглядит следующим образом. При рождении биологического объекта имеет место некоторая априорная натренировонность его интеллектуального ядра, в качестве которого выступает обученность нейронной системы. Такая предварительная натренированность ассоциируется с системой врожденных безусловных рефлексов. В процессе жизни биологический объект получает информацию из окружающего мира и с помощью эксперта, в качестве которого обычно выступает его мать, осуществляет ее классификацию и «привязку» к ранее накопленной информации. Начиная с некоторого уровня обученное, такой объект сам может анализировать и классифицировать поступающую информацию, создавать новую систему связей внутри интеллектуального ядра, а также использовать накопленную информацию при принятии решений, прогнозировании и т. д.
Для разработки информационной технологии построения ЭС, соответствующей разработанной концептуальной модели была проведена математическая формализации задач накопления информации и построения на ее основе развивающейся системы представления знаний экспертов.
Общий механизм работы программного комплекса
С целью проверки работоспособности предложенной технологии и основанного на ней программного комплекса была проведена экспериментальная эксплуатация последнего на примере трех объектов исследования. Первым был объект из области медицины и представлял собой проблему общеклинического исследования крови. Остальные два из области социологии, основной задачей решавшейся в них было социологическое исследование.
Разработанная медицинская ЭС решала проблему общеклинического анализа крови пациентов, для ее построения использовались лабораторные данные (см. Приложение 2), предоставленные заведующей клинической лабораторией Рассказовской центральной реабилитационной больницы, накопленные за период с июня 2007 по февраль 2008 г.
Общеклиническое исследование крови является одним из важнейших диагностических методов, которое тонко отражает реакцию кроветворных органов на воздействие на организм различных физиологических и патологических факторов. Во многих случаях оно играет большую роль в постановке диагноза.
В понятие «общеклиническое исследование крови» входят определение концентрации гемоглобина, подсчет количества эритроцитов, цветового показателя, лейкоцитов, скорости оседания эритроцитов и лейкоцитарной формулы.
Выборка для обучения ИНС представляла собой результаты общего анализа крови четырехсот пациентов. Входами обучающей выборки явились десять показателей общего анализа крови, включающие: НЪ — гемоглобин (г/л); скорость оседания эритроцитов (мм/ч); лейкоциты (109/л); эритроциты (1012/л); цветовой показатель; лейкоцитарная формула (базофилы, нейтро-филы палочкоядерные, нейтрофилы сегментоядерные, лимфоциты, моноциты). В качестве выходов ИНС были приняты различные состояния здоровья. пациента, данные экспертом и соответствующие результатам анализа крови: 1 — здоров; 2 - необходимо амбулаторное лечение; 3 — необходимо стационарное лечение; 4 — экстренная госпитализация. На рисунке 3.14 представлен фрагмент обучающей выборки рассматриваемого объекта.
Для построения модели, готовой для использования ее в режиме эксплуатации потребовалась обучающая выборка в 350 примеров. Оставшиеся 50 примеров из общего числа статистических данных были использованы для тестирования системы в режиме эксплуатации (табл. 3.5). Таким образом, была получена структура ИНС-модели (рис. 3.15), включающая 10 входных нейронов, 210 нейронов первого скрытого слоя, 21 нейрон второго скрытого слоя, один выходной суммирующий нейрон (в табл. 3.6 представлен фрагмент полученного массива значений весовых коэффициентов синаптических связей нейронов).
При построении ЭС использовались данные накопленные в ходе анкетирования, проводившегося в первом квартале 2004 года, в рамках научного проекта «Разработка информационной технологии психолого-педагогического тестирования начального уровня образования в гуманитарной сфере на основе нейросетевого моделирования». Анализ результатов анкетирования позволил выявить главные факторы, влияющие на профессиональный выбор школьников, и определить приоритетные сферы их дальнейших образовательных интересов. Данное исследование проводилось сотрудниками кафедры компьютерного и математического моделирования ТГУ им. Г.Р. Державина.
При проектировании ЭС в качестве параметрических данных использовались ответы респондентов на вопросы анкеты (см. Приложение 3). В качестве выходных параметров объекта были выбраны вопросы анкеты о профессиональной ориентации школьников, остальные вопросы являлись входными параметрами. Причем каждый блок вопросов имел определенную направленность. Вопросы 1-6 - статистическая информация, 7-25 - успеваемость, 26-35 — профессиональный выбор, 36-40 - общественная активность, 41-44 -творчество, 45-46 — досуг, 47—54 — здоровье, 55-57 - семья. Таким образом, объект обладал 57 входными параметрами и 2 выходными. Всего в анкетировании приняли участие 1052 человека.
Фрагмент обучающей выборки социологического объекта представле на рисунке 3.16. Первоначально, данные, описывающие результаты анкетирования представлялись в виде бинарной матрицы (т.е. положительному ответу респондента соответствовала «1», отрицательному «О»), которая впоследствии была преобразована к более компактному и удобному виду. Предварительно, обучающая выборка была протестирована предмет противоречивости и представительности.
Для построения ИНС-модели социологического объекта, готовой для использования в режиме эксплуатации, потребовалась обучающая выборка объемом в 700 примеров. Остальные примеры обучающей выборки были использованы для тестирования ЭС в режиме эксплуатации (табл. 3.7). Таким образом, была получена структура ИНС-модели (рис. 3.17), включающая 57 входных нейронов, 8 нейронов первого скрытого слоя, 5 нейронов второго скрытого слоя, два выходных суммирующих нейрона (в табл. 3.8 представлен фрагмент полученного массива значений весовых коэффициентов синаптиче-ских связей нейронов).
