Содержание к диссертации
Введение
1 Исследование и анализ литературных источников 13
1.1 Общие сведения. основные понятия и определения 13
1.2 Обзор средств обработки ея-текстов в диалоговых системах 14
1.2.1 Подходы к обработке естественно-языковых текстов 14
1.2.2 Вопросно-ответные системы 17
1.3 Методы и подходы к построению лингвистического анализатора 24
1.3.1 Структура лингвистического анализатора 24
1.3.2 Обзор методов морфологического анализа 25
1.3.3 Обзор методов синтаксического анализа 28
9 1.3.4 Обзор методов семантического анализа 34
1.4 Анализ лингвистических моделей 35
1.4.1 Компонентный анализ 35
1.4.2 Семантические падежи 36
1.4.3 Модель «семантик предпочтения» 37
1.4.4 Модель концептуальной зависимости 40
1.4.5 Модель «смысл - текст» 43
1.4.6 Модель контекстного фрагментирования 44
1.5 ВЫВОДЫ... 45
2 Структурные и функциональные основы диалоговой интеллектуальной системы с ея-интерфейсом 48
2.1 Структура и принцип функционирования системы 48
2.1.1 Основные компоненты 48
2.1.2 Принцип функционирования диалоговой интеллектуальной системы... 50
2.2 Устройство форума 52
2.3 Структура и функционирование естественно-языкового интерфейса 54
2.3.1 Основные компоненты ея-интерфейса 54
2.3.2 Общая схема анализа предложения 55
2.3.3 Графематический анализ предложения 57
2.3.4 Морфологический анализ словоформ 57
2.3.5 Фрагментационный анализ предложения 60
2.3.6 Синтаксический анализ предложения 63
2.3.7 Семантический анализ предложения 69
2.4 Архитектура диалоговой интеллектуальной системы 71
2.4.1 Интеллект-карты 71
2.4.2 Представление знаний в диалоговой ИС 73
2.4.3 Взаимодействие ея-интерфейса и диалоговой ИС 77
2.5 Выводы 81
3 Программная реализация диалоговой интеллектуальной системы с ея-интерфейсом 82
3.1 Общие сведения 82
3.2 Выбор и обоснование инструментальных средств разработки 82
3.3 Форум рнрвв 85
3.4 Редактор сценариев диалогов «kiberry» 86
3.5 Система «диалинг» 88
3.5.1 Графематический анализ 88
3.5.2 Русский морфологический словарь 91
3.5.3 Синтаксический анализ 94
3.5.4 Русский общесемантический словарь 96
4
3.5.5 Дополнительные словари 102
3.6 Требования к программному и аппаратному обеспечению 102
3.7 Выводы 105
4 Экспериметальные исследования работоспособности и эффективности системы 106
4.1 Выбор и обоснование предметной области 106
4.2 Тестирование диалоговой ис с ея-интерфейсом 110
4.2.1 Тестирование программного комплекса 111
4.2.2 Тестирование ея-интерфейса 111
4.2.3 Методика оценки эффективности 119
4.3 Оценка и расчет экономического эффекта от внедрения 124
4.3.1 Экономическая целесообразность системы и ее применение 124
4.3.2 Методика оценки и расчет экономического эффекта от внедрения 126
4.4 Выводы 128
Заключение 129
Список использованных источников 130
Приложение!. Акты внедрения 137
- Общие сведения. основные понятия и определения
- Структура и принцип функционирования системы
- Выбор и обоснование инструментальных средств разработки
- Выбор и обоснование предметной области
Введение к работе
В современном мире сеть Интернет является одним из основных источников получения знаний. Получить знания (ответы на свои вопросы) можно не только с помощью данных, хранимых во всемирной сети, но и с помощью миллионов людей, подключенных к сети Интернет.
В первом случае, для получения ответов на свои вопросы необходимо самостоятельно анализировать и искать уже существующую в сети информацию с помощью поисковых систем. Пользователь формирует запрос, поисковая система обрабатывает его и выдает перечень найденных документов, отсортированных по степени релевантности запросу.
Недостаток этого метода состоит в том, что на выходе пользователь получает не ответ на свой вопрос, а перечень содержащих слова его запроса документов, которые он должен дальше самостоятельно анализировать.
Более оптимальным способом получения знаний являются консультации с людьми-экспертами на специализированных сайтах - форумах. Ответ на вопрос проще и быстрее получить от знающего человека, нежели самостоятельно извлекать знания из текста.
Для того, чтобы получить ответ на свой вопрос от экспертов, пользователь оставляет свой вопрос на форуме, заполняя соответствующую форму на сайте.
Другие пользователи сайта просматривают оставленные сообщения с вопросами и, если они знают ответ, то отвечают на них.
Сообщения на форумах объединены в темы. Когда человек отвечает в форуме на чье-то сообщение, его ответ будет "привязан" к исходному сообщению. Сообщения, отправленные в форум, могут храниться неограниченно долго, и ответ может быть дан не в тот же день, когда появился вопрос.
Преимущество форумов состоит в том, что, во-первых, пользователи получают конкретный ответ на поставленный вопрос, во-вторых, есть возможность диалога, что позволяет эксперту в беседе уточнить все детали вопроса и дать
точный ответ. Под экспертами на форуме мы понимаем людей, которые обладают знаниями по заданному вопросу и могут дать ответ на него.
Но и у форумов есть недостатки. Знания на форуме представлены в неструктурированной форме, как записи бесед между пользователями и экспертами. Они могут быть полезны посетителям, не участвовавшим в обсуждении темы вопроса, только в том случае, если рассматриваемая тема вопроса совпадет с их потребностями.
Пользователи могут ознакомиться с сохраненным диалогом на форуме и извлечь из него необходимые для себя знания. Если в сохранившемся диалоге они не находят ответов на свои вопросы, то они могут инициировать продолжение беседы с экспертом на форуме в этой же теме или создать новую тему для обсуждения.
Люди, в большинстве своем, задают одни и те же вопросы в определенной предметной области. Эксперты отвечают на них, но слабая система поиска на форуме и неструктурированность записи знаний не позволяют использовать сохраненные знания повторно.
Пользователям форума проще спросить, создав новую тему для обсуждения, чем самостоятельно искать ответ в списках заданных вопросов. При таком подходе на экспертов ложится дополнительная нагрузка, так как они должны каждый раз заново отвечать на одни и те же вопросы.
Рассмотрим на примере трудности, возникающие при работе с форумом.
Пользователь создает запрос в форум: «Не могу установить программу Google Earth». Эксперт начинает на форуме диалог с пользователем, уточняя у него источник проблемы.
В нашем примере эксперт выяснил, что пользователь не смог установить программу Google Earth по причине повреждения установочного файла. Эксперт дает рекомендацию по устранению этой проблемы и на этом диалог на форуме завершается.
7 С течением времени другой пользователь может обратиться на форум с
аналогичным по смыслу, но отличным по формулировке запросом: «Программа
Google Earth не устанавливается».
Несмотря на то, что данная тема уже была рассмотрена на форуме и на нее получен ответ, все равно может потребоваться подключение эксперта. Эксперт может начать консультацию с «нуля» так как у нового посетителя, во-первых, причина, по которой программа не устанавливается, может быть иная и ее нужно выяснить заново; во-вторых, посетитель не смог ознакомиться с уже существующей темой по этому запросу, так как не искал ее или искал, но не нашел.
Причина, по которой пользователь мог не найти тему на форуме, состоит в том, что он сформулировал свой запрос иначе: «Программа Google Earth не устанавливается», тогда как в базе форума сохранен запрос: «Не могу установить программу Google Earth».
Системы поиска, встроенные в форум, при таком запросе произвели бы поиск по совпадающим словам: «программа», «Google», «Earth» - и вывели все темы, где они содержатся. При большем объеме базы данных форума количество релевантных документов для такого запроса может быть очень большим, и пользователь не сможет найти среди них нужный.
Для решения рассмотренных проблем вместо консультирования пользователей на форумах предлагается использовать диалоговую интеллектуальную систему (ИС) с естественно-языковым интерфейсом (ея-интерфейсом).
Стоит отметить, что на сегодняшний момент подобных систем, работающих в русскоязычном Интернете, практически нет.
Сложность использования таких систем в Интернет состоит в трудоемкости их создания и отсутствии необходимых компонентов для реализации их работы в режиме онлайн.
Разрабатываемая диалоговая ИС с ея-интерфейсом должна решить существующие проблемы в области получения знаний с помощью сети Интернет и стать новым этапом в развитии интернет-технологий.
Подробный принцип и устройство диалоговой ИС с ея-интерфейсом рассматриваются во второй главе.
АКТУАЛЬНОСТЬ РАБОТЫ
Количество информации и пользователей в сети Интернет неуклонно возрастает. К октябрю 2006 года количество сайтов, работающих в сети превысило 100 миллионов, а количество пользователей русскоязычного интернета к началу 2007 году составляло 28 миллионов человек.
Динамика активности пользования Интернетом. Россия, млн. чел. (нарастающимитогом)
Попьюеэлись Интернетом хотя бы раз за последние.
суті неделю месяц три месяца полгода
(суточнаяаудитория) (недельнаяаудитория) (месящаяаудитория) (трехмесячнаяаудитория) (полугодоваяаудитория)
Диаграмма 1.1- Динамика активности пользования Интернетом в России
В связи с быстрым развитием сети Интернет, знания в которой представляются, главным образом, в текстовом виде, автоматизированное извлечение знаний из текста и естественно-языковое взаимодействие системы с пользователем приобретает особую актуальность и становится одной из центральных задач искусственного интеллекта.
9 ЦЕЛЬ РАБОТЫ
Целью настоящей работы является теоретическое обоснование и разработка метода построения диалоговой интеллектуальной системы с естественноязыковым интерфейсом и реализация ее на практике.
ЗАДАЧИ ИССЛЕДОВАНИЯ
Обобщить опыт создания систем автоматической обработки текста, выявить их недостатки и преимущества.
Проанализировать существующие системы получения знаний в сети Интернет, выявить их недостатки и предложить пути их устранения.
Разработать метод построения диалоговой ИС для осуществления консультаций пользователей в сети Интернет.
Разработать блок естественно-языкового интерфейса для интеллектуального поиска по базе знаний диалоговой ИС.
На основе разработанного метода осуществить программную реализацию диалоговой ИС с ея-интерфесом.
Провести экспериментальную проверку применимости предложенного метода для решения задачи поиска ответов на вопросы в сети Интернет, определить эффективность работы системы в реальных производственных условиях.
МЕТОДЫ ИССЛЕДОВАНИЯ
Поставленные задачи решены с применением компьютерной лингвистики, системного анализа, теории графов, методов инженерии знаний и построения диалоговых интеллектуальных систем.
НАУЧНАЯ НОВИЗНА
Теоретическая значимость выполненных в диссертационной работе исследований заключается в разработке метода создания диалоговой ИС с ея-интерфейсом и состоит в следующем:
1. Осуществлена постановка задачи создания систем консультаций на базе диалоговых систем с ея-интерфейсом.
2. Предложен метод консультирования в сети Интернет на базе диалоговой
ИС с ея-интерфейсом.
Разработан новый подход к созданию диалоговых систем на базе интеллект-карт.
Разработан метод анализа и преобразования запроса на естественном языке к форме, позволяющей достичь эффективных результатов поиска.
Разработан блок естественно-языкового интерфейса для интеллектуального поиска по базе знаний системы.
Сформулированы принципы организации и построения диалоговых ИС с ея-интерфейсом.
ПРАКТИЧЕСКАЯ ЦЕННОСТЬ
Прикладная ценность полученных результатов заключается в создании диалоговой ИС с ея-интерфейсом, позволяющей значительно повысить эффективность получения ответов на вопросы в сети Интернет.
Испытания показали, что созданная система может быть использована в сети Интернет с большей эффективностью, чем существующие системы консультаций. Разработанная система может быть установлена на любой сайт в сети Интернет и на ее основе каждый пользователь может создать систему консультирования по своей предметной области.
РЕАЛИЗАЦИЯ РЕЗУЛЬТАТОВ РАБОТЫ
В настоящее время разработанная диалоговая ИС с ея-интерфейсом реализована на базе свободно доступных в сети Интернет компонентов и используется в следующих организациях:
ЗАО АФ «Мысхако»;
ООО «Южный регион».
Акты, подтверждающие внедрение результатов диссертационной работы в производство, приведены в Приложении 1.
АПРОБАЦИЯ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ
Результаты работы докладывались и обсуждались на:
-II Всероссийской научной конференции молодых ученых и студентов «Современное состояние и приоритеты развития фундаментальных наук в регионах» (г. Анапа, 2005 г.)
-III Всероссийской научной конференции молодых ученых и студентов «Современное состояние и приоритеты развития фундаментальных наук в регионах» (г. Анапа, 2006 г.)
ПУБЛИКАЦИИ
По теме диссертации опубликовано 7 печатных работ. Из них, 1 учебное пособие, 2 статьи и 4 тезиса докладов на вышеперечисленных конференциях.
По итогам III Всероссийской научной конференции молодых ученых и студентов «Современное состояние и приоритеты развития фундаментальных наук в регионах» работа «Интеллектуальная поисковая система с ея-интерфейсом» заняла второе место.
ОСНОВНЫЕ ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ
-результаты сравнительного анализа существующих систем обработки ЕЯ-текстов и систем консультирования в сети Интернет;
-принцип построения и структура диалоговой ИС с естественно-языковым интерфейсом;
-метод создания диалоговой ИС а на базе интеллект-карт;
-принцип построения и структура блока ея-интерфейса;
-архитектура диалоговой ИС;
-критерии оценки эффективности работы системы;
-результаты оценки прямого экономического эффекта от внедрения в производство системы.
СТРУКТУРА И ОБЪЕМ РАБОТЫ
Диссертационная работа состоит из введения, четырех глав и заключения, изложенных на 136 страницах.
12 Работа содержит 25 рисунков, 9 таблиц, 4 схемы и библиографию на 78
наименований.
В первой главе проводится анализ отечественной и зарубежной литературы, Интернет-источников, направленный на исследование подходов обработки текстов и построения диалоговых интеллектуальных систем. Рассматриваются современные разработки в области создания систем консультации в сети Интернет. Выявлены и исследованы недостатки существующих подходов к получению знаний в сети Интернет, осуществлена постановка задачи и предложен новый метод создания диалоговых ИС с ея-интерфейсом.
Вторая глава посвящена теоретическому описанию разработанной системы. Рассмотрена структура и принцип функционирования естественноязыкового интерфейса.
Описан метод создания диалогов на базе интеллект-карт, которые необходимо создать эксперту для успешного функционирования диалоговой ИС. Рассмотрен способ взаимодействия ея-интерфейса и диалоговой ИС.
В третьей главе представлено устройство всех составляющих компонентов системы, рассмотрены практические вопросы разработки и создания диалоговой ИС, обоснован выбор программных средств реализации. Рассмотрены требования к аппаратному и программному обеспечению системы.
В четвертой главе приведены результаты экспериментальных исследований работоспособности и эффективности системы.
Произведен выбор и обоснование предметной области использования диалоговой ИС. Определены критерии качества работы блока ея-интерфейса и рассмотрены результаты его тестирования. Приведено обоснование экономической эффективности разработки и внедрения системы.
Каждая глава заканчивается краткими выводами, а вся работа заключением. В приложении приведены документы о внедрении диссертационной работы в производство.
Общие сведения. основные понятия и определения
Компьютерное моделирование языковой деятельности человека является одной из базовых проблем в области построения интеллектуальных систем. Имеется ряд серьезных обзорных аналитических работ, посвященных предыстории, тенденциям развития ЕЯ-систем, средствам описания компьютерного представления и обработки лингвистической информации.
К таким работам, достаточно полно характеризующим предысторию развития, современное состояние и тенденции в области обработки естественноязыковых текстов можно отнести фундаментальные исследования Мальковско-го М.Г., Ronald A.Cole, А.С.Нариньяни, Шарова С.А., Попова Э.В., Дж.Слокум, Городецкого Б.Ю. [4,18,19, 32, 36, 37, 72, 44, 60].
При анализе тенденций развития работ в этой области исследователи выделяют следующие три подхода, отмеченных МальковскимМ.Г. в [31, 33] как лингвистический, экспериментальный и прагматический.
Лингвистический подход характеризуется стремлением к использованию в ЕЯ-системах максимально полных моделей языка.
Многие лингвистические описания не ориентированы на непосредственную машинную реализацию. Первыми формальными средствами, развитыми для описания языков, наиболее исследованными теоретически и имеющими широкое применение в практических приложениях, являются грамматики Хом-ского [27, 28, 58].
Обзор развития лингвистической теории включает: - трансформационные грамматики Н.Хомского [10, 64], описывающих два уровня синтаксической структуры (глубинной и поверхностной), связанные посредством трансформаций, ставшие фундаментальной идеей для многих дальнейших исследований и реализаций; -модель «Смысл - Текст» [5, 6, 34], в которой язык рассматривается как система кодов, соответствующей системе смыслов; -модель Хомского GB, реализующую принцип ограничений на сформиро-ванность лингвистической структуры для описания грамматики.
Грамматики Хомского по мощности избыточны для анализа синтаксиса, а с другой стороны, недостаточны для установления семантических аспектов фразы на естественном языке.
В связи с этим появились грамматики для анализа текстов, являющиеся их модификацией или расширением, позволяющие учитывать семантические признаки.
К таким можно отнести грамматические теории HPSG (Head-Driven Phrase-Structure Grammar) [76], в которой знак представляется как набор атрибутов различных уровней, позволяющий интегрировать всю лингвистическую информацию от фонологической до прагматической с одновременным ее использованием;
SFG (Systemic Functional Grammar) [60], основным понятием которой является система как набор возможностей для некоторого грамматического признака и LFG (Lexical functional Grammar) [74].
Попытка смоделировать понимание человеком семантически связанных текстов привела к постановке вопроса о семантических структурах в языке, об уровнях, на которых описываются значения слов, и построению экспериментальных систем обработки ЕЯ-текстов.
Экспериментальность подхода к построению лингвистических систем вызвана сложностью решаемых задач и стремлением построить реально функционирующую эффективную систему.
Обзор экспериментальных систем обработки Ея-текстов содержит: -описание семантических падежей (ролей), определяющих роли участников ситуации; -модели «семантик предпочтения» [40], рассматривающей смысл предложения не просто как список значений слов с соответствующей синтаксической структурой, а выделяющей структурированную форму сообщения, выражающую смысл предложения; -модели концептуальной зависимости [62], предназначенной для описания модели мышления человека, характеризующейся преобладанием роли семантики и отсутствием привычных представлений синтаксиса и морфологии.
Семантические структуры, соответствующие текстам на естественном языке, строятся на основании эвристического критерия, при котором главная роль отводится глаголам и предпочтение отдается семантическим категориям субъектов и объектов действий.
Прагматические системы в литературе ассоциируются с реальными системами, созданными для решения конкретного круга задач в узкой проблемной области и достигающих высокой эффективности за счет ограниченности предметной области.
Одной из наиболее важных работ, представляющей целостный механизм для инженерии языка , является проект GATE (General Architecture for Text Engineering) - отражающий продвинутое представление об общей архитектуре систем обработки текстов [39, 69].
Структура и принцип функционирования системы
Диалоговая ИС с ея-интерфейсом состоит из следующих компонентов: -форум - осуществляет прием вопросов от пользователей и обеспечивает возможность общения между пользователями и экспертами в сети Интернет (общение с системой для пользователя начинается с форума); -естественно-языковой интерфейс - анализирует запросы пользователей и производит поиск диалогов по ключевым словам в базе знаний системы; -среда разработки диалоговых систем - представляет собой визуальный редактор для создания сценариев диалогов и систему ведения диалога.
С диалоговой ИС с ея-интерфейсом взаимодействуют пользователи и эксперты. Пользователями мы будем называть людей, которые хотят с помощью системы получить ответ на свой вопрос. Экспертами - людей, которые обладают информацией в определенной сфере знаний и могут дать квалифицированный ответ. Стоит отметить, что человек может выступать одновременно в двух ролях: пользователя системы и эксперта.
На основе анализа литературных источников сделан вывод, что для достижения приемлемого качества обработки естественно-языковых запросов необходимо выделять наиболее информативные единицы текста - ключевые слова. Наиболее подходящей моделью лингвистического анализатора для реализации является модель контекстного фрагментирования, обеспечивающая возможность отображения естественно-языкового текста на формальный язык представления знаний.
Основу модели контекстного фрагментирования составляет трехуровневая система: лингвистическая модель, базовые механизмы обработки предложений и ассоциированные процедуры.
Систему общения с базой знаний можно представить в виде: Z = M,B,K , (1) где М -лингвистическая модель; В - базовые механизмы обработки предложений; К- ассоциированные процедуры. Лингвистическая модель М содержит информацию о морфологии, синтаксисе и семантике естественного языка.
Базовые механизмы В реализуют четыре основных отображения: \/ь Т-+Х (морфологический анализ); \j/2: X-+G (синтаксический анализ); \/з: G-+S (семантический анализ); щ S- Q (трансляция), где Т - текст естественного языка в виде множества лексем, X - множество лексем с морфологической информацией, G - дерево зависимостей, в вершинах которого располо-гаются лексемы, а дуги отображают связи, S - семантический граф, Q - SQL-запрос в виде цепочки ключевых слов.
Под ассоциированными процедурами К понимается разбиение предложения на лексемы, а также все процедуры, реализующие функции, необходимые для выполнения отображений.
У человека возникает вопрос, на который он хочет получить ответ. Он подключается к сети Интернет и заходит на специализированный сайт, на котором установлена диалоговая ИС с ея-интерфейсом. Внешне такой сайт представляет собой обычный форум. Пользователь на форуме вводит свой вопрос в специальную форму, вопрос поступает на вход ея-интерфейса и анализируется им для выделения ключевых слов в нем. По определенным ключевым словам и специально разработанному алгоритму производится поиск ответов, которые представлены в виде сценариев диалогов, в базе знаний диалоговой ИС.
Если ответ найден, то пользователь переключается в диалоговый режим общения с системой. Пользователь последовательно отвечает на вопросы системы и в конце получает ответ на свой вопрос. Если в базе знаний ответа по заданному вопросу нет, то вопрос публикуется на форуме.
На форуме эксперт отвечает на вопрос пользователя, а затем по заданному вопросу создает сценарий диалога. Задача эксперта состоит в том, чтобы в следующий раз, когда возникнет аналогичный вопрос, на него ответила диалоговая ИС, а не он сам.
Создавая диалоги, эксперт автоматизирует свою деятельность. Ему нужно один раз создать сценарий ответа на вопрос, предусмотрев все возможные варианты развития событий. И больше ему не нужно будет отвечать на одни и те же вопросы. Ему нужно будет только корректировать сценарии диалогов, добиваясь их полноты. Со временем, изучив все возможные реакции пользователей при общении с диалоговой ИС, эксперт создаст сценарий диалога по заданному вопросу, который полностью заменит его работу.
Ключевым моментом в созданной диалоговой ИС является использование ее совместно с естественно-языковым интерфейсом, который позволяет распознавать вопросы, имеющие различную формулировку, но несущие один и тот же смысл. Это важная часть системы, так как без нее вся работа эксперта по автоматизации ответов на вопросы может утратить свою эффективность.
Ея-интерфейс позволяет распознавать суть вопроса и производить точный поиск по базе знаний системы. Детально работа ея-интерфейса будет рассмотрена в следующих разделах. Далее в диссертационной работе будут подробно описаны компоненты диалоговой ИС с ея-интерфейсом, описано их устройство и принцип их функционирования.
Выбор и обоснование инструментальных средств разработки
Разработанная диалоговая ИС с ея-интерфейсом состоит из следующих программных компонентов: -форум; -блок естественно-языкового интерфейса; -среда разработки диалоговых систем.
Форум осуществляет прием вопросов от пользователей и обеспечивает возможность диалога между пользователями и экспертами.
Блок естественно-языкового интерфейса анализирует запрос, выделяет ключевые слова и производит поиск по базе знаний.
Среда разработки диалоговых систем представляет собой визуальный редактор для создания диалогов и систему реализующую ведения диалога.
Разработанная диалоговая ИС с ея-интерфейсом реализована на базе программных продуктов свободно распространяемых в сети Интернет. Такой подход позволяет создать систему с минимальными финансовыми затратами и проверить ее эффективность на практике.
Диалоговая интеллектуальная система с ея-интерфейсом, работающая в сети Интернет, представляют собой принципиально новый тип систем. Поэтому для ее практической реализации нет готовых решений, но есть программные компоненты из разных областей знаний, которые можно использовать для ее создания.
Архитектура системы должна обеспечивать поддержку разнообразных задач во множестве предметных областей.
При реализации подобной системы критически важным является выбор средств разработки, поддерживающих модульный подход. Несмотря на то, что система реализуется на базе уже имеющихся компонентов, необходима их интеграция и доработка.
Свойствами средств разработки, поддерживающих модульный подход являются: -возможность создания отдельных модулей в виде самостоятельных исполнимых блоков; -возможность быстрого и легкого подключения и отключения модулей друг к другу в процессе функционирования программы без необходимости ее остановки;
Наиболее современной и совершенной технологией, позволяющей создание модульных программных комплексов, является технология Microsoft СОМ (Component Object Model). Эта технология представляет собой протокол создания исполнимых программных компонентов и библиотеку, реализующую необходимый и достаточный набор функций для работы с этими компонентами
Компоненты СОМ состоят из исполняемого кода в виде динамически компонуемых библиотек (DLL) или ЕХЕ-файлов. Компоненты, написанные в соответствии со спецификацией СОМ, удовлетворяют всем требованиям компонентной архитектуры. Компоненты СОМ подключаются друг к другу динамически, что не требует остановки работы программы. Библиотека функций, предоставляемая технологией СОМ, позволяет единообразно получать информацию о свойствах и текущем состоянии всех необходимых компонентов. Технология СОМ предоставляет возможность работы со сходными компонентами одинаковым образом, что реализуется с помощью постоянства интерфейсов компонентов одного типа. Кроме того, возможна прозрачная поддержка нескольких версий одного компонента.
В числе дополнительных преимуществ, предоставляемых технологией Microsoft СОМ, следует отметить: -возможность включения в программу большого числа уже готовых приложений, поддерживающих технологию OLE Automation; -поддержка прозрачных связей с удаленными компонентами (DCOM или Distributed СОМ); -возможность повторного использования созданных компонентов; -поддержка собственного механизма транзакций (Microsoft Transaction Server), распространяющегося на все операции с СОМ-объектами ; -языковая независимость и многое другое.
Перечисленные свойства и возможности Microsoft СОМ делают эту технологию максимально эффективной для реализации на ее основе диалоговой ИС с ея-интерфейсом.
Каждый модуль блока естественно-языкового интерфейса реализован в виде СОМ-компонента.
Технология Microsoft СОМ не привязана ни к одному из конкретных языков программирования, требующихся для реализации диалоговой системы. Основными критериями, определяющими выбор конкретного средства разработки, в данной работе были: -поддержка в полной мере технологии Microsoft СОМ; -поддержка объектно-ориентированного программирования; -возможность использования технологии OLE Automation; -визуальные средства проектирования интерфейса.
Именно поэтому в качестве основных средств программирования были выбраны следующие инструменты: Microsoft Visual C++, Borland Delphi, PHP, Java, MySql.
Выбор и обоснование предметной области
Для тестирования и оценки эффективности разработанной диалоговой системы с естественно-языковым интерфейсом использовалась консультационная диалоговая система, разработанная для торговых предприятий, занимающихся оптовой и розничной продажей алкогольной продукции. Актуальность проблемы выбора алкогольной продукции в зависимости от того или иного критерия, сложно переоценить. Алкогольная, в частности, винная продукция в полном своем ассортименте на торговом предприятии составляет несколько десятков тысяч наименований. Вина различаются по своим органолептическим свойствам, внешнему виду, химическому составу, качественным признакам и составляют многообразие марок и типов, имеющих массу отличительных признаков, которые сводятся к набору критериев, в зависимости от которых предлагается система классификации.
Классификация вин - это единая система в распределении различных вин по группам в соответствии с их составом, типичными свойствами и особенностями технологии.
К любой классификации предъявляются следующие общие требования: -в основу классификации должен быть положен единый основной общий признак; -общий признак должен быть легко и просто оценен количественно, а также отражать основное качество классифицируемых предметов таким образом, что можно сравнительно легко их различать; -классификация должна охватывать все многообразие предметов и характеризовать их не только по основному признаку, но и по некоторым другим, которые оказывают существенное влияние на товарные качества и технологические свойства продукта; -классификация должна представлять стройную единую систему со строгой соподчиненностью отдельных ее элементов; -классификация должна позволять систематизировать предметы классификации, то есть создать такую систему, в которой были бы представлены не только все существующие на данный момент предметы, но имелось бы место для новых предметов, которые еще могут быть получены.
Попытки разработать единую классификацию вин предпринимались неоднократно. До сих пор в мире не существует единой классификации вин. Каждая крупная страна-производитель принимают ту классификационную сетку, которая в наибольшей степени соответствует ее агроклиматическим отличиям и особенностям технологического процесса.
Таким образом, проблема выбора для покупателя стоит как никогда остро. Данная проблема отражается не только на покупателе, но и на работе персонала торговых предприятий. Единая консультационная система, охватывающая сразу несколько классификационных сеток, и привязанная к базе данных предприятия, при помощи которой система автоматически сопоставляет цену на тот или иной вид винной продукции с ценовым диапазоном, может в значительной степени упростить работу предприятия.
Допустим, пользователь системы вводит запрос «Какое вило выбрать?». Разбор данного запроса не представляет сложности для системы. Блок ея-интерфейса выделит ключевые слова «вино-выбрать» и произведет поиск спер-карты «вино», а затем внутри нее по слову «выбрать».
Соотнесение конкретного вида продукции с ценовой категорией осуще-ляется системой импортированием из электронной базы данных магазина, где вина почти всегда разбиты на категории в зависимости от цены с целью облегчения финансового учета. Система может использовать внутренние механизмы вычислений среды Microsoft Excel, 1С и других электронных систем баз данных, используемых при финансовом учете.
После выбора ценовой категории система представляет пользователю несколько вариантов продукции с фотографией бутылки, ценой и кратким органолептическим описанием выбранного вина, из которых пользователь выбирает то, что ему нужно.
В данном конкретном примере при выборе экстрактивного вина в высшей ценовой категории система выдаст вариант готового ответа - мадера «Серси-аль», херес «Амонтильядо», херес «Мансанилья», марсала «Суперьори Олд Марсала», токай «Фордиташ», малага «Малага Педро Хименес», кагор «Бени Карло». Исходя из собственных предпочтений, или ориентируясь на краткую органолептическую характеристику каждого наименования, оформление бутылки или цену, пользователь может выбрать то или иное вино.
Рассмотренный выше пример характерен для пользователя, который имеет некоторую степень осведомленности о винодельческой продукции. Менее эрудированный пользователь, скорее всего, выберет поиск по другим критериям - например, стране производства, или сразу по ценовым категориям.
Пользователь на любом этапе диалога может его остановить, запросив у системы отчет обо всех найденных винах, где они будут отражены в виде страницы с фотографиями, ценой и кратким органолептическим описанием. При работе системы до конечного этапа диалога консоль отображения найденного результата затеняется.
Таким образом, система может с равным успехом удовлетворить потребности любого пользователя, исходя из его гастрономических, эстетических и финансовых возможностей, а также степени осведомленности в области виноделия. Благодаря естественно-языковому интерфейсу, при котором система анализирует запрос по семантическим и морфологическим составляющим, отпадает надобность в консультационных услугах персонала торгового предприятия.
