Содержание к диссертации
ВВЕДЕНИЕ 6
1ПРОБЛЕМА ПОИСКА И АНАЛИТИЧЕСКОЙ ОБРАБОТКИ ИНФОРМАЦИИ... 10
1.1 Постановка задачи 10
1.1.1 Исходные данные и предпосылки 10
1.1.2 Цель работы 11
1.2 Анализ предметной области 12
1.2.1 Развитие распределенных информационных сетей 12
1.2.2 Классификация информационно — поисковых систем 13
1.2.3 Перспективы развития поисковых систем 28
1.2.4 Информационные потребности пользователя 28
1.2.5 Выводы по разделу 31
1.3 Статистические методы обработки текстовой информации 35
1.3.1 Частотные характеристики 36
1.3.2 Весовые коэффициенты 38
1.3.3 Индексирование 39
1.3.4 Выводы по разделу 46
1.4 Методы и модели представления и обработки знаний 46
1.4.1 Модели морфологии естественного языка 49
1.4.2 Модели описания синтаксиса 50
1.4.3 Модели представления семантики 54
1.4.4 Технологии распознавания образов 65
1.4.5 Выводы по разделу 70
1.5 Выводы по Главе 1 72
2 ИНТЕЛЛЕКТУАЛЬНЫЙ АГЕНТ ПОИСКА ИНФОРМАЦИИ 74
2.1 Конкретизация поставленной задачи 74
2.1.1 Предмет и объект исследования. 74
2.1.2 Методы исследования 75
2.1.3Научная новизна, результаты и положения, выносимые на защиту75
2.1.4 Направления применения, практическая ценность работы 76
2.2 Концепция интеллектуального агента поиска информации 77
2.2.1 Структура агента 79
2.3 Модель пользователя 82
2.3.1 Вход модели пользователя 83
2.3.2 Формализация модели пользователя 83
2.3.3 Процедуры модели пользователя 87
2.3.4 Выход модели пользователя 88
2.3.5 Выводы по разделу 89
2.4 Модель постановщика задач 91
2.4.1 Вход модели постановщика задач 91
2.4.2 Формализация модели постановщика задач 92
2.4.3 Процедуры модели постановщика задач 94
2.4.4 Выход модели постановщика задач 94
2.4.5 Выводы по разделу 94
2.5 Модель внешней среды 96
2.5.1 Вход модели внешней среды 96
2.5.2 Формализация модели внешней среды 96
2.5.3 Процедуры модели внешней среды 97
2.5.4 Выход модели внешней среды 98
2.5.5 Выводы по разделу 99
2.6 Модель предметной области 100
2.6.1 Вход модели предметной области 100
2.6.2 Формализация модели предметной области 100
2.6.3 Процедуры модели предметной области 101
2.6.4 Выход модели предметной области 102
2.6.5 Выводы по разделу 102
2.7 Модель блока аналитической обработки 103
2.7.1 Вход модели блока аналитической обработки 104
2.7.2 Формализация модели блока аналитической обработки 104
2.7.3 Процедуры модели блока аналитической обработки 108
2.7.4 Выход модели блока аналитической обработки 109
2.7.5 Выводы по разделу 109
2.8 Эффективность деятельности агента 109
2.8.1 Формализация требований эффективности агента 110
2.8.2 Выводы по разделу 111
2.9 Выводы ПО ГЛАВЕ 2 113
3 ПРАКТИЧЕСКИЕ АСПЕКТЫ ПОСТРОЕНИЯ АГЕНТА 114
3.1 Процедуры модели пользователя 114
3.1.1 Формирование и корректировка модели пользователя 114
3.2 Процедуры модели постановщика задач 115
3.2.1 Автономное формирование запроса 116
3.2.2 Обработка и расширение запроса пользователя 117
3.2.3 Планирование реализации запросов во внешней среде 117
3.3 Процедуры модели внешней среды 118
3.3.1 Обработка запроса агента- исполнителя 118
3.3.2 Расширение модели внешней среды 118
3.3.3 Оценка поисковой системы 118
3.4 Процедуры модели предметной области 119
3.4.1 Формирование и корректировка модели предметной области 119
3.4.2 Поиск и представление информации пользователю 121
3.5 Процедуры модели блока аналитической обработки .Т7.ТГ 123
3.6 ВЫВОДЫ ПО ГЛАВЕ 3 124
ЗАКЛЮЧЕНИЕ 126
БИБЛИОГРАФИЧЕСКИЙ СПИСОК ЛИТЕРАТУРЫ 130
Введение к работе
Начиная с 80-х годов предыдущего столетия, началось и продолжается сегодня активное развитие распределенных информационных сетей. Наиболее известной из таких сетей является сеть Интернет. Глава Федерального агентства связи РФ Дмитрий Милованцев заявил, что количество пользователей сети Интернет в России к концу 2004 года достигнет 15 миллионов человек.1 Достижение этой цифры будет обеспечено в первую очередь путем включения услуги доступа к сети Интернет в состав универсальных услуг связи, то есть услуг, которые согласно приоритетам развития телекоммуникационной отрасли государства, должны быть обеспечены для жителей всех населенных пунктов. В этих условиях особенно актуальной становится задача эффективного использования информационного пространства сети, решение которой позволит оправдать финансовые вложения государства в обеспечение населения данной услугой связи.
Простота построения сети, ее развитие и расширение за счет подключения новых пользователей предоставляет множество возможностей: обмен пользователей сообщениями, проведение конференций, но самое главное — неограниченные информационные ресурсы сети.
На сегодняшний день информация воспринимается как стратегический ресурс для персонального развития, развития бизнеса компании, эффективного функционирования государства. Все чаще экономические аспекты информационного бума: стоимость сбора, извлечения, преобразования, анализа информации выходят на первый план. В тоже время и развитые коммуникационные технологии, и различные информационные системы на сегодня не в состоянии полностью обеспечить информационные потребности пользователя, не укладывающиеся в структуру стандартных запросов, не говоря уж о предупреждающем выявлении данных потребностей и их удовлетворении.
На фоне того, что доля неструктурированных данных в современных электронных хранилищах составляет более 80%2, текущий этап развития современных информационных технологий не предлагает адекватных инструментов поиска и структурирования информации. Экономические последствия подобного состояния дел в условиях высокой стоимости ресурсов представляются очевидными. Решение информационно-справочных и аналитических задач в интересах конечного потребителя в рамках описанной проблемы требует применения новых методов управления неструктурированной информацией распределенных информационных сетей.
Целью настоящей работы является разработка моделей и процедур построения системы поиска, способной предложить современному пользователю инструмент поиска и обработки информации в распределенных информационных сетях.
В соответствии с поставленной целью реализуются следующие этапы исследования: проводится анализ проблемной области, классификация и критическая оценка механизмов организации и функционирования существующих информационно- поисковых систем, выявляются достоинства и недостатки методов решения проблемы,
оценка тенденций дальнейшего развития поисковых систем, распределенной информационной среды и информационных предпочтений пользователя. На основе проведенного анализа определяются подход к организации поисковой системы, требования к ее функциональности и структуре. Затем осуществляется построение и формализация подмоделей, входящих в состав поисковой системы, формулируются процедуры взаимодействия компонент,
рассматриваются практические примеры.
Таким образом, предметом исследования является технологии поиска и обработки неструктурированной информации в
распределенных сетях, объектом исследования выступают системы, действующие в целях удовлетворения информационных потребностей пользователя в распределенной информационной среде.
Данная проблема в последнее время является предметом многочисленных исследований коммерческих и научных организаций различных стран. В тоже время, вопросы, связанные с поиском и обработкой информации в распределенных информационных сетях фактически не освещены в литературе. Представляются вероятными несколько причин такой ситуации: во-первых, как уже отмечалось, российские государственные, коммерческие и научные организации только начинают осознавать важность этого вопроса, поэтому в отечественных публикациях не прослеживаются четкое видение и разработка проблемной области. Во-вторых, спектр рассматриваемых задач находится на пересечении нескольких научных направлений: существуют работы по экономике, лингвистике, теории агентных систем, организации и обработки данных и знаний, теории "раскопок данных и текста" (Data Mining, Text Mining), с разных сторон освещающие проблему поиска и обработки информации в распределенных сетях, но при этом отсутствуют исследования, синтезирующие все эти разработки.
Предлагаемая работа носит исследовательский характер и состоит из трех частей. В первой главе дается краткое описание развития распределенных информационных сетей, анализируются существующие классы информационно - поисковых систем, обсуждаются перспективы их дальнейшего развития. Делается вывод о необходимости разработки структуры поисковой системы на основе агентного подхода, учитывающего тенденции в развитии информационных потребностей пользователя. Рассмотрение и анализ методов обработки текстовой информации, методов и моделей представления и обработки знаний позволило определить целесообразность применения конкретных научных и практических разработок в системе агента, обосновать выбор аппарата неоднородных семантических сетей как основы для построения модели знаний.
Вторая глава включает в себя анализ требований функциональности, предъявляемых к интеллектуальному агенту поиска информации, определение необходимых структурных компонент, организации и общего алгоритма работы агента. Проводится формализация, определяются входные и выходные параметры, процедуры взаимодействия каждой модели в системе агента: модель пользователя, модель постановщика задач, модель внешней среды, модель предметной области, модель блока аналитической обработки. Дается математическая постановка задачи эффективности деятельности агента.
В третьей главе приводятся примеры практического использования разработанных моделей и процедур. Наконец, в заключении делаются выводы о полученных результатах и указываются перспективные направления исследований.
По теме исследования опубликовано 6 печатных работ [3,4, 5, 6, 7, 8].
