Введение к работе
Актуальность теми. Задача машинной обработки текстов на стественном языке (ЕЯ) возникла с появлением ЭВМ. Хотя ЭВМ вдавались в основном для вычислительных работ, вскоре после их оявления стали предприниматься попытки использования их для бработки символьной и текстовой информации. Весьма важная роль ринадлежит здесь программным средствам обработки текстов, редставленных на том или ином ЕЯ - системам общения человека с ЄМ на ЕЯ (ЕЯ-системам). Для анализа реальных (а не кепериментальных) текстов необходимы адаптивные ЕЯ-системы, способные настраиваться на конкретного пользователя и предметную власть (ПО), а также обрабатывать языковые конструкции, юрмально противоречащие лингвистическим знаниям системы.
Важным компонентом ЕЯ-систем является синтаксический анализатор (СА). Однако практически во всех существующих в іастоящее время СА не используются пунктуационные знания (как [равило, из-за отсутствия достаточно полного формализованного іписания пунктуации). СА либо рассчитаны на анализ только [унктуационно правильных цепочек словоформ, либо обнаруживают сишь некоторые типы ошибок, выявляемые обычно с помощью шаблонов іа основе ключевых служебных слов. При наличии же в Срабатываемом тексте пунктуационных ошибок анализатор не может [роизвести разбор предложения или, "не понимая" ошибочности [реддожения, получает формально приемлемую, но по сути неверную штерпретацию. (При этом никаких сообщений об ошибках не юступает.) Очевидно, что перспективные ЕЯ-системы должны быть «нащены полноценными моделями пунктуации и соответствующими программными средствами.
Основная паль работы состоит в разработке целостного подхода с решению проблемы использования пунктуационных знаний яштаксическим анализатором в составе различных ЕЯ-систем, 'ешение данной вадачи предполагает:
разработку для ЕЯ-систем методики построения формализованной модели системы пунктуационных правил;
разработку алгоритмов, осуществляющих выявление и соррекцию пунктуационных ошибок в анализируемых текстах;
проверку предложенного подхода путем построения . открытой (т.е. -предусматривающей возможность ее пополнения и коррекции)
модели пунктуации русского языка, а также создание на ее основе программно реализованного пунктуационного компонента СА для адаптивных ЕЯ-систем различного назначения!
Научная новизна. В диссертации предлагается новая методика построения формализованной модели системы пунктуационных правил. На основе данной методики описывается достаточно полная (полнота понимается как с точки зрения - объема учитываемых языковых явлений, так и с точки зрения лингвистической обоснованности) модель пунктуации русского языка. Разработка модели в рамках задачи создания адаптивных ЕЯ-систем позволяет естественный образом учитывать высокую вариативность пунктуации ,- факт,
.существенно ограничивающий возможности традиционного (неадаптивного) подхода. Построенная модель используется для
создания пунктуационного компонента СА, способного адаптироваться к особенностям употребления знаков препинания в анализируемых текстах различной ' функционально-стилевой принадлежности. Для реализации указанного компонента разработаны новые адаптивные алгоритмы пунктуационного контроля текста.- Принципиально важным
. моментом является также сочетание ч полноты лингвистического обеспечения с полнотой программной реализации.
Практическая значимость. Согласно разработанной г диссертации методике построены модель пунктуации русского языка и лингвистическая база данных, описывающая систему правил русской пунктуации. Предлагаемый в работе пунктуационный компонент СА, соаданный на их основе, используется на кафедре алгоритмических языков факультета ВМиК; МГУ в составе СА ЛП АДАМАНТ » интеллектуальной системы комплексного .контроля и редактирования русскоязычных текстов ЛИНАР, а также в Институте системного анализа РАН. На базе полученного компонента разработаны к программно реализованы модельные версии (исследовательские прототипы) некоторых прикладных систем - система, обучающая пунктуации русского языка, и адаптивная система СИПКО, осуществляющая пунктуационный контроль русскоязычных текстов.
: Результаты диссертации могут быть использованы при разработке ЕЯ-систем различного назначения, в которых необходима пунктуационные знания о языке - систем автоматизированного обучения, автоматического перевода, автоматизации лингвистических исследований и редакционно-издательской деятельности, определения авторства текста (путем выявления характерных пунктуационных
ошибок автора), распознавания звучащей речи.
Достоверность результатов. На основе предложенной методики описаны модели пунктуации не только русского, но и английского яаыков. Это подтверждает возможность ее применения к описанию пунктуации различных ЕЯ, имеющих свои особенности и характерные черты. Достоверность результатов также подтверждается-использованием описанной пунктуационной модели и разработанного пунктуационного компонента в конкретных программных средствах (СИПКО, система обучения пунктуации русского языка), а также в составе адаптивных ЕЯ-систем различного назначения (АДАМАНТ, ДИНАР и др.).
Апробация. Результаты диссертации докладывались на городском семинаре по автоматизации программирования, а также на научных семинарах в Институте системного анализа РАН и МГУ им. М.В.Ломоносова.
Публикации. По теме диссертации опубликована одна работа, достаточно полно отражающая основные научные результаты диссертации.
Структура и объем диссертационной работы. Диссертация состоит иа введения, четырех глав, заключения, списка литературы, включающего 67 названий, и приложений. Основной (без приложений) текст занимает 126 машинописных страниц.
