Введение к работе
Актуальность работы:
Сложность реализации человеко-машинного речевого интерфейса определяется во многом сложностью такой системы кодирования, как человеческий язык Вместе со стремительным вступлением человека в информационный век и растущей потребностью людей в эффективных средствах взаимодействия с вычислительной техникой, необходимость эффективного посредника между человеком и информационной средой становиться актуальной Речевые интерфейсы, или хотя бы системы, накладывающие ограничения на тот или иной аспект речевого общения, или их приложения, такие как автоматические «On Line ' «-системы интеллектуального речевого и текстового перевода, устройства определения личности человека по голосу, системы автоматических объявлений, «автоответчики» справочных систем, и исследования, связанные с их совершенствованием или созданием новых типов подобных устройств, приобретают сегодня все большую актуальность Однако, исходя из анализа литературы или изделий, представленных на тематическом рынке программного обеспечения или компьютерного оборудования, а также из анализа программных продуктов, находящихся в бесплатном или условно-бесплатном доступе, следует, что ни одна из подобных систем не лишена принципиальных недостатков, порой ставящих под сомнение целесообразность их использования Иными словами, необходимого уровня качества общения, свойственного общению двух людей подобные изделия пока достичь не в состоянии Причем такое положение вещей, по-видимому, связано не с частными недостатками реализации какой-либо конкретной системы или продукта, а скорее с неким фундаментальным дефектом представлений о закономерностях процесса, образующего общение, ставших уже традиционными Об этом можно судить, в том числе и по тому факту, что в пределах разброса значений, связанных, в основном, с практической направленностью и спецификой целей, для которых проектируется конкретная система речевого интерфейса, все они обладают приблизительно одинаковым процентом отказов практически в одинаковых условиях работы
Важными представителями человеко-машинных интерфейсов и систем обработки речевой и/или текстовой информации, представленной на естественном человеческом языке, являются системы
Функционирующие «на лету», то есть без запаздывания относительно «сопровождаемого» процесса
распознавания речи и текста, в смысле установления взаимнооднозначного соответствия между произнесенным словом или фразой (или напечатанным участком текста) и неким производимым вычислительной машиной действием.
Кажется логичным сосредоточиться на исследовании закономерностей самого языка в самом общем смысле, как переносчика информации в процессе общения, а также структуры, строения и способов применения основных элементов, кодирующих в нем информацию Причем желательно использовать в таком исследовании подходы и методы, в том числе отличающиеся от традиционных, сложившихся со времен начала экспериментов в области когнитивных наук, традиционного искусственного интеллекта и компьютерной техники Данные, полученные в подобных исследованиях, помогут по-новому взглянуть на проблему создания человеко-машинных интерфейсов и поднять качество их функционирования на новый уровень, принесут новое в практику создания электронных переводчиков
Цели и задачи работы
Целью данной работы является получение и разработка математических методов и алгоритмов, обеспечивающих
Получение информации, критической с точки зрения эффективного функционирования некоторого гипотетического речевого процессора (безотносительно к форме конкретной реализации последнего),
Получение информации, важной для функционирования высокоуровневой эмуляции тех или иных форм компьютерного речевого интерфейса типа человек-машина,
Разработка алгоритмов обработки и формализации нечеткой и трудно-формализуемой лингвистической формы информации, применимых после некоторой необходимой адаптации к реальным входным данным в реальных человеко-машинных интерфейсах, имеющих, пусть даже малый и/или промежуточный, лингвистический этап в трансляции команд и входных данных,
Попытка эмуляции процесса обработки лингвистической информации (разумеется, на примитивном уровне, что связано с поисковым характером обсуждаемых исследований) единственным достоверно эффективно функционирующим устройством обработки такой информации - центральной нервной системой человека
Положения работы, выносимые на защиту:
Метод естественно упорядочивания фонетического алфавита естественного языка
Фонетическое построение пространства понятий естественного языка
Два метода построения семантического пространства естественного языка (метод, использующий решение системы нелинейных алгебраических уравнений, и нейросетевой метод)
Методы исследования.
В работе применены следующие методы исследования и теоретические предпосылки Базовые концепции нейропсихологии, элементы математической статистики, элементарная теория многомерных евклидовых пространств, теория и методы вычислительной математики, связанные с решением систем нелинейных уравнений, теория нейронных сетей, численное моделирование, некоторые концепции искусственного интеллекта
Научная новизна проведенной работы состоит в следующем
Рассматривается новый подход к систематизации фонетического яруса лингвистических данных естественного языка, предполагающий кросс-языковый анализ фонетической структуры лексики группы языков,
Разработан новый способ систематизации и представления фонетического алфавита языка, связанный с распространенностью элементов алфавита в смыслопередающем корпусе языка,
Предложен новый способ представления словарного состава естественного языка (построение пространства понятий) в виде многомерного массива (в свою очередь представимого в виде графического изображения), позволяющий автоматически распознавать естественные языки и различные части из словарного запаса этих языков Потенциально данный способ представления лингвистической информации позволяет проводить семантическую кластеризацию и/или классификацию внутри фонетически представленных лексем языка,
Разработано два новых, взаимодополняющих друг друга в смысле рассматриваемых ими слов-понятий, алгоритма семантической кластеризации лексем естественного языка (построения семантического пространства), использующих в своей работе только информацию о существовании
взаимообратных переводов кластеризуемых слов на родственные естественные языки Несмотря на то, что работа данных алгоритмов не включает в себя анализ статистически значимых показателей встречаемости лексем языка, в каких бы то ни было больших корпусах лингвистической информации, разработанные алгоритмы, как показано в работе, работоспособны и могут выполнять задачу семантической кластеризации на необходимом для практических приложений уровне
Достоверность.
Представленные в диссертации результаты обоснованы теоретическим анализом, численным моделированием и верифицированы на известных фактах, почерпнутых из лингвистики и нейропсихологии
Практическая значимость.
Предложенные методы идентификации и обнаружения факта различия двух или более языков, использованных в анализируемом тексте, могут быть с успехом применены в программах интеллектуального перевода, облегчая, таким образом, использование интерфейса таких программ, а также в качестве удобных дополнений к программам-браузерам, применяемым при просмотре информации, содержащейся в глобальной сети Интернет Проблема определения языка, на котором написан документ в Интернете, решается на сегодняшний день либо пользователем, который должен для этого ознакомится с содержанием документа, который может не представлять для него ценности, либо автор документа должен указать язык документа явно (в языке разметки гипертекста HTML для этого предусмотрены специальные тэги) С использованием предложенных методов поиск немаркированных по признаку языка документов в Интернете может быть оптимизирован по эффективности
Методы построения смыслового пространства являются предтечами методов эффективной организации словарей в системах интеллектуального перевода и в системах поиска информации по семантическому признаку Классическая организация словаря, с распределением словарных единиц в соответствии с алфавитным порядком, не удовлетворяет целому ряду требований к оптимальной работе со словарем и поиска в нём Реструктуризация словарей в соответствии с категориями семантического пространства поможет построить систему интеллектуального перевода, отличающуюся скоростью и точностью работы, переводящую смысл предъявляемого
высказывания, а не его словарный состав Следствием последнего явления являются ошибочные переводы, либо вовсе отказ существующих систем электронного перевода
Кроме того, методы и алгоритмы семантической кластеризации и классификации, являются необходимой частью систем информационного поиска, автоматической рубрикации текстовой информации, а также систем извлечения данных
Апробация работы
Основные результаты в течение ряда лет докладывались на
Всероссийской Научно-Технической Конференции
«Нейроинформатика» (Москва, 2004-2006 годы) О начальных этапах
работы и результатах изучения функционирования алгоритма
фонетического построения пространства понятий, можно судить по
докладу на седьмой международной конференции «Cognitive Modeling
in Linguistics», проходившей в Варне в 2004 году Кроме того,
результаты части работы, связанной с построением смыслового
пространства опубликованы в электронном рецензируемом журнале
«Нейроинформатика», а также в рецензируемом журнале
«Нейрокомпьютеры разработка, применение» Результаты
промежуточных исследований смыслового пространства, также докладывались на Молодежной школе Курчатовского Института (Москва, РНЦ «Курчатовский институт» 2005)
Часть результатов этой работы была удостоена первой премии Молодежного Кикоинского конкурса Курчатовского института в 2006 году
Личный вклад автора
Структурирование и интерпретация полученных результатов Разработка, реализация, апробация и верификация представленных методов анализа формализации и представления в памяти вычислительной машины структуры информации, изначально представленной на естественном языке Развитие современных методов представления трудноформализуемой языковой информации с использованием «четких» численных методов и форм хранения данных в памяти вычислительной машины В диссертации предложены два метода идентификации и различения человеческого языка (п п 1, 2 в перечне положений, выносимых на защиту) и два метода структурирования словарного базиса языка по смысловому признаку (п З в перечне положений, выносимых на защиту)
Публикации
По теме диссертации опубликовано восемь работ, три из них в соавторстве Две статьи опубликованы в материалах международных конференций [1,2], четыре статьи в сборниках трудов конференций [3 - 6], одна статья в рецензируемом электронном журнале [7], и одна статья в рецензируемом журнале [8]
Структура и объём диссертации
Диссертация состоит из введения, четырех глав и заключения, двух приложений и списка цитируемой литературы, включающего 124 библиографические ссылки Работа содержит 162 страницы, включает 26 рисунков и 3 таблицы
