Содержание к диссертации
Введение
Глава 1 Обзор существующих методов моделирования при кладных систем и технологий 14
1.1 Методы создания функциональных моделей 16
1.2 Существующие языки описания нейросетевых моделей - 18
1.3 Существующие элементы описания нейросетевой технологии 21
Глава 2 Описание нейросетевой технологии использования нейронных сетей с учителем 30
2Л Описание технологии использования нейронных се тей с учителем 30
2.2 Моделирование технологии нейронных сетей с учите лем на основе IDEF - 37
Глава 3 Формальный язык и грамматика описания нейросете вой технологии 52
ЗЛ Уровень операций пользователя (2-й уровень) 54
3.2 Особенности построения грамматики 63
3.3 Примеры вывода слов и построения деревьев 64
3.4 Определение типа и свойств грамматики 77
3.5 Преобразование к нормальным формам 81
З.в Приведение к каноническому виду 81
3.6.1 Удаление бесплодных символов 81
3.6.2 Удаление недостижимых символов 82
3.6.3 Устранение Х-правил 83
3.6.4 Устранение цепных правил 85
3.7 Преобразование к нормальной форме Хомского 88
3.8 Устранение левой рекурсии 93
3.9 Преобразование к нормальной форме Грейбах 101
ЗЛО Модификация грамматики на примере пакета 106
Statistica Neural Networks
ЗЛІ Модификация грамматики на примере нейрон мптато- ПО
pa Neurogenesis
3 Л 2 Описание задачи для распознавателя слов грамматики 111
Глава 4 Способы предобработки данных для исследования динамики параметров объектов 118
4.1 Описание способов предобработки данных 118
4.2 Формальное описание подходов к предобработке данных 129
4.3 Описание минимального набора функций предобра-ботчика 130
Глава 5 Использование формально-языковой модели и методик для исследования лингвистических и психологи ческих данных 133
5.1 Результаты анализа лингвистических данных 133
5.2 Результаты анализа психологических данных 138
5.2.1 Обучение нейронных сетей с учителем 138
5.2.2 Обучение нейронных сетей без учителя (выявление классификационной модели) 141
Заключение 145
Список использованных источников
- Существующие языки описания нейросетевых моделей
- Моделирование технологии нейронных сетей с учите лем на основе IDEF
- Преобразование к нормальным формам
- Формальное описание подходов к предобработке данных
Введение к работе
В современной нейроинформатике развиваются три основных направления исследований: аппаратная реализация нейрокомпьютеров, математическое обеспечение нейронных сетей (разработка алгоритмов обучения, архитектур нейронных сетей), приложения нейронных сетей (использование готовых нейросетевых инструментов для решения исследовательских задач). Первое направление активно разрабатывается за рубежом, т.к. связано с большими финансовыми затратами. В нашей стране и в г. Красноярске развиваются в основном последние два направления. Нейронные сети широко используются на практике, накоплено большое количество различных алгоритмов обучения и архитектур нейронных сетей, приемов использования нейронных сетей для решения прикладных задач.
Существуют отдельные виды нейронных сетей, среди которых выделяют: нейронные сети с учителем (двойственные сети, сети обратного распространения), без учителя (сети естественной классификации) и другие (некоторые авторы рассматривают отдельно сети Хопфилда). Это разделение связано со спецификой обработки данных: в первом случае известны некоторые входные параметры (атрибуты) и поле ответа, во втором - ответ не известен, объекты классифицируются в пространстве параметров (задача таксономии). В настоящей работе используется абстрактная методология использования нейронных сетей с учителем. Мейросстсвые технологии применимы во многих предметных областях, для решения различных прикладных задач. Есть несколько признаков, которыми может или должна обладать задача, чтобы применение нейронных сетей было оправдано [17, 19]: отсутствует алгоритм или неизвестны принципы решения задач, но накоплено достаточное число примеров; проблема характеризуется большими объемами входной информации; данные неполны или избыточны, зашумлены, частично противоречивы.
Основные типы задач, решаемых с помощью нейронных сетей с учителем:
1) предсказание (действительного) числа или предикцпя (иначе назы ваемая нейросетевой регрессией);
2) оптимизация. Дополнительные задачи: прогноз ("что будет завтра?"); условный прогноз ("что будет завтра, если ..?"); определение значимости входных параметров.
Для решения задач требуется установить технологию (порядок, методику) использования соответствующих операций, последовательно выполняя которые пользователь получит какие-либо результаты.
Среди алгоритмов и архитектур нейронных сетей большое место занимают алгоритмы двойственных нейронных сетей или нейронных сетей обратного распространения. В данной работе эти алгоритмы и архитектуры предлагается называть нейронными сетями с учителем, так как кроме часто используемых методов обратного распространения ошибки (Back Propagation) (других направленных), применяют методы случайного поиска или обучения (ненаправленные).
Многие исследователи подходили к определению последовательности технологических операций при обработке данных, но технологические особенности достаточно редко являлись центральным местом в-них. Известные работы предлагают отдельные фрагменты описания самого общего уровня абстракции, касающиеся конкретной реализации и работы нейронной сети. Общими проблемами нейроинформатики занимались (в том числе и элементами технологии использования) В. Л. Дунин-Барковский, Л. И. Галушкин, Б. 1-І. Опыкий, Е. М. Куссуль, J. J. Hopfield, Т. Kohonen, Р, Wasscrman, R. Hecht-Niclsen, D. A. Rummerlhart, A. II. Горбань, С. А. Терехов и многие др. Задачи формализации и стандартизации неиросетевой технологии (спецификации компонент и структур нейросетевого моделирования) рассматривали Е. Fiesler, Н. J. Caulfield, М. A. Atencia, G. Joya, F. Sandoval, A. 10. Дорогой, E. M. Миркес, С. E. Ги л ев и др. Предложены несколько специализированных языков, предназначенных для описания нейросетевых моделей, например Aspirin (R. R. Leighton), PlaNet v.5 (Y. Miyata), AXON (R. Hecht-Nilsen), CuPit (H. Hopp, L. Prechelt), EpsiloNN (A. Strey), CONNECT (G. Kock, N. B. Scrbedzija), Nspec (G. Dorffner, II. Wiklicky, E. Prem). Подобные языки позволяют с относительной степенью детализации описать методы моделирования нейронной сети в терминах структур данных, классов, переменных и процедур (подход на основе языков высокого уровня). Язык описания нейронных сетей PMML (The Data Mining Group) позволяет описывать только сети обратного распространения ошибки с фиксированным типом нейронов и заранее определенным набором из нескольких простейших правил предобработки и интерпретации. Язык Neural Network Markup Language - NNML (С. В. Бутаков, Д. В. Рубцов) предназначен для разработки обменного формата нейроимитаторов. При этом объектом для описания являются полностью обученные нейронные сети. Назначение предлагаемого языка - запись всей информации, необходимой для однозначного и точного воспроизведения этой неиросетевой вычислительной модели нейроимитато-ром.
Тем не менее, до сих пор технология использования нейросетевых методов и ее результаты слабо систематизированы, хотя и существуют отдельные устоявшиеся рекомендации проведения экспериментов, которые носят в основном слишком частный характер. Научные центры, занимающиеся проблемами нейроинформатики (г. Москва, г. Санкт-Петербург, г. Ростов-на-Дону, г. Барнаул, г. Красноярск и др.), определяют свои частные методы и предписания каким образом использовать нейросетевые инструменты (какие методы предобработки использовать, в каком порядке выполнять операции, как представлять и описывать результаты). Эти методики описывают различные подходы, предлагаются новые интерпретации. Недостаточное внимание уделяется проблеме совместимости и систематизации данных методов, не существует единого взгляда на данный процесс как на систему. Зачастую используют упрощенную методику проведения экспериментов и описание, не учитывающие целые группы операции, или вообще не описывают методику. В частности, в зарубежных работах, посвященных прикладным исследованиям с помощью нейронных сетей, иногда не изучаются и не проводят операции контрастирования (сокращения числа внешних или внутренних элементов). В зарубежных нейроимитаторах эти операции часто не реализованы. В настоящее время многие отдельные исследователи самостоятельно выбирают и применяют различные нейросетевые методы. Начинающие исследователи решают поставленную задачу методом проб и ошибок, сами определяют конкретную последовательность операций, при этом иногда не представляют последствия и полученные результаты. Существует большое число специализированных программ-нейроимитаторов, реализующих разные подходы и технологические особенности при обработке данных (проектирование алгоритмов и наличие или отсутствие тех или иных операций пользователя определяется разработчиком и обычно зависит от предпочтений и принадлежности автора к определенной группе).
Поэтому пользователям иногда трудно понять и каким же образом использовать нейросетевые инструменты, какие функциональные возможности использовать и в каком порядке. Это обстоятельство существенно ограничивает круг пользователей и специалистов в своей области, желающих использовать для обработки своих данных нейронные сети. До сих пор специалисты, не разбирающиеся в нейроинформатике, предпочитают использовать другие инструменты н методы. Кроме того, проблемы возникают и у пользователей среднего уровня квалификации, для которых сложно выстроить од- позначный порядок выполнения операции и определить технологию (методику) обработки данных для конкретной задачи, чтобы получить прогнозируемый результат либо определить, что же явилось причиной неудовлетворительного качества обучения сетей и что делать дальше. Поэтому на сегодняшний день является актуальной задача разработки конкретных методик, описывающих строго определенные последовательности операций для решения различных классов задач. Это позволит несколько расширить круг пользователей и поможет систематизировать процесс использования различных нейроимитаторов в едином русле. Для решения подобных задач было предложено разработать формальную модель технологии использования нейронных сетей с учителем, что может существенно облегчить трудозатраты и оказаться полезным как конкретным исследователям, особенно начинающим, так и разработчикам алгоритмов, методов, нейроимитаторов.
Цель работы: разработать формальную модель технологии использования нейронных сетей с учителем и частную методику для решения различных прикладных задач.
Для достижения поставленной цели в работе решаются следующие задачи:
Разрабатывается обобщенная модель на основе диаграмм процессов группы IDEF для выявления функциональных составляющих технологии (групп, подгрупп и операции).
Разрабатывается модель описания технологических особенностей использования нейронных сетей с учителем на основе формальных языков и грамматик, что позволит определить варианты порядка выполнения операций и устранить некорректные последовательности операций.
Разрабатывается частная методика обработки данных с использованием нейросетей с учителем; использовать методику для исследования лингвистических данных и других задач.
4. Разрабатываются способы предобработки данных, в первую очередь — изменение структуры, для исследования динамики изменения этих данных (при наличии параметра или параметров, определяющего время или временной интервал для каждого измерения -строки таблицы данных).
Методы исследования. В работе использовались понятия и методы формальных языков и грамматик, диаграммы процессов группы IDEF, ней-росетевые инструменты. Для программирования специализированных пре-добработчиков применялись объектно-ориентированного методы.
Научная новизна.
Предложен формальный язык описания технологии обработки данных с помощью нейронных сетей с учителем, позволяющий моделировать данный технологический процесс.
Сформулирована контекстно-свободная грамматика описания технологии использования нейронных сетей с учителем, приведены ее свойства, построены исходная и эквивалентные грамматики в нормальных формах Хомского и Грейбах.
Предложена формальная схема использования нейронных сетей для задачи разбиения слов естественного языка на лексико-грамматическис классы (на примере английского языка) и других задач классификации.
Предложены способы предобработки данных, изменяющихся во времени, для исследования динамики изменения параметров объектов.
Практическая ценность. Приведенный язык формального описания технологии может быть реализован в виде компилятора либо нейропмитато-ра, который, в соответствии с данной грамматикой и языком, позволит проверить (подсказать) правильность порядка выполняемых операций и сигнализировать пользователю об ошибке. В соответствии с формально-языковой моделью и запросом пользователя (какие результаты он планирует получить) возможна реализация автоматического выполнения операций в виде системы макросов, подключаемых к конкретному нейроимитатору, что позволит зна- чительно сократить затраты исследователя. Разработала программа — распознаватель слов соответствующего языка и грамматики описания технологии использования нейронных сетеїі с учителем. Построена обобщенная модель нейросетевой технологии на основе диаграмм процессов группы IDEF. Практически реализованы методы предобработки данных для исследования динамики изменения параметров объектов. Предложена методика проведения экспериментов по обработке данных н представления результатов с помощью нейронных сетей с учителем для начинающих исследователей. Показаны результаты использования методики для лексико-грамматической классификации слов языка и других задач. Создана программа-предобработчик, которая позволяет реализовать основные операции по предварительной обработке данных, включая специализированные (для исследования динамики), для дальнейшего их предъявления в качестве исходных для нейросетевой обработки.
Положения, выносимые на защиту:
Обобщенная модель технологии на основе диаграмм процессов группы IDEF, позволяющая определить функции и взаимосвязь операции общей технологии. Методики использования нейроимитаторов STATISTICA Neural Networks, NeuroPro, являющихся частным случаем технологии и ее модели.
Способы предобработки данных, изменяющихся во времени, для исследования динамики изменения параметров объектов. Способы предобработки реализованы в программном комплексе "Jointer".
Формальный язык, описывающий технологию использования нейронных сетей с учителем для решения прикладных задач. Построены подмножества исходного языка, описывающие особенности технологии использования некоторых нейроимитаторов. Программа - распознаватель слов формального языка.
4. Грамматика соответствующей технологии использования нейронных сетей с учителем позволяет определить возможные варианты выполнения исследования и выявить некорректные последовательности операций. Для упрощения правил грамматики получены эквивалентные грамматики в нормальных формах Хомского и Грейбах. Приведены свойства грамматики, показано, что грамматика является контскстно-спободной.
Реализации результатов работы. Результаты работы внедрены в учебный процесс в Красноярском государственном техническом университете и Сибирском государственном технологическом университете, использованы в работе зимней политехнической школы по нейроинформатике по программе "Шаг в будущее". Формальное описание нейросетевой технологии позволило повысить эффективность изучения предмета "Мейрокомпыо-терных системы", читаемого в СибГТУ, качество усвоения материала. При выполнении итоговых и курсовых работ в соответствии с частной методикой, разработанной на основе общей технологии и ее формального описания, количество существенно некорректных вариантов использования нейросете-вых инструментов заметно снизилось. Это позволило обобщить опыт преподавания данных дисциплин, что отражено в статьях международной конференции "Высшее техническое образование: проблемы и пути развития" (г. Минск, Белоруссия, 2004) и региональной конференции "Управление образовательным процессом в современном вузе" (КГПУ, г. Красноярск, 2004).
Апробации работы.
Основные положения работы обсуждались на международных, всероссийских и региональных конференциях, семинарах. В том числе; на Всероссийской конференции "Нейроинформатика" (2003, 2004, 2005) г. Москва (МИФИ); семинаре "Новые информационные технологии" (2003, 2004, 2005) г. Москва (МГИЭМ); Международной научной студенческой конференции "Студент и научно-технический прогресс" (2003, 2004, 2005, г. Новосибирск); Всероссийской конференции "Теоретические и прикладные вопросы современных информационных технологий" (2004, г. Удан-Удэ); международной конференции "Высшее техническое образование: проблемы и пути развития" (2004, г. Минск, Белоруссия); Всероссийском семинаре "Нейро-информатка и ее приложения" (2003, 2004, г. Красноярск); Всероссийском семинаре "Моделирование неравновесных систем" (2003, 2004, г. Красноярск); Всероссийской конференции "Решетневские чтения" (2003, 2004, г. Красноярск); Всероссийской конференции "Лесной и химический комплексы — проблемы и решения (экологические аспекты)" (2004, 2005, г. Красноярск), на рабочих семинарах в КГТУ и СибГТУ в 2004-2005 гг.
Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложений. Общее число страниц 150, библиографический список- 171 источник.
Существующие языки описания нейросетевых моделей
Предложены несколько специализированных языков, предназначенных для описания нейросетевых моделей, например Aspirin (R.R. Leighton), PlaNet v.5 (Y. Miyata), AXON (R. Hecht-Nilscn), CuPit (1-І. I Iopp, L. Prechelt),
EpsiloNN (Л. Sircy), CONNECT (G. Kock, N.B. Serbedzija), Nspec (G. Dorffner, 1-І. Wiklicky, E. Prem). Подобные языки позволяют с относительной степенью детализации описать методы моделирования нейронной сети в терминах структур данных, классов, переменных и процедур (подход на основе языков высокого уровня). Они не предназначены для обмена уже построенными моделями. Применение требует наличия специальных компиляторов. Подобные языки предусматривают запись параметров и динамики только нейронной сети, тогда как для корректного восстановления модели необходимы также сведения о структуре данных, методах предобработки входных и интерпретации выходных сигналов сети.
Язык CuPit разработан с учетом предположения, что нейросетевые алгоритмы можно представить в виде отдельных операций, выполняемых параллельно. Операции выполняются как над отдельными объектами (связями, слоями и т.д.), так и над группами объектов (наборы отдельных структурных элементов сети). Выделено три уровня параллельности: связей, слоев и примеров (рисунок 1.1). Язык предназначен для генерации эффективного кода параллельных вычислений [166].
Язык EpsiloNN разработан для моделирования работы нейронных сетей на различных архитектурах параллельных систем. Предполагается статн ческая структура нейронной сети. Синтаксически язык сходен с языком программирования С. Возможно описание следующих объектов: синапс, нейрон и нейронная сеть. Поддерживается описание параллельности вычислений. Сеть представлена как массив составляющих се структурных элементов. Предполагается наличие переносимости кода для различных архитектур [167].
Язык описания нейронных сетей PMML (The Data Mining Group) позволяет записывать информацию о текущем проекте, структуре входных и выходных данных, статистические параметры обучающей выборки. Описывает только сети обратного рапеространения ошибки с фиксированным типом нейронов и заранее определенным набором из нескольких простейших правил предобработки и интерпретации [163].
Язык Neural Network Markup Language - NNML (СВ. Бутаков, Д.В. Рубцов) предназначен для разработки обменного формата пейроимитаторов, которые используют искусственные нейронные сети для решения практических задач по предсказанию или классификации. При этом объектом для описания являются полностью обученные нейронные сети. Нейронная сеть после завершения процесса обучения рассматривается как статический объект с фиксированной структурой и внутренними параметрами. Ее описание не содержит явных сведений о методе обучения сети. Передается готовая вычислительная схема получения значений целевых параметров на основе известных. Основное назначение предлагаемого формата - запись всей информации, необходимой для однозначного и точного воспроизведения этой нейросетевой вычислительной модели нейроимитатором. Сказанное не исключает возможности дальнейшего обучения этой сети нейроимитатором. После восстановления из описания с нейросетевой моделью могут быть произведены те же действия, что и с нейронной сетью, сгенерированной самим нейроимитатором. По утверждению авторов язык является открытым для расширений, легко интерпретируется и независим от конкретно]! системы или языка программирования. Язык разработан на основе нотации XML. В авторском изложении термины "формат" и "язык" используются как синонимы. Реализован набор предопределенных функции, предназначенных для компактного описания математических преобразований, наиболее популярных в нейросетевом моделировании. Разделение этих функций на группы условно. Любая из них может быть использована для задания функциональных элементов любого компонента модели [162].
Моделирование технологии нейронных сетей с учите лем на основе IDEF
В данном случае рассматривается обобщенная нейросетевая технология для использования в прикладных исследованиях без дальнейшей детали зации операций, доступных пользователю. Графическое представление рассматриваемого технологического процесса не предполагает доведения модели до "логического конца". Приведены лишь основные операции и группы операций, некоторые особенности их взаимосвязи и порядка использования для большей наглядности и систематизации представления о верхнем уровне технологии (основных блоках). Подробное (и достаточно полное для рассматриваемого уровня детализации — уровня операций пользователя) формальное представление неиросетевои технологии для решения прикладных задач построено с использованием теории формальных языков и грамматик [91,96].
Основными процессами верхнего уровня детализации, которые в данном контексте можно назвать операциями, являются предварительные, основные и вспомогательные [93, 44]. На более низких уровнях детализации они соответственно содержат в себе все более и более простые процессы (операции). Опишем более подробно входную и выходную информацию для данных процессов (таблица 2.3).
Контекстная диаграмма (рисунок 2.1) является вершиной древовидной структуры диаграмм и представляет собой самое общее описание системы (нейросетевой технологии) и ее взаимодействия с внешней средой. После описания системы в целом проводится ее разбиение на крупные фрагменты. Этот процесс называется функциональной декомпозицией, после декомпозиции контекстной диаграммы (рисунок 2.2) проводится декомпозиция каждого большого фрагмента системы на более мелкие (рисунки 2,3 - 2.8) и т. д., до достижения нужного уровня подробности описания.
Итак, обобщенные категории ДАННЫЕ, СЕТЬ, РЕЗУЛЬТАТЫ могут быть разложены при более детальном анализе на некоторые составляющие. Например, ДАННЫЕ содержат в себе: СТРУКТУРА ДАННЫХ, сами ДАННЫЕ (информация, представленная в соответствии со структурой), причем данные могут содержать в себе пробелы, описаны в некоторых единицах измерения и т.п., подмножествами всей совокупности данных являются обучающая и тестовая выборки. СЕТЬ предполагается обученной и содержит в себе: СТРУКТУРА СЕТИ (количество слоев и нейронов, архитектура, весовые коэффициенты нейронов). Категория РЕЗУЛЬТАТЫ содержит в себе всевозможную отчетную информацию по нейросетевой обработке данных, например, таблицы результатов тестирования (с расшифровкой по каждой записи тестовой выборки и общее среднее), показатели значимости параметров, представление структуры сети (вербальное или графическое) (с указанием весовых коэффициентов синапсов). ПОЛЬЗОВАТЕЛЬ описывает управление процессом, т. с. задает правила, стратегии, процедуры или стандарты, которыми руководствуется процесс (группа, подгруппа или операция). ПРОГРАММНЫЙ КОМПЛЕКС представляет собой механизм или ресурс, который выполняет процесс или работу.
Приведенная модель процесса технологии обработки данных с помощью нейросетей является приближенной, общей (хотя и более наглядной), не отражает всех особенностей описываемого процесса, что связано с особенностями метода моделирования и контекста рассмотрения данного процесса в виде системы. В частности, модель, построенная с помощью диаграмм процессов группы IDEF, позволяет ответить на вопрос "что мы делаем" (данная модель определяет функциональные компоненты модели — группы, подгруппы и операции), но на вопрос "как мы это делаем" - правильно или неправильно (критерии определения правильности или неправильности последовательностей выполнения операции, групп, подгрупп) ответа по данной модели дать нельзя. Это связано со спецификой предметной области модели: стоимостные и временные характеристики для данной системы значения не имеют. "Качество" (корректность) последовательностей (порядка следования операций) определяет модель, построенная с помощью формальных языков и грамматик.
Описанный подход к построению грамматики может быть развернут в более детальное описание формального языка и соответствующей грамматики, что систематизирует и уточнит процесс обработки и технологической составляющей исследования данных с помощью нейросетевых методов. Результаты данной работы могут быть использованы в методологическом плане исследователями, занимающимися обработкой данных с помощью искусственных нейронных сетей и разработчиками, реализующими программы-неПроимитаторы для определения их основных функций и недопустимых последовательностей операций.
Построена модель описания нейросетсвой технологии с использованием диаграмм процессов группы IDEF. Данная модель рассматривает изучаемый процесс как обобщенную систему на верхнем уровне абстракции, что позволяет систематизировать данные о входах, выходах и механизмах выполнения каждого из составных блоков нсґіросетевой технологии. Допустимо в данном случае использование иных методов, например, сетей Петри и других.
Преобразование к нормальным формам
Символ AeVN в КС-грамматике G(VT, VN, P, S) называется рекурсивным, если для него существует цепочка вывода вида А — j3Ay, где Р,у є V +. Если Р Ф к и у = X (А— Р А), то рекурсия называется правой, а грамматика G — праворекурсивной. Если р = к и у Ф к (А— Ау), то рекурсия называется левой, а грамматика G - леворекурсивной. Если р=А, и у=к (А— А), то рекурсия представляет собой цикл.
Утверждение 4: Грамматика описания нейросетевой технологии обработки данных является рекурсивной.
В рассматриваемой грамматике встречаются правила вида: А — і А, А- АМ, наличие которых подтверждает данное утверждение. В грамматике присутствуют все виды рекурсии: левая и правая (правило Л- АМ А), косвенная (правила А- АМАК, К В М А К).
Контекстно-свободная грамматика является самовставленной, если существует нетерминал А такой, что, А —» РАу, где Р,у є V+. Утверждение 5: Грамматика описания нейросетевой технологии обработки данных является самовставленной (с внутренней рекурсией).
В грамматике присутствует правило А А М А К, по виду которого грамматику следует отнести к самовставленным.
Определение типа и свойств предложенной грамматики описания порядка выполнения операций нейросетевой технологии позволяет систематизировать и уточнить весь процесс применения нейронных сетей с учителем для решения прикладных задач. Левосторонний вывод соответствует традиционному порядку выполнения операций слева-направо. Неоднозначность грамматики определяется неоднозначностью вариантов применения самой нейросетевой технологии и множественностью получаемых решении (алгоритмов решения прикладных задач).
Преобразование к нормальным формам
Формальное определение грамматики допускает структуры, которые в некотором смысле являются "расточительными11, т. е. как алфавит, так и некоторые правила могут быть избыточны [20]. Для устранения этого существуют правила приведения исходной грамматики к эквивалентной (определяющей тот же самый язык), которая имеет одну из нормальных форм. Существуют две основные нормальные формы, общепринятые в теории формальных языков и грамматик — Хомского и Грейбах [4, 20].
Заранее определенный вид правил грамматики позволяет упростить работу с языком, заданным этой грамматикой, и облегчает создание распознавателей для него.
Приведенные грамматики (КС-грамматики в каноническом виде)-это КС-грамматики, которые не содержат недостижимых и бесплодных символов, циклов и Х-правил ("пустых" правил). Для преобразования необходимо выполнить следующие действия [20]: 1) удалить все бесплодные символы; 2) удалить все недостижимые символы; 3) удалить Л-правила; 4) удалить цепные правила.
Алгоритм удаления бесплодных символов работает со множеством нетерминальных символов Yj. Первоначально в это множество попадают толь ко те символы, из которых непосредственно выводятся терминальные цепочки, затем оно пополняется на основе правил грамматики [20]: 1)YO=0,H; 2) в Yj заносятся нетерминальные символы, из которых можно вывести терминальные цепочки: Yi={A І (Л- а)єР, ae(Yj_UVT) }uY;_]; 3) если Yj Yj.i, то І:=і+І и переход к пункту 2, иначе к пункту 4; 4) формирование правил: VN =Yi, VT =VT, в Р входят те правила из Р, которые содержат только символы нз множества (VTuYO, S =S.
Рассмотрим работу алгоритма удаления бесплодных символов на примере данной грамматики [20, С. 428]:
Формальное описание подходов к предобработке данных
Предобработчик данных обычно предназначен для обработки баз данных со специализированной информацией из различных прикладных областей в соответствии с требованиями, предъявляемыми к данным различными нейроимитаторами. Исходные (входные) базы данных должны иметь форматы DBASE (I1I-IV) (файлы с расширением DBF) или Paradox (файлы с расширением DB), произвольной структуры и типов данных.
Различные нейроимитаторы могут быть использованы для дальнейшей обработки выходных файлов данных, полученных с помощью предобработ-чика. Операции будут производится обычно с одиночными файлами, которые терминологически можно называть базами данных.
На выходе после обработки исходных файлов требуется получить базы данных с одним полем, предназначенным для удобства поиска и идентификации записей, и некоторым количеством числовых полей. Поле-индентификатор может быть как числовым, так и текстовым. Для загрузки и программу-нейроимитатор поля логические (Logical), Memo, General (неопределенный) и типа Число (Date) в выходном файле недопустимы. Выходные файлы предпочтительно использовать формата DBASE.
Все функции можно условно сгруппировать в следующие блоки для последующей реализации в виде программного кода: 1. Визуализация данных Загрузка и визуализация на экране соответствующих данных — данных формата DBF или Paradox в виде таблицы, возможностями корректировки, сохранения, отмены изменений. 2. Сохранение данных Сохранение данных в файлах, в том числе под другими именами. 3. Информация о файлах данных
Расчет и визуализация предварительной информации о файлах данных - имя, дата и время создания, количество записей (строк, символов для текстовых файлов), а также максимальное, минимальное, среднее значения для каждого поля, степень заполненности полей (для баз данных), т.е. количество и процент пустых значений. 4. Расчет статистической информации Расчет и выдача на экран таблицы с моментами первого и второго порядка. 5. Работа с базами данных
Удаление полей п записей для баз данных, изменение структуры, перенесение части данных из полей в новые строки н, наоборот, из строк в новые поля. Формирование одной или нескольких выборок на основе базы данных с целью получения тестовых и обучающих выборок, для чего потребуется копирование в другие базы данных информации по определенному логическому критерию. Слияние нескольких баз данных с одной структурой в одну. 6. Блок графического представления информации 7. Ведение журнала операций
Формирование, сохранение и просмотр отчетной информации обо всех произведенных операциях с указанием времени, наименований файлов и других данных (ведение журнала операций). Сохранение последоватслыю сти нажатий клавиш для дальнейшего их восстановления при аварийных и других ситуациях. 8. Настройка системы 9. Справочная информация
На основе данного минимального набора был разработан специализированный предобработчик медицинских и психолого-психиатрических данных Jointer, реализующий и некоторые дополнительные операции для исследования динамики изменения параметров (реализация нескольких методов изменения структуры данных, описание методов см. п. 4.1).
Выводы:
Предложено несколько способов предобработки данных для исследования динамики изменения параметров объектов во времени и развитии. Показано практическое применение одного из подходов для задачи иммунного плазмафереза (приложение Д). Полученные результаты аналогично статике (исходные эксперименты) выявили влияние параметров, составляющих лейкоцитарную формулу, но для динамики менее критичное к исключению данных параметров из числа входных (результаты тестирования удовлетворительные даже после исключения всех составляющих параметров).
Предложенные способы предобработки позволяют простыми преобразованиями данных, изменяющихся во времени, перейти к исследованию динамики изменения параметров рассматриваемых объектов. Изучение состояния объекта и его свойств в статике (без использования соответствующих методов предобработки) чаще всего предполагает некое усреднение результатов, что в некоторых случаях позволяет выявить только явные закономерности. Исследование динамики позволяет установить наличие некоторых дополнительных скрытых закономерностей и взаимосвязей, существующих между изучаемыми параметрами объекта.
Похожие диссертации на Моделирование технологии использования нейронных сетей с учителем для решения прикладных задач
