Содержание к диссертации
Введение
Глава 1. Методы построения классификаторов изделий 14
1.1. Роль классификаторов в деятельности промышленных предприятий 14
1.2. Основные подходы к решению проблемы классификаций объектов 16
1.3. Неопределенность в задаче классификации 20
1.4. Методы решения задачи классификации в условиях неопределенности 26
1.5. Описание системы разработки классификатора изделий, основанной на методах логического вывода 36
Выводы по первой главе 39
Глава 2. Логико-математические модели решения задачи классификации 40
2.1. Модели представления знаний 40
2.2. Математическая модель классификации при использовании нечетких рассуждений 43
2.3. Модель нейро-нечеткой сети 53
2.4. Метод обучения адаптивной системы нейро-нечеткого вывода 59
Выводы по второй главе 64
Глава 3. Программный комплекс обучения нейро-нечеткой сети в параллельном режиме 65
3.1. Исследование влияния числа нейронов и обучающих выборок на процесс обучения адаптивных нейро-нечетких сетей (ANFIS) 65
3.2. Краткое описание программного комплекса 68
3.3. Технология параллельных вычислений при обучении адаптивных нейро-нечетких сетей 69
3.4. Применение MEX-файлов при реализации программы параллельного обучения адаптивной нейро-нечеткой сети 74
3.5. Структура программного комплекса 77
3.6. Экспериментальная оценка эффективности 81
Выводы по третьей главе 84
Глава 4. Исследование применения рассмотренных моделей при решении задач классификации изделий 85
4.1. Разработка системы нечетких рассуждений для подбора материала при изготовлении сосудов давления 85
4.2. Реализация представления знаний в виде семантической сети как средство решения задачи классификации 97
4.3. Решение задачи классификации деталей 104
4.4. Решение задачи классификации постоянных кондукторных втулок с помощью разработанного программного комплекса 118
Выводы по четвертой главе 122
Заключение 123
Список использованной литературы
- Неопределенность в задаче классификации
- Математическая модель классификации при использовании нечетких рассуждений
- Технология параллельных вычислений при обучении адаптивных нейро-нечетких сетей
- Реализация представления знаний в виде семантической сети как средство решения задачи классификации
Неопределенность в задаче классификации
На практике при решении задачи классификации часто возникает неопределенность [14], значительно затрудняющая или вообще делающая невозможным получение решения, так что на первый план выходит проблема устранения неопределенности, присущей задаче классификации. Неопределенность может рассматриваться как нехватка адекватной информации для принятия решения. Неопределенность становится проблемой, поскольку может помешать выработке наилучшего решения и даже стать причиной того, что будет принято некачественное решение.
Понятие нечеткости является общенаучным и может быть определено как внешнее выражение качества внутренней основы явлений; специфика его заключается в возможности выражения непрерывности перехода от отсутствия проявления к полному выявлению качества предметов, свойств и отношений реального мира, что находит свое отражение в познавательной и мыслительной деятельности индивида. Содержание понятия нечеткости включает в себя последовательный ряд абстракций более низкого уровня. По отношению к человеческому сознанию выделяются такие категориальные виды нечеткости, как объективная и субъективная нечеткость; в свою очередь, объективная нечет-20 кость может характеризоваться как стохастической, так и нестохастической детерминированностью [13].
Стохастическая нечеткость имеет следующие формы проявления [13]: неопределенность, выступая в качестве нечеткой закономерности проявления свойств предмета, в другом случае трактуется как нечеткость предела проявления характеристики предмета; случайность, форма проявления определена как событие, имеющее нечеткое основание или как нечеткая реализация одной из нескольких существующих возможностей; недетерминированность, рассматриваемая как нечеткость связи между предметами, свойствами или отношениями; размытость - форма проявления, характеризующая границы явлений, процессов, предметов, а также их классов или область применимости предиката в логике; неоднозначность, определяемая как нечеткость значения признака объекта; неполнота, представляющая собой отсутствие всей возможной информации о рассматриваемом предмете или явлении, частными случаями которой выступают недостаточность как отсутствие необходимой информации и неадекватность как описание предмета по аналогии с рассмотренными ранее; неточность, являющаяся нечеткостью измерения или вычисления.
Субъективная нечеткость имеет следующие основные формы проявления [13]: неясность, под которой понимается как нечеткость восприятия; размытость, которая в данном случае представляет собой характеристику представления индивида о явлениях, процессах, предметах, свойствах, отношениях; недетерминированность, определяемая как свойство процесса логического вывода, производимого индивидом, в нечетких условиях; неоднозначность, понимаемая как нечеткость результата процесса интерпретации информации; неточность, которая в данном случае трактуется как мера соответствия знаний индивида о предмете объективным характеристикам рассматриваемого предмета; неопределенность, понимаемая как нечеткость отношения между объектом реального мира и представлением о нем в сознании индивида, а также как нечеткость смыслового значения имени, выражающего некоторое понятие.
Общая задача классификации объектов заключается в разбиении анализируемой совокупности объектов на некоторое, заранее известное или нет, число однородных, в определенном смысле, групп, именуемых классами, кластерами, образами или таксонами, таким образом, чтобы объекты одной группы были как можно более сходны между собой, а сами группы как можно более отличались бы друг от друга [1]. Для решения этой задачи методы расщепления смесей применимы в случае, когда исходные данные об исследуемых объектах имеют вероятностную природу; при этом каждый класс интерпретируется как одномодальная генеральная совокупность при неизвестном значении определяющего ее параметра, а классифицируемые объекты рассматриваются как выборки из смеси таких генеральных совокупностей. Применение методов расщепления смесей вероятностных распределений к решению задач классификации зависит от обоснованности предположений о вероятностной природе исходных данных и корректности выдвигаемой гипотезы о распределении вероятностей, описывающих классы объектов.
В задачах классификации понятие нечеткости принимает вполне определенный смысл и оказывается характеристикой классов объектов, чему более соответствует понятие размытости, под которой следует понимать нечеткость соответствия математической постановки задачи классификации предметно-содержательной установке на цели исследования и исходным данным. Очевидно что, при постановке задачи на предметно-содержательном уровне включает формулировку целей исследования, определяющих тип задачи, выявление ха рактера исходных данных и определение характера результатов исследования, то понятие неопределенности в той или иной степени характеризует каждую из этих составляющих [1]. Конечные цели решения задачи классификации могут заключаться в следующем: выделение четко выраженных классов наблюдаемых объектов в многомерном пространстве; получение стратификационной структуры классифицируемой совокупности объектов; принятие оценки параметров структуры искомой классификации.
В качестве аппарата решения задачи классификации объектов в условиях неопределенности выбираются такие алгоритмы как: алгоритмы эвристического или оптимизационного направления, иерархические алгоритмы, или алгоритмы, соответствующие аппроксимационному подходу в численной таксономии. Таким образом, неопределенность установки на главные цели исследования может повлечь некорректность математической постановки задачи классификации [12].
При формулировке целей исследования неясности проявляются при интерпретации исследователем информации о предмете исследования и о соответствии исследуемой совокупности объектов ее реальным свойствам. Этот вид неопределенности в данном случае носит субъективный характер.
Необходимо отметить, что при решении задачи классификации главным свойством процесса формулировки требований к результатам прикладного исследования является неопределенность, носящая объективный характер. Как качественная характеристика, неопределенность выступает в процессе выявления природы искомой классификации в том смысле, должна ли полученная классификация являться нечеткой. Если же речь идет о форме и взаимном расположении классов, а также об их числе, то неопределенность выступает как количественная характеристика.
Математическая модель классификации при использовании нечетких рассуждений
Основные понятия нечеткой логики Термин “нечеткая логика” стал использоваться в конце 60-х годов XX века. Сначала он означал любую логику, имеющую более двух истинностных значений.
Нечеткая логика представляет собой специальную многозначную логику, предназначенную для обеспечения формальных основ градуированного подхода к нечеткости. Под градуированным подходом понимается общий принцип человеческого мышления, который используется при попытке выяснить, обладает объект свойством в полной мере или только частично, поскольку данное свойство нечетко.
Нечеткая логика предназначена для создания математической модели естественных человеческих рассуждений, в которых принципиальную роль играет естественный язык. В этом смысле нечеткая логика равнозначна теории нечетких множеств, то есть классов с неточными, размытыми границами.
Теория нечетких множеств [32, 155, 156] представляет собой обобщение и переосмысление важнейших направлений классической математики. Математическая теория нечетких множеств позволяет описывать нечеткие понятия и знания, оперировать этими знаниями и делать нечеткие рассуждения.
Математическая теория нечетких множеств была предложена профессором Калифорнийского университета (Беркли) Лотфи Заде (Lotfi Zadeh) более полувека назад. Его работа “Fuzzy Sets” [156], появившаяся в 1965 г. в журнале Information and Control, №8, заложила основы моделирования интеллектуальной деятельности человека и явилась начальным толчком к развитию новой математической теории. Основанная на этой теории новая методология построения компьютерных систем, а именно нечетких систем, существенно расширяет области применения компьютеров. Под нечётким множеством А понимается совокупность упорядоченных пар, составленных из элементов х универсального множества X и соответствующих степеней принадлежности juA(x): А = {{Х,МА{Х))ХЄХ}. (2.1) причем jUA(x) - функция принадлежности (характеристическая функция), указывающая в какой степени (мере) элемент х принадлежит нечёткому множеству А.
Функция jUA(x) принимает значения в некотором линейно упорядоченном множестве М. Множество М называют множеством принадлежностей, часто в качестве М выбирается отрезок [0,1]. Если M = {0,1} (т.е. состоит только из двух элементов), то нечёткое множество может рассматриваться как обычное, чёткое множество. Основные характеристики нечетких множеств: Величина sup juA(x)(xeX) называется высотой нечеткого множества А. Не четкое множество А является нормальным, если его высота равняется 1 sup /лА (х) = 1, то есть верхняя граница ее функции принадлежности равняется 1. В противном случае при (supjuA{x) 1) нечеткое множество называется субнормальным. Нечеткое множество является пустым, если для всех х єХ jUA(x) = 0. Непустое субнормальное нечеткое множество можно привести к нормальному (нормализовать) по формуле: цА(х)= (х) . (2.2) sup jUA{x) Нечеткое множество унимодально, если juA{x) = 1 только на одном х из X . Ядром нечеткого множества А называется четкое подмножество универсального множества X , элементы которого имеют степени принадлежности, равные единице: Core (А) = {х : Мл (х) = 1}. Носителем нечеткого множества А является обычное подмножество со свойством / (х) 0, т.е. носитель A = {xxeX,juA(x) 0}. Элементы хєХ для которых jUA(x)= 0.5, называются точками перехода множества А. Функция принадлежности нечеткого множества - обобщение индикаторной функции классического множества. В нечёткой логике она представляет степень принадлежности каждого члена пространства рассуждения к данному нечёткому множеству. Значения функции принадлежности jUA(x) могут быть взяты только из априорных знаний, интуиции (опыта), опроса экспертов.
Функции принадлежности удобно задавать в параметрической форме. В этом случае задача построения функции принадлежности сводится к определению ее параметров. Обычно функции принадлежности имеют 2, 3 или 4 параметра. Наибольшее распространение получили треугольная, трапециевидная, гауссова и сигмоидная функции принадлежности. Аналитические выражения нескольких функций принадлежности приведены в приложении A.
Операции над нечеткими множествами. Рассмотрим определения нечетких теоретико-множественных операций, предложенные Л.Заде: вложение - пусть А и В нечеткие множества на универсальном множестве X . Говорят, что А содержится в В, если \/х є X juA(x) juB(x). Обозначение: А В. равенство - А и В равны, если Ух є X juA(x)= juB(x). Обозначение: А = В. дополнение - пусть М = [0, 1], А и В нечеткие множества, заданные на X . А и В дополняют друг друга, если Vx єХ juA(x)=1-juB(x). Обозначение: A = B или B = A. пересечение - пересечением А и В называется наибольшее нечеткое под множество, содержащееся одновременно в А и В. Обозначается: АслВ. Функция принадлежности пересечения вычисляется по формуле:
Технология параллельных вычислений при обучении адаптивных нейро-нечетких сетей
При создании параллельной программной среды, ориентированной на решение задач обучения нейро-нечеткой сети, необходимо решить, по крайней мере, две основные задачи.
Первая из них заключается в распределении операций используемого алгоритма между процессами и установлении нового (по сравнению с последовательным алгоритмом) порядка их выполнения. Вторая задача заключается в распределении данных алгоритма между процессами и установлении схемы обмена данными при выполнении параллельного алгоритма. Основная проблема, возникающая при решении задачи, состоит в необходимости устанавливать в определенный момент времени местоположение требуемого для выполнения операции данного и дополнять вычислительный алгоритм новыми операциями передачи и приема данных. При этом следует учитывать, что реализация обмена в распределенной вычислительной среде требует значительных временных затрат. Поскольку целью использования параллельной вычислительной среды является уменьшение времени обучения сети, то при распараллеливании алгоритма необходимо стремиться к уменьшению коммуникационных затрат на его реализацию.
Один из очевидных подходов к распределению данных и минимизации коммуникационных затрат заключается в разбиении алгоритма на блоки независимых вычислений. В этом случае распределение данных осуществляется в соответствии с распределением операций, которые эти данные используют, по-69
этому все процессы могут работать независимо один от другого, не нуждаясь в обмене данными. Очевидно, такой подход упрощает проблему распределения данных между процессами и устраняет проблему обмена данными, однако не всегда алгоритм допускает декомпозицию на независимые части.
Другой подход заключается в получении блочных версий алгоритма, то есть разбиении специальным образом пространства итераций. Целью такого разбиения является увеличение пакета передаваемых данных и уменьшение частоты обменов. Этот подход направлен на минимизацию накладных расходов на обмен данными [60].
При программной реализации параллельных алгоритмов представляется целесообразным использование возможностей как современных многопроцессорных вычислительных систем, так и кластерных компьютеров, связанных локальной сетью. Возможности для распараллеливания вычислений ограничиваются не только числом имеющихся процессоров, но и особенностями вычислительного алгоритма, который может оказаться принципиально последовательным.
Разработка параллельной схемы реализации алгоритма обучения нейро-нечеткой сети Вычислительные эксперименты показывают, что практически все параллельные алгоритмы, даже те из них, которые очень эффективны в теоретическом отношении, на практике не конкурентоспособны. Поэтому на текущий момент единственно надёжным источником создания параллельных программ является подходящая реструктуризация проверенных временем последовательных программ.
Формально реструктуризация сводится к математически эквивалентным заменам во всех или в части формульных выражений с целью указать обнаруженные в алгоритмах скрытый параллелизм, возможность использования распределенной памяти и т.п.
Как правило, существует множество всех математически эквивалентных записей какого-либо алгоритма, которое для одних и тех же входных данных будет давать при реализации один и тот же результат. У всего этого множества должно быть какое-то общее ядро, которое может представить в виде схемы, называющейся параллельной схемой алгоритма. Такая схема описывает информационные сущности алгоритмов и не зависит ни от используемых языков описания, ни от применяемых вычислительных средств.
Для представления алгоритма параллельных программ используется модели параллельных вычислений. Наиболее распространены следующие модели [24, 25, 85, 90]: распределение задач; одна программа - множественные данные (SPMD); конвейеризация данных; «разделяй и властвуй». Для реализации программы параллельного обучения нейро-нечеткой сети предлагается схема алгоритма, изображенная на рис. 3.1. Исходные данные! результат Схема алгоритма программы параллельного обучения ANFIS Схема разработана автором на основе объединения моделей параллельных вычислений распределения задач и SPMD. В основе концепции распределения задач (другое название модели – master/slave) лежат два понятия – ведущий и подчиненный процессы. Ведущий процесс (master) осуществляет декомпозицию решаемой задачи и распределяет подзадачи по зависимым процессам (slaves). Затем он собирает промежуточные результаты и формирует окончательный результат вычислений. В рамках SPMD каждый процесс соответствует выполнению одного и того же кода с различными данными, то есть данные распределяются по доступным процессорам и реализуется параллелизм по данным. Каждый из процессоров системы может взаимодействовать с процессорами-соседями, причем нагрузка на коммуникационную среду пропорциональна размеру промежуточных результатов вычислений. Вычислительная нагрузка на процессор зависит от размера обрабатываемого блока данных. Между различными процессорами периодически осуществляется синхронизация, причем взаимодействия процессов обычно хорошо структурированы и заранее предсказуемы.
Моделью SPMD является эффективный подход при решении задачи параллельного обучения нейро-нечеткой сети, поскольку данные легко распределяются между процессами, и вычислительная система является однородной, то есть процессорные узлы идентичны.
Применение распределенных данных для обучения сети Нейро-нечеткая сеть представляет собой многослойную сеть, в которой нейроны одного слоя связываются со многими нейронами других слоев, поэтому распределение сети для параллельного обучения достаточно трудоемко и в данной работе не рассматривалось.
С другой стороны, на каждой итерации сеть должна последовательно использовать все объекты обучающей выборки. Однако результаты, полученные после обучения на каждом объекте, независимы друг от друга, поэтому можно разделить обучающую выборку на несколько подмножеств и обучать параллельно на всех этих подмножествах.
Таким образом, для реализации программы на основе алгоритма обучения нейро-нечеткой сети, рассмотренного во второй главе, можно шаги 1 и 2 осуществить одновременно в нескольких параллельных процессах, после чего этап 3 суммирует их результаты и завершит процесс обучения на одной итерации.
Реализация представления знаний в виде семантической сети как средство решения задачи классификации
В этом разделе рассматривается решение задачи классификации с использованием адаптивной нейро-нечеткой сети в системе MATLAB и программы обучения нейро-нечеткой сети (программа «LearnANFIS»), разработанной на основе предложенной модели нейро-нечеткой сети и алгоритма обучения, описанных в главе 2. Анализ полученных результатов показывает пригодность и работоспособность программы «LearnANFIS».
Использование адаптивной нейро-нечеткой сети в системе MATLAB
В вычислительную среду MATLAB интегрированы десятки пакетов прикладных инженерных и математических программ, одним из них является Fuzzy Logic Toolbox, который поддерживает все фазы разработки нечетких систем, включая синтез, исследование, проектирование, моделирование и внедрение в режиме реального времени [49]. Встроенные GUI-модули пакета создают интуитивно понятную среду, обеспечивающую выполнение всем этапов проектирования нечетких систем. Функции пакета реализуют большинство современных нечетких технологий, включая нечеткие рассуждения, нечеткую кластеризацию и адаптивную нейро-нечеткую настройку (ANFIS).
Редактор нейро-нечеткой сети (ANFIS Editor) позволяет автоматически синтезировать из экспериментальных данных нейро-нечеткие сети и настраивать их.
Графический интерфейс гибридных нейронных систем вызывается из командного окна функцией аnfisedit. Исполнение функции приводит к появлению окна редактора гибридных систем, вид которого приведен на рис.4.15.
С помощью редактора осуществляется создание или загрузка структуры гибридной сети, просмотр структуры, настройка ее параметров, проверка качества функционировании разработанной системы. Создание структуры, настройка параметров и проверка осуществляются по выборкам (наборам данных) – обучающей (Training data), проверочной (Checking data) и тестирующей (Testing
Обучающая и проверочная выборки будут использоваться в процессе настройки параметров гибридной сети. Проверочная выборка используется для выяснения ситуации, нет ли так называемого переобучения сети, при котором ошибка для обучающей последовательности стремится к нулю, а для проверочной – возрастает; впрочем, наличие проверочной выборки не является строго необходимым, оно лишь крайне желательно. Тестирующая выборка применяется для проверки качества функционирования настроенной (обученной) сети. В данной работе использовались данные, которые были заготовлены для решения задачи классификации деталей по методу НС. Покажем, как можно работать с режимами редактора. В режиме Load Data (загрузить данные) выберем Training и file, затем нажмем кнопку «Load Data ...», загружаем файл data.dat.
Следующий режим Generate FIS (создание нечеткой системы вывода), выбираем Grid partition, нажимаем кнопку «Generate FIS ...», появится окно задания функции принадлежности. Затем создаем FIS с двумя входными переменными, у каждой переменной имеется шесть термов. В качестве типов функций принадлежности для входных переменных выбираем «pimf» – пи-подобная функция принадлежности, а для выходной переменной – тип constant.
Перейдем к режиму Train FIS. Не будем менять задаваемые по умолчанию метод настройки параметров (backpropa - обратное распространение ошибки) и значение ошибки (0), но количество циклов обучения изменим на достаточно большое число, после этого нажмем кнопку начала процесса обучения (Train Now). Получившийся результат в виде графика ошибки сети в зависимости от числа проведенных циклов обучения представлен на рис. 4.15. После 3498 циклов обучения получаем сеть с ошибкой: 0.00128, временные затраты на обучение: 111.78 секунд.
Был реализован проверочный режим, фактически классифицирующий 34 реальные втулки на основе системы нечетких рассуждений, сгенерированной ANFIS. Результаты приведены в таблице 3.6; они соответствуют фактическому распределению втулок по классам технологий. Из таблицы видно, что при классификации втулки № 16 наблюдается ошибка из-за неточности в процессе обучения ANFIS.
Достоинство метода ANFIS состоит в значительной степени автоматизации процесса создания нечеткой системы, возможности просмотра сформированных правил и придания им содержательной (лингвистической) интерпретации.
Недостаток при решении задачи классификации с помощью редактора ANFIS заключается в том что, он не позволяет обучить сети, имеющие более 250 узлов, то есть исследователи не могут использовать редактор ANFIS для решения масштабных задач. Кроме того процессу обучения ANFIS требуется значительное время для достижения минимальной ошибки, особенно при обучении на больших объемах обучающих выборок. Использование программы «LearnANFIS»
В диссертации описана разработанная программа «LearnANFIS», позволяющая обучить нейро-нечеткую сети в последовательном режиме и на основе результатов обучения исследовать эффективность предложенных модели и численного метода. Программа реализована на языках программирования MATLAB и С. Интерфейс программы показан на рис. 4.16.
Для решения задачи классификации деталей с использованием программы LearnANFIS выполним следующие:
В области « »: нажмем кнопку «Загрузка...» для загрузки обучающих примеров с локального диска. Поле «Число термов входных переменных» позволяет ввести вектор, задающий число термов входных переменных, при этом размером вектора является число входных переменных. Если задать вектор [6 6], то это означает, что описаны две входные переменные, у каждой переменной имеется шесть термов. Поле «Тип функций входных переменных» выбираем тип функции принадлежности входных переменных - «pimf» – пи-подобная функция. Последнее поле «Тип функции выходной переменной» позволяет выбирать тип функции принадлежности выходных переменных. Кнопка «СОЗДАТЬ» предназначена для создания системы нечетких рассуждений по заданным аргументам, затем на её основе строится нейро-нечеткая сеть.
В области в поле «Ошибка сети» задаем достижимую ошибку сети либо в поле «Количество итераций» число итераций процесса обучения ANFIS. Нажмем кнопку «ЗАПУСК ...» чтобы запустить процесс обучения ANFIS.
Если задаем достижимую ошибку равна 0,00128 то сеть обучена после 745 итераций и время обучения - 8,22 секунд, изменение ошибки сети на каждой итерации показано на рис. 4.16. А если задаем количество итераций равно 7000, достижимую ошибку равна 0 то после 56,1105 секунд сеть обучена с ошибкой (0,000061645).
Из графиков ошибок, показанных на рис (4.15 и 4.16), очевидно, что ошибка нейро-нечеткой сети при обучении с помощью программы LearnANFIS быстрее приходит к экстремуму, и экстремальное значение меньше, чем при обучении с помощью пакета ANFIS. Кроме того, сравнение временных затрат для решения задачи классификации деталей показало, что использование программы LearnANFIS в два раза быстрее, чем пакета ANFIS.
Приведем сравнительные результаты классификации при помощи пакета neuralnet, редактора ANFIS программы MATLAB и разработанной программы. Для этого был реализован проверочный режим, фактически классифицирующий 34 реальные втулки на основе системы нечетких рассуждений, сгенерированной программой LearnANFIS.
