Содержание к диссертации
Введение
ГЛАВА I. Системы интеллектуального анализа данных
1.1. Требования к интеллектуальным системам анализа данных и их классификация 11
1.2. Обоснование выбора подхода для разработки интеллектуальной системы анализа данных
Выводы 23
ГЛАВА II. Методика интеллектуальной обработки эмпирических данных
2.1. Общая методика анализа данных 24
2.2. Основные характеристики и классификация искусственных нейронных сетей 26
2.3. Схема анализа данных с использованием искусственных нейронных сетей 30
2.4. Формулировка проблемы 33
2.5. Подготовка данных к интеллектуальному анализу 39
2.6. Формирование структуры нейронной сети 53
2.7. Обучение нейронной сети 58
2.8. Упрощение нейронной сети 72
2.9. Извлечение правил из нейронной сети 76
Выводы 83
ГЛАВА III. Программная система интеллектуального анализа данных на основе нейросетевых технологий
3.1. Функциональное назначение программной системы и описание работы 85
3.2. Техническое описание программной системы 97
ГЛАВА IV. Практическая реализация системы интеллектуального анализа данных
4.1. Сравнение эффективности систем интеллектуального анализа данных на задаче нахождения логических закономерностей 99
4.2. Сравнение эффективности систем интеллектуального анализа данных на задаче об ирисах Фишера 120
4.3. Сравнение эффективности систем интеллектуального анализа данных на задаче прогнозирования продолжительности жизни пациентов, перенесших сердечный приступ, по данным эхокардиограммы 122
4.4. Сравнение эффективности систем интеллектуального анализа данных на задаче прогнозирования результатов выборов президента США 140
4.5. Решение задачи выявления различия антропометрических признаков у больных остеоартрозом тазобедренных и коленных суставов 149
Выводы 155
Заключение 156
Литература 158
Приложения 170
- Требования к интеллектуальным системам анализа данных и их классификация
- Основные характеристики и классификация искусственных нейронных сетей
- Функциональное назначение программной системы и описание работы
- Сравнение эффективности систем интеллектуального анализа данных на задаче нахождения логических закономерностей
Введение к работе
Обоснование актуальности темы
На текущий момент времени накоплены базы данных значительных объемов, в которых хранится информация из различных проблемных областей. Для работы с ними разработаны специализированные технологии, решающие задачи накопления, хранения, статистической обработки, администрирования. Однако наблюдается отставание в разработке методов и программ, предназначенных для анализа данных, способных обнаружить потенциально полезную, но неявную информацию. Извлечение этой информации может дать критический толчок в научных исследованиях и других областях. Такое нетривиальное извлечение неявной, прежде неизвестной и потенциально полезной информации из больших баз данных называется разработкой данных или открытием знаний. Извлечение знаний использует концепции, разработанные в таких областях как машинное обучение, технология баз данных, статистика и других.
В настоящее время для интеллектуального анализа данных широко используются предметно-ориентированные аналитические системы и статистические пакеты.
1. Предметно-ориентированные аналитические системы предназначены для решения конкретных задач из строго определенной проблемной области. Такие системы очень разнообразны с точки зрения используемых в них методов, например, системы анализа финансовых рынков построены на основе методов технического анализа. Технический анализ представляет собой совокупность ряда методов прогноза динамики цен и выбора оптимальной структуры инвестиционного портфеля, основанных на различных эмпирических моделях поведения рынка. Поскольку, как правило, вся логика содержится внутри системы, а не выводится на основании истории рынка, то требования статистической значимости получаемых моделей и возможность интерпретации этих моделей, не имеют смысла [29].
2. Статистические пакеты основное внимание уделяют классическим методам математической статистики - корреляционному, регрессионному, факторному анализу и другим [23]. Главный недостаток систем этого класса — их невозможно эффективно применять для анализа данных, не имея глубоких знаний в области статистики. Кроме того, системы, основанные на статистической обработке информации, требуют от аналитиков априорных допущений о моделях. Обычно необходима специальная подготовка исходных данных (например, формирование выборок), определенный выбор моделей из совокупности допущенных (для проверки адекватности описания данных) и, наконец, профессиональная интерпретация результатов. Методы традиционной математической статистики, лежащие в основе статистических пакетов, полезны главным образом для проверки заранее сформулированных гипотез и для предварительного разведочного анализа, составляющего основу оперативной аналитической обработки данных (OLAP) [27]. Дополнением, а во многих случаях и альтернативой приведенным методам служит стратегия обнаружения знаний в базах данных.
Одними из требований, предъявляемыми к интеллектуальным системам извлечения знаний, являются эффективность и масштабируемость. Работа с очень большими базами данных требует эффективности алгоритмов, а неточность и, зачастую, неполнота данных порождают дополнительные проблемы для извлечения скрытых закономерностей.
Нейронные сети имеют здесь преимущество, поскольку они являются эффективным средством работы с зашумленными данными. Однако, главной претензией к нейронным сетям всегда было отсутствие представления обнаруженных правил в явном виде [21, 34, 39, 42, 47, 55, 61, 77, 80, 101].
Обучаемые нейронные сети способны производить из данных скрытые знания: создается навык прогноза, классификации, распознавания образов, но его логическая структура, при традиционном подходе, остается скрытой от пользователя.
В этой связи, в настоящее время нейросети рассматриваются лишь как инструмент предсказания, но не понимания. Классический нейросетевой подход — метод «черного ящика» — предполагает создание имитационной модели, без явной формулировки правил принятия решений нейросетью. Эти правила содержатся в весах обученной нейросети, но понять их, транслировав на язык правил "если ... - то ...", не представлялось возможным. В этой связи развитие методик, позволяющих строить подобные правила, объясняющие нейросетевые решения, является актуальной задачей. Нейросети, таким образом, можно использовать не только для предсказаний, но и для извлечения знаний из баз данных.
Традиционно построение правил вывода и баз знаний считается прерогативой экспертных систем. Экспертные системы были ориентированы именно на обработку данных с помощью некоторых правил вывода, которые предполагалось извлекать у экспертов в той или иной области знаний. Экспертные системы были призваны реализовывать цепочки рассуждений, имитирующих анализ ситуации экспертом данной проблемной области. В 70-е годы термин "искусственный интеллект" ассоциировался с разработкой экспертных систем [55].
Это направление столкнулось с рядом принципиальных трудностей. В частности, аналитики должны были извлекать их у квалифицированных экспертов, которые, не всегда стремятся делиться информацией. Но и при наличии соответствующего желания, эксперт не всегда способен верно сформулировать те правила, которыми он пользуется при подготовке экспертного заключения. Очень многое в его работе связано с интуитивными, качественными оценками, распознаванием ситуации в целом, то есть с не формализуемыми процедурами. Часть обозначенной проблемы, в части необходимости работы с нечеткими оценками эксперта, решаются с помощью методов теории нечеткой логики. Но даже если все трудности оказывались преодоленными, достоинства построенной экспертной системы оказывались не абсолютными, поскольку именно явная формализация правил вывода, а не компьютерная система сама по себе представляла основную ценность. В этом смысле показателен опыт создания в
70-е годы в Стэндфордском университете экспертной системы MYCIN, с помощью которой врачи повысили надежность диагностики септического шока. Септический шок, дававший в случае развития 50% летальных исходов у прооперированных больных, вовремя диагностировался врачами лишь в половине случаев. Экспертная система MYCIN позволила повысить качество диагностики почти до 100%. После того, как врачи познакомились с ее работой, они сами научились правильно ставить соответствующий диагноз. Необходимость в MYCIN отпала, и она превратилась в учебную систему. Таким образом, основная польза проекта состояла именно в извлечении знаний в явном, понятном для эксперта виде [55].
Нейронные сети выглядят предпочтительнее экспертных систем, позволяя одновременно анализировать множество в общем случае неточных и неполных параметров, не требуя при этом явной формализации правил вывода. Однако, объяснение тех или иных рекомендаций, полученных с помощью ней-росетевого анализа, является требованием, которое обычно предъявляют специалисты, желающие использовать нейросетевые технологии. Здесь и находится слабое место интеллектуальных систем анализа данных на основе нейронных сетей. Поэтому задача разработки и дальнейшего совершенствования методов проявления этой скрытой логической структуры представляется актуальной.
Обработка накопленной информации из различных предметных областей, возможно, позволит экспертам в данных областях формализовать имеющиеся знания. Необходимо изменить наблюдаемую ситуацию с отставанием в разработке систем интеллектуального анализа данных, предназначенных для обнаружения потенциально полезной, но не явной информации.
Получение такой практически полезной и доступной для интерпретации информации необходимо для принятия решений в различных сферах человеческой деятельности [2, 3, 8, 14, 21, 23, 27, 28, 35, 41, 47, 52, 55, 68, 70, 77, 83, 84, 89, 99, 111]. При этом для многих задач применимость традиционно используемых методов ограничена, поэтому создание методов автоматизированного из-
влечения знаний из баз данных является актуальной научно-технической проблемой.
Целью настоящей диссертационной работы является совершенствование процедуры интеллектуального анализа эмпирических данных, направленное на решение задачи выявления скрытых закономерностей, содержащихся в базах данных.
Для достижения поставленной цели необходимо решить следующие задачи:
Определить требования к современным аналитическим системам, на основе предъявленных требований обосновать выбор математического аппарата для ядра аналитической системы.
Разработать методы и алгоритмы предобработки анализируемых данных.
Построить формальную схему анализа данных с использованием выбранной технологии.
Осуществить обоснованный выбор структуры и параметров выбранной технологии.
Разработать методику извлечения знаний в явном виде.
Программно реализовать и проверить работоспособность построенных алгоритмов на тестовых и реальных задачах.
Методы исследования. Результаты проведенных и представленных в диссертации исследований получены с использованием методов системного анализа, теории информации, теории вероятностей, нейросетевого моделирования, комбинаторики, оптимизации.
Научная новизна диссертационной работы состоит в следующем:
Разработан новый способ нелинейной нормировки данных, отличающийся от известных последовательным выполнением преобразований с изменяемым видом нелинейности.
Разработан новый алгоритм обучения нейронной сети, отличающейся от известных методом настройки адаптивных параметров.
3. Разработан новый подход для выявления правил функционирования исследуемой системы по обученной нейронной сети, отличающейся кластеризацией входных параметров и активностей нейронов сети.
Практическая ценность работы состоит в разработке формальной методики, обеспечивающей возможность ее использования широким кругом организаций. В диссертации приведены конкретные практические рекомендации по использованию методики и предложенных в ее рамках приемов в различных прикладных областях. Созданная в рамках диссертационной работы программная реализация аналитической системы может быть использована для автоматизации аналитической работы.
Реализация результатов работы. Разработанная интеллектуальная система анализа данных зарегистрирована в отраслевом фонде алгоритмов и программ, номер государственной регистрации 50200400996, номер свидетельства об отраслевой регистрации разработки 3764. Система передана городской клинической больнице №20 им. Берзона (г. Красноярск), где используется в качестве инструмента поддержки принятия решения.
Разработанная система используется в учебном процессе при проведении практических занятий и лабораторных работ, а так же при выполнении бакалаврских и магистерских диссертаций в красноярском филиале Московского университета экономики, статистики и информатики (МЭСИ, г. Красноярск) и Сибирском государственном аэрокосмическом университете (СибГАУ, г. Красноярск).
Основные защищаемые положения:
Разработанный способ нелинейной нормировки данных позволяет повысить качество предобработки.
Разработанный алгоритм обучения нейронной сети обеспечивает повышение точности предсказания прогнозируемой величины и увеличение скорости обучения по сравнению с традиционными методами.
to 3. Разработанный подход для выявления правил функционирования исследуемой системы по обученной нейронной сети обеспечивает получение правил в логически ясном виде.
Публикации. По теме диссертации опубликовано двенадцать работ, список которых приведен в конце диссертации.
Апробация работы. Основные положения диссертационной работы докладывались и получили одобрение на заседаниях кафедры САИО СибГАУ им. ак. М.Ф.Решетнева, на Всероссийских научных конференциях с международным участием «Решетневские чтения» (2002, 2004 гг.), на межвузовской конференции «Информатика и информационные технологии» (2003 г.), на региональной научной конференции «Наука. Техника. Инновации.» (2002-2004 гг.), на международной многопрофильной конференции «Актуальные проблемы современной науки» (2004 г.), на международной научно-практической конференции «Актуальные проблемы информатики и информационных технологий» (2004 г.).
Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и трех приложений.
Требования к интеллектуальным системам анализа данных и их классификация
Как уже отмечалось во введении, многие процессы функционирования предприятий связаны с накоплением информации, в результате накоплены базы данных значительных объемов. В связи с большими объемами баз возникает сложность их непосредственного эмпирического анализа. Справиться с большими объемами информации призваны средства обработки данных, зачастую связанные с областью искусственного интеллекта, как, например, разрабатываемые на базе ставшего популярным подхода извлечения знаний. Подобные программные продукты позволяют, как бы понять данные, оценивая их как с количественной, так и с качественной точки зрения. Более того, они выделяют все новое, ценное, потенциально полезное.
В связи с совершенствованием технологий записи и хранения данных стало возможным накопление значительных объемов информации в самых различных областях деятельности человека. Деятельность любого предприятия (коммерческого, производственного, медицинского, научного и т.д.) теперь сопровождается регистрацией и записью всех подробностей его функционирования. Ясно, что без применения продуктивной обработки, данные представляют собой хранилище бесполезной информации. Определим современные требования к интеллектуальным аналитическим системам. Такие системы должны: поддерживать работу с данными больших объемов, поддерживать работу с разнородными по качественному составу данными, обеспечивать работу с зашумленными данными, использовать единый математический аппарат для решения задач из различных проблемных областей, не предъявлять к исследователю особых требований по знанию математического аппарата, лежащего в основе анализа. Кроме того, результаты анализа должны быть понятны специалистам предметной области. Аналитическая обработка данных является мультидисциплинарной областью, возникшей и развивающейся на базе методов прикладной статистики, распознавания образов, методов искусственного интеллекта, теории баз данных и др. (рис. 1). Отсюда значительное число методов и алгоритмов, реализованных в различных действующих системах интеллектуального анализа данных. Многие из таких систем интегрируют в себе сразу несколько подходов. Тем не менее, как правило, в каждой системе имеется ведущий алгоритм, от которого предполагается получение лучшего результата. Ниже приводится классификация интеллектуальных систем по используемым в них ключевым компонентам на основе работ [47, 23, 5 L]. Выделенным классам дается краткая характеристика. Хранилища Не будем ограничиваться системами, которые обычно относят к области интеллектуального анализа данных, рассмотрим также более традиционные аналитические системы, в том числе предназначенные для решения узкого класса задач. Предметно-ориентированные аналитические системы Как уже отмечалось во введении, такие системы очень разнообразны, выбор используемых методов осуществляется в данных системах в зависимости от классов решаемых задач, например системы анализа финансовых рынков, построенные на основе методов технического анализа. Заметим, что многие из рассматриваемых систем ориентированы на работу на западных рынках, не учитывают наших реалий и поэтому не очень пригодны для применения в России. Требованию по простоте понимания они удовлетворяют в большей степени, чем другие обсуждаемые классы систем, предметно-ориентированные системы оперируют в терминах предметной области, понятных специалистам в этих областях, обычно имеют специализированные интерфейсы для загрузки данных и обладают другими преимуществами специализированных систем. На рынке имеется большое число программ этого класса. Из тех, что можно приобрести в России, можно назвать MetaStock, SuperCharts, Candlestick Forecaster, Wall Street Money. Однако уже из названия данного класса систем интеллектуального анализа данных следует невыполнение ими одного из требований к современным аналитическим системам — возможность применения системы для обработки данных из широкого круга предметных областей.
Основные характеристики и классификация искусственных нейронных сетей
На первом этапе методики на основе экспертной оценки определяется избыточный набор факторов, в полной мере описывающих исследуемый объект, осуществляется накопление информации в разрезах выделенных факторов, а также проводится предварительная обработка систематизированной информации. Данный этап является по своей сути формулировкой задачи, решение которой и будет производиться. Это единственный этап в представленной схеме анализа данных, который в своей реализации зависит от проблемной области.
На втором этапе производится определение топологии, выбор типа связей, выбор количества слоев и числа нейронов в каждом слое, определяется функция активации нейронов, правило обучения нейронной сети. В рамках данной работы будут предложены методы задания данных параметров по умолчанию и их изменения в автоматическом режиме, прозрачно для исследователя, не требуя от него наличия глубокого знания нейросетевой технологии.
На третьем этапе происходит формирование обучающих примеров, обучение сети и оценка качества синтезированной модели.
Четвертый этап предназначен для приведения нейронной сети к так называемому логически прозрачному виду. Такие сети, как и следует из их названия, в большей степени подготовлены для представления обнаруженной причинно - следственной связи в анализируемых данных в понятном для исследователя виде.
Заключительный этап в работе интеллектуальной системе анализа данных на основе нейросетевого подхода заключается в представлении накопленных взаимосвязей в весах связей нейронной сети в наглядном, простом и понятном для аналитика виде. В рамках данного этапа будет рассмотрено несколько подходов к решению проблемы "черного ящика".
Представленная схема удовлетворяет всем предъявленным требованиям к аналитическим системам: она может использоваться для решения различных задач из широкого круга проблемных областей; для решения задач используется единый математический аппарат; для работы с системой исследователю не требуется глубокого знания используемого математического аппарата; для анализа могут использоваться зашумленные данные; отсутствие принципиальных ограничений на характер входной информации; система выдает найденные зависимости в понятном для исследователя виде. Важным достоинством предлагаемой схемы анализа является возможность решения задач, в которых затруднено или невозможно нахождение аналитических зависимостей между входными и выходными данными.
Ограничения на использование данного подхода в основном вытекают из специфики решаемых задач и лежащего в основе метода математического аппарата. Приведем формальный список имеющихся ограничений: Необходима возможность накопления информации. База экспериментальных данных, которые подвергаются анализу, рассматривается как данность. Для успешного синтеза взаимосвязей в данных, т.е. построения информационной модели, анализируемые данные должны быть непротиворечивы. В гипотетической ситуации, когда функция системы известна или известен алгоритм ее вычисления при произвольных значениях аргументов, машина фон Неймана будет показывать лучшие результаты, по сравнению с предложенной схемой анализа. Полученный набор логически понятных правил является полным лишь в рамках исследуемого набора данных, он не является всеобъемлющим описанием функционирования системы. Первым этапом анализа данных является формулировка задачи. Как было отмечено ранее, это единственный этап в предлагаемой схеме анализа данных, который естественным образом в своей реализации зависит от проблемной области. Нейронные сети давно применяются в различных отраслях человеческой деятельности. С помощью искусственных нейронных сетей решаются следующие задачи [55]: Классификация образов. Задача состоит в указании принадлежности входного образа (например, речевого сигнала или рукописного символа), представленного вектором признаков, одному или нескольким предварительно определенным классам. К известным приложениям относятся распознавание букв, распознавание речи, классификация сигнала электрокардиограммы, классификация клеток крови. Кластеризация/категоризация. При решении задачи кластеризации, которая известна также как классификация образов "без учителя", отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных. Аппроксимация функций. Предположим, что имеется обучающая выборка ((хьуі), (х2,У2)-, (хп,Уп)) (пары данных вход-выход), которая генерируется неизвестной функцией y=f(x), искаженной шумом. Задача аппроксимации состоит в нахождении оценки неизвестной функции f(x). Аппроксимация функций необходима при решении многочисленных инженерных и научных задач моделирования. Предсказание/прогноз. Пусть заданы п дискретных отсчетов (y(ti), y(t2), «» y(tn)} в последовательные моменты времени ti, t2,..., t„ . Задача состоит в предсказании значения у( -ц) в некоторый будущий момент времени tn+i- Предсказание/прогноз имеют значительное влияние на принятие решений в бизнесе, науке и технике. Предсказание цен на фондовой бирже и прогноз погоды являются типичными приложениями техники предсказания/прогноза. Оптимизация. Многочисленные проблемы в математике, статистике, технике, науке, медицине и экономике могут рассматриваться как проблемы оптимизации. Задачей алгоритма оптимизации является нахождение такого решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию. Задача коммивояжера, относящаяся к классу NP-полных, является классическим примером задачи оптимизации. Управление. Рассмотрим динамическую систему, заданную совокупностью {u(t), y(t)}, где u(t) является входным управляющим воздействием, а y(t) - выходом системы в момент времени t. В системах управления с эталонной моделью целью управления является расчет такого входного воздействия u(t), при котором система следует по желаемой траектории, диктуемой эталонной моделью. Примером является оптимальное управление двигателем.
Функциональное назначение программной системы и описание работы
Разработанная интеллектуальная система анализа данных предназначена для обнаружения скрытых закономерностей, взаимосвязей, законов функционирования исследуемой системы и представления полученного знания в явном, понятном для исследователя виде. Использование в качестве математического ядра в программе аппарата нейронных сетей позволяет решать задачи из любой проблемной области, где возможен процесс накопления примеров функционирования изучаемого объекта.
Чтобы сделать процесс работы с программой более гибким, эффективным и доступным для пользователя, программа реализована в виде помощника или мастера, который позволяет выполнить процесс выявления знаний в пошаговом режиме.
В программе есть возможность выбора различных вариантов нормировки входных данных с целью увеличения их информативности за счет уменьшения энтропии. Имеете» возможность задания ряда параметров обучения нейронной сети для остановки процесса обучения. Процесс обучения визуализирован в программе динамическим графиком ошибки обучения на тестовом и тренировочном наборах» Могут быть настроены такие параметры сети как скорость обучение, момент, величина наклона сигмоиды, В случае, если пользователь не имеет достаточного опыта по применению аппарата нейронных сетей для решения исследуемой задачи, есть возможность использовать установленные по умолчанию значения, которые обеспечат нахождение решения- Реализуемая в программе нейронная сеть не имеет ограничений ни на число слоев, ни на число нейронов в каждом слое.
Первый шаг работы с программой заключается в создании и обучении нейросети. Для этого необходимо выбрать тип нейросети, разработать конфигурацию, сформировать обучающую выборку и обучить сеть. Заметим, что все процессы автоматизированы, кроме процесса формирования обучающей выбор к И; который целвком ложится в& плечи по ьадвягеїн. г-лк как связан с коя кретиой поставленной чадачей.
1Іое.іе получения результатов, они допжгты быть оцеюены и сделан вывах о целесообразности я эффективности исполыовзшя сети. Овеока рСЗул&ташк обучение может бы іь произведена на основе статье сически характеристик значений выходов сети и соответствующих графиков. В процессе работы с мастером пользователь может изменять параметры обучающей выборки и самого процесса обучения. Следует отметить, что процесс еепдаиия и обучения неііро» ееіі і гребует подключения источников данные
Первый шаг при работе с программой подключение к базе данных пы-бор чаблшды из сішдщп нот файла тина DBase, FoxPro, Clipper, Paradox; здесь же можно просмотреть содержащуюся в ней информацию (рис. і 5).
Сравнение эффективности систем интеллектуального анализа данных на задаче нахождения логических закономерностей
Сравнение эффективности систем интеллектуального анализа данных на задаче прогнозирования результатов выборов президента США Данная проблема стала классическим примером задачи прогнозирования, благодаря постановке профессором Горбанем с его зарубежным аспирантом [98] и использованием в ряде работ [21, 61, 16, 80, 98, 99, 111] в качестве тестовой задачи при изучении нейронных сетей. В качестве входных данных задачи выступают результаты 32-ух предвыборных ситуаций (с 1860 по 1992 гг.). Для каждых выборов в таблице содержатся данные по 12-ти бинарным признакам: Правящая партия была у власти более одного срока? Правящая партия получила более 50% голосов на прошлых выборах? В год выборов была активна третья партия? Была серьезная конкуренция при выдвижении кандидата от правящей партии? Кандидат от правящей партии был президентом в год выборов? Был ли год выборов временем слада или депрессии? Был ли рост среднего национального валового продукта на душу населения более 2Д%? Произвел ли правящий президент существенные изменения в политике? Во время правления были существенные социальные волнения? Администрация правящей партии виновна в серьезной ошибке или скандале? Кандидат от правящей партии — национальный герой? Кандидат от оппозиционной партии - национальный герой? Также в таблице содержится информация о результатах выборов (победе правящей или оппозиционной партии) - прогнозируемый результат. Значения бинарных признаков равны -1 (ответ "нет" для входного признака или победа правящей партии) и 1 (ответ "да" для входного признака или победа оппозиции). Нейронные сети, обученные на этой таблице данных, уверенно предсказывали результаты выборов всех президентов США, В представленных ранее работах показано, что для решения задачи прогноза достаточно только пяти входных признаков из 12 - 4, 6, 8, 9, 12 (нумерация соответствует номеру признака в списке) в работе [80] и 3, 4, 6, 8, 9 в работе [61], количество нейронов в скрытом слое колеблется от 1 до 6, веса всех нейронов бинаризованы. Конкретных правил в указанных работах не представлено, однако полученные нейронные сети прозрачного вида позволяют с уверенностью утверждать о положительном или отрицательном вкладе ответа на вопрос для того или иного итога голосования. В работе [61] отмечается, что все сети оптимальной структуры были получены авторами из более сложных сетей, применением технологии контрастирования, получить такие сети путем задания первоначально простой топологии и дальнейшего обучения сети авторам не удалось, уже в программе NeuroPro 0.25 автора работы [80] решить эту задачу возможность есть.
В ходе проверки обучающего множества противоречивых примеров выявлено не было. Для решения поставленной задачи зададим структуру нейронной сети в виде трехслойного перцептрона, с 5 входами, 1 выходом, и одним нейроном в единственном скрытом слое. Подтвердилось утверждение авторов [61, 98, 99, 90] о достаточности такой структуры для решения поставленной задачи. Сеть указанной архитектуры смогла обучиться на решение задачи со 100% точностью, для полного обучения потребовалось менее 200 итераций, В силу первоначального использования минимального числа настраиваемых нейронов (одного) отпадает потребность в проведении этапа упрощения сети.
