Введение к работе
Актуальность темы
Задача оценки точности вычислений актуальна с тех пор, как люди начали вычислять. Погрешности вычислений возникают из-за неточных входных данных, из-за погрешностей, вносимых на отдельных этапах вычисления, из-за погрешностей самих методов вычисления.
Каждый раз, когда возникает новая область практики вычислений, вместе с ней появляется и необходимость оценивать погрешности этих вычислений.
Интерес к нейронным сетям переживает в настоящее время очередной всплеск. Это вызвано тем, что они являются удобным и достаточно простым инструментом для создания различных экспертных систем, решения задачи классификации и извлечения знаний из данных и, кроме того, дают возможность высокопараллелышх реализаций.
Рассматривая нейронную сеть как набор элементов, производящих некоторые вычисления над приходящими к ним данными, можно оценивать точность вычислений как для сети в целом, так и для каждого отдельного элемента. Для нейронной сети можно решать две задачи, относящиеся к оценке точности ее работы: прямую и обратную. Под прямой задачей поішмается оценка погрешностей выходных сигналов сети, если заданы погрешности входных сигналов и погрешности элементов сети. Наиболее близки к этой задаче методы оценки погрешностей счетно-решающих устройств на основе аналоговых элементов.
Гораздо больший интерес представляет обратная задача. Под обратной задачей поішмается оценка погрешностей внутренних сигналов сети, ее входных сигналов и весов синапсов по заданным погрешностям выходных сигналов сети.
В работе анализируются допустимые погрешности сигналов и параметров нейронной сети, решается обратная задача оценки погрешностей. Для ее решения создан метод обратного распространения точности. Он позволяет строить интервалы, в которых могут изменяться внутренние и входные сигналы сета при задашгом интервале погрешностей выходных сигналов сети. Ранее
близкие идеи были использованы Дж. Уилкинсоном для анализа вычислительных алгоритмов линейной алгебры (Тьюринговская премия 1970 г.)
Цель работы
Целью работы является:
- получение гарантированных интервальных и среднеквадратических
оценок допустимых погрешностей сигналов сети для элементов стандартного
нейрона как с учетом собственных погрешностей элементов, так и без них;
- анализ реализуемости сетей с заданными собственными погрешностями
элементов;
- получение гарантированных интервальных и среднеквадратических
оценок допустимых погрешностей весов синапсов;
- анализ различных типов входных сигналов сети (дискретное множество
примеров, непрерывные области входных данных в виде многомерного шара и
прямоугольника);
- упрощение сетей (приведение вещественных весов синапсов к
значениям -1,0,1) при вычисленных допустимых погрешностях весов синапсов.
Научная новизна
Результаты диссертации являются новыми, в частности, разработан метод обратного распространения точности для сигналов и весов синапсов нейронньгх сетей. Метод заключается в функционировании сети с той же системой связей, но в обратном направлении. Причем все элементы сети заменяются на двойственные им элементы специального вида. Эта двойственность отличается от той, которая используется в методе обратного распространения ошибки. В работе получены формулы для вычисления погрешностей весов синапсов и сигналов сети. Разработан еще один способ упрощения нейронньгх сетей (замена сумматоров с вещественными весами синапсов на каскады сумматоров свесами {-1,0,1}).
Практическяя зріачимость
При помощи полученных в работе формул могут быть вычислены допустимые погрешности входных сигналов сети, могут быть определены такие интервалы изменения входных сигналов сети, при которых погрешности выходных сигналов не превышают заданную.
Вычисление допустимых погрешностей сигналов сети находит применение при создании аналоговой реализации нейронной сети на основе обученного нейроиммитатора.
Вычисление допустимых погрешностей весов синапсов используется при упрощении нейронных сетей для того, чтобы заменять участки сети более простыми, но менее точными элементами, не превышая при этом погрешность выходных сигналов сети.
Апробация работы
Основные результаты работы докладывались и обсуждались на IV, V и VI Всероссийских семинарах "Нейроинформатика и ее приложения" проходивших в г. Красноярске в 1996, 1997 и 1998 годах, на конференциях молодых ученых Красноярского научного центра в 1997 и 1998 годах, на Международной конференции по нейронным сетям в Хьюстоне в 1997 году, на Третьем Сибирском конгрессе по прикладной и индустриальной математике, посвященном памяти С.Л. Соболева (INPRIM-98).
По теме диссертации опубликовано 14 работ.
Структура диссертации Диссертация состоит из введения, четырех глав, численных экспериментов, заключения и списка цитируемой литературы из ,6 наименований, содержит 18 рисунков и 28 диаграмм. Общий объем диссертации (с учетом иллюстраций) составляет 136 страниц.