Введение к работе
Актуальность темы. Нейросетевой подход к обработке информации в последние полстолетия бурно развивается. На базе нейронных сетей возможно построение ассоциативной памяти, находящей свое применение в задачах принятия решений на основе прецедентов. Одной из наиболее известных и хорошо изученных скалярных нейронных сетей (НС), реализующих ассоциативную память, является модель Хопфилда. Интерес к ней обусловлен тем, что впервые было введено понятие энергии, позволяющее описать работу НС (восстановление эталона по его искаженному варианту), как спуск по энергетической поверхности к ближайшему локальному минимуму. Однако, емкость памяти такой модели мала и она мало пригодна для практических целей: число М эталонных образов, восстанавливаемых этой сетью, не превышает 15% от количества нейронов N(М ~ N/2\nN).
В 1988 году И. Кантер предложил так называемую «Поттс-стекольную модель» нейронной сети, нейроны которой, по аналогии с физической моделью спинового магнетика Поттса, могут иметь более двух различных состояний. Каждое состояние нейрона описывается вектором Q-мерного пространства, принадлежащему набору из Q специальных (поттсовских) векторов, где Q ^ 2 - число различных состояний нейрона. Емкость ее памяти, описываемая выражением М = NQ(Q -1)/ 4\n(NQ) г в Q(Q-1)/2 раз больше, чем у модели Хопфилда.
Позднее под руководством академика А.Л. Микаэляна разрабатывается модель векторной ассоциативной памяти, ориентированная на реализацию в виде оптоэлектронного устройства. Емкость памяти этой модели, описываемая выражением М = iVQ(Q -1)/ 2 ln(iVQ)) Того же порядка, что и в модели Поттса.
Обе эти векторные модели вполне пригодны для практического использования, поскольку по емкости ассоциативной памяти значительно превосходят скалярные модели нейронных сетей. Однако их моделирование сопряжено со значительными затратами оперативной памяти компьютера (
RAM ~ 4N2Q2 байт). При этом нужно учитывать, что в естественных
биологических нейронных сетях градация величин синаптических связей не столь велика, как в традиционных матрицах связей искусственных нейросетей. В связи с этим большой интерес проявляется к исследованиям свойств нейросетей с бинарными матрицами синаптических коэффициентов.
Бинаризация синаптических коэффициентов - это замена положительных и отрицательных элементов матрицы синаптических коэффициентов на +1 и -1 соответственно, при этом нулевые элементы сохраняются неизменными. Бинаризация позволяет выделить под хранение элемента синаптической связи всего 2 бита оперативной памяти, что в 16 раза меньше объема требуемого под небинаризованный элемент. Учет бинарности элементов при реализации модели позволяет ускорить алгоритм более чем в 16 раз. Кроме того, в некоторых случаях процесс бинаризации увеличивает емкость ассоциативной памяти и устраняет негативные эффекты коррелированности эталонных векторов.
Таким образом, исследование векторных нейронных сетей (ВНС) с бинаризованными синаптическими коэффициентами, реализующих ассоциативную память, является в настоящий момент актуальной задачей.
Цель диссертационной работы. Целью диссертационной работы является исследование свойств искусственных векторных нейронных сетей с бинаризованными синаптическими коэффициентами. Выбор цели обусловлен тем, что бинаризация позволяет существенно повысить эффективность нейросетевых систем обработки информации и принятия решений: на порядок уменьшаются требования к объему оперативной памяти, необходимой для моделирования и реализации ВНС, и существенно ускоряется работа алгоритма.
В рамках диссертационной работы были решены следующие задачи:
Разработан метод оптимальной бинаризации квадратичного функционала, к минимизации которого формально сводится работа систем ассоциативной памяти.
Исследовано влияние бинаризации синаптических коэффициентов на распознающие характеристики следующих моделей векторных нейронных сетей: полносвязной фазовой ВНС; полносвязной бесфазовой ВНС; фазового векторного перцептрона; бесфазового векторного перцептрона.
Предложен метод отображения бинарных векторов в Q-нарные, позволяющий применять ВНС для распознавания бинарных векторов, значительно расширяя область применения векторных моделей.
Для решения задач, которые нельзя решить с помощью одного векторного перцептрона, разработан метод, позволяющий объединять в единую систему (комитет) множество перцептронов, обученных на собственных непересекающихся выборках эталонов.
Методы исследований. При решении поставленных задач в данной работе были использованы методы системного анализа, вычислительной математики, комбинаторики, математической статистики и теории вероятностей.
Научная новизна. Основные результаты работы являются новыми и заключаются в следующем:
Впервые разработана оптимальная процедура бинаризации квадратичного функционала, при которой направления градиентов исходного и бинаризованного функционалов совпадают с большой вероятностью (более 83%) в любой точке конфигурационного пространства.
Исследованы свойства ВНС с бинарными элементами матрицы синаптических связей. Впервые показано, что емкость памяти и помехоустойчивость бинаризованной сети не уступают, а в ряде случаев превосходят аналогичные характеристики исходных (небинаризованных) моделей. При этом требования к объему оперативной памяти снижаются в 16 раз и более чем в 16 раз возможно ускорение алгоритма.
Впервые исследованы свойства векторного перцептрона с бинарной матрицей синаптических связей. Показано, что при той же емкости памяти, как и у полносвязной модели ВНС, надежность идентификации и быстродействие перцептронного алгоритма в N раз выше, а необходимый для моделирования объем оперативной памяти в N раз меньше.
Разработана архитектура - комитет векторных перцептронов, которая обладает высокой степенью параллелизма и масштабируемости и способна к идентификации векторов разной размерности. Показано, что емкость памяти разработанной системы растет линейно с ростом числа перцептронов.
Впервые предложен метод отображения бинарных векторов в Q-нарные, использующий меру близости состояний нейронов и позволяющий использовать векторные нейросети для идентификации бинарных векторов.
Показано, что бинаризация значительно снижает негативное влияние коррелированности эталонных образов на емкость памяти ВНС.
Практическая ценность. Разработанные алгоритмы и методы бинаризации найдут свое применение в прикладных системах обработки информации и принятия решений на основе векторных нейронных сетей.
Положения, выносимые на защиту:
Оптимальная процедура бинаризации матричных элементов, позволяющая ускорить процесс минимизации многоэкстремального квадратичного функционала, построенного в пространстве состояний с бинарными переменными.
Фазовая и бесфазовая модели векторных нейронных сетей с бинаризованными синаптическими коэффициентами и результаты исследований свойств этих моделей для различных архитектур: полносвязные сети, векторные перцептроны, комитеты векторных перцептронов.
Метод отображения бинарных векторов в Q-нарные с введением меры близости между состояниями нейрона, позволяющий обрабатывать большие массивы бинарных векторов методами ВНС.
Апробация. Основные положения работы докладывались на следующих конференциях [10-18]:
II Всероссийская научная конференция «Методы и средства обработки информации» МСО-2005, Москва, 2005 г.
VIII Всероссийская научно-техническая конференция «Нейроинформатика-2006», Москва, 2006 г.
International Joint Conference on Neural Networks (IJCNN), Montreal, 2005 r.
Международная научно-техническая конференция «Многопроцессорные вычислительные и управляющие системы», Таганрог, 2007 г.
18th International Conference on Artificial Neural Networks ICANN'08, Прага, 2008 г. (2 доклада).
XI Всероссийская научно-техническая конференция «Нейроинформатика-2009», Москва, 2009 г.
19th International Conference on Artificial Neural Networks ICANN'09, Кипр, Греция, 2009 г.
XII Всероссийская научно-техническая конференция «Нейроинформатика-2010», Москва, 2010 г.
Публикации. По теме диссертации опубликовано 18 печатных работ, из них 13 в соавторстве, 5 в изданиях из перечня ВАК [1-3, 6-7].
Структура и объем диссертации. Работа состоит из введения, семи глав, заключения, списка литературы и трех приложений. Общий объем диссертации составляет 168 страниц. Список литературы содержит 106 наименований.
