Содержание к диссертации
Введение
1. Математические модели и функциональные возможности искусственных нейронов и искусственных нейронных сетей 16
1.1. Математические модели искусственных нейронов 16
1.1.1. Модели нейронов без пресинаптического взаимодействия 17
1.1.2. Модели нейронов с пресинаптическим взаимодействием 22
1.2. Структурная сложность монофункциональных и многофункциональных искусственных нейронов с пресинаптическим взаимодействием 32
1.2.1. Оценки структурнойсложности монофункциональных нейронов 34
1.2.2. Оценки структурной сложности многофункциональных нейронов 35
1.3. Проблема реализации искусственными нейронами логических функций от большого числа переменных 3 8
1.4. Логическая избыточность функционально устойчивых нейронных сетей как фактор повышения их функциональной надежности 42
Выводы к главе 1 49
2. Синтез оптимизированных логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов 51
2.1. Обоснование критерия оптимальности искусственной нейронной сети 52
2.2. Синтез логически стабильных нейронных сетей 56
2.3. Минимизация процесса адаптации логически стабильных искусственных нейронных сетей к отказам нейронов 68
Выводы к главе 2 71
3. Вероятностные модели функционирования и методы расчета надежности избыточных искусственных нейронных сетей 73
3.1. Модель и расчет функциональной надежности неадаптивной к отказам нейронов искусственной нейронной сети 74
3.2. Модель и расчет функциональной надежности адаптивной к отказам нейронов искусственной нейронной сети 79
3.3. Математические модели и расчет функциональной надежности двух типов адаптивных к отказам искусственных нейронных сетей 89
3.3.1. Исследование адаптивной нейронной сети первого типа 90
3.3.2. Исследование адаптивной нейронной сети второго типа 97
3.3.3. Расчет функциональной надежности нейронной системы с различными алгоритмами адаптации к отказам и сбоям 100
3.4. Аналитическое исследование среднего времени "жизни" двух типов адаптивных к отказам и сбоям искусственных нейронных сетей при различных алгоритмах адаптации 106
3.4.1. Анализ среднего времени «жизни» разнотипных нейронных систем при одинаковых алгоритмах адаптации 108
3.4.2. Анализ среднего времени «жизни» однотипных нейронных систем при различных алгоритмах адаптации 110
Выводы к главе 3 114
4. Оптимизация функциональной надежности искусственных нейронных сетей 115
4.1. Математическая модель и расчет функциональной надежности многослойной многовыходной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными 115
4.2. Оптимальное резервирование однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов и постоянной интенсивности восстановления 124
4.2.1. Алгоритм оптимизации среднего времени "жизни" адаптивной нейронной сети при восстановлении отказавших блоков искусственных нейронов 130
4.2.2. Алгоритм оптимизации вероятности безотказной работы адаптивной нейронной сети при восстановлении отказавших блоков искусственных нейронов 132
4.3. Оптимальное резервирование адаптивной "стареющей" искусственной нейронной сети 133
4.3.1. Оптимизация вероятности безотказной работы адаптивной "стареющей" нейронной сети 137
4.3.2. Оптимизация среднего времени "жизни" адаптивной "стареющей" нейронной сети 141
4.4. Оптимизация восстановления избыточной адаптивной "стареющей" искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей 143
4.4.1. Алгоритм оптимизации восстановления избыточной адаптивной "стареющей" искусственной нейронной сети 152
Выводы к главе 4 155
Заключение 157
Литература 159
- Модели нейронов без пресинаптического взаимодействия
- Обоснование критерия оптимальности искусственной нейронной сети
- Модель и расчет функциональной надежности неадаптивной к отказам нейронов искусственной нейронной сети
- Математическая модель и расчет функциональной надежности многослойной многовыходной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными
Введение к работе
Теория искусственных нейронных сетей (ИНС) благодаря фундаментальным работам зарубежных исследователей У.Мак-Каллока, У.Питтса, Ф.Розенблатта, М.Минского, С.Дейча, Б.Уидроу, Т.Кохонена, Д.Хопфилда, С.Гроссберга, а также советских и российских ученых И.Б.Гутчина и А.С.Кузичева [1], Н.В.Позина [2], С.О.Мкртчяна [3,4], Н.М.Амосова [5,6], А.И.Галушкина [7], А.Н.Горбаня [8], В.В.Круглова [9] и др. получила широкое развитие. При этом основные направления исследований были связаны с изучением топологии (архитектуры) нейронных сетей, их синтезом и обучением (настройкой) для решения поставленных задач.
В связи с созданием нейрокомпьютеров и применением их на практике нейросетевая тематика стала междисциплинарной, и появились новые научные проблемы, решению которых уделялось недостаточно внимания или совсем не уделялось в виду их сложности и неизученности.
Одной из таких проблем, решению которой посвящена диссертационная работа, является проблема разработки математических моделей и необходимого аппарата для исследования и оптимизации функциональной надежности нейронных сетей, которая по мнению крупного специалиста в области нейрокомпьютерных систем и нейроинформатики А.И.Галушкина, находится в настоящее время в самом начале своего развития [7]. Это мнение поддерживают и многие другие ученые, полагая, что решение данной проблемы наверняка окажет существенное воздействие на создание отказоустойчивых искусственных нейронных сетей и реализацию высоконадежных нейрокомпьютеров на принципиально новых технологиях, включая нанотехнологии, что существенно повысит эффективность их использования в системах специального назначения.
Известно, что функциональная надежность биологических нейронных сетей очень высокая [5, 10-13]. Это свойство уже на ранних стадиях изучения возможностей искусственных нейронных сетей привлекло внимание исследователей [14, 15]. Основным результатом этих работ, полученным на качественном уровне, было установление факта логической избыточности рассматриваемых нейронных сетей, благодаря которой отказы некоторых элементов (нейронов) сети не вызывают появления ошибки на выходе всей сети.
Дальнейшие исследования надежностных свойств искусственных нейронных сетей с учетом их структурно-функциональной избыточности и логической гибкости искусственных нейронов (ИН) за счет целенаправленного изменения величины порога срабатывания нейронов сети проводились с помощью аппарата диаграмм Венна в работах [1,3]. В этих трудах были разработаны таблично-алгоритмические методы синтеза логически устойчивых (логически стабильных) к отказам нейронов типа (О -»і) и (і -> 0) нейронных сетей. Логическая устойчивость, т.е. надежность нейронной сети, определялась интервалом изменения порогов нейронов, при котором выходная функция сети еще не изменяется.
Основной вывод этих работ заключался в следующем. Степень логической избыточности сети является мерой ее логической устойчивости, а это в свою очередь - мерой надежности искусственной нейронной сети. Этим самым был подтвержден вывод авторов работ [14, 15] и предложен, трудно реализуемый в то время машинными методами, способ синтеза логически устойчивых регулярных (без обратных связей) нейронных сетей из искусственных нейронов с пресинаптическим взаимодействием.
В указанных выше работах отсутствовал математический аппарат для аналитического исследования надежности искусственных нейронных сетей и аппарат для решения задач оптимизации функциональной надежности в зависимости от типа нейронной сети и условий ее функционирования.
По-видимому одной из первых попыток аналитического исследования надежности искусственных нейронных сетей явилась работа [16]. В этой работе в предположении катастрофических отказов нейронов для невосстанавливаемых и восстанавливаемых логически устойчивых [3] искусственных нейронных сетей (для простейших случаев) на основе теории марковских процессов были составлены и решены системы дифференциальных уравнений, позволившие в аналитическом виде и машинными методами исследовать вероятность безотказной работы и вероятность нахождения простейшей искусственной нейронной сети в состоянии восстановления (адаптации).
Результаты исследования надежностных свойств простейших двухранговых (двухслойных) искусственных нейронных сетей методом математического моделирования при ограниченном числе отказов нейронов показали, что во многих случаях нейронные сети, адаптивные к отказам ИН, являются более надежными, чем мажоритарные модули реализующие те же функции [17]. Однако системного изучения надежности нейронных сетей произвольной конфигурации из-за недостаточно разработанного аппарата исследований проведено не было. А вопросы оптимизации функциональной надежности искусственных нейронных сетей даже не ставились.
В связи с тем, что искусственные нейроны, входящие в состав нейронных сетей, являются в общем случае многофункциональными пороговыми элементами с постоянным или переменным порогом \ и
изменяемыми в процессе обучения (настройки) весами входов и>у, для
выявления отказов нейронов в логически устойчивых или иных нейронных сетях и их локализации с целью дальнейшего восстановления функциональных свойств сети путем адаптации к отказам, необходимо построение минимальных проверяющих тестов для искусственных нейронов и минимальных диагностических тестов, локализующих неисправности с точностью до входа-выхода монофункциональных и многофункциональных
нейронов. Эти задачи были в основном решены в работах [18,19], что позволило существенно продвинутся в развитии методов исследования надежности искусственных нейронных сетей.
Вопросы технической диагностики нейронных сетей рассматривались так же в работах [7,20,21]. Авторы предложили свой алгоритм построения минимального теста для обнаружения отказов типа логических констант на выходах нейронов и метод адаптивной диагностики отказов в нейронных сетях. По-видимому, в ряде случаев этот алгоритм дает хорошие результаты и является конкурентоспособным.
В развитие указанных выше работ по изучению надежности нейронных сетей на базе функционально устойчивых ИНС [3] с применением контрольно диагностических процедур, разработанных по методике [18, 19], были созданы отказоустойчивые адаптивные к отказам ИН нейрокомпьютерные системы (НКС) [22-25], качественный анализ надежности работы которых и области предпочтительного использования приведены в [26].
В современном представлении это были, по-видимому, первые отечественные нейрокомпьютеры, адаптивные к отказам искусственных нейронов, демонстрирующие возможность повышения функциональной надежности НКС за счет логической гибкости ИН и гармоничного сочетания в используемых ИНС структурно-функциональной и временной избыточности.
Анализ показал, что НКС [22] целесообразно использовать в системах с отсутствием резерва времени, для которых состав (объем) оборудования адаптивной системы не является определяющим, а появление на выходе неверного решения недопустимо.
НКС [23] и НКС [25] пригодны для систем, допускающих пропуск неверного решения на выход и имеющих резерв времени на периодический тестовый контроль, а в НКС [25] - еще и на повторное решение. Несмотря на последний, очевидный в общем случае недостаток, НКС [25] содержит
значительно меньше оборудования и имеет в среднем более короткий цикл адаптации, чем НКС [23].
Анализ НКС [24] указывает на целесообразность ее использования в системах, имеющих не менее, чем трехкратный резерв времени и исключающих перерывы в решении основной задачи и пропуск на выход неверного решения.
Изучение отечественных и зарубежных открытых источников информации за последнее десятилетие, посвященных вопросам надежности искусственных нейронных сетей, показало, что интерес к данной проблеме возрастает и носит многоплановый характер.
Наряду с традиционными методами повышения функциональной надежности ИНС в процессе обучения и проведение некоторых оптимизационных процессов появились работы [27, 28], в которых изучаются ошибки, возникающие при технической реализации ИНС, а также при шумах и отказах в сети. С помощью полученных результатов объясняется наблюдаемая высокая устойчивость избыточных нейронных сетей к шумам и разрушениям (отказам, старению). Определены максимально допустимые погрешности, возможные для весов синапсов и сигналов сети, исходя из условия, что вектор выходных сигналов сети должен вычисляться с заданной точностью.
В работе [29] проблема отказоустойчивости нейронных сетей, реализованных на СБИС, решается путем использования избыточного двоичного представления данных на базе трехпроводной логики. Предложенный метод, по утверждению авторов, обеспечивает полную защиту от множественных отказов типа залипании на однонаправленных линиях и сокращает временные задержки выполнения арифметических операций за счет избыточного представления данных.
Аппаратно-информационный метод повышения надежности ИНС, предложенный в работе [30], заключается в создании нейрокомпыотерной системы на основе объединения в единый комплекс разнообразных по
структуре или логике работы нейронных сетей, обеспечивающих минимальное число совпадающих ошибок. Однако аналитических методов для оценки надежности такой НКС не дано.
Годовой рынок современных искусственных нейронных сетей и нейрокомпьютеров по прогнозным данным ведущих организаций и фирм США и Японии на 2000 год был оценен в 750-900 млн. долларов [31,32]. При этом практическая реализация ИНС и нейрокомпьютеров в виде кремниевых нейрочипов и нейросистем на пластинах, содержащих свыше 106 эквивалентных искусственных нейронов различного уровня сложности, стала технологически и экономически разрешимой и имеет тенденцию к росту [33-36].
Поэтому вопросы обеспечения, оценки и оптимизации надежности специфичных по структурно-функциональной организации и условиям работы нейронных сетей и нейрокомпьютерных систем выходят на первый план среди актуальных проблем теории искусственных нейронных сетей.
В нашей стране также накоплен большой опыт в исследовании и реализации искусственных нейронных сетей и нейрокомпьютеров [7-9, 39-42]. В рамках темы диссертации наибольший интерес представляют работы по реализации отказоустойчивых нейрочипов по технологии систем с интеграцией на пластине (СИП) [32, 37, 38]. Приведенные в этих работах результаты исследований показали возможность создания на одной пластине отказоустойчивых СБИС для реализации ИНС, нечувствительных к отказам отдельных нейронов. Отказоустойчивость была достигнута посредством технологического, топологического и функционального парирования дефектов. Авторы работы [38] полагают, что одним из актуальных путей решения проблемы повышения функциональной надежности искусственных нейронных сетей и нейрокомпьютеров, реализуемых по СИП - техпологии в виде СБИС, является внесение в состав устройств избыточных аппаратных средств, обеспечивающих выполнение различных процедур тестирования для
обнаружения отказов, и замещения отказавших элементов избыточными путем реконфигурации системы, т.е. путем адаптации избыточной нейронной системы к отказам нейронов.
Учитывая сложившееся состояние вопроса в области исследования надежности искусственных нейронных сетей, в качестве основной цели диссертационной работы была поставлена задача: обобщение известных и разработка новых математических моделей, методов и алгоритмов оптимизации функциональной надежности искусственных нейронных сетей.
В рамках этого направления в диссертационной работе были поставлены и решены следующие основные задачи.
1. Разработка математических моделей и исследование функциональных
возможностей многофункциональных искусственных нейронов для
построения логически избыточных функционально устойчивых к отказам
нейронов искусственных нейронных сетей.
Развитие метода синтеза оптимизированных логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов, и метода минимизации процесса адаптации нейронной сети к отказам.
Создание вероятностных моделей функционирования и развитие методов расчета надежности избыточных искусственных нейронных сетей, неадаптивных и адаптивных к отказам нейронов.
4. Аналитическое исследование и машинное моделирование
надежностных характеристик адаптивных искусственных нейронных сетей с
целью выбора оптимальной по надежности нейронной системы.
Разработка математической модели, метода расчета функциональной надежности и решение задачи оптимального резервирования однородной адаптивной искусственной нейронной сети при пуассоновском потоке отказов.
Создание алгоритмов оптимизации вероятности безотказной работы и среднего времени «жизни» искусственной нейронной сети при восстановлении отказавших блоков нейронов.
7. Разработка методов оптимального резервирования «стареющей»
адаптивной искусственной нейронной сети, максимизирующих вероятность
безотказной работы и среднее время «жизни» сети.
8. Решение задачи и разработка алгоритма оптимизации восстановления
избыточной «стареющей» адаптивной искусственной нейронной сети,
состоящей из логически стабильных мини-сетей.
Для решения поставленных задач используется математический аппарат теории марковских процессов, теории надежности, вычислительной математики и компьютерное моделирование.
Научная новизна диссертационной работы заключается в следующем.
Предложен способ оценки логической избыточности для одновыходных однородных ИНС.
Предложен критерий оптимальности для организации синтеза логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов, зависящий от вероятности безотказной работы и структурной сложности сети.
Решена задача минимизации процесса адаптации к отказам ИН для логически стабильных регулярных однородных двухранговых нейронных сетей.
Построена математическая модель и решена задача определения функциональной надежности и среднего времени "жизни" избыточных ИНС произвольной конфигурации, неадаптивных и адаптивных к отказам нейронов.
Поставлена и решена задача оптимального резервирования, максимизирующего среднее время "жизни", и задача оптимального резервирования, максимизирующего вероятность безотказной работы на заданном временном интервале, для многослойной многовыходной структурно однородной адаптивной искусственной нейронной сети с замещением
отказавших нейронов резервными при пуассоновском потоке отказов и восстановления отказавших нейронных блоков.
Поставлена и решена задача оптимизации резервирования избыточной "стареющей" адаптивной искусственной нейронной сети, обеспечивающего максимизацию среднего времени "жизни" или вероятность безотказной работы сети на заданном временном интервале.
Поставлена и решена задача оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей.
Теоретическая ценность диссертации:
Сформулированы и теоретически обоснованы задачи оптимизации функциональной надежности структурно однородных избыточных адаптивных к отказам нейронных сетей. Показано, что данные оптимизационные задачи сводятся к задачам целочисленного программирования. Решение таких задач доведено до подробных алгоритмов, реализуемых на ПЭВМ.
Разработаны теоретические положения оптимизации функциональной надежности "стареющих" искусственных нейронных сетей и показано, что для приближенного решения этих оптимизационных задач необходимо использовать совместно метод дискретизации и методы целочисленного программирования.
3. Разработаны теоретические основы оптимизации восстановления после отказов нейронов избыточных стареющих адаптивных искусственных нейронных сетей, состоящих из логически стабильных мини-сетей. Показано, что для решения подобных задач могут быть использованы методы теории оптимального управления совместно с методом дискретизации.
4. Совокупность разработанных в диссертации теоретических положений оптимизации функциональной надежности ИНС создает основу
для развития теории оптимизации надежности нейрокомпьютеров и нейрокомпьютерных систем.
Практическая ценность диссертации:
Предложен способ реализации логических функций от большого числа переменных с использованием двухвходового многофункционального искусственного нейрона с пресинаптическим взаимодействием и возможностью перестройки порогов и весов в процессе реализации функции, практическая реализация которого не вызывает особых трудностей.
Построенные в работе математические модели и детально разработанные алгоритмы расчета функциональной надежности избыточных нейронных систем с адаптивными ИН позволяют решить следующие важные для инженерной практики задачи:
1)при заданном соотношении между интенсивностями отказов и сбоев найти тип адаптивного искусственного нейрона и алгоритм адаптации, обеспечивающий на интервале [0,t] вероятность безотказной работы не ниже заданной при минимальной избыточности системы, либо при заданном ограничении на избыточность ИНС найти тип адаптивного искусственного нейрона, обеспечивающий максимальную вероятность безотказной работы;
2) для каждого соотношения интенсивностей отказов и сбоев обоих типов и . заданной избыточности определить такой тип адаптивной искусственной нейронной сети и такой алгоритм адаптации, которые обеспечат ей максимальное среднее время "жизни".
3. Решены задачи оптимизации резервирования "нестареющей" и
"стареющей" адаптивной искусственной нейронной сети для максимизации
среднего времени "жизни" или вероятности безотказной работы на заданном
временном интервале и задача оптимизации восстановления избыточной
"стареющей" адаптивной искусственной нейронной сети, состоящей из
логически стабильных нейронных мини-сетей.
4. Разработано программное обеспечение для решения практических задач оптимизации резервирования адаптивных искусственных нейронных сетей.
Диссертационная работа выполнена в рамках НИР "Разработка математических моделей и методов оптимизации функциональной надежности искусственных нейронных сетей" в соответствии с грантом Министерства образования РФ Е02-2-75 по фундаментальным исследованиям в области естественных и точных наук.
Основное содержание диссертации отражено в 21 научном труде, включая 19 печатных работ и 2 депонированные в ВИНИТИ рукописи.
По результатам работы сделаны доклады на Технологическом конгрессе «Современные технологии при создании продукции военного и гражданского назначения» (Омск, 2001 г.), на Седьмой международной научно-практической конференции «Природные и интеллектуальные ресурсы Сибири» (Барнаул, 2001 г.), на Научной сессии ТУ СУР в рамках межрегиональной научно-технической конференции (Томск, 2002 г.), на Восьмой международной научно-практической конференции «Природные и интеллектуальные ресурсы Сибири» (Кемерово, 2002 г.), на IV Международной научно-технической конференции «Динамика систем, механизмов и машин» (Омск 2002 г.), на научных семинарах кафедры «Информатика и вычислительная техника» Омского государственного технического университета (Омск, 2001 - 2003 г.г.), на II Международном технологическом конгрессе «Военная техника, вооружение и технологии двойного применения в XXI веке» (Омск, 2003 г.).
Модели нейронов без пресинаптического взаимодействия
Искусственными нейронами (ИН), нейроподобными элементами или формальными нейронами принято называть пороговые элементы, обладающие отдельными структурно-функциональными признаками биологических нейронов, используемые для построения искусственных нейронных сетей (ИНС) различной конфигурации и назначения. ИНС находят широкое применение для распознавания образов, обработки изображений, построения экспертных систем и т.п., а также для создания логических и операционных узлов различных устройств обработки цифровой информации, получивших название нейрокомпьютеры [7, 40, 41, 43] и являющихся средством для решения задач нейроинформатики [44].
Структурно-функциональные особенности и режим работы ИН зависят от области их применения, а точнее, от назначения. Так, у ИН, используемых для моделей мозга, стремятся более полно воспроизвести такие специфические свойства биологических нейронов, как абсолютная и относительная рефрактерность, фаза экзальтации, синоптическая задержка и т.п. Наоборот, ИН, предназначенные для использования в системах обработки информации, в ряде случаев могут иметь значительные отличия от биологического прототипа, пока и поскольку такие отличия приводят к повышению быстродействия, надежности, логической гибкости и других характеристик нейрокомпьютерных систем.
Несмотря на существующие различия, практически все разработанные к настоящему времени модели нейроподобных элементов представляют собой однонаправленные пороговые элементы с S(5 = 1,2,3, ... ) функциональными входами и одним выходом. Остальные признаки меняются от модели к модели [45]. В дальнейшем основное внимание будет уделено дискретным (цифровым) искусственным нейронам, поскольку современная микроэлектронная технология таких гигантов индустрии, как IBM, Mitsubishi, Siemence и др., а также многочисленных специализированных фирм США, Японии, Германии, ведущих исследования и выпускающих нейрокомпьютерную технику и продукцию нейроинформатики, ориентированы в основном на реализацию именно таких ИН. Дискретные искусственные нейроны по структурно-функциональным признакам можно разделить на нейроны без пресинаптического взаимодействия, то есть без логического взаимодействия входных волокон (шин) непосредственно друг с другом до порогового элемента нейрона, и на ИН с пресинаптическим логическим взаимодействием входных шин друг с другом. Перейдем к рассмотрению математических моделей и функциональных возможностей указанных типов ИН. У искусственных нейронов без пресинаптического взаимодействия функциональные входы соединены со входами порогового элемента при помощи только возбуждающих и тормозящих волокон (шин). В зависимости от условий возбуждения нейроны этой группы можно разделить на несколько типов. Рассмотрим основные из них. Искусственный нейрон, предложенный Мак-Калл оком и Питтсом [46], представляет собой пороговый элемент с двоичным входным алфавитом х. є{о,і} (1=1,2,3, ) и фиксированной величиной порога Т, принимающей целочисленные значения. Весовые коэффициенты возбуждающих и тормозящих входов соответственно равны +1 и —1.
Обоснование критерия оптимальности искусственной нейронной сети
Задача синтеза искусственной нейронной сети, реализующей заданную функцию F(xlfx2 ...,xs), в общем случае имеет неоднозначное решение, так как по выбранному параметрическому описанию можно построить бесчисленное множество вариантов нейронной сети, реализующих функцию F(X).
Действительно, по любому параметрическому описанию сети можно составить конечное число графически различимых диаграммных уравнений в виде совокупности диаграмм (карт, матриц) Карно, а по каждой порядковой диаграмме можно построить бесчисленное множество структурно различимых искусственных нейронов, реализующих заданный набор логических функций.
Критерием оптимальности структурно обусловленной нейронной сети многие специалисты считают минимум суммарного числа компонентов (например, узлов пресинаптического взаимодействия или волокон) у входящих в нее искусственных нейронов где nri- количество минимизируемых компонентов у /-го ИН в г-ом ранге сети.
При таком критерии оптимальности задача оптимизации нейронной сети сводится к минимизации N. Очевидно, что с технической точки зрения минимизация N приводит к уменьшению общего числа компонентов ИН, необходимых для построения ИНС, и поэтому данным критерием целесообразно пользоваться тогда, когда минимизация компонентов ИН является определяющим фактором при синтезе ИНС.
Проведенные исследования большого ряда рассмотренных в литературе ИНС показали, что как логически стабильные, так и логически надежные сети из ИН в большинстве случаев оказываются неоптимизированными в указанном выше смысле, то есть у них возможна дальнейшая минимизация N, не приводящая к искажению выходной функции F(X) сети. Это объясняется тем, что обычно минимизацию структуры нейронов проводят только на этапе синтеза ИН по пороговым диаграммам. Однако, конструктивная сложность ИН зависит также от последовательности заполнения диаграмм Карно, то есть от набора реализуемых ИН функций при изменении порога срабатывания, что, как правило, не учитывается при составлении диаграммного уравнения сети. Поэтому минимизация N возможна как при составлении порядковых диаграмм ИН, так и на последнем этапе абстрактного синтеза, уже после объединения ИН в сеть. Эта минимизация может привести к вырождению ИН, т.е. к уменьшению их логической гибкости при изменении порога в активном диапазоне.
С точки зрения автора основная цель (кроме возможных других), преследуемая при объединении ИН в сеть, - повышение надежности реализации заданной функции F(X) путем введения избыточности и адаптации сети к отказам ИН. Поэтому использование в качестве критерия оптимальности нейронной сети функционала, не зависящего от того или иного параметра надежности сети, является с этой точки зрения принципиально неверным. Можно привести много примеров, когда уменьшение N приводит к ухудшению функциональной надежности ИНС, а сети с одинаковым числом минимизируемых компонентов у ИН, но с различной конфигурацией связей между ИН имеют различную надежность.
Следовательно, оптимизация ИНС должна заключатся либо в минимизации N при заданной вероятности Р(/) безотказной реализации нейронной сетью требуемой функции F(X), либо в максимизации Р(/) при ограничении N. Но в связи с тем, что (t) является функцией времени, нельзя говорить об оптимальности сети вообще, а необходимо указать временной интервал [0,ґ], внутри которого синтезируемая ИНС оптимальна по выбранному критерию,, учитывающему надежность сети в этом интервале. Ввиду различной скорости изменения функции (t) в зависимости от t и структуры ИНС, оптимальная в одном временном интервале сеть, может оказаться далеко не оптимальной в другом временном интервале.
В соответствии со сказанным, максимизируемый функционал в интервале [0,/ ] для синтезируемой, оптимальной с точки зрения автора, ИНС с определенной структурой представляется целесообразным записать в следующем виде
Модель и расчет функциональной надежности неадаптивной к отказам нейронов искусственной нейронной сети
В данном разделе диссертации делается попытка в какой-то мере восполнить указанный выше пробел - построить модель и дать метод расчета функциональной надежности избыточных ИНС при условии, что после обучения (синтеза) в процессе работы конфигурация сети и параметры ИН (веса входов (Oj и пороги Tv) целенаправленно не изменяются, а могут быть лишь подвержены случайным изменениям (обрывы, короткие замыкания) под воздействием внешних или внутренних факторов, что может привести к изменению конфигурации сети и отказу отдельных ИН, а в конечном итоге - к отказу сети [75].
Под отказом ИНС понимается такое ее состояние, при котором значение реализуемой сетью функции на соответствующем наборе (наборах) входных переменных отличается от заданного (установленного в процессе обучения) на величину, определяемую до начала работы сети. Таким образом полагаем, что избыточная искусственная нейронная сеть функционирует безотказно до тех пор, пока в результате накопления в ней отказов ИН и связей между ними не будет израсходован соответствующий ресурс ее надёжности, заложенный в процессе формирования архитектуры и обучения (настройки) сети.
Расчет функциональной надежности ИНС будем вести исходя из следующих предложений. Любая нейронная сеть S, предназначенная для реализации функции F(x\,...jcs), состоит из N искусственных нейронов произвольного типа и сложности. Нейроны состоят из компонентов, отказы которых равновероятны, статистически независимы и имеет место экспоненциальный закон распределения времени между отказами.
Под действием очередного отказа ИНС переходит из состояния с большим ресурсом надежности либо в состояние с меньшим ресурсом, либо в состояние отказа. Обратные переходы невозможны. Сделанное предположение о простейшем потоке отказов ИН в сети справедливо для внезапных отказов в период нормальной эксплуатации и соответствует современной доктрине теории надежности. Пусть п - количество всех возможных одиночных отказов у N нейронов сети S, не приводящих, либо приводящих ИНС к отказу в указанном выше смысле. Такая сеть может находиться в конечном числе состояний (соответственно числу отказов) Е0, Ejt... , Е/, ..., Ег (г п), где через Е/ обозначено состояние, в котором у нейронов сети имеется / отказов. Состояние Ео,. . ., Er.i назовем состояниями "жизни", так как находясь в любом из них, сеть S без ошибок, оговоренных при обучении (настройке), реализует заданную функцию F(X). Состояние Ег будем называть состоянием "гибели", если находящаяся в нем сеть S реализует функцию F (X), значение которой выходит за установленные при обучении (настройке) допустимые пределы, на одном или нескольких наборах значений входных переменных.
В соответствии со сделанными ранее замечаниями поведение рассматриваемой нейронной сети характеризуется следующим образом. Если в момент времени t сеть S находится в состоянии Е/ (/ г - 1), то за последующий промежуток времени dt она с вероятностью рл=к/ (n - / )Adt может перейти в состояние Е/ + і (то есть у нейронов сети произойдет еще один отказ, не приводящий к "гибели" сети S ), с вероятностью Р/2= (1 - k/)(n - /)/ldt может перейти в состояние "гибели" Ег и с вероятностью Р/з= 1 - (n - /)Adt может остаться в состоянии Е/.
Математическая модель и расчет функциональной надежности многослойной многовыходной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными
Очевидно, что принятая система включения резерва не использует всех потенциальных возможностей повышения функциональной надежности адаптивной ИНС за счет избыточных столбцов нейронов. Однако диагностический тест и алгоритм включения резерва являются достаточно простыми, занимают мало времени и объема памяти, а сама адаптивная ИНС требует при этом относительно небольшое количество дополнительного оборудования, в частности переключающих устройств.
С технической точки зрения каждый переключатель представляет собой многоканальную систему с несколькими входами и одним выходом либо с одним входом и несколькими выходами. То есть роль переключателя выполняет искусственный нейрон без пресинаптического взаимодействия с переменными весами входов. В связи с этим под отказом переключателя будем понимать отказ одного из каналов передачи информации, считая в первом случае выход, а во втором случае вход переключателя абсолютно надежными. Очевидно, что отказ канала передачи информации в переключателе может быть выявлен с помощью простой системы контроля и переключения. Устранение действия этого отказа достигается путем переключения на работоспособный канал, то есть путем отключения основного блока, связанного с отказавшим каналом, и включения вместо него резервного блока.
В дальнейшем будем считать, что все элементы исследуемой ИНС имеют конечную надежность, поток отказов элементов является простейшим с параметром Я, отказы работающих функциональных блоков и переключателей обнаруживаются с помощью диагностического теста системой контроля и переключения сразу же после их возникновения, а время подключения резервного блока вместо отказавшего или соответствующего отказавшего канала передачи информации переключателя равно нулю. Отказы в резервных блоках, не включенных еще в состав рабочей структуры, не обнаруживаются системой контроля и перестройки и не приводят к их переключению, однако они уменьшают ресурс надежности адаптивной ИНС. Отказ устройства контроля и переключения не вызывает немедленного отказа системы, но после его появления последующий отказ любого рабочего блока в любой q -группе или переключателя приводит к проявлению отказа на выходе нейронной сети.
Для упрощения математической модели рассматриваемой адаптивной ИНС, которую обозначим SA(n,m,s), и получения удобных для машинного моделирования выражений будем полагать, что замещение отказавших основных блоков резервными внутри каждой q -группы происходит мгновенно сразу же после возникновения отказа, а вероятность отказа системы контроля и переключения много меньше, чем вероятность отказа основных элементов ИНС, поэтому данным параметром в дальнейшем можно пренебречь, хотя при необходимости учесть его не сложно [83].
Обозначим через Ек (к = 0,\,...,т) работоспособное состояние рассматриваемой ИНС SA(n,m,s) с к отказавшими блоками; Ег (г = т + \) -поглощающее состояние системы, т.е. состояние «гибели» ИНС; X-интенсивность отказов нейронов системы; АкЛ (\ к т) - интенсивность переходов системы из состояния Е4_, в состояние Ек; ВкЛ (lkm + \)-интенсивность переходов системы из состояния ЕА_, в состояние "гибели" Ег; pk{t) {0 к т + \) - вероятность нахождения системы в момент времени / в состоянии Е .
