Содержание к диссертации
Введение 5
Глава 1 Анализ современных алгоритмов программирования
искусственных нейронных сетей 10
1 Л Основные положения теории нейронных сетей 10
1.2 Математическое описание нейросетевого аппарата * 14
13 Синтез нейросетевых конфигураций как задача многомерной
оптимизации 16
L3J Обучение нейронных сетей 16
13.2 Синтез топологии сети 29
133 Вычислительные эксперименты в нейросетевом базисе 32
Современные технологии построения распределенных систем,. 34
Практическое применение нейросетевого аппарата 39
L5.1 Использование нейронных сетей в задачах медицинской
диагностики 40
132 Актуальные проблемы численного анализа
и нейронные сети 43
Постановка задач диссертационного исследования 48
Глава 2 Разработка методов реализации параллельных алгоритмов
программирования нейронных сетей в распределенных системах 50
2 Л Анализ базовых нейросетевых процедур 51
Синтез обобщенного нейросетевого алгоритма 58
Разработка представления распределенной системы 64
2.4. Создание методов отображения обобщенного нейросетевого
алгоритма на распределенную систему 69
2,4.1 Отображение на уровне нейронных процедур 69
2.4.2 Отображение науровне нейросетевых конфигураций 72
2.5 Стратегия решения нейросетевой задачи в распределенной
системе 75
Выводы 76
Глава 3 Разработка архитектуры распределенного программного
комплекса нейросетевых вычислений 77
ЗЛ Функциональная архитектура 78
Структурная архитектура 81
Внутренняя организация сервисов 88
Проблемы надежности распределенной системы 95
Выбор платформы» тестирование 96
Выводы , , , 100
Глава 4 Разработка тестовых процедур оценки эффективности распределенного комплекса на основе типовых нейросетевых задач „. 101
Конфигурация тестового полигона 101
Тестовая процедура на основе задачи диагностики пароксизмов мерцательной аритмии 102
4.3 Тестовая процедура на основе решения некорректных задач ... 108
4-3 Генерация многомерных тестовых распределений , 128
Выводы , 130
Заключение 131
Библиографический список - 133
Список используемых сокращений 145
Приложение 1 Инструкция по установке программного комплекса
параллельных нейросетевых вычислений 146
Приложение 2 Диаграммы классов программного комплекса
параллельных нейросетевых вычислений 151
Приложение 3 Акты использования разработанной системы в
практической деятельности 154
Введение к работе
Актуальность темы. В последние годы в ряде областей, как традиционно относящихся к точным наукам, так и в биологии, медицине, психологии, где по объективным и историческим причинам отсутствует строгая формализация знаний, перспективным является использование универсальных аппроксиматоров широкого класса многомерных нелинейных функций — искусственных нейронных сетей, относящихся к классу MLP (МиШ Layer Perceptron — многослойный персептрон) и допускающих как программную, так и аппаратную реализацию. Одной из основных проблем использования нейронных сетей являются высокие требования к вычислительным ресурсам, так как в процессе программирования нейронных сетей приходится многократно производить процедуры глобальной нелинейной оптимизации.
Одним из путей решения этой проблемы является развитие теоретической базы нейронных сетей в области совершенствования алгоритмов глобальной нелинейной оптимизации. Другой путь - использование технологии параллельных вычислений.
Нейронные сети, относящиеся к классу MLP и обучающиеся по методу обратного распространения ошибки, обладают хорошими возможностями для распараллеливания. Обычно выделяют параллелизм на уровне сети в целом, параллелизм на уровне нейронов и параллелизм на уровне синапсов. При этом традиционно для реализации каждого из данных типов параллелизма используются многопроцессорные вычислительные системы или специализированные параллельные машины.
В современных социально-экономических условиях в связи с появлением быстро растущего парка персональных компьютеров и развитием сетевых технологий альтернативой использования специализированных машин может стать технология массивно-параллельных неиросетевых вычислений с использованием ресурсов локальных и глобальных сетей. При таком подходе
основной задачей является организация распределенной системы, в которой доступные локальные .ресурсы используются с максимальной эффективностью и разработка методов управления параллельными процессами при программировании нейронных сетей в данной распределенной среде.
Таким образом, разработка методов реализации параллельных алгоритмов программирования нейронных сетей в распределенных средах и создание инструментальных средств параллельного неиросетевого программирования является актуальной задачей.
Диссертационная работа выполнена в рамках научного направления Воронежского государственного технического университета - "Вычислительные системы и программно-аппаратные электротехнические комплексы".
Цель и задачи исследования. Целью работы является разработка средств специального математического и программного обеспечения массивно-параллельных вычислений на базе аппарата нейронных сетей, позволяющих повысить эффективность решения нейросетевых задач в распределенных средах, а также апробация разработанных методов применительно к задачам медицинской диагностики и численного анализа.
В соответствии с данными целями были поставлены следующие основные задачи исследования:
Осуществить анализ современных подходов к построению распределенных систем, а также методов организации параллельных вычислений на базе аппарата нейронных сетей,
Разработать средства специального математического и программного обеспечения массивно-параллельных вычислений на базе нейросетевых технологий, способных эффективно применяться в распределенных системах,
Разработать программно-алгоритмические методы синтеза адаптивной процедуры формирования стратегии параллельного решения нейросетевой задачи в зависимости от специфики распределенной
системы.
На базе системной методологии разработать структуру и создать компьютерную систему параллельного решения нейросетевых задач, способную адаптироваться к заданной конфигурации распределенной среды,
Разработать систему тестовых процедур, способных оценить эффективность параллельного решения задачи при заданной конфигурации распределенной системы.
Осуществить апробацию компьютерной системы применительно к задачам медицинской диагностики (осуществление прогнозирования нарушений сердечного ритма у больных ишемической болезнью сердца) и численного анализа (задачи обращения плохо обусловленных матриц, возникающих при дискретизации линейных некорректных задач).
Методы исследования. В работе использованы методы системного анализа, теории искусственных нейронных сетей, параллельных и распределенных вычислений, математического анализа, линейной алгебры, методы теории графов, объектно-ориентированного программирования.
Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной:
- методы построения обобщенного алгоритма решения нейросетевой
задачи, особенностью которых является учет возможностей парал
лельных реализаций на уровнях динамического формирования
структуры сети и проведения вычислительных экспериментов с син
тезируемыми нейросетевыми конфигурациями;
— средства специального математического и программного обеспече
ния массивно-параллельных вычислений в распределенных средах
на базе аппарата нейронных сетей, отличающиеся возможностью
идентификации параметров аппаратных ресурсов каждого элемента
распределенной среды и характеристик каналов связи для целей повышения эффективности отображения нейросетевой задачи;
эвристическая процедура формирования стратегии параллельного решения нейросетевой задачи, характеризующаяся возможностью адаптации вычислительного процесса к изменениям распределенной среды;
струюура компьютерной системы массивно-параллельных вычислений в распределенных средах, отличающаяся возможностью интегрировать в унифицированную вычислительную среду совокупность вычислительных узлов, каящый из которых обладает индивидуальными аппаратными и программными характеристиками;
набор тестовых процедур, позволяющих оценить эффективность решения вычислительной нейросетевой задачи в сформированной распределенной среде.
Практическая значимость работы. Практическая значимость работы заключается в создании специального программного обеспечения, повышающего эффективность процессов нейросетевой обработки данных и знаний за счет организации массивно-параллельных вычислений в распределенной системе.
Реализация результатов работы. Разработанный программный комплекс решения сложных нейросетевых задач, адаптированный для диагностики нарушений сердечного ритма, внедрен в практическую деятельность городской клинической больницы № 9 (БСМП). Материалы диссертации используются в учебном процессе Воронежского государственного технического университета при обучении студентов специальности 220100 в курсах "Системы искусственного интеллекта" и "Теория принятия решений".
Апробация работы. Основные положения диссертации докладывались и обсуждались на международной научной конференции "Математические
методы в технике и технологиях" (Смоленск, 2001; Ростов н/Д, 2003), международной научно-технической конференции и Российской научной школе молодых ученых и специалистов "Системные проблемы качества, математического моделирования, информационных, электронных и лазерных технологий" (Сочи, 2002), V-VIII Республиканских научных конференциях "Современные проблемы информатизации" (Воронеж, 2000-2003), а также на научных семинарах кафедры ABC ВГТУ (Воронеж, 2000-2003).
Публикации, По результатам исследований опубликовано 17 печатных работ, в том числе 3 без соавторов. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателем предложены: в [I -2, 14] основные принципы параллельных вычислений в распределенных системах на базе нейронных сетей, в [3 - 5, 13] методы построения инструментального программного комплекса нейросетевых вычислений, в [9 - 12, 15-17] применение аппарата нейронных сетей для решения практических задач в областях медицинской диагностики, численного анализа и адаптивного управления.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, трех приложений, изложена на 132 листах машинописного текста, содержит список литературы из 116 наименований, 45 рисунков, 17 таблиц.
