Содержание к диссертации
Введение
1. Система распознавания летательных аппаратов 12
1.1. Задача распознавания летательных аппаратов 12
1.2. Источники информации о поверхности летательных аппаратов 14
1.3. Методы формирования пространства признаков изображений летательных аппаратов 17
1.4. Методы распознавания образов по значениям информативных признаков 27
1.5. Выводы 32
2. Разработка и экспериментальные исследования алгоритмов распознавания летательных аппаратов 33
2.1. Алгоритмы вычисления информативных признаков контрастных изображений летательных аппаратов 33
2.2. Алгоритмы распознавания летательных аппаратов по значениям информативных признаков контрастных изображений 38
2.3. Постановка задачи исследования алгоритмов распознавания летательных аппаратов по контрастным изображениям 48
2.4. Результаты экспериментов 53
2.5. Вычислительные затраты на синтез системы распознавания летательных аппаратов 57
2.6. Выводы 62
3. Методы и средства реализации алгоритмов обучения нейронной сети 63
3.1. Реализация алгоритмов обучения нейронной сети в многопроцессорных вычислительных системах 63
3.2. Алгоритм обучения нейронной сети и методы его распараллеливания 66
3.3. Выводы 75
4. Разработка архитектуры распределенной вычислительной среды 76
4.1. Реализация алгоритма обратного распространения ошибки средствами локальной вычислительной сети 76
4.2. Организация обмена данным между процессорными узлами распределенной вычислительной среды 91
4.3. Архитектура и программное обеспечение распределенной вычислительной среды 103
4.4. Выводы 113
Заключение 114
Литература 116
- Методы формирования пространства признаков изображений летательных аппаратов
- Алгоритмы распознавания летательных аппаратов по значениям информативных признаков контрастных изображений
- Вычислительные затраты на синтез системы распознавания летательных аппаратов
- Алгоритм обучения нейронной сети и методы его распараллеливания
Введение к работе
Интенсивное развитие вычислительной техники и искусственного интеллекта вызвало появление практического интереса к реализации систем распознавания образов. В настоящее время большое значение приобретает задача построения системы распознавания летательных аппаратов (ЛА). Актуальность этой задачи определяется необходимостью предотвращения применения средств противовоздушной обороны против объектов гражданской авиации. Особое значение приобретают системы распознавания ЛА, получающие информацию о поверхности объекта в оптическом диапазоне электромагнитного излучения с использованием телевизионных, тепловизионных и лазерных локационных систем, которые обладают следующими свойствами:
слабая чувствительность к уровню электромагнитных помех;
возможность работы телевизионных и тепловизионных систем в режиме пассивной локации;
возможность распознавания Л А независимо от технического состояния его бортового оборудования.
Сложность задачи распознавания ЛА обусловлена рядом особенностей:
значительный объем данных, содержащийся в изображениях ЛА;
жесткие требования к быстродействию системы распознавания ЛА, обусловленные высокой скоростью перемещения ЛА и сравнительно небольшой дальностью действия телевизионных и тепловизионных систем;
большое разнообразие изображений ЛА одного типа, обусловленное различными условиями наблюдения, расположением и пространственной ориентацией ЛА относительно системы наблюдения.
Требования к быстродействию системы распознавания ЛА связаны не столько со скоростью принятия решения, сколько с возможностью обобщения решений, принятых в нескольких последовательных циклах локации, с целью повышения качества распознавания Л А. Требования к быстродействию системы распознавания Л А определяют коренные отличия этой системы от существующих систем распознавания человека по изображению лица, наиболее близких по характеру исходной информации. В отличие от систем распознавания лиц, в которых требуется обеспечить простоту наращивания числа распознаваемых объектов, от системы распознавания ЛА требуется высокая скорость принятия решения. Наилучшим образом этому требованию соответствуют нейросетевые алгоритмы распознавания образов, отличающиеся богатыми функциональными возможностями, простотой реализации и внутренним детерминизмом. Нейросетевые алгоритмы могут быть эффективно реализованы в параллельных вычислительных системах, а также в виде аналоговых и аналогово-цифровых схем.
Необходимо отметить, что применение столь простых и удобных моделей в системе распознавания становится возможным лишь за счет значительных затрат на этапе обучения нейронной сети (НС), выполняемого при синтезе системы распознавания. Важнейшим условием применимости моделей НС для решения практических задач распознавания образов является обеспечение приемлемой длительности обучения НС. Существует несколько подходов, позволяющих уменьшить временные затраты на обучение НС:
совершенствование алгоритма обучения НС;
сокращение размерности задачи обучения НС;
ускорение выполнения алгоритмов обучения НС за счет применения параллельных вычислительных средств.
Выбор и модификация алгоритма обучения НС является одной из наиболее сложных задач теории нейронных сетей, поскольку свойства алгоритма обучения НС в значительной степени определяют качество обученной НС. Сравнение качества решений, получаемых при помощи различных алгоритмов обучения НС, часто оказывается невозможным, так как показатели качества распознавания объектов при помощи НС определяются для определенных условий эксплуатации, которые не всегда корректно воспроизводятся при помощи математических моделей.
Уменьшение размерности задачи обучения НС достигается в основном за счет преобразования исходных признаков объекта, например, его изображения, в новое пространство признаков, которое отличается от исходного меньшей размерностью, инвариантностью к различным формам представления одного и того же объекта, простотой разделения образов. В результате этих преобразований уменьшается объем обучающей выборки, число нейронов и настраиваемых параметров НС. Несмотря на то, что модель нейронной сети как таковая не требует каких-либо преобразований исходных данных, использование этой особенности на практике приводит как к неприемлемому уровню затрат на обучение НС, так и к снижению качества распознавания образов.
Применение параллельных вычислительных систем позволяет существенно ускорить процесс обучения НС. Этот подход порождает ряд специфических требований как к архитектуре вычислительной системы, так и к ее программному обеспечению, поскольку значительная часть алгоритмов обучения НС, включая классический алгоритм обратного распространения ошибки, не обладает явным параллелизмом, характерным для моделей НС. В настоящее время наибольший интерес с точки зрения параллельной реализации алгоритмов обучения НС представляют параллельные вычислительные системы, создаваемые на основе сетей персональных ЭВМ (ПЭВМ). Актуальность этого подхода определяется:
высокой производительностью современных ПЭВМ;
экономической эффективностью, обусловленной возможностью использования для обучения НС существующих сетей ПЭВМ;
простотой изменения алгоритмов, используемых для обучения НС;
возможностью применения в составе ПЭВМ дополнительных аппаратных компонентов, ускоряющих обучение НС;
возможностью использования аппаратных ресурсов системы для решения других задач, возникающих при синтезе системы распознавания ЛА.
Для решения задач, возникающих в процессе синтеза систем распознавания ЛА, необходимо на основе сети ПЭВМ построить распределенную вычислительную среду (РВС), позволяющую рационально использовать ресурсы ПЭВМ и сетевых каналов для решения следующих задач:
синтез математических моделей поверхностей распознаваемых Л А;
синтез изображений ЛА с использованием математических моделей ЛА, атмосферного и приемного каналов;
реализация алгоритмов первичной обработки и вычисления значений информативных признаков изображений ЛА;
автоматическая генерация обучающих и контрольных выборок для обучения и тестирования НС;
реализация алгоритмов обучения для НС с различной структурой;
выполнение статистических испытаний НС одновременно с ее обучением для достижения оптимального обучения НС;
проведение статистических испытаний системы распознавания ЛА для оценки показателей ее надежности и точности.
Наиболее сложной, с точки зрения объема вычислений и сложности реализации, является задача обучения НС, поэтому настоящая работа ориентирована на создание РВС для реализации алгоритмов обучения НС.
Актуальность темы обусловлена необходимостью применения нейросетевых алгоритмов в системах распознавания ЛА, предназначенных для повышения надежности средств противовоздушной обороны. Синтез системы распознавания ЛА возможен при условии обеспечения приемлемой длительности процесса обучения НС. Разработка распределенной вычислительной среды на основе существующих сетей ЭВМ обеспечивает ускорение обучения НС при минимальных затратах на дополнительное оборудование, хотя и не исключает применения специализированных аппаратных компонентов для дополнительного увеличения быстродействия вычислительной системы.
Целью работы является разработка архитектуры распределенной вычислительной среды для синтеза систем распознавания летательных аппаратов Цель работы предполагает решение следующих задач:
Разработка архитектуры распределенной вычислительной среды, позволяющей ускорить обучение нейронных сетей.
Исследование потоков данных, передаваемых по сетевому каналу в распределенных реализациях алгоритма обучения нейронных сетей.
Исследование влияния числа процессорных узлов распределенной вычислительной среды на скорость обучения нейронной сети.
Оценка оптимального числа процессорных узлов распределенной вычислительной среды, предназначенной для обучения нейронных сетей.
Разработка широковещательного сетевого протокола с гарантированной доставкой пакетов для обучения нейронных сетей в распределенной вычислительной среде.
Исследование влияния организации и технических характеристик сетевого канала на скорость обучения нейронных сетей в распределенной вычислительной среде.
Методы исследования. В работе использовались методы теории синтеза дискретных систем, нейроматематики, математической статистики и объектно-ориентированного программирования.
Научная новизна работы.
Предложена архитектура распределенной вычислительной среды, предназначенной для решения задач синтеза системы распознавания Л А, которая позволяет сократить длительность обучения НС средствами сети ЭВМ.
На основе проведенного анализа потоков данных в сетевом канале распределенной вычислительной среды разработан широковещательный сетевой протокол с гарантированной доставкой данных, отличающийся от стандартных протоколов применением узла коммутации оповещений, который позволяет повысить эффективность использования сетевого канала в распределенной вычислительной среде.
Предложены новые способы распараллеливания алгоритма обучения НС, адаптированные для распределенной вычислительной среды, которые позволяют повысить скорость обучения НС на различных этапах синтеза системы распознавания летательных аппаратов.
Защищаемые положения.
Архитектура распределенной вычислительной среды для синтеза системы распознавания летательных аппаратов.
Широковещательный сетевой протокол с гарантированной доставкой пакетов для реализации алгоритма обучения нейронной сети в распределенной вычислительной среде.
Алгоритм вычисления информативных признаков изображений ЛА.
Результаты решения задачи распознавания летательных аппаратов с использованием нейронной сети.
Практическая ценность работы, Результаты работы реализованы в НИР «Юпитер» и «Изображение», выполненных в НИМ Радиоэлектоники и Лазерной техники МГТУ им. Н.Э. Баумана.
Апробация работы. Основные результаты работы докладывались автором на всероссийской конференции «Нейрокомпьютеры и их применение» (Москва, 2000г.) и на международной конференции «Advanced Computer Systems» (Шецин, 2001г.).
Публикации. По результатам работы опубликованы четыре печатные работы.
Личный вклад автора работы. Результаты, представленные в диссертационной работе, получены автором самостоятельно. Для получения экспериментальных данных, представленных во второй главе диссертации, были использованы математические модели поверхностей летательных аппаратов F16 и МиГ-31, предоставленные автору работы научно-исследовательским институтом Радиоэлектроники и лазерной техники Московского государственного технического университета им. Н.Э. Баумана.
Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы.
Содержание работы.
Во введении обосновывается выбор темы диссертации. В первой главе проведен анализ методов получения информации о поверхности ЛА для решения задачи распознавания. Выявлены недостатки существующих подходов к проблеме распознавания изображений применительно к задаче распознавания ЛА. Предложено использовать для распознавания Л А признаки контрастных изображений, инвариантные к афинным преобразованиям изображения. Проведен анализ методов распознавания образов по значениям информативных признаков, который обосновывает выбор НС для построения системы распознавания Л А.
Во второй главе предложен алгоритм вычисления признаков изображения Л А, основанный на нахождении центра тяжести силуэта объекта, оценке относительного коэффициента масштаба изображения, преобразовании исходного изображения в полярную систему координат и вычислении одномерных спектров дискретного преобразования Фурье. Показано, что свойства предложенных преобразований используются для обеспечения инвариантности вычисляемых признаков к афинным преобразованиям исходного изображения. Приводятся результаты экспериментов, в которых решалась задача распознавания тестовых изображений ЛА F16 и МиГ-31 по их контрастным изображениям. По результатам экспериментов обосновывается выбор структуры и параметров НС, проверяется корректность алгоритма вычисления признаков изображений.
В третьей главе приводится анализ существуюших средств реализации нейросетевых алгоритмов с точки зрения их использования для обучения НС. Анализируются основные подходы к решению проблемы распараллеливания алгоритма обратного распространения ошибки.
В четвертой главе предлагаются четыре способа распараллеливания алгоритма обратного распространения ошибки для его реализации средствами гомогенной ЛВС. Вводятся оценки длительности выполнения одного шага алгоритма для сетевых каналов с топологией "звезда" и "общая шина". Предложенные оценки используются для определения оптимального числа процессорных узлов сети, выбора ее топологии и способа распараллеливания алгоритма обратного распространения ошибки. Предложен широковещательный сетевой протокол передачи данных для реализации алгоритма обратного распространения ошибки в РВС. Описана предлагаемая архитектура РВС и принципы построения ее программного обеспечения.
Методы формирования пространства признаков изображений летательных аппаратов
Рассмотрим процесс формирования изображения в ТВК. Зададим декартову систему координат (СК) Oxyz таким образом, чтобы поверхность светочувствительного элемента лежала в плоскости хОу, а ось Oz совпадала с осью оптической системы. Положение объекта, заданного в той же СК, определяется координатами геометрического центра этого объекта (jfQ Fo o) єґ2, где П - зона видимости ТВК. Изображение объекта, формируемое оптической системой на поверхности светочувствительного элемента, описывается функцией распределения интенсивности излучения U(x,y), определенной в прямоугольной области [12]: Изображение диффузно-рассеивающего объекта [13], ограниченного поверхностью Г, содержит информацию только о видимой части поверхности объекта Г с Г. Кроме того, существует невидимая часть поверхности объекта Г , которая не оказывает влияния на вид функции U{x,y) причем Г \jr = Г - разбиение поверхности трехмерного объекта на видимую и невидимую части, зависящее от ориентации объекта в пространстве. Известно, что ориентация объекта в пространстве полностью описывается совокупностью трех углов Эйлера [14], однако все физически реализуемые разбиения поверхности объекта на видимую и невидимую части полностью описываются двумя угловыми параметрами \Д ); определяющими соответственно азимутальный и угломестныи поворот объекта. Сочетания значений параметров (/?,") однозначно определяют информационные ракурсы объекта. Для описания всех возможных вариантов ориентации объекта определим третий угловой параметр у как поворот объекта вокруг оси оптической системы. Отметим, что такой поворот объекта вокруг оси оптической системы будет приводить к повороту его изображения на угол у вокруг центра светочувствительного элемента.
Изменения координат центра объекта приводят к параллельному переносу и масштабированию изображения объекта. По законам геометрической оптики координаты проекции центра объекта на его изображении (#о,Уо)опРеДеляются выражениями: Таким образом, все возможные для заданного информационного ракурса объекта (/?,") изображения эквивалентны с точки зрения информации о поверхности объекта и могут быть получены друг из друга в результате афинных преобразований системы координат изображения. Пусть цифровое изображение трехмерного объекта, полученное в результате дискретизации [15] функции U(x,y) равномерной прямоугольной пространстве признаков М(/") с R включает векторы признаков, полученные в результате регистрации изображения объекта при всех возможных условиях наблюдения и сочетаниях параметров (ft,e,y,XQ,yQ,ZQ). Конфигурация образов М(/ ) оказывается настолько сложной, что практическое применение описанного метода формирования пространства признаков становится возможным лишь в тех случаях, когда существует возможность ограничить область изменения параметров (y?,,/,XQ, Q,zo), например при решении некоторых задач в области распознавания лиц [16, 17]. В других случаях требуется обеспечить инвариантность системы распознавания объекта к условиям наблюдения, ориентации и положению объекта в пространстве. Существует два способа решения этой проблемы при синтезе системы распознавания; использование большого числа примеров изображений каждого объекта при формировании обучающей выборки; вычисление признаков, инвариантных к возможным изменениям условий наблюдения, ориентации и положения объекта в пространстве.
Очевидно, что второй способ позволяет существенно уменьшить сложность задачи синтеза системы распознавания, однако его применение не всегда возможно. Выше было отмечено, что информационный ракурс объекта уникален с точки зрения информации о его поверхности, поэтому формирование признаков, инвариантных к значениям параметров іР,є) невозможно [18]. Получение признаков, инвариантных к условиям наблюдения, часто оказывается невозможным из-за отсутствия информации о расположении источников света и их характеристиках [19]. В системах распознавания лиц инвариантность к условиям наблюдения достигается специальными методами обработки изображения (применение дифференциальных преобразований, стандартизация числовых характеристик распределения интенсивности изображения) при существенных ограничениях на условия применения системы. Выше было отмечено, что при решении задачи распознавания ЛА распределение интенсивности внутри изображения контура объекта оказывается малоинформативным, поэтому изображение Л А можно подвергнуть бинарному кодированию. Для этого необходимо для каждого элемента изображения определить его принадлежность фону или поверхности объекта. В простых случаях для решения этой задачи используется квантование или пороговая обработка изображения, в более сложных случаях применяются методы, основанные на анализе окрестности исследуемого элемента изображения с точки зрения ее текстурных, анизотропных или иных признаков. При выполнении бинарного кодирования изображения его фоновые элементы кодируются значением «О», а элементы поверхности объекта -значением «1». Полученное в результате бинарного кодирования контрастное изображение содержит силуэт объекта, инвариантный к условиям наблюдения. Отметим, что бинарное кодирование изображения приводит к частичной потере информации о поверхности объекта. Изменения параметров (xQ,yQ,ZQ,/j приводят к афинным преобразованиям системы координат исходного изображения объекта в заданном информационном ракурсе. Восстановление исходного изображения объекта возможно, если известны значения параметров этого преобразования [Ax,Ay,S,y). Значения этих параметров обычно неизвестны априори, однако в ряде случаев удается оценить их по изображению, В системах распознавания лиц широко используется метод стандартизации изображения по расположению глаз. Очевидно, что для оценки параметров афинного преобразования изображения достаточно локализовать две характерные точки этого изображения, для которых известны координаты на исходном изображении. При решении задачи распознавания ЛА локализация характерных фрагментов изображения затруднена разнообразием формы объектов и их информационных ракурсов. Тем не менее, для контрастных изображений существует надежный метод подавления сдвига изображения, основанный на параллельном переносе начала отсчета СК изображения в точку центра тяжести силуэта объекта [20].
Алгоритмы распознавания летательных аппаратов по значениям информативных признаков контрастных изображений
Для принятия решения о принадлежности Л А к определенному классу по значениям информативных признаков контрастного изображения объекта в настоящей работе предлагается использовать нейросетевые алгоритмы. К классу нейросетевых алгоритмов относятся алгоритмы, использующие для обработки данных модель искусственной НС [34], Для спецификации модели искусственной НС используются следующие параметры: число входов НС; число выходов НС; число нейронов и их модели; структура НС.
Число входов НС обычно соответствует размерности пространства признаков. Число выходов НС зависит от числа распознаваемых классов объектов и способа интерпретации отклика НС. Модель искусственного нейрона обычно представляется в виде функционала »(x;w): lR xR [ R, где L - размерность входного вектора; М- размерность вектора параметров; xeR - входной вектор; w є R - вектор параметров нейронов, значения которых вычисляются на этапе обучения, когда происходит настройка НС на решение конкретной задачи.
В области распознавания образов в основном используются модели нейронов на базе сжимающих [35] отображений вида: c(x;w): RL xRMJ-»[zmin;zmax], zmin,zmax eR; иногда - в сочетании с линейными операторами, основанными на скалярном произведении векторов (x,w). В классе сжимающих отображений обычно выделяются подклассы монотонных и унимодальных функций, порождающие НС с различными свойствами. Различия в свойствах, таких НС проявляются в ситуации, когда для распознавания предъявляется образ "неизвестного" объекта, не вошедшего в обучающую выборку при настройке параметров сети. В этом случае НС, построенные в базисе унимодальных функций, позволяют распознавать объект как "неизвестный", в то время как НС, построенные в базисе монотонных функций, склонны относить объект к одному из известных классов.
Структура НС определяет порядок соединения нейронов с другими нейронами, входами и выходами НС и, в общем случае, может быть описана средствами графо-аналитических и табличных моделей. Существуют два класса структур НС: НС с обратными связями и НС прямого распространения. Эти классы НС существенно отличаются как свойствами, так и методами обучения. НС с обратными связями обычно характеризуются нетривиальными методами обучения и используются для решения задач автоматического управления, прогнозирования, экстраполяции, генерации случайных последовательностей.
Для решения задач распознавания образов чаще используются сети прямого распространения, не содержащие обратных связей. Обучение таких сетей сводится к решению задачи нелинейной оптимизации. Как правило НС прямого распространения имеют многослойную организацию. Под слоем нейронов понимается множество однотипных нейронов, имеющих общие входы [36]. В многослойных НС вектор признаков является входным вектором для первого слоя нейронов, выходы нейронов каждого слоя, за исключением последнего, являются входами нейронов следующего слоя. Число нейронов последнего - выходного слоя определяется числом выходов НС. Размерности остальных - внутренних слоев, как и общее число слоев, определяются экспериментально при обучении НС.
Известно, что двухслойная организация НС принципиально позволяет распознавать образы, имеющие произвольную конфигурацию в пространстве признаков. Такая модель НС удобна с точки зрения ее реализации, так как имеет наивысший уровень внутреннего параллелизма, который чаще всего оказывается избыточным для современной элементной базы, поэтому в ряде случаев предпочтительным оказывается применение НС с большим числом слоев. При определении оптимальных значений таких параметров структуры многослойных НС, как число и размерность слоев, широко используется гипотеза о монотонности показателей качества функционирования НС относительно этих параметров [37].
При большой размерности входного вектора основные сложности применения двухслойной НС связаны с высокими затратами на ее обучение. Наращивание числа слоев НС позволяет уменьшить эти затраты на ее обучение за счет уменьшения размерности первого слоя. Невысокая эффективность этого подхода связана с тем, что при обучении двух НС с различным числом слоев, но с одинаковым числом настраиваемых параметров, затраты на обучение сети с большим числом слоев часто оказываются выше.
Более эффективное решение заключается в декомпозиции входного вектора и допускает несколько вариантов реализации [38]. Применение декомпозиции особенно характерно для задач распознавания изображений, так как его признаки изначально имеют матричную организацию и допускают использование для распознавания отдельных элементов матриц: столбцов и строк. Этот метод имеет биологическую аналогию, поскольку зрительные нейроны мозга воспринимают лишь небольшую часть изображения, попадающую в их рецептивные поля. Наиболее эффективный, с точки зрения уменьшения затрат на обучение НС, вариант декомпозиции входного вектора сводится к обучению нескольких НС на отдельных фрагментах векторов обучающей выборки. Таким образом, решение сложной задачи сводится к решению множества относительно простых независимых задач оптимизации.
В результате распознавания фрагментов входного вектора несколькими НС получается множество откликов, которые необходимо обобщить для принятия решения о принадлежности объекта к какому-либо классу. Обобщенное решение может быть получено с использованием аппарата НС, мажоритарной или нечеткой логики. Основная проблема обобщения откликов множества НС заключается в невозможности оценки достоверности отдельного отклика, поэтому описанный метод дает хорошие результаты лишь в тех случаях, когда известны относительные оценки информативности тех фрагментов входного вектора, которые используются для обучения отдельных НС.
В остальных случаях множество НС должно быть объединено в единую НС дополнительным выходным слоем нейронов. Полученная таким образом НС (рис. 2,1.,.2.4) отличается от обычной многослойной НС относительно небольшой связностью между слоями, что с одной стороны позитивно сказывается на скорости обучения, а с другой стороны — не препятствует достижению высоких значений показателей качества распознавания.
Еще один вариант многослойных НС с пониженной связностью рассматривается в теории быстрых НС, использующей идеи и структурные модели алгоритмов быстрых дискретных ортогональных преобразований. Интерес к подобным структурам связан с получением эффективных вычислительных моделей НС. Основные недостатки этого подхода связаны с тем, что назначение рецептивных полей нейронов в быстрых НС происходит формально, без учета семантики признаков.
Вычислительные затраты на синтез системы распознавания летательных аппаратов
Значения длительности выполнения различных этапов синтеза системы распознавания ЛА для тестовых объектов, приведенные в табл.2.4 позволяют сделать вывод о том, что значительная часть (56%) времени расходуется на обучение НС. При решении реальных задач распознавания Л А требуется синтезировать систему распознавания для большего числа типов ЛА и более широкого диапазона изменения ракурса. Кроме того, необходимо проводить статистические испытания синтезированной системы распознавания на большой выборке изображений, обеспечивающей представительность с точки зрения ракурса объекта и шумовых искажений их изображений. При выборе структуры нейронной сети также целесообразно проводить статистические испытания НС с различной структурой.
При увеличении числа распознаваемых объектов и диапазона изменения ракурса наблюдается различный характер изменения длительности выполнения отдельных этапов синтеза системы распознавания. Временные затраты на подготовку исходных данных увеличиваются пропорционально объему генерируемых выборок Р = N d, где N - число типов распознаваемых Л A, d - число ракурсов, представленных в данной выборке.
Длительность выполнения каждого шага алгоритма обучения изменяется пропорционально объему обучающей выборки. Число нейронов в выходном слое НС должно быть равно числу типов распознаваемых Л А. При увеличении разнообразия данных в обучающей выборке для оптимального обучения НС требуется выполнение большего числа шагов алгоритма обучения НС, что приводит к дополнительным временным затратам. Кроме того, наблюдается снижение качества распознавания ЛА, что приводит к необходимости наращивания числа нейронов во внутренних слоях НС и , как следствие, размерности задачи обучения НС. Длительность выполнения одного шага алгоритма обратного распространения ошибки связан с размерностью задачи обучения линейной зависимостью, однако увеличение размерности обычно приводит к значительному увеличению числа шагов алгоритма обучения НС, необходимых для оптимального обучения НС.
Длительность выполнения статистических испытаний определяется числом примеров распознаваемых изображений ЛА, необходимых для получения оценки вероятности правильного распознавания с требуемой точностью. Временные затраты на выполнение статистических испытаний возрастают с увеличением числа типов распознаваемых Л А, диапазона изменения ракурса и интенсивности шумовых искажений изображений Л А.
При выполнении синтеза системы распознавания ЛА на одной ЭВМ вычислительные процессы, реализующие различные этапы синтеза, выполнялись последовательно. Очевидно, что последовательность выполнения этапов не может быть изменена, поскольку на каждом этапе осуществляется подготовка исходных данных для следующих этапов. По той же причине невозможным оказывается параллельное выполнение нескольких этапов, следовательно для ускорения синтеза системы распознавания необходимо обеспечить параллельное выполнение операций в пределах отдельных его этапов.
При подготовке исходных данных для синтеза системы распознавания выполняется множество операций вычисления значений векторов информативных признаков изображений ЛА для заданного типа и ракурса ЛА. Эти операции взаимно не связаны, детерминированы и могут быть выполнены параллельно. Наиболее рациональным оказывается распараллеливание на уровне типов ЛА, поскольку в этом случае минимизируется число моделей ЛА, используемых на различных процессорных узлах. Практическая значимость ускорения подготовки исходных данных невысока, поскольку этот этап выполняется однократно и имеет сравнительно небольшую длительность, однако те же принципы распараллеливания могут быть использованы при выполнении статистических испытаний.
На этапе выбора структуры НС выполняется множество операций обучения НС с различной структурой на ограниченной обучающей выборке. Эти операции также могут быть выполнены параллельно, однако длительность их выполнения заранее не известна. Выбор структуры НС -отдельная исследовательская задача, которая может быть решена для достаточно широкого класса систем распознавания ЛА таким образом, что при синтезе конкретной системы распознавания достаточно будет экспериментально определить оптимальное число нейронов во внутренних слоях НС с определенной структурой.
В таком случае наибольшую актуальность приобретает ускорение обучения НС. Алгоритм обратного распространения ошибки, используемый для обучения НС, представляет собой итеративную процедуру коррекции параметров НС. Существуют методы распараллеливания этого алгоритма, позволяющие эффективно реализовывать обучение НС большой размерност в многопроцессорных вычислительных системах. Проблема распараллеливания алгоритма обучения НС подробно рассматривается в следующих главах настоящей работы.
Дополнительным источником параллелизма при обучении НС является операция определения оптимальности уровня обучения. Процесс обучения НС необходимо контролировать для того, чтобы предотвратить эффект переобучения НС. Возникновение этого эффекта объясняется малым числом нейронов в обучаемой НС, противоречивостью или недостаточной представительностью обучающей выборки. Эффект переобучения НС выражается в снижение устойчивости НС к малым возмущениям входных данных при продолжении обучения после достижения определенного значения вероятности правильного распознавания для заданных условий эксплуатации. Наилучший способ контроля обучения НС - статистические испытания. При выполнении обучения НС на одной ЭВМ процесс обучения периодически прерывается для выполнения статистических испытаний НС. Обучение прекращается при уменьшении значения оценки вероятности правильного распознавания, получаемой в результате статистических испытаний. В многомашинной среде существует возможность выполнения статистических испытаний на нескольких ЭВМ параллельно с обучением НС. Таким образом удается сократить длительность обучения НС и улучшить качество обучения за счет вычисления более точных оценок вероятности правильного распознавания.
Ускорение обучения НС приобретает особое значение при необходимости оперативной адаптации системы распознавания к конкретным условиям применения, поскольку для этого требуется повторное обучение НС. Такая необходимость возникает в связи с тем, что учет ограничений на тип Л А или его ориентацию в пространстве, справедливых для конкретных условий применения, позволяет повысить быстродействие и качество работы системы распознавания ЛА.
Алгоритм обучения нейронной сети и методы его распараллеливания
В значительной части работ, посвященных применению НС в области распознавания изображений, используются модели многослойных персептронов. В настоящей работе задача обучения НС будет рассмотрена применительно к двухслойному персептрону [55], так как: 1. доказано, что наличие двух слоев нейронов обеспечивает аппроксимацию любых задач распознавания образов; 2. двухслойная НС наиболее предпочтительна с точки зрения реализации высокопроизводительных систем распознавания изображений из-за высокого уровня внутреннего параллелизма, поскольку с ростом числа слоев нейронной сети возрастает число вычислительных операций, выполняемых последовательно; 3. наращивание числа слоев НС происходит по аналогии с соединением слоев в двухслойном персептроне. Задача обучения двухслойного персептрона описывается совокупностью параметров: где L - размерность входного вектора НС; М-число нейронов внутреннего слоя НС; N - число нейронов выходного слоя НС, Р - число примеров в обучающей выборке; X = 1 - матрица обучающей выборки; Т = „J образов объектов.
Для оценки качества обучения НС используется величина вероятности правильного распознавания образов, получаемая в результате статистических испытаний обученной НС. Классический метод решения задачи обучения [56-58] НС связан с переходом к решению задачи оптимизации с использованием известных алгоритмов. Алгоритмом обучения НС называется процедура отыскания значений весовых коэффициентов нейронов W и W , обеспечивающих распознавание примеров из обучающей выборки с минимальной ошибкой: где F(X W ) - поэлементное преобразование матрицы-аргумента сигмоидальной функцией активации нейронов вида /(- ) — , Нахождение значений весовых коэффициентов НС формально сводится к решению задачи нелинейной оптимизации функции многих переменных. Задача обучения НС имеет ряд особенностей: 1. большое число параметров; 2. существенная нелинейность минимизируемой функции; 3. слабая математическая обусловленность задачи; 4. многоэкстремальность; 5. множественность решения. Эти особенности предъявляют особые требования как к алгоритму обучения НС, так и к его реализации. Известно, что при решении многопараметрических задач применение поисковых алгоритмов нелинейного программирования нулевого порядка (метод покоординатного спуска, метод Розенброка) нецелесообразно из-за их медленной сходимости [59]. Применение методов второго (метод Ньютона, метод Левенберга-Макгвардта) и более высоких порядков ограничено сложностью вычисления производных высших порядков для функции большого числа переменных [60]. Применение наиболее простых для параллельной реализации стохастических алгоритмов (метод имитации отжига) и алгоритмов генетического поиска [61, 62] ограничено из-за преждевременной сходимости последних и сложности процедуры выбора значений параметров этих алгоритмов, обеспечивающих завершение обучения НС с требуемой точностью. В качестве алгоритма обучения НС часто используется алгоритм обратного распространения ошибки, предложенный Розенблатом, который является модификацией известного метода градиентного спуска.
В алгоритме обратного распространения ошибки производные нелинейных функций активации выражаются через значение функции: 1 + е х В результате такого преобразования зависимость числа вычислительных операций, необходимых для выполнения одного шага алгоритма, от размерности задачи оказывается линейной, а не квадратичной, как в исходном методе градиентного спуска. Формальное описание процедуры коррекции весовых коэффициентов НС для алгоритма обратного распространения ошибки имеет следующий вид: Операции, используемые в алгоритме обратного распространения ошибки, можно условно разделить на два класса: операции матричного умножения и поэлементные операции (нелинейное преобразование, вычитание, поэлементное умножение матриц). Наиболее важные проблемы, возникающие при реализации этого алгоритма в параллельных вычислительных системах, связаны с распараллеливанием операций матричного умножения. Эти проблемы решаются с использованием двух базовых методов [52, 53]: 1. фрагментация слоев НС; 2. фрагментация обучающей выборки НС. Первый метод реализации алгоритма обратного распространения ошибки в многопроцессорной системе предполагает разбиение матриц W , W на фрагменты, содержащие по несколько столбцов исходных матриц (рис, 3.1). В случае гомогенной системы, состоящей из К одинаковых процессорных узлов, фрагменты матриц формируются следующим образом;
