Содержание к диссертации
Введение
Глава I. Разработка математических моделей процессов получения и обработки многомерных данных мониторинга морской поверхности 19
Введение 19
1.1. Базовые модели для построения пассивных систем дистанционного зондирования земной поверхности 21
1.2. Модели пассивного мониторинга оптического состояния поверхностных вод морей 25
1.3. Обобщенная модель искажений данных пассивного оптического мониторинга 30
1.4. Модели искажений и шумов многомерных данных оптического мониторинга, обусловленных морскими и атмосферными факторами 33
1.5. Дискретизация моделей многомерных данных экологического мониторинга 40
1.6. Модель локальной аддитивной помехи в многомерных данных экологического мониторинга 43
1.7. Основные процедуры анализа многомерных данных экологического мониторинга 45
Выводы по главе 48
Глава II. Разработка методов гранулирования многомерных данных экологического мониторинга 49
Введение 49
2.1. Интеллектуальный подход к анализу многомерных данных 51
2.2. Проблема учета неопределенности при анализе многомерных данных. 52
2.3. Гранулированные модели многомерных данных 54
2.4. Методы агрегирования данных в теории информационной грануляции 61
2.5. Энтропийные характеристики двумерной гранулированной информации 69
2.6. Метод гранулирования многомерных данных с контролируемым ростом энтропии 71
Выводы по главе 79
Глава III. Разработка архитектуры нейронных сетей для анализа гранулированных многомерных данных 80
Введение 80
3.1. Нейросетевые модели интеллектуальной обработки и анализа данных 81
3.2. Методы анализа многомерных данных с помощью нейронных сетей 88
3.3. Выбор функционального базиса для построений нейросетевых моделей гранулирования многомерных данных 93
3.4. Архитектура РБФ-сетей на основе R -моделей 95
3.5. Проектирование гранулирующего слоя РБФ-сетей на основе R-моделей 99
3.6. Проектирование рабочего слоя РБФ-сетей на основе R -моделей... 103
Выводы по главе 106
Глава IV. Разработка и исследование реализации нейросетевых моделей обработки многомерных данных экологического мониторинга 107
Введение 107
4.1. Выбор средств реализации гибридных нейросетевых систем обработки и анализа многомерных данных 107
4.2. Исследование качества работы разработанного программного комплекса при решении задачи классификации зашумленных и искаженных данных 111
4.3. Применение разработанного программного комплекса в задачах анализа данных мониторинга морской поверхности 115
4.4. Сравнительный анализ разработанного программного комплекса и известных средств анализа изображений 120
Выводы по главе 126
Заключение 128
Список использованной литературы 130
Приложение 1 147
Приложение 2 149
Приложение 3 168
Приложение 4 194
Приложение 5 211
- Модели искажений и шумов многомерных данных оптического мониторинга, обусловленных морскими и атмосферными факторами
- Гранулированные модели многомерных данных
- Нейросетевые модели интеллектуальной обработки и анализа данных
- Применение разработанного программного комплекса в задачах анализа данных мониторинга морской поверхности
Введение к работе
Актуальность темы исследования. Одной из важнейших областей внедрения методов и средств автоматизированного анализа и интерпретации многомерных данных является область геоинформационных систем (ГИС) и, особенно, такого важного компонента глобальных ГИС как системы мониторинга окружающей среды. Именно в этой области, благодаря многомерности и значительному объему используемых оцифрованных данных, в полной мере наблюдаются все те недостатки систем анализа, работающих с участием человека, которые описаны выше.
Многомерные данные систем экологического мониторинга включают изображения, векторные данные, информацию о положении объектов и цифровые модели поверхности области мониторинга. Формальные подходы к решению многих практических задач анализа разнотипных и неполных данных в некоторых предметных областях отсутствуют и в настоящее время, что приводит к необходимости применения методов искусственного интеллекта (ИИ). Ведущую роль в повышении коэффициента интеллектуальности систем анализа данных (Machine IQ, MIQ по L. Zadeh) играет направление, основанное L. Zadeh и выросшее в настоящее время в теорию информационной грануляции (ТИТ). При этом большинство деталей практической реализации ключевых положений ТИГ в настоящее время нуждаются в теоретическом и практическом развитии.
Ведущая роль в разработке идеологической базы ТИГ принадлежит основателю этого направления L. Zadeh, заложившему основы ТИГ применительно к интеллектуальному анализу лингвистической информации. В России это направление получило развитие в работах научных школ А.Н. Мелихова и Л.С. Берштейна в Таганроге, а также А.Н. Аверкина и В.Б. Тарасова в Москве, И.З. Батыршина в Казани и других исследователей. За рубежом эти исследования активно поддерживаются Y. Yao и W. Pedrycz в США, научными коллективами под руководством U. Grenander в Швеции и J. Baldwin в Великобритании. В области нейросетевых интеллектуальных систем базовые задачи были решены школами А.Н. Горбаня в России и Т. Poggio за рубежом. В области анализа изображений основополагающие результаты были заложены в работах школы A. Rosenfeld, а в России - школы В. Сойфера и ряда других исследователей.
Несмотря на значительные успехи в совершенствовании методов теории информационной грануляции как важнейшей парадигмы разработки интеллектуальных систем, в настоящее время в области создания интеллектуальных гранулирующих систем существует ряд нерешенных задач.
Прежде всего, необходимо дальнейшее развитие теоретической базы разработки интеллектуальных систем, работающих в условиях неопределенности в исходных данных. В задачах ГИС эта неопределенность обуславливается действием физических факторов в системе «океан-атмосфера» и может
быть введена в проблематику ТИГ путем создания математических моделей возмущающих факторов. С точки зрения современного состояния ТИГ, необходимы значительные усилия для распространения имеющихся важнейших результатов в грануляции одномерных данных на случай многомерных данных, что приводит к ряду нетривиальных теоретических задач. Наконец, для получения эффективных систем обработки и анализа многомерных данных важнейшую роль играют задачи снижения размерности или интеллектуального сжатия данных, также решаемые в рамках ТИГ, и создание соответствующих задаче методов реализации подобных систем -методической базы нейро-сетевых интеллектуальных систем, эффективно реализующих все указанные выше теоретические преимущества ТИГ. Для этого следует обеспечить разработку новых архитектур нейросетевых интеллектуальных систем, базирующихся на принципе гибридизации методик мягких вьгаислений в рамках единой неиросетевои структуры.
Целью диссертационной работы является разработка и исследование математических моделей физических процессов в задачах экологического мониторинга, на основе которых разрабатываются интеллектуальные системы для обработки и анализа многомерных данных на базе нейросетевых архитектур, позволяющих использовать современные результаты теории информационной грануляции для повышения эффективности интеллектуальной обработки и анализа многомерных данных экологического мониторинга.
Для достижения поставленной цели необходимо решить следующие задачи:
Разработка математической модели физического процесса пассивного дистанционного мониторинга состояния поверхности моря по оптически разделимым компонентам;
Разработка математической модели физического процесса получения и предварительной обработки изображений морской поверхности (в условиях помех) с помощью цифровой аппаратуры, установленной на средневысотном спутнике;
Разработка новых типов функций активации нейронов для применения в нейросетевых архитектурах интеллектуального анализа многомерных данных (изображений) в условиях неопределенности;
Создание метода построения "прозрачной" для пользователя архитектуры нейронной сети анализа многомерных данных;
Разработка эффективного алгоритма обучения гибридной сети в задачах анализа искаженных помехами многомерных данных (низкокачественных и искаженных изображений);
Разработка комплекса программ в рамках заданной системы программирования для реализации неиросетевои системы анализа многомерных данных.
Объектом исследования в диссертационной работе являются физические модели, описывающие процессы в системах пассивного зондирования морской поверхности и экологического мониторинга, а также гибридные гранулирующие нейросетевые архитектуры, позволяющие создать эффективные комплексы программ интеллектуальной обработки и анализа изображений различных объектов, получаемых в условиях высокого уровня помех и шумов.
Методологическую основу работы составляет подход, суть которого состоит в разработке математических моделей физических процессов распространения и отражения световых волн и использование этих моделей в процессе проектирования систем интеллектуальной обработки и анализа многомерных данных на основе нейросетевого подхода, а также подход, использующий в процессе моделирования теорию информационной грануляции многомерных данных.
Новыми научными результатами диссертационной работы, выносимыми на защиту, являются:
Математическая модель процесса пассивного оптического дистанционного зондирования морской поверхности в условиях различных видов оптических помех;
Метод интеллектуального анализа многомерных данных в условиях неопределенности, использующий теорию информационной грануляции;
Архитектура гибридной нейронной сети на основе активационных функций нового типа, выполняющей обработку многомерных данных в условиях неопределенности с использованием грануляции данных;
Алгоритм обучения для гранулирующих гибридных нейронных сетей на основе активационных функций нового типа;
Теоретическая значимость результатов исследований заключается во введении математических моделей физических процессов мониторинга в проблематику построения систем интеллектуального анализа многомерных данных, а также в разработке нового типа гибридной интеллектуальной системы (в нейросетевом базисе) для анализа многомерных данных, отличающейся от известных тем, что для достижения нечувствительности к неопределенности в данных она использует математический аппарат теории информационной грануляции. Разработана архитектура нового типа гибридных ней-росетевых систем, включающая новый вид функций активации для нейронов рабочего слоя, структуру сети и алгоритм ее обучения с использованием методов теории нечетких множеств, дополняющие и расширяющие существующие разработки в данной области, что подтверждает теоретическую значимость работы.
На базе полученных теоретических результатов возможно построение нового класса гибридных нейросетевых интеллектуальных систем, которые
позволяют полностью автоматизировать процесс обработки и анализа многомерных данных с целью значительного повышения эффективности их применения.
Практическая ценность работы определена разработкой математических моделей процессов дистанционного зондирования и обработки многомерных данных мониторинга морской поверхности в условиях помех, позволяющих разработать новые эффективные гибридные нейросетевые архитектуры для решения задач интеллектуальной обработки и анализа такого вида данных в условиях помех и искажений. Ожидаемыми преимуществами, получаемыми в результате применения подобных интеллектуальных средств являются: значительное уменьшение размера используемых нейронных сетей; возможность быстрого (в режиме реального времени) переобучения (перенастройки) используемых сетей; высокая степень понимания пользователем путей получения результатов анализа ("прозрачность" используемых методов и архитектур). Эти результаты приводят к значительному повышению эффективности анализа многомерных данных в процессе их оперативной обработки.
Реализация результатов. Результаты диссертационной работы были внедрены в Научно-образовательном эколого-аналитическом центре системных исследований, математического моделирования и геоэкологической безопасности Юга России в виде программного комплекса для решения задач, связанных с разработкой системы мониторинга экологического состояния Таганрогского залива Азовского моря на основе данных, полученных как непосредственными измерениями, так и с помощью космической фотосъемки региона.
Апробация работы. Научные и практические результаты, полученные в диссертации, изложены в 10 статьях и 2 тезисах докладов на всесоюзных и международных конференциях.
Основные результаты докладывались и обсуждались на следующих научно-практических конференциях:
-Десятой национальной конференции по искусственному интеллекту с международным участием КИИ-2006, Обнинск, 25-28 сентября 2006 г.
-Всероссийской научной конференции "Нечеткие системы и мягкие вычисления", НСМВ-2006, Тверь, 20-22 сентября 2006 г.
-Седьмой международной научно технической конференции "Искусственный интеллект - интеллектуальные и многопроцессорные системы -2006", Таганрог, 12-15 сентября 2006 г.
-Международной научно-технической конференции "Искусственные интеллектуальные системы" (IEEE AIS'06), Дивноморское, 1-7 сентября 2006 г.
- Международной конференции IASTED по искусственному интеллекту "AIA 2006", Инсбрук, Австрия, 16-19 февраля 2006 г.
Научной сессии МИФИ-2006, Москва, 23-27 января 2006 г.
Международной конференции "Искусственный интеллект. Интеллектуальные и многопроцессорные системы", Таганрог, 20-25 сентября 2005 г.
Всероссийской конференции молодых ученых "Измерения, автоматизация и моделирование в промышленности и научных исследованиях", Бийск, 17-22 июля 2004 г.
На ежегодных конференциях молодых ученых и аспирантов ТРТУ.
Структура диссертации. Диссертация состоит из введения, четырех тематических глав, заключения, списка использованных источников из 171 наименований и приложений. Работа изложена на 147 страницах и содержит 41 рисунок и 12 таблиц.
Модели искажений и шумов многомерных данных оптического мониторинга, обусловленных морскими и атмосферными факторами
В качестве базы для реализации математической модели искажений в рассеивающей среде выберем данные по гидрологии и метеорологии Азовского моря, приведенные в [20], которые позволяют получить оценки основных параметров модели (1.17) в рамках принятой гипотезы о характере искажений многомерных данных.
В метеорологии принята следующая условная шкала оценки облачности, которая и отображается в таблицах базы данных региона по [20]. Метеорологическая шкала оценки облачности приведена в таблице 1.1.
В [12] приводятся значения визуальной оценки оптической плотности для различной облачности, шкалированной согласно предыдущей таблице, в виде, приведенном в таблице 1.2.
Эта таблица содержит информацию в лингвистической форме, обычно употребляемой в метеорологии.
Согласно принятой в теории обработки сигналов гипотезе, основанной на использовании в измерениях статистического закона больших чисел [17,23], ФРТ оптической помехи чаще всего можно условно представить в виде гауссовской функции [49] от разности входных и выходных координат.
В диссертационной работе для определения параметров а и ст модельной ФРТ (1.18) по экспериментальным данным для выбранного морского региона используется метод, основанный на применении основных положений теории информационной грануляции [6]. Метод основан на введении разбиения (грануляции по L. Zadeh) диапазона значений параметров (1.18) на подмножества с последующим представлением степени принадлежности этих подмножеств в виде нечеткого множества [78]. После дефаззификации полученного нечеткого множества принадлежности мы можем поставить в соответствие экспертному значению оптической плотности из таблицы 2 интервал значений параметров ФРТ для данного региона. Этот метод был предложен в [78] и развит в работах [162,163] применительно к предметной области сегментации изображений в условиях неопределенности. Применим указанный метод в задаче идентификации параметров модели искажающей ФРТ, для чего сформулируем исходную задачу.
Пусть дано непустое множество U и множество принадлежностей М, определяемое отображением juA:U- M. Тогда множество вида Uu,/jA(U)):ue) будет называться нечетким множеством (НМ) А в U. Отображение цА обычно называют функцией принадлежности НМ (ФП НМ). Пусть xkeU,k = \,...,n - элемент входного множества. Пусть с,. єС,і = 1, ...,т - элемент множества классов С. Тогда ФП задают некоторые распределения на X и могут определяться как абсолютные {вероятностные) ФП или относительные (возможностные) ФП. Абсолютные и относительные ФП связаны между собой следующим уравнением.
Для целей отделения различных НМ друг от друга важнейшей операцией является отрицание. Операция отрицания (или дополнения) НМ представляется невозрастающеи функцией iV:[0,l]- [0,l], причем строгим отрицанием называется отрицание, являющееся инволюцией -N(n(x)) = х [78]. Наиболее часто используются отрицания.
Последние две операции являются параметризованными (с параметром р), что позволяет получать на их основе адаптивные алгоритмы функций принадлежности [162,163] для случая использования множеств НМ, которые обычно изучаются в теории лингвистических переменных или теории семантических пространств. Развитием понятия нечеткого множества является понятие семантического пространства (СП) [78], определяемого как четверка.
В данной работе задаче вводится СП (1.20) на множествах значений параметров а и о- ФРТ (1.18). Обычно к таким СП предъявляют следующие требования [105,109]:
нормальность - V/, j є(1, t\, 3U) Ф 0, где U\ = ш єU: jUj(и) = l, т.е. Uj является отрезком;
сглаженность границ - jUj(u) не убывает слева от U\ и не возрастает справа от U\.
Потребуем также выполнения условия ортогональности: Уиеи Y!M ) = \. (1.21)
Требование (1.21) означает отсутствие семантически близких терминов, образующих СП параметров, т.е. носители отдельных подмножеств значений параметров (1.18) хотя и не удовлетворяют требованиям е) и f), но и не совпадают, и могут быть не отрезками, как это требуется по е), но объединением отрезков, что соответствует неоднозначности определения балльной оценки для облаков разных ярусов (по табл. 1). В [162] был рассмотрен частный случай разбиения множества значений параметра на разряды, соответствующие отрезкам Nt, соответствующий наличию двух терм-множеств (объект и фон) для дискретного множества яркостей оцифрованного изображения. Метод, развитый в [163] может быть использован для определения отрезков значений параметра а, также имеющего два терм-множества (см. табл. 2), с учетом того, что значения а представляют собой вещественные числа. Для параметра / (амплитуда помехи) необходимо расширить этот подход на более общий случай.
Рассмотрим СП на множестве значений амплитуды а в (1.18), обозначенном как А, например, Л = [0,1], что соответствует изменению значений оптической плотности изображения в зависимости от оценки облачности по табл.2. Терм-множества этого СП определяются табл.1.
Опытные данные, связывающие табл. 1 и 2, определяют некоторое покрытие К множества А системой отрезков [Lv...,Lk], при этом выполняются условия L, 0, Ц и... и Lk = А, / = 1,...,к. Из опыта мы получаем промежуточное значение оценки амплитуды в виде некоторого интервала D, который в терминах СП является нечетким подмножеством покрытия К. Согласно идее, предложенной в [78] для дискретных множеств, функция принадлежности для D будет определяться.
На основании полученных теоретических результатов было разработано программное обеспечение в среде MATLAB [45], которое позволило моделировать получаемые значения параметров на реальных изображениях.
В результате применения (1.22), (1.23) к данным по оценке оптической плотности экспертами по фотографиям, была получена следующая таблица параметров ФРТ модели оптических искажений, позволяющая по данным из таблиц [20] для выбранного района Азовского моря моделировать процесс искажения.
Полученные в табл. 1.3 оценки параметров позволяют оценить тип и уровень мультипликативной помехи (1.17) в спутниковых изображениях. Поскольку эти искажения являются неустранимыми физически, для борьбы с их влиянием необходимо использовать представления многомерных данных (в том числе изображений), устойчивые к структурным искажениям [94]. Согласно [77,96-98], эта задача может успешно решаться методами теории информационной грануляции [128,131,147] при гораздо меньшем уровне ограничений, чем в случае использования классических методов теории обработки сигналов [3,57,58].
При переходе к оценке аддитивной составляющей помехи (1.17) следует учитывать ее локальный характер [13], что значительно усложняет задачу моделирования с помощью мультипликативных функций [14]. Между тем, учет того фактора, что мы рассматриваем дискретные данные [101], позволяет построить достаточно простые и эффективные модели локального искажения поля яркостей вследствие нарушения граничных условий в (1.10). Для этого перейдем к модели дискретного представления многомерных данных [15].
Гранулированные модели многомерных данных
В основополагающих работах по развитию теоретической базы интеллектуального анализа данных [6,21,89], вводится ряд предположений, связанных с введением идеологии перцептуального подхода к анализу сложных данных. Например, для введения в модель размера некоторого объекта определим множество лингвистических определений "крошечный, маленький, средний, большой, гигантский". Теперь для кодирования данных о размере объекта достаточно 3 бит. Тем не менее, традиционные методы описания неопределенности используют вещественные числа для описания неопределенности. Вещественное число обычно требует 32 байт. В результате мы тратим в 10 раз больше памяти (и времени для обработки) чем это необходимо. Таков эффект от использования информационной грануляции для одномерной величины.
Гранулирование информации - весьма широкое понятие [89] включающее как четкий [127], так и нечеткий подходы [129]. Гранулирование преследует две основных цели:
- Сжатие данных (с потерями), подобно тому, как это происходит в мозгу человека;
- Перевод данных в иную форму (чаще всего лингвистическую), что необходимо для восприятия человеком.
В результате развития этих понятий L. Zadeh ввел понятие канонической модели представления данных, которая отличается минимальной глубиной (сложностью) от остальных возможных информационных моделей данных. Понятие канонической формы модели данных сводится также к весьма широкому понятию обобщенного ограничения [89]. В анализе изображений или ГИС канонической формой модели многомерных данных является бинарная дискретные данные (изображение) (1.26), содержащее в чистом виде информацию о форме объекта и очищенное от цветов, текстур и т.п. [127]. Рассмотрим математический аппарат, используемый для разработки гранулированных моделей представления данных и операций над ними [128-130] и называемый мягкими вычислениями (MB).
Базовая парадигма методов MB введена в работах L. Zadeh (например, в [105]) и включает следующие допущения:
- Реальный мир изначально неточен и не определен.
- Точность и определенность приносят затраты.
На основе допущений формулируется руководящий принцип мягких вычислений.
Использовать безразличие к неточности, неопределенности и частичной истинности для достижения удобства работы, робастности и низкой стоимости решения.
Дальнейшим развитием идеологии MB занимается развиваемая школой L. Zadeh теория информационной грануляции (ТИГ) [89] применительно к теории нечетких множеств.
Одним из наиболее практически важных видов гранул являются декартовы гранулы, связанные с понятиями упрощения исходных данных и представления их в виде нечетких графиков [135].
В соответствии с [89] введем ряд определений для общих процедур грануляции многомерных данных на примере изображений.
Определение 1. Разбиение конечного универсума U - это конечное множество подмножеств Д., удовлетворяющих следующим аксиомам.
Каждое подмножество разбиения называется гранулой эквивалентности. Определение 2. Покрытие т конечного универсума U - это конечное множество подмножеств Bt, удовлетворяющих аксиомам 1 и 3.
Определение4. Разбиение л (или покрытие т) называется конъюнктивным разбиением если каждый класс эквивалентности из л (т) - составная гранула.
Определение 5. Разбиение лх есть уточнение разбиения л2 (или л2 есть обобщение разбиения л{), обозначаемое как /г, - л2, если каждая гранула из лх содержится в некоторой грануле из лг. Покрытие г, есть уточнение покрытия г2 (или г2есть обобщение покрытия г,), обозначаемое как Т1 Т2, еели каждая гранула из г, содержится в некоторой грануле из г2. Основываясь на отношении улучшения, мы можем определить многоуровневые грануляции универсума, практически важные при анализе изображений [96].
Пусть Gv...,Gn - гранулы в Uv...,Un соответственно, тогда гранула G = Gxy. xGn - это декартова гранула. Для наглядности мы будем предполагать, что п = 2 (рисунок 2.3), что соответствует определению изображения (1.27).
Возможны различные математические подходы к реализации изложенной выше базовой парадигмы ТИГ. В их основе лежат идеи покрытия изображений нечеткими (или четкими) графиками по [89]. Рассмотрим некоторые из реализаций, разработанных для разных предметных областей, в которых необходимы обработка и анализ многомерных данных.
В работах G. Shanahan, James F. Baldwin и др. понятие декартовых гранул вводится для гранулирования пространства признаков, используемых в задачах классификации изображений, слишком сложных для классических методов [53,138]. Авторы вводят разбиение плоскости изображения на декартовые гранулы. С помощью признаков на этих декартовых гранулах, которые обрабатываются последовательно, как, например яркость и цвет для примера рисунка 2.4, в ряде работ этой группы решается задача классификации изображений [32,39,53,77,138]. В целом признаки на декартовых гранулах открывают новый путь в моделировании нечетких гранулированных систем [138].
Подобный подход, в противоположность принятому в мягких вычислениях использованию моделей "вход-выход" в виде "черного ящика" получил в [138] название моделирования с помощью "стеклянного ящика". Моделирование с использованием признаков на декартовых гранулах было использовано для задач анализа ЕЙ с точностью классификации выше, чем 80% [77]. Тем не менее, важнейший вопрос о мощности разбиения универсума, которая непосредственно влияет на качество классификации [53], не поддается в данной модели теоретической оценке и указывается пользователем разработанной группой программной системы. Следовательно, необходимо развитие методологии, позволяющей автоматически выбирать разбиение универсума модели.
Другим подходом к реализации методов ТИТ в анализе многомерных данных являются гиперкубовые модели. Модели такого типа, в отличие от предыдущих, основаны на покрытиях изображений (или многомерных данных) нечеткими декартовыми гранулами [21]. Основой модели является отдельная гранула, называемая нечетким гиперкубом (hyperbox), которая организуется как показано на рисунке 2.5.
Модель этого типа по Simpson [139,140], реализуется с использованием max-min нечеткой нейронной сети [35]. Simpson предложил два вида архитектуры таких нейронечетких систем. Первый тип [139] - классификатор, обучающийся с учителем [29], в то время как второй [140] обучается классификации без учителя [30]. Особенность нечетких max-min нейронных сетей состоит в том, что они используют основную идею нечеткой кластеризации, согласно которой некоторые точки данных могут одновременно принадлежать различным классам, как изображено на рисунке 2.6
Нейросетевые модели интеллектуальной обработки и анализа данных
Рассмотрим эволюцию основных подходов к организации моделей нейронных сетей для анализа данных согласно [61]. Введем в рассмотрение модель нейронной сети с одним скрытым слоем и прямым распространением информации.
В связи с получением ряда фундаментальных результатов, связанных с исследованиями аппроксимационных свойств нечетких нейросетевых моделей [29-31], исследования по разработке и анализу нечетких моделей для различных прикладных областей использования многомерных данных значительно активизировались [41,43,51]. В это же время появление работ по реализации систем нечеткого логического вывода с помощью нейронных сетей, открыло новые возможности по обучению и настройке нечетких моделей, в частности, для обработки многомерных данных [35,81,82].
Обучение нейронной сети сводится к следующей задаче: необходимо построить сеть, которая наилучшим образом восстанавливает неизвестное отображение у(\): R" - R по имеющимся в наличии данным.
Обычно ограничиваются ситуацией, когда количество нейронов в сети задано априорно. Тогда построение сети фактически означает нахождение наилучших в некотором смысле значений синаптических весов. Здесь же можно выделить два основных подхода.
Первый состоит в том, чтобы задаться критерием, который оценивал бы степень близости двух функций - аппроксимируемого отображения и выхода нейронной сети с заданными весами, который называется критерием обучения. Алгоритм обучения проектируется как итерационный алгоритм оптимизации заданного критерия по вектору синаптических весов сети W. Результатом работы алгоритма является временная последовательность весов, сходящаяся в смысле заданного критерия. Такой подход берет свое начало в теории идентификации систем [5], а сходимость процесса обучения называется критериальной. Возможна ситуация, когда полученная последовательность весов не имеет предела, но значение рассматриваемого критерия улучшается с ростом номера элемента последовательности, что типично, например, для обучения перцептронов [8,35].
Второй подход к обучению рассматривает процесс обучения модели нейронной сети как нахождение последовательности элементов некоторого нормированного метрического пространства функций [10]. Если аппроксимируемое отображение у(х) является элементом этого пространства, а множество функций, непосредственно представимых с помощью данной модели сетевой архитектуры плотно в нем (т.е. замыкание этого множества совпадает с самим пространством), то мы можем говорить о поэлементной сходимости процесса обучения.
С точки зрения математической корректности второй подход является более предпочтительным, нежели первый, хотя он накладывает дополнительные ограничения, связанные с необходимостью выбора пространства функций, определением нормы и скалярного произведения [67]. После того, как будут выбраны активационные функции нейронов и их количество, полученная сеть может представить любой элемент линейного многообразия, натянутого на активационные функции [68]. Именно такой подход к построению модели сети развивается в данной работе.
С точки зрения, принятой в диссертационной работе, выполнение алгоритма обучения сводится к нахождению проекции неизвестного отображения у(\) на базовое линейное многообразие, что формально записывается в виде следующей оптимизационной задачи [66].
В том случае, когда используемые активационные функции моделей нейронов (pfa) образуют в рассматриваемом пространстве со скалярным произведением (,) ортогональную систему, решение задачи (3.2) имеет предельно простой вид.
Принципиально важной для практики особенностью нейросетевых моделей является "непрозрачность" получаемых результатов, поскольку типовые сетевые архитектуры основаны на моделировании по принципу черного ящика (ЧЯ). С другой стороны, анализ геометрической информации требует "прозрачного" вывода результатов обработки, поскольку основным содержанием обработки геометрической информации является работа с формой объектов [64]. В результате усилий в этой области стало возможным развитие подхода к моделированию, использующего принцип "стеклянного ящика" (СЯ), развиваемый в работах [32,39,98] и др.
Актуальной задачей при разработке нейросетевых алгоритмов (и модели) является подзадача минимизации количества нейронов и связей между ними. При выборе структуры нейронной сети для решения задачи распознавания изображений необходимо учитывать следующие аспекты:
- способность сети к обучению, то есть возможность научить систему распознавать требуемое количество объектов;
- быстродействие при обучении, которое достигается уменьшением сложности сетевой архитектуры.
Возможности нейронных сетей определяются, прежде всего, их архитектурой, определяющей порядок организации отдельных нейронов в слои, а во-вторых количественными характеристиками слоев [83,84]. Концептуальным базисом применения нейронных сетей в "мягких" решениях задачи классификации является известное из классической теории распознавания образов [65] свойство линейной разделимости в пространстве признаков [61]. Однако нелинейным многослойным НС, реализующим алгебраические идеи, свойственны также и недостатки [43,84]. Из-за нелинейной зависимости выходов сети от настраиваемых параметров задача аппроксимации становится многоэкстремальной и наряду с возможным существованием глобального минимума функционала обучения существует и множество локальных минимумов, из которых стандартные алгоритмы обучения сеть, как правило, не выводят [41,51].
Рассматриваемые ниже нейронные сети с радиально-базисными функциями активации (Radial Basis Networks (RBFN) или РБФ-сети) свободны от упомянутых выше недостатков обучаемых НС и в этом смысле рассматриваются как альтернатива многослойным сетям [61].
С алгебраической точки зрения важнейшим свойством нелинейных многослойных нейронных сетей является то, что они способны служить универсальными аппроксиматорами заданных функций многих переменных [84]. Сильным обобщением теоремы Колмогорова о возможности равномерного приближения непрерывных функций многочленами [142] является теорема Стоуна [61], на основе которой строится архитектура сетей такого типа.
РБФ-сети являются двухслойными, имеющими скрытый слой с фиксированным нелинейным преобразованием входного вектора и линейный выходной слой, который осуществляет "взвешивание" выходов с настройкой синаптических весов [43]. При этом уравнения для к -го скалярного выхода сети можно записать.
РБ-функции имеют экстремум по значениям входных векторов г только вблизи заданных значений весовых коэффициентов нейронов первого слоя w, = а ,/ = 1,2,...,т. Настраиваемые весовые коэффициенты второго слоя, параметр h, а также положения центров симметрии РБ-функций, задаваемые весовыми коэффициентами первого слоя, форма функций /.(-) и их количество в совокупности полностью определяют свойства данной РБФ-сети. В режиме обучения РБФ-сети происходит настройка указанных выше параметров сети (3.5), для чего первый слой выполняется в виде самоорганизующейся однослойной сетевой модели (см. ниже). После настройки этот слой осуществляет фиксированное нелинейное преобразование входного вектора, результаты которого подаются на нейроны второго слоя. В рабочем режиме выполняется только настройка синаптических весов второго слоя (3.4), что позволяет существенно упростить алгоритмы обучения, но ограничивает возможности уменьшения погрешности аппроксимации уже настроенной сети [76].
Существенным недостатком нейросетевой модели (3.4) является то, что необходимое для обеспечения заданной точности аппроксимации число базисных нейронов априорно неизвестно. В [76] показано, что с ростом числа входных переменных п в (3.4) количество необходимых РБФ растет экспоненциально ). Часто в соответствии с рекомендациями [51] число базисных функций (3.5) принимается равным объему обучающей выборки, т.е. может быть весьма большим даже без учета необходимой погрешности аппроксимации.
Применение разработанного программного комплекса в задачах анализа данных мониторинга морской поверхности
В предыдущих разделах были рассмотрены вопросы практической реализации основных теоретических положений глав II и III по использованию нейросетевых структур для интеллектуальной обработки и анализа многомерных данных. Экспериментально доказана высокая эффективность предложенного метода, использующего гибридные гранулирующие нейросетевые системы [162-171] в стандартных задачах классификации.
В настоящем разделе исследуются возможности разработки программного обеспечения для задач анализа реальных данных, полученных путем фотографирования выбранного региона Азовского моря (и Таганрогского залива) со средневысотного ИСЗ.
Рассмотрим результаты применения разработанных методик на примере (более подробно данные и результаты приводятся в Приложении 3). На следующем рисунке приведен пример изображения береговой и литоральной части Таганрогского залива, включающий такие объекты интереса [85,164] как поверхность моря, воды которого содержат фитопланктон, детектируемый по содержанию хлорофилла (см. Главу I), объекты, содержащие хлорофилл в значительной концентрации (водоросли литорали и лес на береговой части) а также береговую зону, объекты которой служит для привязки фрагмента изображения к карте.
На следующем шаге обработки с помощью алгоритма интеллектуальной сегментации (см. Главу II) выполняется отделение объектов интереса от фона (чистая морская вода) по [169] с использованием спектральных характеристик, введенных в Главе I. Результаты сегментации приведены на рисунках 4.4-4.6.
Представленные изображения служат основой для сравнительной классификации изменений объектов мониторинга [126] на различных этапах, определяемых периодичностью контроля [170].
Следующий рисунок демонстрирует использование сетки оптимального размера по [158] для сжатия информации, полученной по рис. 4.4. Исходное изображение содержит 115600 пикселов. Модельный пример получается путем визуализации данных на выходе первого слоя гибридной сети (гранулирующего слоя). Выбор масштабного коэффициента /? = 0,25 (уменьшение в 4 раза) для построения данной сетки, огрубляющей исходное изображение, осуществляется на основе рекомендаций, полученных в Главе II [158,165]. В результате гранулированное изображение, представленное на рис. 4.8, содержит всего 7225 информативных элементов (фанул), т.е. сжимается в 16 раз. При этом энтропия изображения возросла в 3,4 раза, т.е. практически линейно. Это подтверждает результаты, полученные в Главе II (см. рис. 2.14).
На базе результатов разделов 4.1-4.3 разработано программное обеспечение в среде MATLAB (см. Приложение 5), с помощью которого были получены приведенные выше результаты выделения объектов анализа и классификации.
В результате, на выходе спроектированной системы удается получить данные по изменчивости распространения фитопланктона как во времени (за счет периодичности контроля), так и в пространстве (за счет возможности привязки к объектам берега и литорали, являющимся ориентирами для определения положения пятен планктона [162,170].
Рассмотрим теперь применимость широкого круга известных нейросе-тевых архитектур к задачам обработки и анализа многомерной информации (изображений).
