Содержание к диссертации
Введение
Глава 1. Факторы, формирующие требования к параллельному математическому обеспечению статистических измерений 12
1.1. Консолидация измерительной информации в критических областях знания 13
1.2. Метрологический анализ статистических измерений на теоретической основе 21
1.3. Архитектуры многопроцессорных вычислительных комплексов и систем хранения данных 32
1.4. Инструментарий параллельных вычислений 41
Глава 2. Концепция параллельного математического обеспечения статистических измерений характеристик пространственно временных полей 53
2.1. Вероятностные модели пространственно-временных полей 54
2.2. Принципы построения процедур МСА СПВП 61
2.3 Регенеративная процедура метрологического анализа 67
2.4. Естественные принципы распараллеливания алгоритмов статистических измерений 75
2.5. Оптимизация параллельных статистических алгоритмов под конкретную вычислительную архитектуру 86
Глава 3. Параллельные метамодели статистических измерений характеристик СПВП 97
3.1. Методы статистической обработки скалярных случайных полей 97
3.2. Методы статистической обработки полей евклидовых векторов 105
3.3. Методы статистической обработки полей аффишювых векторов и непрерывных функций
3.4. Принципы конструирования параллельных метамоделей статистических измерений характеристик СПВП 122
Глава 4. Параллельные стохастические модели СПВП в форме динамических систем 134
4.1. Ансамблевые стохастические модели линейных динамических систем 135
4.2. Стохастические модели динамических систем, управляемых случайными факторами 143
4.3. Стохастические модели периодически нестационарных систем 151
4.4. Параллельные алгоритмы стохастического моделирования линейных динамических систем на основе принципа перемешивания 160
Глава 5. Параллельные стохастические модели неоднородных СПВП на основе ортогональных разложений 170
5.1. Стохастические модели ортогональных разложений СФ и СПВП по формальному базису 171
5.2. Стохастические модели на основе канонических базисных функций в линейных пространствах 178
5.3. Факторные и регрессионные модели СПВП на основе ортогональных разложений 188
5.4. Параллельные алгоритмы стохастического моделирования СПВП на основе декомпозиции по индексирующей переменной 198
Глава 6. Параллельные стохастические модели процессов и полей с дискретным пространством состояний 208
6.1. Стохастические модели с дискретным пространством состояний 209
6.2. Импульсные модели стохастических экстремумов многомасштабных временных рядов 219
6.3. Импульсные модели стохастических экстремумов неоднородных СПВП 228
6.4. Параллельные алгоритмы для моделей с дискретным пространством состояний.. 237
Глава 7. Параллельное математическое обеспечение в составе информационно-измерительных комплексов и технологий 246
7.1. Ансамблевое усвоение данных измерений в информационной базе полей ветра 247
7.2. Статистические измерения характеристик волнового климата океанов и морей 260
7.3. Стохастическое моделирование необычных волн (волн-убийц) 276
7.4. Стохастическое моделирование экстремальной динамики морского объекта в интеллектуальной системе мониторинга безопасности мореплавания 286
7.5. Статистический анализ погрешности регистрации солитонов упругой деформации в эродированных волноводах 296
7.6. Стохастическое моделирование электрической активности сердца человека в кардиологической экспертной системе реального времени на базе суперкомпьютеров семейства «СКИФ» 305
7.7. Стохастическое моделирование динамики глобальной популяции ВИЧ в медицинской экспертной системе на основе вычислительной среды GRID 316
7.8. Выводы 327
Заключение 328
Список литературы 332
Приложения 348
Приложение
- Метрологический анализ статистических измерений на теоретической основе
- Принципы построения процедур МСА СПВП
- Методы статистической обработки полей евклидовых векторов
- Стохастические модели динамических систем, управляемых случайными факторами
Введение к работе
Необходимость получения результата измерений с заданной точностью в реальном масштабе времени налагает жесткие требования на производительность вычислительной компоненты информационно-измерительных комплексов и технологий, оперирующих большими объемами статистических данных. Усложнение структуры измеряемой информации в таких областях знания, как физика высоких энергий, гидрометеорология и мониторинг окружающей среды, биология и медицина, обусловленное интересом к вероятностным характеристикам нестационарных случайных процессов и случайных пространственно-временных полей (СПВП), привело к активному внедрению, наряду с технологиями аппаратурного анализа, сложных программно-аппаратных комплексов статистических измерений. На современном уровне развития элементной базы вычислительных систем, основным (и, пожалуй, единственно эволюционным) путем повышения их производительности является использование многопроцессорных архитектур. В свою очередь, это предъявляет качественно новые требования к соответствующему математическому обеспечению (МО) статистических измерений.
Под математическим обеспечением в данной работе понимается совокупность математической модели, метода ее численной реализации, вычислительного алгоритма (и его представления в форме программного кода), рекомендаций по применению и демонстрационных приложений , наглядно иллюстрирующих его работоспособность и практическую значимость. Применительно к многопроцессорным вычислительным системам, принципиальная сложность проектирования и разработки МО связана с обеспечением его параллельной эффективности. Иными словами, на первый план выходит проблема параллельного представления самих математических моделей и вычислительных алгоритмов, а также их отображения на архитектуру вычислительной системы таким образом, чтобы получить наибольшее ускорение расчетов. В нашей стране технологические основы параллельной обработки данных на многопроцессорных системах заложены научной школой Э.В. Евреинова. Важные результаты в этой области получены под руководством И.В. Прангишвили, А.Б. Барского, В.В. Воеводина, В.В. Корнеева и др. Однако при разработке прикладного параллельного МО принципиальную роль играет не только (и не столько) программно-аппаратное обеспечение параллельных вычислений, сколько факторы, обусловленные особенностями применяемых методов и спецификой данных. Например, современные высокопроизводительные технологии статистической обработки данных измерений (например, DataGRID) традиционно ориентируются только на конкретные вычислительные архитектуры и специфические классы задач с очевидным параллельным представлением. В то же время для многомерных СПВП сложной структуры, обладающих многомасштабностыо, пространственно-временной и межэлементной связностью, неоднородностью и нестационарностыо, экстенсивный перенос существующих методов и их реализации для однопроцессорных архитектур не приводит к результату. Это связано с тем, что зачастую их формальное распараллеливание на уровне программного кода в принципе не может быть выполнено. Потому для создания параллельного МО статистических измерений характеристик СПВП необходим качественно новый подход, что и определяет актуальность проблемы.
Цель диссертационной работы состоит в изучении и обосновании возможностей применения параллельных вычислительных технологий в задачах статистических измерений и разработке соответствующего математического обеспечения, ориентированного на многопроцессорные вычислительные архитектуры. В данной работе впервые предложен принципиально новый подход на основе естественной парадигмы распараллеливания методов и моделей многомерного статистического анализа (МСА) СПВП. В отличие от экстенсивных методов параллельных вычислений, основанных на распараллеливании и оптимизации программных кодов, данная парадигма эксплуатирует внутренние особенности математического аппарата статистических измерений и специфику данных. Это предоставляет возможности не только для параллельной декомпозиции вычислительных алгоритмов, но и для изучения особенностей их отработки на различных многопроцессорных платформах. В том числе, естественная парадигма позволяет сформулировать модели количественного анализа производительности алгоритмов статистических измерений, способы их статической (принцип конкуренции) и динамической (балансировка нагрузки) оптимизации, а также мероприятия по адаптации МО к работе в составе конкретных информационно-измерительных комплексов. Таким образом, набор методов и технологий, идеологически объединенных естественной парадигмой распараллеливания, предоставляет мощный инструмент для разработки параллельного МО статистических измерений и моделирования характеристик СПВП.
Первая глава диссертационной работы посвящена анализу факторов, формирующих требования к параллельному МО статистических измерений характеристик СПВП. Во второй, принципиальной главе сформулирована концепция параллельного математического обеспечения на основе естественной парадигмы распараллеливания, совокупно учитывающей особенности методов, специфику данных и архитектуры многопроцессорных систем. Третья глава содержит описание параллельного МО прямых измерений вероятностных характеристик скалярных, евклидовых и аффинновых векторных СПВП, включая собственно методы оценивания, принципы их параллельного представления и способы отображения на многопроцессорную архитектуру. Четвертая глава посвящена параллельному МО стохастического моделирования СПВП в рамках моделей многомерных линейных динамических систем. В пятой главе рассматривается параллельное МО стохастического моделирования пространственно-неоднородных СПВП полей с использованием регрессионных и факторных моделей на основе ортогональных разложений. Шестая глава ориентирована на описание параллельного МО стохастического моделирования процессов и полей с дискретным пространством состояний (марковских и импульсных систем). В седьмой, заключительной главе описаны примеры использования параллельного МО в информационно-измерительных комплексах и технологиях. В диссертационной работе для иллюстрации возможностей МО используется один из наиболее ярких примеров больших информационных массивов, отражающий различные виды зависимости многомерных данных и традиционно стоящий в области интересов высокопроизводительных вычислений - гидрометеорологические поля (атмосферного давления, ветра, морского волнения, уровня моря и морских течений, и пр.). Кроме того, предлагаемые подходы распространены для обработки некоторых видов медико-биологической и технической информации.
На защиту выносятся:
• Формулировка и обоснование концепции параллельного МО статистических измерений характеристик СПВП на основе естественной парадигмы распараллеливания методов и моделей МСА СПВП, которая позволяет эффективно отображать алгоритмы статистических измерений на архитектуры многопроцессорных систем, эксплуатируя внутренние особенности применяемых методов и специфику данных.
• Создание комплекса вычислительных алгоритмов прямых измерений вероятностных характеристик нескалярных СПВП в стационарном, эволюционно-нестационарном и ПКСП4-приближениях, отображаемых на многопроцессорную архитектуру в рамках параллельной метамодели, основанной на декомпозиции статистического ансамбля.
• Разработка комплекса вычислительных алгоритмов стохастического моделирования не скалярных СПВП в форме линейной динамической системы с учетом управляющих факторов, которые эффективно отображаются на многопроцессорную архитектуру, используя принцип перемешивания5 СПВП.
• Разработка комплекса вычислительных алгоритмов стохастического моделирования пространственно-неоднородных СПВП на основе факторных и компонентных моделей, допускающих распараллеливание путем ортогональных преобразований исходного ансамбля.
• Разработка комплекса вычислительных алгоритмов стохастического моделирования СПВП с дискретным пространством состояний в терминах марковских и импульсных систем, распараллеливаемых на основе принципа перемешивания последовательности их состояний и эффективно отображаемых на архитектуру вычислительной системы с помощью геометрического метода динамической балансировки вычислительной нагрузки.
• Доказательство применимости МО статистических измерений характеристик СПВП в составе различных информационно-измерительных комплексов и технологий (применительно к гидрометеорологической, медико-биологической, технической информации).
Метрологический анализ статистических измерений на теоретической основе
Под статистическими измерениями понимается получение количественных значений вероятностных характеристик случайных явлений с установленной точностью и надежностью. По сравнению с обычными измерениями неслучайных величин, для статистических измерений характерно наличие методической погрешности из-за ограниченного объема выборочных данных по сравнению с генеральной совокупностью. Дополнительными факторами, обуславливающими методическую погрешность, являются смещение статистических оценок, их несостоятельность, а также разного рода погрешности восстановления (аппроксимации) в рамках заданных вероятностных моделей [Цветков, 1973J. Следует отметить, что во многом влияние этих факторов может быть устранено подбором адекватного метода оценивания. Однако точность статистических измерений, обусловленная объемом выборки, является объективным показателем, определяемым исключительно стохастической природой измеряемого явления. Она не может быть кардинально улучшена путем совершенствования только измерительной аппаратуры, но требует комплексного метрологического анализа, направленного на согласование вероятностной модели явления, метода оценивания и специфики измерительной процедуры.
В настоящее время существуют два основных пути осуществления метрологического анализа - на экспериментальной и на теоретической основе [Цветков, 1998]. Экспериментальные методы метрологического анализа статистических измеренийэффективны в тех случаях, когда постановка активного эксперимента позволяет получить однородный статистический ансамбль оценок статистических характеристик (как реализаций случайных величин или функций). Многократное повторение эксперимента дает представление именно о методической погрешности измерительной процедуры; с увеличением объема выборки ее значение убывает. Этот класс задач охватывает т.н. статистические приложения высокой работоспособности и допустимые статистические приложения [Айвазян и Мхитарян, 1999], которые распространяются на явления, в полной мере не подпадающие под аксиоматику вероятностного описания [Колмогоров, 1998J.
Однако для большинства объектов измерений, рассмотренных в разделе 1.1, преимущество экспериментальных методов неочевидно. Это связано с невозможностью организовать пассивный эксперимент при постоянных условиях, поскольку сложные стохастические явления практически всегда отличаются многомасштабностыо, т.е. влиянием случайных факторов различной природы, приводящих к неоднородности ансамбля и (или) нестационарности измеряемых реализаций. Таким образом, для экспериментального метрологического анализа в этом случае необходима подготовка и проведение активного эксперимента на специализированных установках (стендах). Следует отметить, что гносеологическая ценность такого подхода дискуссионна, поскольку привносит в методическую погрешность новую составляющую, обусловленную отличиями моделируемого на стенде явления от реальности2.
Альтернативой экспериментальному подходу является метрологический анализ на теоретической основе. Он использует средства имитационного моделирования, расчетные методы, а также комбинированные технологии, основанные на расчетных методах и моделях, применяющих имитационные модели в форме реализации вычислительной процедуры. Принципиальным свойством метрологического анализа на теоретической основе является использование априорных знаний в виде математических моделей объектов, условий и средств измерений [Цветков, 1998]. Использование априорных знаний породило класс интеллектуальных и виртуальных информационно-измерительных систем [Finkelstein et al., 1993, Романов и др., 1994, Недосскин и др., 1995, Прокопчина, 1998, 2000, Интеллектуальные, 2002, и пр.], которые могут рассматриваться как интеллектуальные системы, ориентированные на обеспечение2 В ряде случаев (например, при анализе больших систем) такой путь в принципе невозможен, поскольку многие синергетические системные эффекты воспроизводятся только в полномасштабном эксперименте [Бусленко, 1968]. измерительных процедур. Организация базы априорных знаний требует применения формальных методов их представления и организации логического вывода, адаптированных к задаче синтеза измерительных цепей. Успешная реализация такой технологии на основе -исчисления [Church, 1963] рассмотрена в работах [Станкевич, 1995,1998]. Она позволяет сформулировать уравнение измерений, учитывая в нем знания об источниках ошибок в виде соответствующих вычислительных выражений, и определять полную погрешность путем формального поиска слабейшего предусловия.
Базы знаний интеллектуальных измерительных систем могут быть как статическими, так и динамическими; в последнем случае знания (или, вернее, новые интерпретации знаний) извлекаются непосредственно из данных посредством технологий Data Mining a (DM). DM является синтетическим разделом компьютерных технологий, основанным на использовании крайне разнообразного математического аппарата [Пржиялковский, 1996]. Он включает в себя алгебраические и комбинаторные алгоритмы, нейросетевые технологии, сети и деревья решений, алгоритмы оптимизации в разных постановках, генетические алгоритмы и пр. Однако традиционно ведущую роль в этом конгломерате играют методы статистической обработки информации. Их принципиальным отличием от других подходов является то, что они описывают реальные данные в терминах абстрактной вероятностной модели. В этом случае результатом DM (представлением знаний) является запись случайного явления, формализующая информацию об его вероятностных характеристиках, и, как следствие, составляющих методической погрешности.
Следует отметить, что в ряде приложений априорные знания успешно описываются моделями не-вероятностной природы, например, на основе теории нечетких множеств [Солопченко, 1998, Романов, 2004]. Причины использования этого аппарата обусловлены отсутствием надежного обоснования вероятностной природы данных, получаемых в мягких шкалах (например, в терминах естественного языка). Однако в задаче статистических измерений характеристик случайных объектов вероятностная мера постулируется природой явления. Потому ниже мы будем рассматривать только вероятностные модели априорных знаний и статистические методы их получения.
Принципы построения процедур МСА СПВП
Статистическое описание СПВП по данным измерений в рамках вероятностных моделей, рассмотренных в предыдущем разделе, является задачей многомерного статистического анализа (МСА). Классический МСА детально разработан и систематизирован для модели МСВ, представляемой в виде вещественного вектора в линейном пространстве с евклидовой метрикой. Практика применения методов МСА для решения трех основных задач: снижения мерности исходной информации, установления зависимости и выявления неоднородности сводится к компоновке вычислительной цепочки, состоящей из стандартных процедур [Johnson, Wichern, 1992]. Однако для сложных массивов данных, характеризуемых как пространственно-временной, так и межэлементной связностью, необходимо использование комплексных подходов, модифицирующих и комбинирующих технологии МСА в единую систему, применительно к особенностям исследуемых процессов и специфике данных.Аппарат МСАСПВП должен удовлетворять следующим требованиям: Методы МСА, адекватные вероятностной модели СПВП, должны допускать интерпретацию в терминах функционального анализа. Необходимо, чтобы процедуры МСА были адаптированы для операций с многомерными нескалярпыми объектами, каждый элемент которых является евклидовым или аффинновым вектором, или функцией, зависящей от параметров. Методы МСА должны дифференцированно отражать временную, пространственную (пространственно-временную), межэлементную связность данных.
Выполнение этих условий требует формулировки подходов, которые в совокупности позволяют осуществить переход от существующей логики МСА МСВ к МСА СПВП, и лежат в основе методической компоненты параллельного МО статистических измерений. Рассмотрим их ниже.
Операторные преобразования выборочных реализаций СПВП E(r,t). Эта процедура ориентирована на декомпозицию исходного массива данных путем снижения мерности и последующего упрощения описательной модели. Иными словами, она преследует цель выявить наиболее информативные характеристики (индексы), описывающие вероятностные свойства СФ или СПВП S(r,t)e. II. В основе этого лежит конструирование системы линейных операторов I -Il - X, где dim(JO dim(#), позволяющих спроецировать ансамбль реализаций на некоторую гиперповерхность.
Пространство H можно представить в виде прямого произведения // = //] х //2 (например, совокупности временных рядов на системе точек пространства, или временного ряда пространственных образов, см. рис. 2.2). Здесь Н\ соответствует индексации ансамбля w, а Я2 - набору параметров (например, числу точек). Если X = /?х#2 то ПРИ каждом фиксированном значении параметров &ЄІІ2 набор {/ } можно рассматривать как систему функционалов. Они сводят нескалярный объект из пространства Н\ к набору скалярных величин {а е R. Таким образом, последовательноеприменение иерархической системы операторов l\p . Я„х//„+1 - RxHр+\, р = ],2,...позволяет не только последовательно «свернуть» гиперкуб данных по каждой из граней, но и совершить принципиально важную для статистического описания операцию: упростить вероятностную модель: от СПВП - через систему скалярных СФ переменной t - к скалярной МСВ. Это обеспечивает преемственность в использовании технологий МСА СВ.
В зависимости от закономерностей пространственно-временной изменчивости данных при конструировании {/ } возможны два принципиально разных подхода,связанных с принципом декомпозиции Н по переменным (r,t). Эйлеров подход в каждый момент времени / описывает всю картину пространственной изменчивостиE(r,t). Ему ставится в соответствие оператор / : ІЕГ(г,0, г є УІ j=Tj (t), сводящийреализации СПВП к системе временных рядов {%(0/ с более простыми свойствами. Онснижает мерность даных, как за счет разделения переменных (г,/), так и за счетдекомпозиции области определения по каждой из переменных. Например, путем
Лаграююев подход предназначен для описания пространственно-временной эволюции отдельных фрагментов СПВП (которые могут быть интерпретированы как движущиеся структуры). Он соответствует операторам преобразования//" : 1=(г,/),г є 9Ї3,/ є9lj=1/ (Я4,/jt), где lFk - набор параметров, характеризующихкаждую структуру с текущими координатами (/ ,/ ). Результатом его примененияявляется выделение из общего ансамбля реализаций СПВП набора из к движущихся вдоль определенных траекторий структур, общие характеристики которых заданы системой скалярных СФ или МСВ.
Эйлеров и лагранжев подходы к конструированию операторов над выборочными реализациями СПВП соответствуют двум группам процедур МСА, предназначенным для решения задач снижения мерности и выявления неоднородности. В монографиях, посвященных прикладным аспектам МСА МСВ (например, [Смирнов и др., 1992, Малиновский, 2002]) эти подходы рассматриваются как альтернатива друг другу. Однако для сложных многомерных данных, обладающих пространственно-временной многомасштабной изменчивостью, возможна иерархическая комбинация операторов преобразования, как одного, так и другого типа. Подробнее особенности этого подхода проиллюстрированы на конкретных примерах в Главах 5 и 6.Ортогональные разложения в гильбертовых пространствах. Эта процедура позволяет конструировать конкретные выражения для операторов преобразования Ik,исходя из специфики процессов и особенностей данных. Она ограничивается только такими классами преобразований, для которых выполняются следующие условия адекватности. Область определения и значений операторного преобразования биективны, т.е. каждому набору величин а , ,% (0 соответствует физически реализуемый элемент ансамбля реализаций СФ или СПВП. Оператор преобразования линеен, т.е. первый и второй моменты величин aks /k TJk(0 линейно связаны с соответствующими моментами Е(г,1). Линейное пространство E(r,t)eH гильбертово, т.е. допускает операцию скалярного произведения и разложения по полным системам базисных функций.В рамках этих ограничений пространство результатов преобразования будет изоморфно пространству исходных реализаций, если они связаны в форме бесконечного ряда
Методы статистической обработки полей евклидовых векторов
Статистическая обработка скалярных СПВП ограничивается описанием пространственно-временной связности. Однако в том случае, если каждой точке поля соответствует нескалярный элемент, дополнительно возникает проблема учета межэлементной связности его компонент, как элементов случайного вектора. В зависимости от физической постановки задачи, такой вектор может рассматриваться как евклидов (геометрический вектор с естественными линейными операциями), или как аффиннов (абстрактный вектор в хаусдорфовом пространстве, операции над которым постулируются). В отличие от абстрактных векторов, интерпретация статистических оценок которых является уделом специальных процедур МСА, модель СПВП поля евклидовых векторов (плоских или пространственных) допускает наглядное статистическое описание за счет того, что все его вероятностные характеристики имеют геометрическую интерпретацию [Кочин, 1961]. В работах [Обухов, 1988, Белышсв и др., 1983, Рожков, 1996] были заложены основы статистического описания ансамблей случайных евклидовых векторов.
Типичным примером СПВП евклидовых векторов V(r,t) = S(?,/) являются ПОЛЯ скорости течений жидкости или газа. В данном разделе в качестве иллюстративного примера мы используем массив полей скорости ветра на высоте 10 (м) над подстилающей поверхностью, с 1948 по 2005 гг. каждые 6 часов по всему Земному шару (NCER/NCAR, см. Приложение 1).
В первом приближении атмосферное давление и ветер могут считаться связанными соотношением V = V [Обухов, 1988], хотя для приземного ветра это, строго говоря, не выполняется1. Но, по аналогии с полем атмосферного давления, это дает основания строить вероятностные модели полей скорости ветра с учетом тех же факторов: пространственной (географической) неоднородности, периодической нестационарности, а также многомасштабности, обусловленной наложением синоптической изменчивости, годовой ритмики и межгодовых вариаций. Ниже мы рассмотрим специфические особенности процедур получения статистических характеристик, обусловленных именно нескалярным характером данных.
Одноточечные моменты. В отличие от скалярных величин, в каждой точке поля rtjвекторная СВ V характеризуется набором 5 величин - модуля т9 и направления ф вектораматематического ожидания т9 , и тензором D 5 среднеквадратичного отклонения (СКО). Геометрическим образом тензора Dp являетсяРис. 3.4. Вероятностныеэллипс с полуосями "к\, Х.2, развернутый на угол а относительно направления на север (см. рис. 3.4). Форма эллипса характеризуетсяпоказателем анизотропности % = М / 2 характеристики векторной СВ.
Следует отметить, что, как и для поля атмосферного давления, тензор СКО D5может характеризовать различные диапазоны изменчивости в смысле (2.5). На рис. 3.5 приведены оценки векторов средней скорости ветра и эллипсов СКО, полученные по среднемесячным данным в январе и июле над акваторией Баренцева моря. Для наглядности сетка, к которой привязаны векторы, сильно прорежена.
Изменчивость вероятностных характеристик векторного СПВП от месяца к месяцу характеризуется оценками годового хода параметров nip(r,t), D {r,t), Кр(г,1,т) втерминах векторного ПКСП. Так, годовой ход Шр(г,() в точке г представляетсяпоследовательностью векторов средних многолетних значений V{r,t) по месяцам,графиками их модуля \тЛ и направления ф, а также годографами среднемесячныхвекторов, центрированных на средний многолетний вектор. Годовой ход D5(/) для всехмесяцев года имеет вид последовательности значений осей Ai(t), X2(t) и направлений a(t) эллипса СКО. Одним из основных рецептов уменьшения мерности вероятностных характеристик (3.1) векторного ПКСП является их аппроксимация отрезком ряда Фурье. Например, для математического ожидания (ср. с (3.2)):средней многолетней скорости ветра, a mk (t) - векторные гармоники (при к=1 - годовая, при к 1 - ее обертоны). Конец периодического вектора mk (t) обходит (по часовой стрелке или против часовой стрелки) эллипс с полуосями L(k), Ьг(к), фазой щ + 180, развернутый на угол pk ± 180 относительно направления на север. На рис. 3.5(в,г) приведены эллипсы годовой и полугодовой гармоник годового хода векторного СПВП скорости ветра над Баренцевым морем. Видно, что вследствие неоднородности векторного СПВП, как размер, так и ориентация этих характеристик плавно изменяются в пространстве.
В отличие от скалярных СПВП, разложение типа (3.7) для СКО или КФ векторного ПКСП интерпретировать гораздо сложнее, поскольку каждая гармоника определяется не эллипсом, а кривой более высокого порядка. Потому их статистическое описание сводится к оцениванию совместных распределений комплексов \pf\l}%),y/k,Pk\ двух
Стохастические модели динамических систем, управляемых случайными факторами
Модели многомерных СФ :Q- 9?W в форме (4.2) ориентированы на воспроизведение статистического ансамбля реализаций по заданной КФ (2.4) путем инерционного преобразования белого шума є. Представление (4.1) допускает более общую интерпретацию с точки зрения описания изменчивости С, под влиянием набора управляющих факторов - СФ или СПВП TJ. Это дает возможность не только уточнить описание структуры зависимости, но и использовать модель для восстановления реализации (v) по известной ц(\) в заданной области {vjczQ.Рекуррентные представления стохастических моделей. Дискретный аналог для (4.1) будет иметь вид
Все обозначения векторных операций соответствуют (4.3). Величина с некоррелированное случайное поле в точках vefi с безгранично делимым законом распределения. Коэффициенты АРСС Фі @ \/пі в общем случае определяют взаимосвязьмежду значениями СФ в узлах сетки v—j, а 0 - случайные отличия между ними. Зависимость между управляющим фактором rj и моделируемым процессом С, задается значениями весовой функции (функции отклика) Sj.
В том случае, когда nsdim(v) = l, ,rj:3i- 9Ї, и 6 7/б/= выражение (4.15)переходит в классическую модель динамической системы (ДС) [Бокс, Джснкинс, 1974]. Когда Ф-: = 0, т.е. модель в явном виде не учитывает предысторию самой СФ С,, можноговорить о модели восстановления ненаблюдаемого процесса. Принципиально важным отличием многомерных моделей в форме (4.15) от (4.2) является то, что в общем случае функции (v), r)(u) могут принадлежать разным функциональным пространствам Н, над областью определения различной размерности. Часто такие задачи возникают при моделировании воздействия атмосферных полей на режим океанских вод, определяемых комплексами океанографических переменных (в форме аффиннова вектора). В этом случае коэффициенты Hj представляют собой не квадратные, а прямоугольные матрицы,определяющие линейное преобразование на заданное подпространство Н .
Идентификация параметров модели. Идентификация модели (4.15) требует использования не только автоковариационной (2.4), но и взаимной ковариационнойфункции КСп(т) = М[(й) л 77(v)J ,т = w - i . Система уравнений (4.8) переходит в
Матрица системы (4.16) - блочная; размер блоков зависит от размерности Q и Н. Дисперсия белого шума De определяется из (4.16) при т = 0. Однако, главной проблемой идентификации модели ДС является определение состава управляющих факторов rj(v) и связанных с ним значений M,N. В отличие от ансамблевой модели (4.2), вопрос осложняется тем, что в уравнение (4.15) даже при &-\IQ} -0 входят величины $ - и7- г. Зависимость между ними определяется одновременно их предысторией, формализуемой К (т), К„(т) и взаимными связями Кг (т). В том случае, если СФ tj(v) = {iji,...,rjm} многомерна (т.е. содержит несколько разнородных факторов), задача идентификации еще более усложняется за счет зависимостей К„.„. (г) между ними.
Сильные связи между управляющими факторами приводят к проблеме мультиколлинеарности. В настоящее время не существует универсального алгоритма устранения этой проблемы [Айвазян, Мхитарян, 1999], несмотря на отдельные эвристические способы регуляризации КФ, описанные, например, в [Огородников, 1998]. В данном разделе мы используем для решения этой задачи подход, позволяющий описать структуру зависимости входных и выходных процессов в (4.15) в терминах частных, множественных и канонических корреляций, обобщенных на модель СФ. Для наглядности рассмотрим его для случая n = dim(Q) = \ - т.е. многомерной системывременных рядов (t) = { \... n}, управляемой факторами П(0:=\П\--- Пт\- Впростейшем виде (dim() = \) структуру взаимосвязи между стационарным временным рядом (t) и системой стационарных временных рядов Tii(t),...,Tim(t) на интервале времени - автокорреляционная матрица СФ (t) размерностыо гхг, Клк(т) - автокорреляционные матрицы процессов rk(t), размерностыо (т + 1)х(т + \). Вектор X содержит значения авто- и взаимных корреляционных функций (t), rjk(t) при различных временных сдвигах: Х = [К,(1) - Кс(х)КСП1(0) Кй(1) - Кй(т)...КСПи(0) КСПт(1) - К (т)]г. Блоки К ц, КпіЛ2з..., КЛ2Пз4... содержат значения взаимных корреляционных функций процессов К кСО, Кц і), t=0,l,...,x. Общий размер матрицы составляет (т+1)(т+1).
По аналогии с [Крамер, 1975], для снижения мерности введем коэффициент множественной корреляции между СФ (t) и Tj(t) = \rj\...rjm) в форме коэффициенты задают гиперплоскость регрессии в пространстве R решением системы нормальных уравнений с обобщенной матрицей К. Максимизируя значение р(т) повеем Ф[,,-, получим окончательное выражение: для функции множественной корреляции через определители блоков общей матрицы. Здесь используется обозначение К = К„ -Кл„Кг Кг„, которая соответствует условной КФ процесса t](t) при заданной реализации (t). Функция (4.18) показывает степень взаимосвязи между случайной функцией ф) и системой функций {r}j(t)}=] па интервале [t,t - г] в зависимости от временного сдвига x=N=M в (4.15). Дополнительно введем функцию частной корреляции, выражаемую как Она определяет степень независимой (очищенной) связи между i (t) и фактором r)k(t) из системы связанных между собой СФ {j]i(t)Yi=\ - г - т в зависимости от сдвига т. Функции частной корреляции могут вычисляться и без использования (4.19), только на основании значения функции множественной корреляции (4.18) по возрастающему числу процессов {r]i(t),...,rm(t)} для каждого т : Для формализации взаимосвязи между двумя аффинновыми СФ мерности тип (или группами СФ) Z = {СІ(0}"=\ И = \П\( ) 1=\ введем понятие функции канонической корреляции Р(г), как парную корреляцию (4.17) между переменными ,, 3, которые представляются в форме (4.2) при c(t) = 0: Подставляя (4.21) в (4.17) и оптимизируя по всем значениям коэффициентов моделей, сведем задачу к решению обобщенной проблемы собственных значений относительно ковариационной матрицы К. При этом полученные значения Н„,Фу, могут интерпретироваться как канонические переменные. Функции множественной, частной и канонической корреляции являются монотонными по г и ограниченными в интервале от 0 до 1. Это дает возможность дляудобства интерпретации связей воспользоваться их производными р (т) , отражающимидолю связей, объясняемых влиянием диапазона временного сдвига г.Особенности интерпретации управляющих факторов. В качестве примера использования аппарата (4.17-4.21) для конструирования модели в форме (4.15),
