Введение к работе
Актуальность проблемы. Последнее десятилетие с развитием вычислительной техники при проектировании инженерных объектов возник спрос на построение метамоделей (суррогатных моделей)1'2 для анализа результатов экспериментов или сложных вычислительных кодов.
Спрос обусловлен следующей проблемой: инженеру требуется оптимизировать или исследовать поведение некоторой зависимости, являющейся функцией от ряда параметров3, однако, вычисление значения этой функции для новых значений параметров (в новой точке) затратно в смысле вычислительных ресурсов, времени или даже невозможно. Зачастую такое происходит, если для вычисления значения функции в новой точке требуется проводить натурный эксперимент или использовать "тяжелый" вычислительный код (например, обсчет модели конечных элементов даже на современных вычислительных мощностях может занимать несколько дней).
Для случаев, когда инженеру достаточно получить лишь приближенное решение задачи, одним из популярных подходов, позволяющих проанализировать зависимость, стало построение по имеющимся данным математической модели (метамодели), которая, насколько это вообще возможно, имитирует поведение рассматриваемой зависимости, однако, при этом может быть очень быстро вычислена в произвольных точках. При таком подходе построенная метамодель полностью заменяет собой (аппроксимирует) исходную зависимость во всех последующих расчетах (по этой причине метамодели также иногда называют суррогатными моделями). Качество метамодели обычно определяется тем, насколько она хорошо воспроизводит поведение исходной зависимости в смысле некоторой заданной метрики, например, среднеквадратичной разности между предсказаниями метамодели и истинными значениями зависимости на некоторой репрезентативной выборке данных.
Kuleshov А.P., Bernstein A.V., Burnaev E.V. Adaptive models of complex systems based on data handling // Proceedings of the 3rd International Conference on Inductive Modelling, Kyiv, Ukraine, pp. 64-71, 2010.
Forrester A., Sobester A., Keane A. Engineering Design via Surrogate Modelling. A Practical Guide. Wiley, 2008.
Также в дальнейшем в том же смысле употребляются термины "признаки" и "входы".
Довольно часто на практике исходная зависимость существенно нелинейна, характер ее поведения неизвестен, а в наличии имеется только выборка пар "параметры"—"значение зависимости". В этом случае для построения метамоделей как правило применяются универсальные методы построения регрессионных моделей из статистики и машинного обучения, такие как: искуственные нейронные сети4 или регрессия на основе гауссовских процессов (кригинг)5. Соответствующие базовые метамодели (далее будем называть их также просто моделями), построенные с помощью этих методов, не предполагают априори какой-то специальный вид аппроксимируемой зависимости, и их параметры могут быть настроены так, чтобы приблизить довольно широкий класс функций.
Построенная по данным базовая модель может не обеспечивать требуемую точность приближения, однако, в некоторых ситуациях качество аппроксимации можно повысить введением дополнительных алгоритмических надстроек над процессом построения моделей.
В работе рассматриваются такие надстройки для нескольких специальных случаев:
Недостаточная сложность модели. В ряде работ6 показывается, что в случае "простой" базовой модели, точность аппроксимации может быть существенно повышена, если итоговая модель определенным образом строится как линейная комбинация (ансамбль) некоторого количества базовых моделей.
Кроме того, в случае использования искуственных нейронных сетей (ИНС) в качестве базовой модели на практике не всегда возможно заранее оценить сложность зависимости и соответственно подобрать адекватную ей сложность (определяемую количеством узлов) ИНС, что приводит к необходимости итеративного выбора структуры модели в соответствии с некоторым дополнительным критерием. В этом смысле построение ансамблей может быть альтернативой прямому увеличению сложности ИНС.
Случай неоднородной выборки. Методы построения регрессионных моделей обычно неявно предполагают, что в выборке данных значе-
Хайкип G. Нейронные сети: полный курс. Второе издание. Вильяме, 2006. Rasmussen G.E., Williams G.K.I. Gaussian Processes for Machine Learning. MIT Press, 2006. N. Ueda and R. Nakano. Generalization error of ensemble estimators, In Proceedings of International Conference on Neural Networks, pp. 90 — 95, 1996.
ния входов равномерно заполняют пространство дизайна, а сама функция ведет себя достаточно однородно в том смысле, что она не содержит разрывы или области с качественно разным поведением (то есть для выбранного типа базовой модели можно задать такой набор параметров, что модель будет хорошо приближать рассматриваемую зависимость на всей области определения). Нарушение этого условия может приводить к проблемам при построении моделей, таким как низкая точность в определенных областях пространства дизайна, вырождение модели и т.п.
Для описания неоднородного поведения функции в работе рассматриваются следующие распространенные модели неоднородности:
-
данные порождены смесью нормальных распределений, у каждого элемента смеси имеется свой вид зависимости7,
-
данные описываются набором областей, разделенных линейными гиперплоскостями, причем в каждой области имеется свой вид зависимости.
Первая модель неоднородности позволяет эффективно описывать случаи, в которых обучающая выборка неравномерно заполняет пространство признаков (пространство дизайна); вторая модель подходит для описания задач, в которых аппроксимируемая зависимость имеет разрывы.
Избыточность в признаках. Набор признаков обычно может быть избыточен в одном из следующих смыслов:
-
Входные признаки могут быть скоррелированы,
-
Функция слабо зависит или не зависит вовсе от некоторых исходных признаков,
-
Функция зависит только от проекции входов на некоторое подпространство.
Отметим, что третий сценарий является наиболее общим и включает в себя предыдущие два.
Имеется в виду, что, если для элемента смеси построитъ базовую моделъ толъко по тем данным, которые порожденым этим, элементом смеси, то такая моделъ будет существенно точнее аппроксимировать рассматриваемый элемент смеси, чем моделъ, построенная по всей обучающей выборке.
Наличие избыточности в признаках при построении базовой модели может затруднять аппроксимацию и приводить к различным вырождениям или нестабильностям в алгоритме обучения.
Кроме того, снижение размерности данных, если при этом не теряется информация о зависимости, также эффективно уплотняет выборку (плотность точек в проекции на подпространство меньшей размерности получается выше, чем по всему пространству), что упрощает задачу аппроксимации.
В литературе присутствует множество процедур8, позволяющих находить проекцию входов на некоторое подпространство. Однако при использовании таких процедур как правило необходимо заранее указывать размерность сжатия, а также строить ядерные оценки зависимости (требующие подбора параметров, например, посредством кросс-проверки), которые хорошо работают лишь в случае малых размерностей. Указанные особенности делают эти методы малоприменимыми на практике.
Таким образом, целью данной работы является анализ существующих и разработка новых алгоритмов анализа данных, которые работают в сочетании с методом построения базовых моделей и позволяют специальным образом учитывать ситуации, когда базовая модель слишком проста для восстановления рассматриваемой зависимости, имеется избыточность во входных признаках, обучающая выборка неравномерна, и за счет этого повышать качество построенных моделей.
В соответствии с поставленной целью были определены следующие задачи исследования:
-
Определить специальные постановки задачи восстановления зависимости, в которых учет особенностей постановки может улучшить качество базовой модели.
-
Разработать методы построения моделей в случае, когда функция зависит лишь от некоторой проекции признаков на линейное подпространство.
Yingcun Xia, Howell Tong, W. К. Li, Li-Xing Zhu. An adaptive estimation of dimension reduction space // J. R. Statist. Soc. В (2002) 6Jt, Part 3, pp. 363-410.
3. Разработать методы агрегации базовых регрессионных моделей для случаев, когда
а) выборка неоднородна, присутствуют выраженные кластеры то
чек и требуется выделить в пространстве признаков области, для
каждой из которых будет строиться своя локальная модель,
б) базовая модель слишком проста, чтобы получить аппроксима
цию требуемого качества, поэтому для уточнения прогноза необ
ходимо использовать ансамбль базовых моделей.
Общая методика исследования. Для решения поставленных задач в работе используются методы машинного обучения, статистики и статистической теории машинного обучения, языки Matlab и python для разработки прототипов предложенных методов. Также было проведено обширное экспериментальное исследование.
Научная новизна результатов, полученных в диссертации, заключается в том, что в ней предложен набор оригинальных процедур и исследованы их некоторые теоретические свойства:
Разработана процедура построения метамодели в случае, если функция зависит лишь от проекции признаков на некоторое неизвестное линейное подпространство, что позволяет существенно улучшить качество модели при выполнении этого предположения, а также дает возможность линейно снизить размерность данных. Кроме того, качество построенной модели становится устойчивым к повороту координатных осей пространства дизайна. Предлагается метод оценки размерности линейного подпространства, а также способ нахождения базиса в этом подпространстве.
Разработана процедура БегБуст построения ансамблей базовых ме-тамоделей. Получена верхняя граница на ошибку обобщающей способности процедуры.
Разработана процедура построения метамоделей на основе кластеризации данных с помощью гауссовских смесей или разделения линейными гиперплоскостями, а также приводится пример успешного
применения процедуры в задаче построения высокоточной модели для оптимизации веса корпуса самолета.
Теоретическая и практическая значимость
Описанные в работе методы широко применяются для решения прикладных задач аэрокосмической отрасли в компании DATADVANCE. Кроме того, для метода построения ансамблей БегБуст получена верхняя граница на ошибку обобщающей способности. Развитые при этом теоретические подходы можно использовать при анализе других алгоритмов построения ансамблей.
Основные результаты, выносимые на защиту:
-
Метод VEGA (Variable Extraction via Gradient Approximation) нахождения подпространства эффективной размерности для заданной функции по выборке. Вычислительно эффективный способ оценки матрицы ковариаций градиентов зависимости.
-
Метод БегБуст построения ансамблей базовых метамоделей.
-
Верхняя граница ошибки обобщающей способности метода БегБуст.
-
Метод построения метамоделей на основе кластеризации данных с помощью гауссовских смесей. Метод построения метамоделей на основе кластеризации данных через разделение линейными гиперплоскостями пространства дизайна. Вычислительно эффективный способ оценки параметров базовых моделей на основе оценки ошибки скользящего контроля для случая линейных экспертов.
Апробация работы
Результаты работы докладывались и обсуждались на следующих российских и международных конференциях:
"Интеллектуализация обработки информации" (2012, Будва, Черногория),
1st International Conference on Composites Structures Dynamics (2012, Аркашон, Франция). Было сделано два доклада, один из которых пленарный,
Uncertainty in Computer Models 2012 Conference (2012, Шеффилд, Англия),
"Математические методы распознавания образов" (2011, Петрозаводск, Россия),
"Информационные Технологии и Системы" (2009, Бекасово, Россия; 2010, 2011 Геленджик, Россия; 2012, Петрозаводск, Россия),
Third International Workshop on Surrogate Modelling and Space Mapping For Engineering Optimization (2012, Рейкьявик, Исландия),
9th International Conference "Computer Data Analysis and Modeling: Complex Stochastic Data and Systems" (2010, Минск, Белоруссия),
52-я, 53-я, 54-я научные конференции Московского физико-технического института (2009-2012, Долгопрудный, Россия),
Sixth conference "Mathematical Methods in Reliability" (2009, Москва, Россия).
Полученные в работе результаты также обсуждались на научных семинарах лаборатории структурных методов анализа данных в предсказательном моделировании МФТИ (2012, 2013) и на семинарах секторов 5 и 8.1 Института проблем передачи информации им А.А. Харкевича.
Описанные в работе методы были реализованы в программном продукте MACROS, разработанном компанией DATADVANCE, и используются при решении практических задач такими компаниями как Airbus, Eurocopter и др. В диссертации приводится несколько примеров прикладных задач, в которых применение предложенных процедур позволило существенно улучшить качество соответствующих метамоделей.
Публикации
По теме диссертации опубликовано 11 печатных работ, из них 4 работы — статьи в ведущих рецензируемых научных журналах, 7 работ в трудах ведущих российских и международных конференций.
Основные результаты представлены в работах [1], [2], [3] и [4].
В работах [1], [2] и [3] вклад автора был определяющим. В работе [4] автор отвечал за часть связанную с построением суррогатных моделей, в то время как S. Grihon отвечал за запуск оптимизации и валидацию результатов.
Во всех работах Бурнаев Е.В., как научный руководитель, отвечал за глобальную постановку задачи, кроме того автор хотел бы выразить ему благодарность за огромную помощь в написании и правке текстов статей.
Диссертационная работа была выполнена при поддержке лаборатории структурных методов анализа данных в предсказательном моделировании МФТИ, грант правительства РФ дог. 11.G34.31.0073.
Объем и структура работы
