Интеллектуальные технологии создания, исследования и применения композитных моделей сложных систем Ковальчук Сергей Валерьевич

Введение к работе

Актуальность темы. При проведении вычислительного эксперимента современные исследователи из различных областей науки и техники сталкиваются со сложностью выбора наилучшей структуры и параметров модели. Ситуация усугубляется ввиду следующих факторов: а) во многих областях доступен широкий спектр решений, направленных на одни задачи, и отличающихся ограничениями применения, производительностью, точностью расчета и пр.; б) современный уровень развития вычислительной техники предоставляет исследователю доступ к ресурсам высокой производительности, однако этот доступ зачастую требует от исследователя значительной технической подготовки; в) моделирование сложных систем (СС) (систем, состоящих из множества элементов, характеризующихся дальними связями и многомасштабной изменчивостью) требует интеграции в рамках единых решений для моделирования множества отдельных элементов, зачастую имеющих различную природу или даже принадлежащих к различным предметным областям. В таких условиях критическое значение приобретает вопрос автоматизации и интеллектуальной поддержки операций моделирования, традиционно возлагаемых на специалиста исследователя, но ввиду указанных факторов, приобретающих крайне высокую сложность во многих современных задачах. Необходимость такой поддержка процесса исследования и, в частности, процесса моделирования, приводит к появлению новых принципов, таких как, например, парадигма электронной науки (eScience), которую ряд специалистов вслед за такими исследователями как J. Taylor, J.N. Grey считают новой парадигмой в научном исследовании.

Вопросы компьютерного моделирования и моделирования СС получили развитие в 40х-60х годах XX века на стыке кибернетики, теории систем, искусственного интеллекта, опираясь на таких классиков этих областей как N. Wiener, C.E. Shannon, L. von Bertalanffy. Сегодня данная область, находясь на стыке информационных технологий и принципов математического моделирования, развивается в работах P. Allen, D.J. Watts, S.H. Strogatz, D. Helbing, P.M.A. Sloot, Y. Gil и др. В нашей стране в данной области важную формирующую роль сыграли работы Н.П. Бусленко, А.А. Самарского, В.В. Воеводина и др. Тем не менее, сегодняшний этап развития данной области предоставляет возможности для разработки принципиально новых интеллектуальных решений, на системном уровне поддерживающих процесс моделирования СС.

Одной из предпосылок, определяющих актуальность темы данного исследования именно сейчас, является наличие больших объемов наблюдений и экспериментов (в т.ч. компьютерных), доступных для анализа, что в условиях развития концепции Big Data становится неоценимым источником информации о моделях и их применении. Другой предпосылкой является развитие высокопроизводительных вычислительных решений, применимых не только напрямую в задачах моделирования, но и в задачах интеллектуального анализа данных, машинного обучения, что позволяет использовать соответствующие элементы как в рамках моделей, так и в процессе идентификации, калибровки и др. операциях над моделями. Наконец, современный уровень работы со знаниями, открытость

источников данных и знаний позволяет использовать обширную базу источников и технологических решений для логического вывода при настройке моделей. В итоге, настоящее исследование, характеризуясь междисциплинарностью и опираясь на современные разработки в перечисленных областях может позволить существенно упросить, а иногда и автоматизировать процессы работы с моделями в различных предметных областях науки и техники.

Предметом исследований являются методы построения (композиции), идентификации, калибровки, усвоения, оптимизации в применении к композитным моделям (КМ) СС, а также методы разработки прикладных решений на базе таких моделей.

Целью работы является разработка и развитие универсальных методов и технологий интеллектуальной поддержки и автоматизации процессов построения, исследования и применения КМ СС с использованием высокопроизводительных программно-аппаратных систем, применимых для автоматического решения сложных задач компьютерного моделирования в различных предметных областях с использованием интеллектуальных технологий для реализации операций над структурой и параметрами моделей.

Задачи исследования. Достижение поставленной цели предполагает решение следующих задач:

Разработка концепций и подходов к описанию КМ и операций над ними, обеспечивающих возможность автоматизации операций над такими моделями в условиях сложности структуры моделируемой системы и самой модели.

Разработка комплекса методов на базе интеллектуальных технологий и формализованных знаний (включая машинное обучение, интеллектуальный анализ данных/процессов/текста, логический вывод и пр.) для поддержки и автоматизации выполнения операций над КМ: построения (композиции), идентификации, калибровки, усвоения данных, оптимизации.

Разработка комплекса методов для повышения качества реализуемых КМ в терминах их эксплуатационных характеристик (точности моделирования, времени вычислений) в задаче проведения вычислительного эксперимента в предметной постановке при наличии ограничений по этим характеристикам и в рамках доступных программно-аппаратных решений.

Разработка комплекса методов и технологий для трансляции реализованных КМ в композитные приложения (КП) с поддержкой их интерпретации и выполнения, предназначенные для решения прикладных решений в различных постановках (включая оптимизацию, поисковые исследования, поддержку принятия решений и пр.) с использованием предметно-ориентированных языков, специализированных пользовательских интерфейсов и пр.

Реализация серии прикладных решений на базе разработанных методов и технологий в различных предметных областях: гидрометеорология, здравоохранения, нанотехнологии, социальные науки.

Методы исследования включают аппарат математического моделирования, теории систем, методы теории вероятностей и статистики, формальной логики, машинного обучения, интеллектуального анализа данных, элементы анализа алгоритмов и программ, методов оптимизации, имитационного моделирования, теории массового обслуживания, принципы и технологии параллельных и распределенных вычислений.

Научная новизна работы состоит в том, что: - Впервые сформулирована и обоснована концепция построения композитных КМ с системной декомпозицией и возможностью автоматизации процессов идентификации, настройки и применения комплексных решений с использованием интеллектуальных механизмов, включая эволюционные вычисления, машинное обучение, интеллектуальный анализ данных и пр. В рамках сформулированной концепции предложены подходы и методы для идентификации, настройки КМ, трансляции ее в КП, применения КП для решения прикладных задач в рамках различных сценариев (оптимизация, исследовательское моделирование, поддержка принятия решений и пр.) с учетом ограничений и критериев оптимальности по эксплуатационным характеристикам (точности, производительности).

Разработана серия методов и алгоритмов, в рамках разработанной концепции позволяющая решать задачи идентификации, настройки и применения КМ в автоматическом или автоматизированном режиме т.ч. в условиях изменчивости исследуемой системы, влияющей на эксплуатационные и функциональные характеристики моделей, качество и значимость доступных данных и пр.

Практическую ценность работы составляют:

Разработанные методы и подходы, реализованные в составе нового технологического решения, позволяющего автоматизировать постановку вычислительного эксперимента с использованием системы формализованных знаний, описывающих эксплуатационные и функциональные характеристики элементов КМ и КП с точки зрения предметных и технических областей. Разработанные базы знаний, включающие в себя информацию о систематизации и интерпретации предметных и технических знаний об эксплуатационных и функциональных характеристиках элементов КМ, а также базовые модели производительности.

Разработанные с использованием предложенных концепций, подходов, методов, алгоритмов и технологий инструментальные и прикладные решения, обладающие самостоятельной значимостью в рамках соответствующих предметных областей:

o Стек описательных технологий в форме предметно-ориентированных
языков и баз знаний для описания, интерпретации и применения КМ и
КП в составе платформы облачных вычислений CLAVIRE;
o Инструментальная среда интеллектуального инструктора по разра
ботке композитных приложений для моделирования СС

«CLAVIRE/iKnowledgeTree» в составе платформы облачных вычислений CLAVIRE;

o Динамический предметно-ориентированный язык EasyDSL в составе платформы облачных вычислений CLAVIRE, расширяющий возможности описания КП за счет элементов распределенной обработки данных;

o Блок ансамблевого прогнозирования в составе Системы прогноза уровня воды (СПУВ) Комплекса защитных сооружения (КЗС) г. Санкт-Петербурга;

o Блок ассимиляции данных в составе СПУВ КЗС г. Санкт-Петербурга;

o База знаний для построения КП в составе программного комплекса HPC-NASIS для моделирования наноразмерных структур, материалов, процессов и устройств на их основе;

o Набор прикладных решений для предсказательного моделирования клинических путей и построения гибридных моделей на их основе;

o Прототип системы поддержки принятия решений (СППР) для маршрутизации и диспетчеризации автомобилей скорой помощи.

На защиту выносится:

1. Метод описания структуры моделей на основе декомпозиции по логическим (система, данные, модель) и концептуальным (функциональные, структурные, количественные характеристики) уровням, позволяющий унифицировать методы работы со сложными моделями и обеспечить возможность их автоматизации.

2. Гибридный метод идентификации структуры моделей на основе совмещения интеллектуальных методов анализа данных и процессов, эволюционных методов и моделирования, позволяющий организовать унифицированный и адаптируемый процесс идентификации и настройки композитной модели.

3. Гибридные эволюционные и ансамблевые методы и технологии усвоения данных наблюдений в композитные модели, позволяющие унифицировать работу с данными и расширить область применения методов усвоения данных на дискретные системы и комплексные многокомпонентные процессы.

4. Технологии построения и применения предсказательных моделей на данных, построенных на основе базы прецедентов применения элементов композитной модели, позволяющие проводить априорную оценку эксплуатационных характеристик модели.

5. Стек интеллектуальных технологий на основе знаний предметной области, знаний компьютерного моделирования и знаний в области информационных технологий, позволяющих автоматизировать построение и настройку гибридных композитных приложений для моделирования СС в прикладных задачах исследовательского моделирования и поддержки принятия решений.

6. Набор композитных программных решений, построенных на основании разработанных методов и технологий для реализации задач моделирования в различных предметных областях: нанотехнологии, гидрометеорология, социальные науки, здравоохранение.

Внедрение результатов работы. Результаты работы нашли свое применение при выполнении проектов, в которых Соискатель выступал в качестве руководителя: «Инструментальная среда для построения композитных приложений для моделирования сложных систем» (ГК №П1386 от 02.09.2009 г.), «Технология системологического проектирования и разработки междисциплинарных приложений в среде облачных вычислений» (соглашение №14.В37.21.1870 от 04.10.2012 г.), «Управление большими данными в вычислительно-интенсивных приложениях» (ТЗ №2238 от 31.03.2014 г.), «Технология выработки персонифицированных рекомендаций для пациентов с хроническими заболеваниями на основе гибридного моделирования жизненных процессов» (соглашение №14.575.21.0161 от 26.09.2017), а также ряда проектов, в которых Соискатель участвовал в качестве исполнителя: «Разработка высокопроизводительного программного комплекса для квантово-механических расчетов и моделирования наноразмерных атомно-молекулярных систем и комплексов» (ГК №02.524.11. 4005 от 10.11.2008 г.), «Создание распределенной вычислительной среды на базе облачной архитектуры для построения и эксплуатации высокопроизводительных композитных приложений» (договор №21057 от 15.07.2010 г.), «Распределенные экстренные вычисления для поддержки принятия решений в критических ситуациях» (договор № 11.G34.31.0019 от 02.12.2010 г.), «Модернизация и развитие комплекса программных модулей и компонент, предназначенных для использования в составе Системы Предупреждения Угрозы Наводнений (СПУН), а также научно-техническое обоснование решений, алгоритмов, моделей и прочих элементов, используемых в СПУН» (договор №СПУН-2013-01 от 01.10.2013), «Высокопроизводительные вычислительные технологии усвоения данных в гибридных динамических моделях для прогнозирования поведения сложных систем» (соглашение № 14-11-00823 от 15.07.2014 г.), «Технологии больших данных для проектов в области мега-сайенс» (договор № 14.Z50.31.0024 от 14.05.2014 г.) и др. Проводимые исследования поддержаны грантом Президента РФ (2018 г.), стипендией Президента РФ (2012 г.), грантами Комитета по науке и высшей школе Правительства Санкт-Петербурга (2007, 2008, 2009 гг.).

Апробация работы. Изложенные в диссертации результаты активно обсуждались более чем на 50 российских и международных конференциях и семинарах, включая International Conference on Computational Science – ICCS (2012, Омаха; 2013, Барселона; 2014, Кэрнс; 2015, Рейкьявик; 2016, Сан-Хосе; 2017, Цюрих; 2018, Уси), Conference on Complex Systems – CCS (2015, Темпе; 2017, Канкун; 2018, Салоники), Genetic and Evolutionary Computation Conference – GECCO (2018, Киото), International CODATA Conference (2017, Санкт-Петербург), 2^nd International Conference «Digital Transformation & Global Society» – DTGS (2017, Санкт-Петербург), Конференция «Декабрьские чтения» (2017, Новосибирск), International Conference on Intelligent Systems and Knowledge Engineering – ISKE (2011, Шанхай; 2013, Шэньчжэнь), Conference on Knowledge Engineering and Semantic Web – KESW (2013, 2014, Санкт-Петербург), IEEE 8^th International Conference on E-Science (2012, Чикаго), 9^th International Conference on Soft Computing Models in Industrial and Environmental Applications – SOCO (2014, Бильбао), 9^th Workshop on Workflows in Support of Large-Scale Science – WORKS

(2014, Новый Орлеан), 15^th International Multidisciplinary Scientific GeoConference – SGEM (2015, Албена), International Conference on Health and Social Care Information Systems and Technologies – HCist (2016, Порто; 2017, Барселона), Международную конференцию "Высокопроизводительные параллельные вычисления на кластерных системах" (2009, Владимир; 2010, 2014, Пермь; 2011, 2012, Нижний Новгород), Международную научную конференцию «Параллельные вычислительные технологии» – ПаВТ (2009, Нижний Новгород), 4-ю Международную конференцию «Распределенные вычисления и Grid-технологии в науке и образовании» (2010, Дубна), Всероссийскую конференцию «Проведение научных исследований в области информационно-телекоммуникационных технологий» (2010, Москва), Всероссийскую конференцию «Инфокоммуникационные технологии в научных исследованиях» (2012, Таруса) и др.

Публикации. По теме диссертации опубликовано 116 печатных работ (из них 61 в изданиях, индексируемых в международных системах цитирования Web of Science и Scopus, 25 – в изданиях, входящих в перечень ВАК), получены 10 свидетельств о регистрации программ для ЭВМ и один патент на изобретение. В списке публикаций приведено 50 основных работ, наиболее полно отражающих содержание представленных в диссертации материалов.

Личный вклад автора в работах, выполненных в соавторстве, заключается в постановке задачи разработки и применения КМ; проектировании и реализации методов идентификации, калибровки и применения КМ; интерпретации результатов и в формулировке общих закономерностей в рамках предложенных концепций и подходов. В частности, в рамках работы в соавторстве выполнена разработка концепции и технологии VSO (совместно с П.А. Смирновым), технологии IWF (совместно с К.В. Князьковым). Ряд экспериментальных исследований выполнен совместно со студентами А.А. Функнер, М.В. Гужой, А.В. Киселевым, А.В. Крикуновым, А.В. Захарчуком, Ц. Ляо, А.М. Чиркиным, Ф.В. Под-телкиным, выполнявшими свои ВКР под руководством Соискателя. Из работ, выполненных в соавторстве, в диссертацию включены результаты, которые соответствуют личному участию автора.

Структура и объем работы. Диссертация состоит из введения, семи глав, заключения и списка литературы (219 наименований). Содержит 270 с. текста, включая 134 рис. и 11 табл.