Глубокие генеративные конкурентные нейронные сети для малых органических молекулярных структур Путин Евгений Олегович

Введение к работе

Актуальность темы. Разработка лекарственных молекул исторически основана на трех важнейших научных дисциплинах: компьютерном моделировании (виртуальный скрининг, ВС), комбинаторном органическом синтезе (КС) и высокопроизводительном биологическом скрининге (ВБС). Применение этих технологий привело к разработке значительного числа новых структурно разнообразных лекарственных молекул, многие из которых были выпущены на мировой фармацевтические рынок.

При помощи различных методов виртуального скрининга, в частности, генетических алгоритмов, еще до стадии непосредственного синтеза прогнозируется ряд важных характеристик малых органических молекулярных структур (в дальнейшем – молекулярных структур), включая наиболее вероятный механизм действия (биологическая мишень, как правило, белок), активность, селективность, фармакокинетический профиль, токсичность, стабильность и синтетическая доступность. В результате структуры уже известных или синтетически доступных молекул профилируются по указанным свойствам, что позволяет специалистам осуществлять их рациональный отбор. Активность отобранных молекул оценивается при помощи методов ВБС в биохимических и клеточных массивах. Структура наиболее активных соединений (молекула-хит) модифицируется с целью ус иления активности, селективности, растворимости и снижения возможных побочных эффектов. Итерационно молекула-хит трансформируется в лидирующую м олекулу, которая исследуется в серии доклинических испытаний.

Указанные стадии разработки требуют существенных финансовых и временных затрат и не всегда приводят к успеху. С учетом того, что химическое пространство всех возможных органических синтетически доступных лекарственно-подобных молекул включает огромное число структур, обход и оценка такого пространства методами ВС, включая генетические алгоритмы, являются вычислительно трудными задачами. Существенный недостаток методов, основанных на генетических алгоритмах – ручная спецификация эвристик мутации и скрещивания, при которой возникает риск их неправильного задания. Кроме того, будучи экспертно-зависимыми методами, перенос генетических алгоритмов на новые задачи потребовал бы привлечения дополнительных экспертных знаний. Также стоит отметить, что многие разрабатываемые молекулы могут подпадать под действие существующих патентов и, тем самым, не будут удовлетворять критериям новизны.

Для устранения недостатков, связанных с использованием генетических алгоритмов, в последнее время начали применяться глубокие нейронные сети для генерации молекулярных соединений, что является областью дальнейших перспективных исследований.

Степень разработанности темы. Применением нейронных сетей в этой области занимались т акие ученые, как, например, R. Gmez-Bombarelli¹, M. Olivecrona², M. Popova³, A. Gupta⁴.

Разрабатываемые модели нейронных сетей можно разделить по типу представления молекулярных структур: строка, бинарный вектор, молекулярный граф и трехмерная электронная карта плотности. В силу того, что работа с графами и трехмерными структурами вычислительно долгий процесс, а бинарный вектор может соответствовать разным молекулам, наиболее эффективным представлением молекулярных структур является строковое представление в формате Simplified Molecular Input Line Entry System (SMILES).

При таком представлении молекулярная структура записывается как последовательность символов атомов и связей между ними, при этом строка взаимно-однозначно соответствует молекуле, которую кодирует. Однако может возникнуть ситуация, в которой строка корректна с точки зрения синтаксиса грамматики SMILES, но не является семантически валидной – не соответствует какой-либо существующей в природе молекуле.

При таком молекулярном представлении задача генерации новых молекулярных структур разбивается на два этапа. На первом – происходит сбор, обработка и приведение в строковый формат тренировочных молекулярных соединений. На втором этапе осуществляется обучение какой-либо модели генеративной нейронной сети на тренировочных молекулярных структурах. Впоследствии обученную модель можно использовать, чтобы генерировать новые молекулярных структуры.

В литературе существуют различные типы генеративных нейронных сетей, однако одними из наиболее популярных и лучших с точки зрения качества генерируемых объектов рассматриваемого класса являются генеративные конкурентные нейронные сети (generative adversarial network, GAN)⁵. GAN реализуют парадигму конкурентного обучения, которая основывается на игре между двумя игроками – генератором и дискриминатором, каждый из которых является нейронной сетью. Генератор генерирует объекты, его задача состоит в том, чтобы обмануть дискриминатор. Последний, в свою очередь, принимая объекты, решает, являются ли они реальными (из тренировочной выборки) или сгенерированными генератором. Таким образом, генератор и дискриминатор образуют минимаксную игру, в которой теоретически достигается равновесие Нэша

¹ Gmez-Bombarelli R. et al. Automatic chemical design using a data-driven continuous representation of mole
cules // ACS central science. — 2018. — Vol. 4, no. 2. — P. 268-276.

² Olivecrona M. et al. Molecular de-novo design through deep reinforcement learning // Journal of cheminfor-
matics. — 2017. — Vol. 9, no. 1. — P. 48.

³ Popova M., Isayev O., Tropsha A. Deep reinforcement learning for de novo drug design // Science advances.

— 2018.

⁴ Gupta A. et al. Generative recurrent networks for de novo drug design // Molecular informatics. — 2018.
—Vol. 37, no. 1-2. — P. 1700111.

⁵ Goodfellow I. et al. Generative adversarial nets // Advances in neural information processing systems. — 2014.

— P. 2672-2680.

и благодаря совместному обучению, генератор начинает порождать все более и более реалистичные объекты.

Целью работы является ра зработка и экспериментальная оценка набора эффективных архитектур глубоких генеративных конкурентных нейронных сетей и алгоритмов их обучения для генерации малых органических молекулярных структур с заданными свойствами.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Разработать и реализовать архитектуры глубоких конкурентных нейронных сетей для программных систем генерации молекулярных структур с заданными свойствами.

2. Провести вычислительные эксперименты для оценки эффективности предложенных глубоких генеративных конкурентных нейронных сетей для рассматриваемого класса задач.

Положения, выносимые на защиту:

3. Разработана архитектура RANC (Reinforced Adversarial Neural Computer) глубокой конкурентной нейронной сети для программной системы генерации малых органических молекулярных структур с заданными свойствами. Показано, что она позволяет генерировать более качественные молекулярные соединения по сравнению конкурентом – нейронной сетью с архитектурой ORGANIC (Objective Reinforced Generative Adversarial Network for Inverse Chemical Design).

4. Разработана архитектура ATNC (Adversarial Threshold Neural Computer) глубокой конкурентной нейронной сети для программной системы генерации малых органических молекулярных структур с заданными свойствами на основе архитектуры RANC c добавлением специального блока, который фильтрует недостаточно качественные молекулярные соединения уже на этапе генерации. Показано, что она позволяет генерировать более качественные молекулярные соединения по сравнению с программными системами RANC.

5. Разработана архитектура RSAAE (Reinforced Seq2Seq Adversarial Autoen-coder) глубокой конкурентной нейронной сети для программной системы генерации малых органических молекулярных структур с заданными свойствами на основе архитектуры RANC с добавлением специального блока, который обеспечивает повышение процента генерации семантически валидных строк (молекул). Показано, что в экспериментах с предобу-чением (выполняется на больших выборках) и дальнейшим дообучением (выполняется на небольших выборках) RSAAE эффективнее RANC и ATNC, а в экспериментах только на небольших выборках ATNC эффективнее RANC и ATNC.

Научная новизна. Предложены архитектуры нейронных сетей для проектирования программных систем генерации малых органических молекулярных структур с заданными свойствами. Эти архитектуры позволили генерировать более качественные молекулярные соединения по сравнению с программной

системой ORGANIC (разработанной в Гарвардском университете), что, в частности, подтверждается тем, что ее авторы стали соавторами диссертанта.

Достоверность научных положений, экспериментальных результатов, выводов и практических рекомендаций, полученных в диссертации, обеспечивается корректным обоснованием постановок задач, формулировкой критериев оценки, а также результатами вычислительных экспериментов.

Методология диссертационного исследования базируется на конкурентном обучении двух нейронных сетей (генератора и дискриминатора), реализуемом в виде поиска равновесия Нэша в минимаксной игре, а также на обучении с подкреплением, реализуемом в виде максимизации функции награды генератора.

Методы, используемые в диссертационном исследовании, связаны с глубоким машинным обучением, теорией вероятности, математической статистикой, дискретной математикой и объектно-ориентированным программированием.

Теоретическая значимость работы состоит в разработке новых эффективных архитектур нейронных сетей для генерации молекулярных соединений, объединяющих парадигмы конкурентного обучения и обучения с подкреплением.

Практическая значимость работы заключается в том, что предлагаемые архитектуры глубоких генеративных конкурентных нейронных сетей позволяют порождать качественные молекулярные соединения с заданными свойствами под конкретный белок-мишень или класс мишеней.

Внедрение результатов работы. Предложенные программные системы на основе глубоких генеративных конкурентных нейронных сетей применяются в компании ООО «Инсилико» (Москва) для генерации новых молекулярных структур, что подтверждается актом о внедрения. Результаты диссертации нашли пр именение в Университете ИТМО при выполнении работ по теме № 617041 «Автоматизированный анализ пространства химических превращений для предсказательного моделирования каталитических процессов», выполняемых из средств Университета ИТМО, что подтверждается соответствующим актом.

Апробация результатов работы. Основные результаты диссертационной работы докладывались на следующих научных и научно-практических конференциях: XIX Международная конференция по мягким вычислениям и измерениям (SCM’16). 2016, СПбГЭТУ «ЛЭТИ», СПб; International Symposium on Innovations in Intelligent Systems and Applications (INISTA’16). 2016, Синая, Румыния; XX Международная конференция по мягким вычислениям и измерениям (SCM’17). 2017, СПбГЭТУ «ЛЭТИ», СПб; Научная и учебно-методическая конференция Университета ИТМО. 2017, Университет ИТМО, СПб; Научная и учебно-методическая конференция Университета ИТМО. 2018, Университет ИТМО, СПб; XXI Международная конференция по мягким вычислениям и изме-

рениям (SCM’18). 2018, СПбГЭТУ «ЛЭТИ», СПб; The 18th EPIA Conference on Artificial Intelligence (EPIA'17). 2017, Порту, Португалия; The 27th International Conference on Artificial Neural Networks (ICANN'18). 2018, Родос, Греция.

Личный вклад автора. Идеи, формализация, разработка и реализация архитектур, предлагаемых в работе глубоких генеративных конкурентных нейронных сетей, а также алгоритмов их обучения принадлежат лично автору. Проведение вычислительных экспериментов выполнены автором совместно с Арипом Асадулаевым.

В работах, выполненных в соавторстве, Жаворонковым А.А., Шалыто А. А., Алипером А.М. и Aspuru-Guzik A. осуществлена постановка задачи исследования, Иваненковым Я.А., Аладинским В.А., Аладинской А.В., Vanhaelen Q. и Sanchez- Lengeling B. выполнена химическая интерпретация сгенерированных молекулярных структур.

Публикации по теме диссертации. Основные результаты по теме диссертации изложены в четырех публикациях, две из которых изданы в журналах из списка ВАК, две – в изданиях, индексируемых в международных базах цитирования Web of Science и Scopus.

Участие в научно-исследовательских работах. Результаты диссертации использовались при выполнении НИР «Автоматизированный анализ пространства химических превращений для предсказательного моделирования каталитических процессов» (2017-2018 гг., тема № 617041, средства Университета ИТМО).

Структура диссертации. Диссертация изложена на 134 страницах и состоит из введения, пяти глав и заключения. Список источников содержит 176 наименований. Работа проиллюстрирована 20 рисунками и 14 таблицами.