
摘要
近年来,人工智能领域大型基础模型的成功推动了化学预训练模型的兴起。尽管针对大型分子预训练模型的研究日益增多,这类模型能够为下游任务提供富有信息量的表征,但针对分子领域多模态预训练方法的探索仍相对有限。为解决这一问题,我们提出了一种新型的多模态分子预训练模型,该模型融合了分子结构与生化性质两种模态,其设计灵感来源于多模态学习技术的最新进展。我们提出的模型数据处理流程与训练目标,能够将分子结构与性质特征映射至统一的嵌入空间,从而实现分子结构与性质之间双向信息的交互建模。这一设计带来的协同效应,使模型能够通过单一架构同时应对多模态与单模态的下游任务。通过大量实验验证,我们证明该模型在解决多种具有实际意义的化学挑战方面展现出卓越性能,包括条件分子生成、性质预测、分子分类以及反应预测等任务。
代码仓库
jinhojsk515/SPMM
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| molecular-property-prediction-on | SPMM | RMSE: 0.706 |
| molecular-property-prediction-on-bace-1 | SPMM | RMSE: 1.108 ROC-AUC: 83.0 |
| molecular-property-prediction-on-bbbp-1 | SPMM | ROC-AUC: 73.3 |
| molecular-property-prediction-on-clearance | SPMM | RMSE: 44.752 |
| molecular-property-prediction-on-clintox-1 | SPMM | ROC-AUC: 91.0 |
| molecular-property-prediction-on-esol | SPMM | RMSE: 0.810 |
| molecular-property-prediction-on-freesolv | SPMM | RMSE: 1.859 |
| molecular-property-prediction-on-sider-1 | SPMM | ROC-AUC: 64.7 |