3 个月前

图与Transformer特征的协同融合用于增强分子性质预测

图与Transformer特征的协同融合用于增强分子性质预测

摘要

分子性质预测是计算药物发现中的关键任务。尽管图神经网络(Graph Neural Networks, GNNs)和Transformer模型的近期进展展现出良好的效果与潜力,但仍存在以下局限性:Transformer的自注意力机制未能显式考虑分子的底层结构信息,而仅依赖GNN的特征表示又不足以捕捉区分相似分子的细微且隐含的相互作用与特性。为克服上述挑战,我们提出了一种名为SYN-FUSION的新方法,该方法通过协同融合预训练的GNN与Transformer特征,构建出全面的分子表征,能够同时捕捉分子的全局结构信息与原子级个体特征。在MoleculeNet基准数据集上的实验结果表明,SYN-FUSION在7个分类数据集中的5个以及6个回归数据集中的4个上均优于先前模型。与采用Transformer与图特征联合训练的其他图-Transformer模型相比,SYN-FUSION在性能上表现相当。通过对模型学习过程的深入分析,涵盖损失函数、潜在空间分布及权重分布等多个维度,进一步验证了SYN-FUSION的有效性。最后,消融实验明确证明,SYN-FUSION所实现的协同效应显著超越其单一模型组件及其集成模型的表现,显著提升了分子性质预测的准确性。

基准测试

基准方法指标
molecular-property-prediction-on-clintox-1SYN-FUSION
ROC-AUC: 94.7±0.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图与Transformer特征的协同融合用于增强分子性质预测 | 论文 | HyperAI超神经