摘要

跨模态分子检索（Text2Mol）任务旨在弥合分子与自然语言描述之间的语义鸿沟。现有解决方案通常依赖图卷积网络（GCN）结合跨模态注意力机制与对比学习，以获得合理的结果。然而，当前方法仍存在以下问题：1）跨模态注意力机制仅侧重于文本表征，难以为分子表征提供有效信息；2）基于GCN的分子编码器忽略了分子图中的边特征，以及分子中不同子结构的重要性差异；3）检索学习所采用的损失函数较为简单，难以充分建模模态间复杂关系。本文进一步研究Text2Mol问题，提出一种基于对抗性模态对齐网络（Adversarial Modality Alignment Network, AMAN）的新方法，以更充分地学习文本描述与分子结构的多模态信息。所提方法采用SciBERT作为文本编码器，图Transformer网络作为分子编码器，生成高质量的多模态表征。随后，引入对抗性网络实现模态间的交互式对齐。同时，采用三元组损失函数（triplet loss）进行检索学习，进一步强化模态对齐效果。在ChEBI-20数据集上的实验结果表明，与现有基线方法相比，所提出的AMAN方法在跨模态分子检索任务中具有显著优势，验证了其有效性。