摘要

近年来，基于Transformer架构并结合简化分子线性输入规范（SMILES）的分子表示方法，在解决化学信息学领域挑战方面展现出强大潜力。然而，这类模型通常针对单一应用场景专门设计，且训练过程往往资源消耗巨大。本文提出Chemformer模型——一种基于Transformer的通用型模型，可快速应用于序列到序列及判别型化学信息学任务。此外，我们证明了自监督预训练能够显著提升模型性能，并大幅加速下游任务的收敛速度。在直接合成与逆合成预测的基准数据集上，Chemformer在Top-1准确率方面取得了当前最优（state-of-the-art）的结果。同时，我们在分子优化任务上也超越了现有方法，并进一步验证了Chemformer能够同时优化多个判别性任务的能力。模型、数据集及代码将在论文发表后公开发布。