摘要

近期，基于变换器的架构在图学习领域得到了迅速发展，这主要是由于注意力机制作为一种有效的学习方法以及希望取代消息传递方案中手工设计的操作者。然而，人们对其经验有效性、可扩展性和预处理步骤的复杂性提出了担忧，尤其是在与通常在广泛基准测试中表现相当的更简单的图神经网络相比时。为了解决这些不足，我们将图视为边的集合，并提出了一种纯基于注意力的方法，该方法由编码器和注意力池化机制组成。编码器纵向交替使用掩码自注意力模块和普通自注意力模块来学习边的有效表示，同时允许处理输入图中的可能错误指定问题。尽管该方法简单，但在超过70个节点级和图级任务上超越了精心调校的消息传递基线模型和最近提出的基于变换器的方法，包括具有挑战性的长程基准测试。此外，我们在不同任务中展示了最先进的性能，从分子图到视觉图再到异质节点分类。该方法在迁移学习设置中也优于图神经网络和变换器，并且其可扩展性远胜于性能水平或表达能力相似的其他替代方案。