摘要

近年来，Transformer架构在图表示学习领域受到越来越多关注，因其通过避免图神经网络（GNNs）所固有的严格结构归纳偏置，仅依赖位置编码来编码图结构，从而自然克服了GNNs的若干局限性。然而，本文指出，仅通过位置编码构建的Transformer所生成的节点表示，并不必然能够捕捉节点之间的结构相似性。为解决这一问题，我们提出了一种新型的结构感知Transformer（Structure-Aware Transformer），这是一种基于全新自注意力机制的简洁且灵活的图Transformer框架。该机制在计算注意力之前，先提取以每个节点为中心的子图表示，并将结构信息融入原始自注意力机制中。我们提出了多种自动生成子图表示的方法，并从理论上证明了所得表示的表达能力至少与子图表示相当。实验结果表明，该方法在五个图预测基准任务上均取得了当前最优性能。此外，我们的结构感知框架可兼容任意现有GNN模型以提取子图表示，且能系统性地提升基线GNN模型的性能，成功融合了GNN与Transformer的优势。相关代码已开源，地址为：https://github.com/BorgwardtLab/SAT。