摘要

近年来，图Transformer在图表示学习方面已展现出超越图神经网络（GNNs）的卓越性能。本文将图Transformer的核心模块——自注意力机制，视为在完全连通图上执行的两步聚合操作。由于该机制生成非负注意力值的特性，其本质上等价于对所有节点进行平滑操作，从而有效保留低频信息。然而，仅依赖低频信息在学习异质图（如异质性图，heterophily graphs）等复杂图结构中节点间复杂关系时效率较低，因为在这些图中高频信息具有关键作用。为此，本文提出一种基于符号注意力的图Transformer（Signed Attention-based Graph Transformer, SignGT），以自适应地捕捉图中多样的频率信息。具体而言，SignGT设计了一种新型的符号自注意力机制（Signed Self-Attention, SignSA），该机制根据节点对之间的语义相关性生成带有正负符号的注意力值，从而能够精细地保留不同节点对之间的多样化频率特征。此外，SignGT引入一种结构感知前馈网络（Structure-aware Feed-Forward Network, SFFN），通过引入邻域偏置（neighborhood bias）来增强对局部拓扑结构信息的保留能力。由此，SignGT能够同时从长程依赖关系和局部拓扑结构中学习到富有信息量的节点表示。在节点级别与图级别任务上的大量实验结果表明，SignGT在性能上显著优于当前最先进的图Transformer模型以及先进的图神经网络模型，充分验证了其有效性与优越性。