摘要

图注意力机制需要强大的归纳偏置来生成有意义的注意力分数。然而，现有方法在捕捉图结构中常见的长程依赖、层次化结构或社区结构方面往往表现不足，而这些结构广泛存在于分子图、社交网络和引文网络等各类图数据中。本文提出一种层次化距离结构编码（Hierarchical Distance Structural Encoding, HDSE）方法，用于建模图中节点间的距离关系，重点体现其多层次、分层的特性。我们设计了一种新颖的框架，可无缝将HDSE集成至现有图Transformer的注意力机制中，支持与其它位置编码方法并行使用。为使基于HDSE的图Transformer能够有效应用于大规模图数据，我们进一步提出了高层级HDSE，该方法能有效引导线性Transformer模型关注图的层次结构。理论上，我们证明了HDSE在表达能力与泛化性能方面优于传统的最短路径距离。实验结果表明，采用HDSE的图Transformer在7个图级别任务（包括图分类与回归）中表现优异，并在11个大规模图数据集上的节点分类任务中均取得领先性能，其中部分图数据规模高达十亿个节点。