摘要

本文提出了一种用于图表示学习的新型变压器架构。我们的方法的核心在于在构建变压器块中的注意力模块时，充分考虑图中节点和边之间的信息传播。具体而言，我们提出了一种新的注意力机制，称为图传播注意力（Graph Propagation Attention, GPA）。该机制通过三种方式显式地传递节点和边之间的信息，即节点到节点、节点到边以及边到节点，这对于学习图结构数据至关重要。在此基础上，我们设计了一种有效的变压器架构，命名为图传播变压器（Graph Propagation Transformer, GPTrans），以进一步帮助学习图数据。我们在多个基准数据集上进行了一系列广泛的图学习实验，验证了GPTrans的性能。这些结果表明，我们的方法在性能上优于许多基于变压器的最先进图模型。代码将在https://github.com/czczup/GPTrans发布。