本文提出了一种用于图表示学习的新型 Transformer 架构。我们的方法的核心在于在构建 Transformer 块中的注意力模块时，充分考虑图中节点和边之间的信息传播。具体而言，我们提出了一种新的注意力机制，称为图传播注意力（Graph Propagation Attention, GPA）。该机制通过三种方式显式地传递节点和边之间的信息，即节点到节点、节点到边以及边到节点，这对于学习图结构数据至关重要。在此基础上，我们设计了一种有效的 Transformer 架构，命名为图传播 Transformer （Graph Propagation Transformer, GPTrans），以进一步帮助学习图数据。我们在多个基准数据集上进行了一系列广泛的图学习实验，验证了GPTrans的性能。这些结果表明，我们的方法在性能上优于许多基于 Transformer 的最先进图模型。代码将在https://github.com/czczup/GPTrans发布。