图神经网络领域主流的机器学习范式是消息传递图神经网络（Message Passing Graph Neural Networks, MP-GNNs），其核心机制是通过聚合节点局部邻域的信息来更新节点表示。近年来，为克服MP-GNNs固有的若干局限性，研究者们越来越多地尝试将Transformer架构引入图数据处理。然而，设计图Transformer的一个关键挑战在于如何将图结构的任意性有效融入模型架构之中。为此，我们提出Graph Diffuser（GD）来应对这一挑战。GD能够学习图中远距离节点之间的结构与位置关系，并利用这些关系引导Transformer的注意力机制和节点表示的生成。我们证明了现有GNN与图Transformer在捕捉长程依赖关系方面存在明显不足，而Graph Diffuser则能有效建模此类关系，并支持直观的可视化解释。在八个不同基准数据集上的实验结果表明，Graph Diffuser具有极强的竞争力，在多种应用场景中均超越了当前最先进模型。