摘要

我们提出了一种用于Transformer架构中图学习的新型位置编码方法。现有的方法要么将图线性化，以在节点序列中编码绝对位置，要么通过偏置项以另一节点为参考编码相对位置。前者在图的线性化过程中会损失相对位置的精确性，后者则难以实现节点与边、节点与拓扑结构之间紧密的交互建模。为克服上述方法的局限性，我们的方法在不进行图线性化的基础上，同时考虑了节点-拓扑与节点-边的交互关系。我们将其命名为图相对位置编码（Graph Relative Positional Encoding），专为图表示学习而设计。在多个图数据集上的实验结果表明，所提出的方法显著优于现有方法。相关代码已公开，可通过 https://github.com/lenscloth/GRPE 获取。