摘要

我们提出了一种扩展的变压器神经网络架构，用于通用图学习，通过添加一个专门用于传递成对结构信息的路径，称为边通道。该框架被称为增强边图变压器（Edge-augmented Graph Transformer, EGT），可以直接接受、处理并输出任意形式的结构信息，这对于在图结构数据上进行有效学习至关重要。我们的模型仅使用全局自注意力机制作为聚合方法，而不是静态局部卷积聚合。这使得节点之间可以进行无约束的长距离动态交互。此外，边通道允许结构信息逐层演化，并且可以直接从这些通道的输出嵌入中执行边/链接预测任务。我们在多个基准数据集上的广泛图学习实验中验证了EGT的性能，在这些实验中它优于卷积/消息传递图神经网络。EGT在包含380万个分子图的OGB-LSC PCQM4Mv2数据集上的量子化学回归任务中达到了新的最先进水平。我们的研究结果表明，基于全局自注意力机制的聚合可以作为灵活、适应性强且有效的图卷积替代方案，用于通用图学习。因此，卷积局部邻域聚合并不是一个必要的归纳偏置。