摘要

变压器（Transformers）在自然语言处理和视觉领域取得了革命性的进展，为它们与图神经网络（Graph Neural Networks, GNNs）的结合铺平了道路。增强图变压器性能的一个关键挑战是提高其区分图同构的能力，这在提升预测性能方面起着至关重要的作用。为了解决这一挑战，我们引入了一种新型变压器——“拓扑感知图变压器（Topology-Informed Graph Transformer, TIGT）”，该模型不仅增强了检测图同构的辨别能力，还提升了图变压器的整体性能。TIGT由四个组件构成：一个基于图的非同构普遍覆盖（利用图中的循环子图）的拓扑位置嵌入层，以确保唯一的图表示；一个双路径消息传递层，用于在整个编码器层中显式编码拓扑特征；一个全局注意力机制；以及一个图信息层，用于重新校准通道级图特征以实现更好的特征表示。TIGT在区分合成数据集中图同构类别的分类任务上超越了以往的图变压器。此外，数学分析和实证评估表明，我们的模型在各种基准数据集上具有与最先进的图变压器相媲美的优势。