HyperAIHyperAI

Command Palette

Search for a command to run...

基于拓扑信息的图变换器

Yun Young Choi; Sun Woo Park; Minho Lee; Youngho Woo

摘要

Transformer (Transformers)在自然语言处理和视觉领域取得了革命性的进展,为它们与图神经网络(Graph Neural Networks, GNNs)的结合铺平了道路。增强图 Transformer 性能的一个关键挑战是提高其区分图同构的能力,这在提升预测性能方面起着至关重要的作用。为了解决这一挑战,我们引入了一种新型 Transformer ——“拓扑感知图 Transformer (Topology-Informed Graph Transformer, TIGT)”,该模型不仅增强了检测图同构的辨别能力,还提升了图 Transformer 的整体性能。TIGT由四个组件构成:一个基于图的非同构普遍覆盖(利用图中的循环子图)的拓扑位置嵌入层,以确保唯一的图表示;一个双路径消息传递层,用于在整个编码器层中显式编码拓扑特征;一个全局注意力机制;以及一个图信息层,用于重新校准通道级图特征以实现更好的特征表示。TIGT在区分合成数据集中图同构类别的分类任务上超越了以往的图 Transformer 。此外,数学分析和实证评估表明,我们的模型在各种基准数据集上具有与最先进的图 Transformer 相媲美的优势。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于拓扑信息的图变换器 | 论文 | HyperAI超神经