HyperAIHyperAI

Command Palette

Search for a command to run...

全局自注意力机制作为图卷积的替代方法

Md Shamim Hussain Mohammed J. Zaki Dharmashankar Subramanian

摘要

我们提出了一种扩展的 Transformer 神经网络架构,用于通用图学习,通过添加一个专门用于传递成对结构信息的路径,称为边通道。该框架被称为增强边图 Transformer (Edge-augmented Graph Transformer, EGT),可以直接接受、处理并输出任意形式的结构信息,这对于在图结构数据上进行有效学习至关重要。我们的模型仅使用全局自注意力机制作为聚合方法,而不是静态局部卷积聚合。这使得节点之间可以进行无约束的长距离动态交互。此外,边通道允许结构信息逐层演化,并且可以直接从这些通道的输出嵌入中执行边/链接预测任务。我们在多个基准数据集上的广泛图学习实验中验证了EGT的性能,在这些实验中它优于卷积/消息传递图神经网络。EGT在包含380万个分子图的OGB-LSC PCQM4Mv2数据集上的量子化学回归任务中达到了新的最先进水平。我们的研究结果表明,基于全局自注意力机制的聚合可以作为灵活、适应性强且有效的图卷积替代方案,用于通用图学习。因此,卷积局部邻域聚合并不是一个必要的归纳偏置。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
全局自注意力机制作为图卷积的替代方法 | 论文 | HyperAI超神经