3 个月前

具有可学习结构与位置表示的图神经网络

具有可学习结构与位置表示的图神经网络

摘要

图神经网络(Graph Neural Networks, GNNs)已成为图数据的标准学习架构,广泛应用于量子化学、推荐系统、知识图谱以及自然语言处理等多个领域。然而,对于任意图结构而言,节点缺乏规范化的位置信息,这限制了GNN在区分同构节点及其他图对称性方面的表示能力。为应对这一挑战,一种有效方法是引入节点的位置编码(Positional Encoding, PE),并将其注入网络的输入层,类似于Transformer中的处理方式。常见的图结构位置编码包括拉普拉斯矩阵的特征向量。在本工作中,我们提出将结构表示与位置表示进行解耦,以帮助网络更有效地学习这两种关键属性。为此,我们设计了一种新颖的通用架构,命名为LSPE(Learnable Structural and Positional Encodings,可学习的结构与位置编码)。我们在多种稀疏和全连接(类Transformer)的GNN模型上进行了实验,结果表明,当为这两类GNN均引入可学习的位置编码时,在分子数据集上的性能提升显著,最高可达64.14%,最低亦有1.79%的提升。

代码仓库

vijaydwivedi75/gnn-lspe
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
graph-regression-on-zinc-500kGatedGCN-LSPE
MAE: 0.090
graph-regression-on-zinc-500kPNA-LSPE
MAE: 0.095
graph-regression-on-zinc-500kSAN-LSPE
MAE: 0.104

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
具有可学习结构与位置表示的图神经网络 | 论文 | HyperAI超神经