3 个月前

我们真的需要各向异性的图神经网络吗?

我们真的需要各向异性的图神经网络吗?

摘要

图神经网络(GNN)领域普遍认为,为了实现最先进性能,必须采用各向异性模型——即节点间传递的消息依赖于源节点和目标节点的联合信息。迄今为止的基准测试表明,这类各向异性模型在性能上优于相应的各向同性模型(即消息仅依赖于源节点)。然而,在本研究中,我们提供了实证证据,对这一主流观点提出了挑战:我们提出了一种各向同性图神经网络——高效图卷积(Efficient Graph Convolution, EGC),该模型通过使用空间可变的自适应滤波器,在多项任务中持续优于现有的各向异性模型,包括广受关注的GAT和PNA架构。本研究不仅对GNN社区提出了若干重要问题,更具有显著的实际应用价值。EGC在保持更高模型准确率的同时,实现了更低的内存占用和延迟,且其结构特性非常适合硬件加速器部署,同时可作为现有架构的即插即用替代方案。作为一款各向同性模型,其内存需求与图中顶点数量成正比($\mathcal{O}(V)$);而各向异性模型则需要与边数成正比的内存开销($\mathcal{O}(E)$)。我们在六个大规模且多样化的基准数据集上验证了EGC的优越性能。最后,我们探讨了本工作对未来GNN研究方向带来的启发性问题。本文实验所用代码及预训练模型已开源,详见:https://github.com/shyam196/egc。

代码仓库

pyg-team/pytorch_geometric
官方
pytorch
GitHub 中提及
shyam196/egc
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
graph-property-prediction-on-ogbg-code2EGC-M (No Edge Features)
Ext. data: No
Number of params: 10986002
Test F1 score: 0.1595 ± 0.0019
Validation F1 score: 0.1464 ± 0.0021
graph-property-prediction-on-ogbg-code2MPNN-Max (No Edge Features)
Ext. data: No
Number of params: 10971506
Test F1 score: 0.1552 ± 0.0022
Validation F1 score: 0.1441 ± 0.0016
graph-property-prediction-on-ogbg-code2PNA (No Edge Features)
Ext. data: No
Number of params: 10992050
Test F1 score: 0.1570 ± 0.0032
Validation F1 score: 0.1453 ± 0.0025
graph-property-prediction-on-ogbg-code2EGC-S (No Edge Features)
Ext. data: No
Number of params: 11156530
Test F1 score: 0.1528 ± 0.0025
Validation F1 score: 0.1427 ± 0.0020
graph-property-prediction-on-ogbg-molhivEGC-S (No Edge Features)
Ext. data: No
Number of params: 317013
Test ROC-AUC: 0.7721 ± 0.0110
Validation ROC-AUC: 0.8366 ± 0.0074
graph-property-prediction-on-ogbg-molhivEGC-M (No Edge Features)
Ext. data: No
Number of params: 317265
Test ROC-AUC: 0.7818 ± 0.0153
Validation ROC-AUC: 0.8396 ± 0.0097

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
我们真的需要各向异性的图神经网络吗? | 论文 | HyperAI超神经