3 个月前

经典GNN能否成为图级别任务的强大基线?简单架构成就卓越表现

经典GNN能否成为图级别任务的强大基线?简单架构成就卓越表现

摘要

消息传递图神经网络(Message-passing Graph Neural Networks, GNNs)常因其表达能力有限、存在过平滑(over-smoothing)与过压缩(over-squashing)等问题,以及在捕捉长程依赖关系方面的挑战而受到批评。相比之下,图注意力网络(Graph Transformers, GTs)因其采用全局注意力机制,被认为在理论上能够缓解上述问题,因而被视为更具优势的模型。现有文献普遍认为,GTs在图级任务中表现优于GNNs,尤其是在小分子图的分类与回归任务中。在本研究中,我们通过一种增强型框架——GNN+,探索了GNNs尚未被充分挖掘的潜力。该框架整合了六种广泛使用的技术:边特征融合、归一化、丢弃(dropout)、残差连接、前馈网络以及位置编码,旨在有效应对图级任务的挑战。我们对三种经典GNN模型(GCN、GIN与GatedGCN)在GNN+框架下进行了系统性重评估,覆盖了14个广为人知的图级数据集。实验结果表明,与当前主流观点相反,这些经过增强的经典GNN模型在性能上不仅持续达到与GTs相当的水平,甚至在多数情况下超越GTs,在所有数据集中均位列前三,并在其中8个数据集中取得第一名。此外,这些GNN模型展现出更高的计算效率,在多个数据集上运行速度比GTs快数倍。这一发现凸显了简单GNN架构的潜在能力,挑战了“复杂机制(如全局注意力)是实现优越图级性能所必需”的固有认知。我们的源代码已公开,地址为:https://github.com/LUOyk1999/GNNPlus。

代码仓库

LUOyk1999/GNNPlus
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
graph-classification-on-cifar10-100kGatedGCN+
Accuracy (%): 77.218 ± 0.381
graph-classification-on-malnet-tinyGatedGCN+
Accuracy: 94.600±0.570
graph-classification-on-mnistGCN+
Accuracy: 98.382 ± 0.095
graph-classification-on-mnistGatedGCN+
Accuracy: 98.712 ± 0.137
graph-classification-on-peptides-funcGCN+
AP: 0.7261 ± 0.0067
graph-property-prediction-on-ogbg-code2GatedGCN+
Test F1 score: 0.1896 ± 0.0024
Validation F1 score: 0.1742 ± 0.0027
graph-property-prediction-on-ogbg-molhivGatedGCN+
Ext. data: No
Number of params: 1076633
Test ROC-AUC: 0.8040 ± 0.0164
Validation ROC-AUC: 0.8329 ± 0.0158
graph-property-prediction-on-ogbg-molpcbaGatedGCN+
Ext. data: No
Number of params: 6016860
Test AP: 0.2981 ± 0.0024
Validation AP: 0.3011 ± 0.0037
graph-property-prediction-on-ogbg-ppaGatedGCN+
Ext. data: No
Number of params: 5547557
Test Accuracy: 0.8258 ± 0.0055
Validation Accuracy: 0.7815 ± 0.0043
graph-property-prediction-on-ogbg-ppaGCN+
Ext. data: No
Number of params: 5549605
Test Accuracy: 0.8077 ± 0.0041
Validation Accuracy: 0.7586 ± 0.0032
graph-property-prediction-on-ogbg-ppaGIN+
Ext. data: No
Number of params: 8173605
Test Accuracy: 0.8107 ± 0.0053
Validation Accuracy: 0.7786 ± 0.0095
graph-regression-on-peptides-structGCN+
MAE: 0.2421 ± 0.0016
graph-regression-on-zinc-500kGIN+
MAE: 0.065
node-classification-on-clusterGatedGCN+
Accuracy: 79.128 ± 0.235
node-classification-on-coco-spGatedGCN+
macro F1: 0.3802 ± 0.0015
node-classification-on-pascalvoc-sp-1GatedGCN+
macro F1: 0.4263 ± 0.0057
node-classification-on-patternGatedGCN+
Accuracy: 87.029 ± 0.037

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
经典GNN能否成为图级别任务的强大基线?简单架构成就卓越表现 | 论文 | HyperAI超神经