4 个月前

DeeperGCN:训练更深图卷积网络所需的一切

DeeperGCN:训练更深图卷积网络所需的一切

摘要

图卷积网络(GCNs)因其在图上的表示学习能力而受到了广泛关注。与能够利用堆叠非常深层的卷积神经网络(CNNs)不同,当图卷积网络变得更深时,会遇到梯度消失、过平滑和过拟合等问题。这些挑战限制了GCNs在大规模图上的表示能力。本文提出了一种名为DeeperGCN的方法,该方法能够成功且可靠地训练非常深的图卷积网络。我们定义了可微分的广义聚合函数,以统一不同的消息聚合操作(例如均值、最大值)。此外,我们还提出了一种新的归一化层——MsgNorm以及适用于GCNs的预激活版本残差连接。大量实验表明,在开放图基准测试(OGB)上,DeeperGCN在节点属性预测和图属性预测的大规模图学习任务中显著提升了性能。更多详细信息,请访问https://www.deepgcns.org。

基准测试

基准方法指标
graph-property-prediction-on-ogbg-molhivDeeperGCN
Ext. data: No
Number of params: 531976
Test ROC-AUC: 0.7858 ± 0.0117
Validation ROC-AUC: 0.8427 ± 0.0063
graph-property-prediction-on-ogbg-molpcbaDeeperGCN+virtual node
Ext. data: No
Number of params: 5550208
Test AP: 0.2781 ± 0.0038
Validation AP: 0.2920 ± 0.0025
graph-property-prediction-on-ogbg-ppaDeeperGCN
Ext. data: No
Number of params: 2336421
Test Accuracy: 0.7712 ± 0.0071
Validation Accuracy: 0.7313 ± 0.0078
link-property-prediction-on-ogbl-collabDeeperGCN
Ext. data: No
Number of params: 117383
Test Hits@50: 0.5273 ± 0.0047
Validation Hits@50: 0.6187 ± 0.0045

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DeeperGCN:训练更深图卷积网络所需的一切 | 论文 | HyperAI超神经