
摘要
图卷积网络(GCNs)因其在图上的表示学习能力而受到了广泛关注。与能够利用堆叠非常深层的卷积神经网络(CNNs)不同,当图卷积网络变得更深时,会遇到梯度消失、过平滑和过拟合等问题。这些挑战限制了GCNs在大规模图上的表示能力。本文提出了一种名为DeeperGCN的方法,该方法能够成功且可靠地训练非常深的图卷积网络。我们定义了可微分的广义聚合函数,以统一不同的消息聚合操作(例如均值、最大值)。此外,我们还提出了一种新的归一化层——MsgNorm以及适用于GCNs的预激活版本残差连接。大量实验表明,在开放图基准测试(OGB)上,DeeperGCN在节点属性预测和图属性预测的大规模图学习任务中显著提升了性能。更多详细信息,请访问https://www.deepgcns.org。
代码仓库
xnuohz/DeeperGCN-dgl
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| graph-property-prediction-on-ogbg-molhiv | DeeperGCN | Ext. data: No Number of params: 531976 Test ROC-AUC: 0.7858 ± 0.0117 Validation ROC-AUC: 0.8427 ± 0.0063 |
| graph-property-prediction-on-ogbg-molpcba | DeeperGCN+virtual node | Ext. data: No Number of params: 5550208 Test AP: 0.2781 ± 0.0038 Validation AP: 0.2920 ± 0.0025 |
| graph-property-prediction-on-ogbg-ppa | DeeperGCN | Ext. data: No Number of params: 2336421 Test Accuracy: 0.7712 ± 0.0071 Validation Accuracy: 0.7313 ± 0.0078 |
| link-property-prediction-on-ogbl-collab | DeeperGCN | Ext. data: No Number of params: 117383 Test Hits@50: 0.5273 ± 0.0047 Validation Hits@50: 0.6187 ± 0.0045 |