4 个月前

结合标签传播和简单模型优于图神经网络

结合标签传播和简单模型优于图神经网络

摘要

图神经网络(GNNs)是当前学习图结构数据的主要技术。然而,对于GNNs在实际应用中为何成功以及是否为实现良好性能所必需,目前的理解相对较少。本文展示了在许多标准的半监督节点分类基准测试中,通过结合忽略图结构的浅层模型和两种简单的利用标签相关性的后处理步骤,可以超过或匹配最先进的GNNs的性能:(i) 一种“误差相关”方法,该方法将训练数据中的残差误差传播到测试数据以纠正错误;(ii) 一种“预测相关”方法,该方法平滑测试数据上的预测结果。我们将这一整体过程称为校正和平滑(Correct and Smooth, C&S),后处理步骤是通过对早期基于图的半监督学习方法中的标准标签传播技术进行简单修改来实现的。我们的方法在广泛的基准测试中超过了或几乎匹配了最先进的GNNs的性能,同时仅使用了少量参数且运行速度提高了几个数量级。例如,在OGB-Products数据集上,我们以137倍少的参数和超过100倍少的训练时间超过了已知的最佳GNN性能。我们的方法的表现突显了直接将标签信息融入学习算法(如传统技术所做的那样)可以轻松获得显著的性能提升。此外,我们还可以将这些技术应用于大型GNN模型中,提供适度的增益。我们在GitHub上提供了OGB结果的相关代码:https://github.com/Chillee/CorrectAndSmooth。

代码仓库

ytchx1999/GCN_res-CS-v2
pytorch
GitHub 中提及
Chillee/CorrectAndSmoothOGB
pytorch
GitHub 中提及
ytchx1999/PyG-GCN_res-CS
pytorch
GitHub 中提及
xnuohz/CorrectAndSmooth-dgl
pytorch
GitHub 中提及
CUAI/CorrectAndSmooth
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
node-classification-on-geniusC&S 1-hop 
Accuracy: 82.93 ± 0.15
node-classification-on-geniusC&S 2-hop
Accuracy: 84.94 ± 0.49
node-classification-on-non-homophilic-13C&S 1-hop 
1:1 Accuracy: 74.28 ± 1.19
node-classification-on-non-homophilic-13C&S 2-hop
1:1 Accuracy: 78.40 ± 3.12
node-classification-on-non-homophilic-14C&S 2-hop
1:1 Accuracy: 84.94 ± 0.49
node-classification-on-non-homophilic-14C&S 1-hop 
1:1 Accuracy: 82.93 ± 0.15
node-classification-on-non-homophilic-15C&S 1-hop 
1:1 Accuracy: 64.86 ± 0.27
node-classification-on-non-homophilic-15C&S 2-hop
1:1 Accuracy: 65.02 ± 0.16
node-classification-on-non-homophilic-6C&S(2hop)
1:1 Accuracy: 64.52±0.62
node-classification-on-non-homophilic-6C&S(1hop)
1:1 Accuracy: 64.60±0.57
node-classification-on-penn94C&S 2-hop
Accuracy: 78.40 ± 3.12
node-classification-on-penn94C&S 1-hop 
Accuracy: 74.28 ± 1.19

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
结合标签传播和简单模型优于图神经网络 | 论文 | HyperAI超神经