3 个月前

GRAND+:可扩展的图随机神经网络

GRAND+:可扩展的图随机神经网络

摘要

图神经网络(GNNs)已被广泛应用于图上的半监督学习任务。近期研究表明,图随机神经网络(Graph Random Neural Network, GRAND)模型在该问题上能够实现当前最优的性能表现。然而,由于其有效性依赖于计算开销较大的数据增强过程,GRAND在处理大规模图数据时面临显著挑战。针对这一问题,本文提出了一种可扩展且高性能的GNN框架——GRAND+,用于半监督图学习。为解决上述瓶颈,我们在GRAND+中设计了一种广义前向传播算法(Generalized Forward Push, GFPush),用于预先计算一个通用的传播矩阵,并基于该矩阵以小批量(mini-batch)方式高效执行图数据增强。实验表明,GFPush具有较低的时间与空间复杂度,使GRAND+能够高效扩展至大规模图数据。此外,我们在GRAND+的模型优化过程中引入了一种置信度感知的一致性损失(confidence-aware consistency loss),进一步提升了模型的泛化能力。我们在七个不同规模的公开数据集上进行了广泛的实验。结果表明:1)GRAND+具备良好的可扩展性,能够有效处理大规模图数据,且运行时间显著低于现有可扩展GNN方法;2)在所有数据集上,GRAND+均在全批量(full-batch)与可扩展GNN方法的基础上实现了稳定且一致的精度提升,展现出卓越的性能优势。

代码仓库

wzfhaha/grand-plus
官方
pytorch

基准测试

基准方法指标
node-classification-on-mag-scholar-cPPRGo
Accuracy: 72.9
node-classification-on-mag-scholar-cGRAND+
Accuracy: 80.0
node-classification-on-mag-scholar-cFastGCN
Accuracy: 64.3
node-classification-on-mag-scholar-cGraphSAINT
Accuracy: 75.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
GRAND+:可扩展的图随机神经网络 | 论文 | HyperAI超神经