3 个月前

大规模图训练的综合研究:基准测试与再思考

大规模图训练的综合研究:基准测试与再思考

摘要

大规模图训练是图神经网络(GNNs)领域中一个长期存在的难题。由于图结构在训练过程中不断演化,传统的GNN模型通常难以实现有效扩展,其性能受限于GPU显存容量。尽管目前已提出多种可扩展的GNN架构,但针对这一丰富方法库,我们仍缺乏系统性的综述与公平的基准测试,难以厘清可扩展GNN设计的内在原理。为此,本文首先将代表性的大规模图训练方法系统性地归类为若干分支,并通过贪心超参数搜索策略构建了一个公平且一致的基准测试平台。在效率评估方面,我们从理论上分析了各分支的时间与空间复杂度,并在实践中对比了它们在GPU显存占用、吞吐量及收敛速度等方面的性能表现。此外,本文深入分析了各类可扩展GNN方法的优缺点,并提出一种新型的集成训练范式——EnGCN,以应对现有方法中存在的关键问题。相关代码已开源,地址为:https://github.com/VITA-Group/Large_Scale_GCN_Benchmarking。

代码仓库

vita-group/large_scale_gcn_benchmarking
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
node-classification-on-flickrEnGCN (Duan et al., 2022)
Accuracy: 0.562
node-classification-on-redditEnGCN
Accuracy: 96.65%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
大规模图训练的综合研究:基准测试与再思考 | 论文 | HyperAI超神经