3 个月前

面向高效子图基图表示学习的算法与系统协同设计

面向高效子图基图表示学习的算法与系统协同设计

摘要

基于子图的图表示学习(Subgraph-based Graph Representation Learning, SGRL)最近被提出,旨在应对传统图神经网络(GNNs)所面临的若干根本性挑战,并在链接预测、关系预测及图元(motif)预测等重要数据科学应用中展现出显著优势。然而,现有的SGRL方法在可扩展性方面仍存在明显瓶颈,因其在每个训练或测试查询时均需提取子图,导致计算开销巨大。尽管近期已有针对传统GNN的可扩展性改进方案,但这些方法难以直接适用于SGRL框架。为此,本文提出一种新型可扩展SGRL框架SUREL,通过学习算法与系统支持的协同设计,实现高效计算。SUREL采用基于游走(walk-based)的子图分解策略,并复用已有游走路径构建子图,显著降低了子图提取过程中的冗余计算,同时支持并行化处理。在包含数百万节点与边的六种异构、同构及高阶图数据集上的实验表明,SUREL在性能与可扩展性方面均表现出色。具体而言,与现有SGRL基线方法相比,SUREL实现了高达10倍的加速比,同时保持甚至超越其预测性能;而与传统GNN相比,SUREL在预测准确率上提升了50%。

代码仓库

veritasyin/subg_acc
GitHub 中提及
graph-com/surel
官方
pytorch
GitHub 中提及
Graph-COM/SUREL
pytorch
GitHub 中提及

基准测试

基准方法指标
link-property-prediction-on-ogbl-citation2SUREL
Ext. data: No
Number of params: 79617
Test MRR: 0.8883 ± 0.0018
Validation MRR: 0.8891 ± 0.0021

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向高效子图基图表示学习的算法与系统协同设计 | 论文 | HyperAI超神经