3 个月前

解耦图神经网络的深度与广度

解耦图神经网络的深度与广度

摘要

当前最先进的图神经网络(GNNs)在图规模和模型深度方面均面临显著的可扩展性瓶颈。在大规模图上,增加模型深度通常会导致感受野(receptive field)呈指数级扩张。当网络层数超过几层后,会面临两个根本性挑战:其一,由于过度平滑(oversmoothing)导致模型表达能力下降;其二,由于邻域爆炸(neighborhood explosion)引发计算成本急剧上升。为此,我们提出一种新型设计原则,旨在解耦GNN的深度与感受野范围——针对目标实体(如节点或边)生成表示时,首先提取一个局部子图作为受限大小的感受野,随后在该子图上应用任意深度的GNN进行建模。通过合理提取的子图,仅包含少量关键邻居,同时剔除无关节点,从而有效控制信息传播范围。无论GNN深度如何,其作用均局限于局部邻域,将邻域信息凝聚为富有语义的表示,而非对整个全局图进行过度平滑,导致特征退化为“白噪声”。理论上,该解耦机制从图信号处理(GCN)、函数逼近(GraphSAGE)以及拓扑学习(GIN)三个视角均显著提升了GNN的表达能力。实验上,在七个大规模图(节点数高达1.1亿)和六种主流GNN骨干架构上,该设计在实现显著精度提升的同时,将计算开销和硬件资源消耗降低了一个数量级甚至更多。

代码仓库

facebookresearch/shaDow_GNN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
node-classification-on-redditshaDow-SAGE
Accuracy: 97.03%
node-classification-on-redditshaDow-GAT
Accuracy: 97.13%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
解耦图神经网络的深度与广度 | 论文 | HyperAI超神经