3 个月前

图上深度多速率学习的梯度门控

图上深度多速率学习的梯度门控

摘要

我们提出了一种名为梯度门控(Gradient Gating,简称 G$^2$)的新框架,用于提升图神经网络(Graph Neural Networks, GNNs)的性能。该框架通过引入一种多速率消息传递信息流机制,对GNN层的输出进行门控,从而实现对节点间信息传递过程的精细调控。同时,利用局部梯度进一步调制消息传递的更新过程。G$^2$框架具有高度灵活性,可将任意基础GNN层作为核心组件,并在其外围构建多速率梯度门控机制。我们严格证明了G$^2$能够缓解过度平滑(oversmoothing)问题,从而支持深度GNN的构造与训练。实验结果表明,该框架在多种图学习任务上均取得了当前最优的性能表现,尤其在大规模异质性图(heterophilic graphs)上展现出显著优势。

代码仓库

tk-rusch/gradientgating
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
node-classification-on-arxiv-yearG^2-GraphSAGE
Accuracy: 63.30±1.84
node-classification-on-geniusG^2-GraphSAGE
Accuracy: 90.85±0.64

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图上深度多速率学习的梯度门控 | 论文 | HyperAI超神经