3 个月前

图神经聚合-扩散的稳定性

图神经聚合-扩散的稳定性

摘要

基于微分方程的连续图神经网络模型扩展了图神经网络(GNN)的架构。由于图扩散与消息传递之间存在紧密联系,基于扩散的模型得到了广泛研究。然而,扩散过程天然趋向于系统平衡态,容易引发过平滑(over-smoothing)等问题。为此,我们受图聚合-扩散方程的启发,提出了一种新型模型GRADE,其巧妙地平衡了由相互作用势能所诱导的非线性扩散与聚合过程。通过聚合-扩散方程获得的节点表示展现出亚稳态(metastability)特性,表明特征能够聚类形成多个簇。此外,这些簇内部的动力学行为可长期维持,从而具备缓解过平滑效应的潜力。本模型中的非线性扩散机制不仅推广了现有的基于扩散的模型,还建立了与经典图神经网络之间的理论联系。我们证明,GRADE在多个基准测试中均取得了具有竞争力的性能,并通过增强的狄利克雷能量(Dirichlet energy)有效缓解了图神经网络中的过平滑问题。

基准测试

基准方法指标
node-classification-on-cornellGRADE-GAT
Accuracy: 83.3±7.0
node-classification-on-texasGRADE-GAT
Accuracy: 88.3±3.5
node-classification-on-wisconsinGRADE-GAT
Accuracy: 87.7±3.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图神经聚合-扩散的稳定性 | 论文 | HyperAI超神经