4 个月前

基于Mamba的图卷积网络:通过选择性状态空间解决过度平滑问题

基于Mamba的图卷积网络:通过选择性状态空间解决过度平滑问题

摘要

图神经网络(GNNs)在各种基于图的学习任务中表现出色。然而,随着模型深度的增加,GNNs 经常面临过平滑问题,这会导致所有节点表示收敛到一个单一值,从而变得无法区分。这一问题源于 GNNs 的固有限制,即难以区分来自不同邻域的信息的重要性。在本文中,我们介绍了一种新的图卷积架构——MbaGCN,该架构借鉴了最初为序列建模设计的 Mamba 范式。MbaGCN 提出了一种新的 GNN 主干结构,包含三个关键组件:消息聚合层、选择性状态空间转换层和节点状态预测层。这些组件协同工作,自适应地聚合邻域信息,为深层 GNN 模型提供了更大的灵活性和可扩展性。尽管 MbaGCN 在每个数据集上可能并不总是优于所有现有方法,但它提供了一个基础框架,展示了将 Mamba 范式有效集成到图表示学习中的可能性。通过在基准数据集上的广泛实验,我们证明了 MbaGCN 为图神经网络研究的未来进展铺平了道路。

基准测试

基准方法指标
node-classification-on-actorMbaGCN
Accuracy: 37.97±0.91
node-classification-on-wisconsinMbaGCN
Accuracy: 86.27±2.16

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于Mamba的图卷积网络:通过选择性状态空间解决过度平滑问题 | 论文 | HyperAI超神经