3 个月前

通过简单的架构设计提升图神经网络性能

通过简单的架构设计提升图神经网络性能

摘要

图神经网络(Graph Neural Networks, GNNs)已成为一种在数据上进行学习的有效工具,其通过引入基于图结构的额外约束来提升模型性能。这些图结构通常基于实体之间预设的内在关系构建。近年来,图神经网络在架构设计方面取得了显著进展,推动了其在各类预测任务中的性能提升。总体而言,现有的神经网络架构通常结合了深层堆叠与节点特征聚合两个关键步骤。然而,这种设计使得分析不同传播层次(hop)上特征的重要性以及神经网络层的表达能力变得尤为困难。由于不同图数据集在特征分布和类别标签分布上表现出不同程度的同质性(homophily)与异质性(heterophily),在缺乏先验知识的情况下,理解哪些特征对预测任务具有关键作用变得至关重要。为此,本文将图神经网络中的节点特征聚合过程与网络深度进行解耦,并提出了一系列关键的设计策略。具体而言,我们提出采用Softmax作为正则化手段,构建一种针对不同邻域距离(hop)聚合特征的“软选择器”(Soft-Selector);同时引入“层级归一化”(Hop-Normalization)机制,对GNN各层进行优化。结合上述技术,我们提出了一种简洁且浅层的模型——特征选择图神经网络(Feature Selection Graph Neural Network, FSGNN)。实验结果表明,该模型在多项节点分类任务中显著优于现有的最先进GNN模型,准确率最高提升达64%。此外,通过对模型所学习到的软选择参数进行分析,可提供一种直观、简便的方法来评估各特征在预测任务中的相对重要性。最后,通过大规模实验验证,该模型在包含数百万节点和数十亿边的大型图数据上仍具备良好的可扩展性,展现出强大的实际应用潜力。

代码仓库

sunilkmaurya/FSGNN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
node-classification-on-actorFSGNN (8-hop)
Accuracy: 35.75 ± 0.96
node-classification-on-chameleonFSGNN (3-hop)
Accuracy: 78.14±1.25
node-classification-on-chameleonFSGNN (8-hop)
Accuracy: 78.27±1.28
node-classification-on-cornellFSGNN (8-hop)
Accuracy: 87.84±6.19
node-classification-on-squirrelFSGNN (8-hop)
Accuracy: 74.10±1.89
node-classification-on-texasFSGNN
Accuracy: 87.30 ± 5.55
node-classification-on-wisconsinFSGNN (3-hop)
Accuracy: 88.43±3.22

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过简单的架构设计提升图神经网络性能 | 论文 | HyperAI超神经