3 个月前

图神经网络中的网络结构

图神经网络中的网络结构

摘要

图神经网络(Graph Neural Networks, GNNs)在处理包含节点/边特征信息的图结构数据方面展现出显著成效,已成功应用于社交网络分析、推荐系统、欺诈检测以及知识图谱推理等多个领域。为提升GNN的表达能力,学术界提出了多种优化策略。例如,一种直观的方法是通过增加隐藏层维度或堆叠更多GNN层来扩大模型参数规模。然而,过宽的隐藏层容易引发过拟合问题,而持续增加GNN层数则可能导致特征过度平滑(over-smoothing)。本文提出了一种与模型无关的方法——图中网络(Network In Graph Neural Network, NGNN),该方法能够通过引入深度结构提升任意GNN模型的容量。与传统通过增加或拓宽GNN层的方式不同,NGNN在每一层GNN内部嵌入非线性前馈神经网络层,从而实现模型的深度扩展。对基于GraphSAGE的GNN模型在ogbn-products数据集上的分析表明,NGNN能够有效增强模型对节点特征扰动或图结构变化的鲁棒性。此外,在节点分类与链接预测任务上的广泛实验验证显示,NGNN在多种GNN架构下均表现出稳定且可靠的性能提升。例如,NGNN使GraphSage在ogbn-products数据集上的测试准确率提升1.6%;在ogbl-ppa数据集上,使SEAL模型的Hits@100指标提升7.08%;在ogbl-ppi数据集上,使GraphSage+Edge-Attr模型的Hits@20指标提升6.22%。截至本文提交时,NGNN已在OGB链接预测排行榜上斩获两项第一名。

基准测试

基准方法指标
link-property-prediction-on-ogbl-citation2NGNN + SEAL
Ext. data: No
Number of params: 1134402
Test MRR: 0.8891 ± 0.0022
Validation MRR: 0.8879 ± 0.0022
link-property-prediction-on-ogbl-collabNGNN + GCN
Ext. data: No
Number of params: 428033
Test Hits@50: 0.5348 ± 0.0040
Validation Hits@50: 0.6273 ± 0.0040
link-property-prediction-on-ogbl-collabNGNN + GraphSAGE
Ext. data: No
Number of params: 591873
Test Hits@50: 0.5359 ± 0.0056
Validation Hits@50: 0.6281 ± 0.0046
link-property-prediction-on-ogbl-ddiNGNN + GraphSAGE
Ext. data: No
Number of params: 1618433
Test Hits@20: 0.5770 ± 0.1523
Validation Hits@20: 0.7323 ± 0.0040
link-property-prediction-on-ogbl-ddiNGNN + GCN
Ext. data: No
Number of params: 1487361
Test Hits@20: 0.5483 ± 0.1581
Validation Hits@20: 0.7121 ± 0.0038
link-property-prediction-on-ogbl-ppaNGNN + GCN
Ext. data: No
Number of params: 410113
Test Hits@100: 0.3683 ± 0.0099
Validation Hits@100: 0.3834 ± 0.0082
link-property-prediction-on-ogbl-ppaNGNN + SEAL
Ext. data: No
Number of params: 735426
Test Hits@100: 0.5971 ± 0.0245
Validation Hits@100: 0.5995 ± 0.0205
link-property-prediction-on-ogbl-ppaNGNN + GraphSAGE
Ext. data: No
Number of params: 556033
Test Hits@100: 0.4005 ± 0.0138
Validation Hits@100: 0.4058 ± 0.0123

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图神经网络中的网络结构 | 论文 | HyperAI超神经