3 个月前

图网络中的主邻域聚合

图网络中的主邻域聚合

摘要

图神经网络(Graph Neural Networks, GNNs)已被证明在处理图结构数据的各类预测任务中具有优异性能。近期关于其表达能力的研究主要聚焦于同构性判定任务以及可数特征空间。本文将这一理论框架拓展至包含连续特征的情形——这类特征在现实世界的输入数据中频繁出现,同时也广泛存在于GNN的隐藏层中,并在此背景下揭示了在多聚合函数需求上的必要性。基于此,我们提出了一种新型架构——主邻域聚合(Principal Neighbourhood Aggregation, PNA),该架构结合了多种聚合函数与度数缩放机制(degree-scalers),后者是对求和聚合器的广义化。最后,我们通过一个新颖的基准测试体系,系统评估了不同模型在捕捉与利用图结构方面的性能,该基准涵盖来自经典图论的多个任务,以及来自真实世界领域的现有基准。实验结果一致表明,所提出的PNA模型展现出显著优势。本研究旨在推动图神经网络领域的研究方向,朝向新型聚合方法的探索,我们认为这些方法对于构建强大且鲁棒的图神经网络模型至关重要。

代码仓库

dmlc/dgl
pytorch
GitHub 中提及
Saro00/DGN
pytorch
asarigun/GraphMixerNetworks
pytorch
GitHub 中提及
rusty1s/pytorch_geometric
pytorch
GitHub 中提及
changminwu/expandergnn
pytorch
GitHub 中提及
cvignac/SMP
pytorch
GitHub 中提及
lukecavabarrett/pna
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
graph-classification-on-cifar10-100kPNA
Accuracy (%): 70.47
graph-classification-on-ddPNA
Accuracy: 78.992±4.407
graph-classification-on-enzymesPNA
Accuracy: 73.021±2.512
graph-classification-on-imdb-bPNA
Accuracy: 78.000±3.808
graph-classification-on-nci1PNA
Accuracy: 84.964±1.391
graph-classification-on-nci109PNA
Accuracy: 83.382±1.045
graph-classification-on-proteinsPNA
Accuracy: 77.679±3.281
graph-property-prediction-on-ogbg-molhivPNA
Ext. data: No
Number of params: 326081
Test ROC-AUC: 0.7905 ± 0.0132
Validation ROC-AUC: 0.8519 ± 0.0099
graph-property-prediction-on-ogbg-molpcbaPNA
Ext. data: No
Number of params: 6550839
Test AP: 0.2838 ± 0.0035
Validation AP: 0.2926 ± 0.0026
graph-regression-on-esr2PNA
R2: 0.696±0.000
RMSE: 0.486±0.696
graph-regression-on-f2PNA
R2: 0.891±0.000
RMSE: 0.336±0.891
graph-regression-on-kitPNA
R2: 0.843±0.000
RMSE: 0.430±0.843
graph-regression-on-lipophilicityPNA
R2: 0.830±0.007
RMSE: 0.520±0.011
graph-regression-on-parp1PNA
R2: 0.924±0.000
RMSE: 0.346±0.924
graph-regression-on-pgrPNA
R2: 0.717±0.000
RMSE: 0.514±0.717
graph-regression-on-zincPNA
MAE: 0.142
graph-regression-on-zinc-fullPNA
Test MAE: 0.057±0.007
molecular-property-prediction-on-esolPNA
R2: 0.942±0.006
RMSE: 0.493±0.026
molecular-property-prediction-on-freesolvPNA
R2: 0.951±0.009
RMSE: 0.870±0.081
node-classification-on-pattern-100kPNA
Accuracy (%): 86.567

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图网络中的主邻域聚合 | 论文 | HyperAI超神经