3 个月前

长程图基准

长程图基准

摘要

基于消息传递(Message Passing, MP)范式的图神经网络(Graph Neural Networks, GNNs)通常仅在1跳邻居之间交换信息,以逐层构建节点表示。原则上,这类网络难以捕捉可能对特定图学习任务至关重要或不可或缺的长程相互作用(Long-Range Interactions, LRI)。近年来,基于Transformer的图方法受到越来越多关注,这类方法能够超越原始图结构的稀疏连接,考虑节点间的全连接关系,从而支持对LRI的建模。然而,在现有多个图基准测试中,仅依赖1跳消息传递的MP-GNNs 若结合位置特征表示等其他创新技术,往往表现更优,这在一定程度上限制了类Transformer架构的实用价值认知及其在性能排名中的地位。为此,我们提出了长程图基准测试集(Long Range Graph Benchmark, LRGB),包含5个图学习数据集:PascalVOC-SP、COCO-SP、PCQM-Contact、Peptides-func 与 Peptides-struct。这些数据集在任务表现上明显依赖于对长程相互作用的推理能力,因此可作为评估LRI建模能力的有效基准。我们在LRGB上对基础GNN模型与图Transformer网络进行了系统性对比实验,结果表明,能够有效捕捉长程依赖关系的模型在这些任务上显著优于传统方法。因此,LRGB数据集为评估和探索旨在建模长程相互作用的MP-GNN与图Transformer架构提供了理想的基准平台。

代码仓库

vijaydwivedi75/lrgb
官方
pytorch
GitHub 中提及
zml72062/dr-fwl-2
pytorch
GitHub 中提及

基准测试

基准方法指标
graph-classification-on-peptides-funcGCN
AP: 0.5930±0.0023
graph-classification-on-peptides-funcGINE
AP: 0.5498±0.0079
graph-classification-on-peptides-funcGatedGCN
AP: 0.5864±0.0077
graph-classification-on-peptides-funcTransformer+LapPE
AP: 0.6326±0.0126
graph-classification-on-peptides-funcGatedGCN+RWSE
AP: 0.6069±0.0035
graph-classification-on-peptides-funcSAN+LapPE
AP: 0.6384±0.0121
graph-classification-on-peptides-funcSAN+RWSE
AP: 0.6439±0.0075
graph-regression-on-peptides-structTransformer+LapPE
MAE: 0.2529±0.0016
graph-regression-on-peptides-structSAN+LapPE
MAE: 0.2683±0.0043
graph-regression-on-peptides-structGCN
MAE: 0.3496±0.0013
graph-regression-on-peptides-structGINE
MAE: 0.3547±0.0045
graph-regression-on-peptides-structGatedGCN
MAE: 0.3420±0.0013
graph-regression-on-peptides-structGatedGCN+RWSE
MAE: 0.3357±0.0006
graph-regression-on-peptides-structSAN+RWSE
MAE: 0.2545±0.0012
link-prediction-on-pcqm-contactGCN
Hits@1: 0.1321±0.0007
Hits@10: 0.8256±0.0006
Hits@3: 0.3791±0.0004
MRR: 0.3234±0.0006
link-prediction-on-pcqm-contactSAN+LapPE
Hits@1: 0.1355±0.0017
Hits@10: 0.8478±0.0044
Hits@3: 0.4004±0.0021
MRR: 0.3350±0.0003
link-prediction-on-pcqm-contactTransformer+LapPE
Hits@1: 0.1221±0.0011
Hits@10: 0.8517±0.0039
Hits@3: 0.3679±0.0033
MRR: 0.3174±0.0020
link-prediction-on-pcqm-contactSAN+RWSE
Hits@1: 0.1312±0.0016
Hits@10: 0.8550±0.0024
Hits@3: 0.4030±0.0008
MRR: 0.3341±0.0006
link-prediction-on-pcqm-contactGatedGCN+RWSE
Hits@1: 0.1288±0.0013
Hits@10: 0.8517±0.0005
Hits@3: 0.3808±0.0006
MRR: 0.3242±0.0008
link-prediction-on-pcqm-contactGatedGCN
Hits@1: 0.1279±0.0018
Hits@10: 0.8433±0.0011
Hits@3: 0.3783±0.0004
MRR: 0.3218±0.0011
link-prediction-on-pcqm-contactGINE
Hits@1: 0.1337±0.0013
Hits@10: 0.8147±0.0062
Hits@3: 0.3642±0.0043
MRR: 0.3180±0.0027
node-classification-on-coco-spGatedGCN
macro F1: 0.2641±0.0045
node-classification-on-coco-spGatedGCN+LapPE
macro F1: 0.2574±0.0034
node-classification-on-coco-spGCN
macro F1: 0.0841±0.0010
node-classification-on-coco-spGINE
macro F1: 0.1339±0.0044
node-classification-on-coco-spSAN+RWSE
macro F1: 0.2434±0.0156
node-classification-on-coco-spTransformer+LapPE
macro F1: 0.2618±0.0031
node-classification-on-coco-spSAN+LapPE
macro F1: 0.2592±0.0158
node-classification-on-pascalvoc-sp-1GatedGCN
macro F1: 0.2873±0.0219
node-classification-on-pascalvoc-sp-1SAN+RWSE
macro F1: 0.3216±0.0027
node-classification-on-pascalvoc-sp-1GCN
macro F1: 0.1268±0.0060
node-classification-on-pascalvoc-sp-1Transformer+LapPE
macro F1: 0.2694±0.0098
node-classification-on-pascalvoc-sp-1GINE
macro F1: 0.1265±0.0076
node-classification-on-pascalvoc-sp-1SAN+LapPE
macro F1: 0.3230±0.0039
node-classification-on-pascalvoc-sp-1GatedGCN+LapPE
macro F1: 0.2860±0.0085

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
长程图基准 | 论文 | HyperAI超神经