4 个月前

差距何在?重新评估长程图基准测试

差距何在?重新评估长程图基准测试

摘要

近期发布的长程图基准(Long-Range Graph Benchmark, LRGB)由Dwivedi等人于2022年提出,引入了一系列依赖于顶点之间长程交互的图学习任务。实证研究表明,在这些任务中,图变换器(Graph Transformers)显著优于消息传递图神经网络(Message Passing GNNs, MPGNNs)。在本文中,我们仔细重新评估了多个MPGNN基线模型以及Rampášek等人于2022年提出的图变换器GPS。通过严格的实证分析,我们证明了由于次优的超参数选择,所报告的性能差距被高估了。值得注意的是,在多个数据集上,经过基本的超参数优化后,性能差距完全消失。此外,我们讨论了缺乏特征归一化对LRGB视觉数据集的影响,并指出了LRGB链接预测指标的一个错误实现。本文的主要目标是在图机器学习社区内建立更高的实证严谨标准。

代码仓库

Fedzbar/laser-release
pytorch
GitHub 中提及
toenshoff/lrgb
官方
pytorch

基准测试

基准方法指标
graph-classification-on-peptides-funcGatedGCN-tuned
AP: 0.6765±0.0047
graph-classification-on-peptides-funcGCN-tuned
AP: 0.6860±0.0050
graph-classification-on-peptides-funcGINE-tuned
AP: 0.6621±0.0067
graph-classification-on-peptides-funcGPS-tuned
AP: 0.6534±0.0091
graph-regression-on-peptides-structGatedGCN-tuned
MAE: 0.2477±0.0009
graph-regression-on-peptides-structGCN-tuned
MAE: 0.2460±0.0007
graph-regression-on-peptides-structGINE-tuned
MAE: 0.2473±0.0017
graph-regression-on-peptides-structGPS-tuned
MAE: 0.2509±0.0014
link-prediction-on-pcqm-contactGPS-tuned
MRR: 0.3498±0.0005
MRR-ext-filtered: 0.4703±0.0014
link-prediction-on-pcqm-contactGINE-tuned
MRR: 0.3509±0.0006
MRR-ext-filtered: 0.4617±0.0005
link-prediction-on-pcqm-contactGatedGCN-tuned
MRR: 0.3495±0.0010
MRR-ext-filtered: 0.4670±0.0004
link-prediction-on-pcqm-contactGCN-tuned
MRR: 0.3424±0.0007
MRR-ext-filtered: 0.4526±0.0006
node-classification-on-coco-spGatedGCN-tuned
macro F1: 0.2922±0.0018
node-classification-on-coco-spGINE-tuned
macro F1: 0.2125±0.0009
node-classification-on-coco-spGPS-tuned
macro F1: 0.3884±0.0055
node-classification-on-coco-spGCN-tuned
macro F1: 0.1338±0.0007
node-classification-on-pascalvoc-sp-1GINE-tuned
macro F1: 0.2718±0.0054
node-classification-on-pascalvoc-sp-1GCN-tuned
macro F1: 0.2078±0.0031
node-classification-on-pascalvoc-sp-1GPS-tuned
macro F1: 0.4440±0.0065
node-classification-on-pascalvoc-sp-1GatedGCN-tuned
macro F1: 0.3880±0.0040

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
差距何在?重新评估长程图基准测试 | 论文 | HyperAI超神经