4 个月前

我们真的取得了很大进展吗?重新审视、基准测试和优化异质图神经网络

我们真的取得了很大进展吗?重新审视、基准测试和优化异质图神经网络

摘要

近年来,异质图神经网络(HGNNs)得到了迅猛发展,但每项研究中使用的独特数据处理和评估设置阻碍了对其进展的全面理解。在本研究中,我们利用这些工作的官方代码、数据集、设置和超参数对12种近期的HGNNs进行了系统性的复现,揭示了一些关于HGNNs进展的令人惊讶的发现。我们发现,简单的同质图神经网络(如GCN和GAT)由于设置不当而被严重低估。当输入适当的情况下,GAT通常能够在各种场景下匹配或超越所有现有的HGNNs。为了促进稳健且可复现的HGNN研究,我们构建了异质图基准(HGB),该基准包含11个多样化的数据集和三个任务。HGB标准化了异质图数据分割、特征处理和性能评估的过程。最后,我们介绍了一种简单但非常强大的基线模型Simple-HGN——该模型在HGB上的表现显著优于所有先前的模型——以加速未来HGNNs的发展。

代码仓库

thudm/hgb
官方
pytorch
calderkatyal/CPSC483FinalProject
pytorch
GitHub 中提及

基准测试

基准方法指标
heterogeneous-node-classification-on-acmSimple-HGN
Macro-F1: 93.42
Micro-F1: 93.35
heterogeneous-node-classification-on-dblp-2Simple-HGN
Macro-F1: 94.01
Micro-F1: 94.46
heterogeneous-node-classification-on-freebaseSimple-HGN
Macro-F1: 47.72
Micro-F1: 66.29
heterogeneous-node-classification-on-imdbSimple-HGN
Macro-F1: 63.53
Micro-F1: 67.36

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
我们真的取得了很大进展吗?重新审视、基准测试和优化异质图神经网络 | 论文 | HyperAI超神经