
摘要
近年来,异质图神经网络(HGNNs)得到了迅猛发展,但每项研究中使用的独特数据处理和评估设置阻碍了对其进展的全面理解。在本研究中,我们利用这些工作的官方代码、数据集、设置和超参数对12种近期的HGNNs进行了系统性的复现,揭示了一些关于HGNNs进展的令人惊讶的发现。我们发现,简单的同质图神经网络(如GCN和GAT)由于设置不当而被严重低估。当输入适当的情况下,GAT通常能够在各种场景下匹配或超越所有现有的HGNNs。为了促进稳健且可复现的HGNN研究,我们构建了异质图基准(HGB),该基准包含11个多样化的数据集和三个任务。HGB标准化了异质图数据分割、特征处理和性能评估的过程。最后,我们介绍了一种简单但非常强大的基线模型Simple-HGN——该模型在HGB上的表现显著优于所有先前的模型——以加速未来HGNNs的发展。
代码仓库
thudm/hgb
官方
pytorch
calderkatyal/CPSC483FinalProject
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| heterogeneous-node-classification-on-acm | Simple-HGN | Macro-F1: 93.42 Micro-F1: 93.35 |
| heterogeneous-node-classification-on-dblp-2 | Simple-HGN | Macro-F1: 94.01 Micro-F1: 94.46 |
| heterogeneous-node-classification-on-freebase | Simple-HGN | Macro-F1: 47.72 Micro-F1: 66.29 |
| heterogeneous-node-classification-on-imdb | Simple-HGN | Macro-F1: 63.53 Micro-F1: 67.36 |