3 个月前

异配性是图神经网络进行节点分类时的真实噩梦吗?

异配性是图神经网络进行节点分类时的真实噩梦吗?

摘要

图神经网络(Graph Neural Networks, GNNs)通过引入基于关系归纳偏置(同质性假设)的图结构,扩展了传统神经网络(Neural Networks, NNs)的能力。尽管GNNs在实际任务中被认为优于不考虑图结构的NNs,但其相对于图无关的NNs在性能上的提升并不总是显著。异质性(heterophily)被认为是导致这一现象的主要原因,为此已有大量研究致力于缓解该问题。本文首先指出,并非所有异质性情形都会对具有聚合操作的GNNs产生负面影响。随后,我们提出了一种基于相似性矩阵的新度量方法,该方法综合考虑了图结构与输入特征对GNN性能的共同影响。在合成图上的实验表明,该度量方法相较于常用的同质性度量具有更优的表现。基于新度量结果与实际观察,我们发现某些有害的异质性情形可通过引入多样化操作(diversification operation)加以缓解。结合这一发现与滤波器组(filterbank)的相关知识,本文进一步提出自适应通道混合(Adaptive Channel Mixing, ACM)框架,该框架能够在每一层GNN中自适应地融合聚合、多样化与恒等映射(identity)三种通道机制,以有效应对有害异质性。我们在10个真实世界的节点分类任务上对ACM增强的基线模型进行了验证,结果表明,ACM在不带来显著计算开销的前提下,持续实现了显著的性能提升,并在多数任务上超越了当前最先进的GNN模型。

基准测试

基准方法指标
node-classification-on-citeseerACMII-Snowball-3
Accuracy: 81.56 ± 1.15
node-classification-on-citeseerACM-Snowball-2
Accuracy: 81.58 ± 1.23
node-classification-on-citeseerACM-GCN
Accuracy: 81.68 ± 0.97
node-classification-on-citeseerACMII-Snowball-2
Accuracy: 82.07 ± 1.04
node-classification-on-coraACMII-GCN
Accuracy: 88.95% ± 1.04%
node-classification-on-coraACMII-Snowball-3
Accuracy: 89.36% ± 1.26%
node-classification-on-coraACM-GCN
Accuracy: 88.62% ± 1.22%
node-classification-on-coraACM-Snowball-2
Accuracy: 88.83% ± 1.49%
node-classification-on-pubmedACM-GCN
Accuracy: 90.74 ± 0.5
node-classification-on-pubmedACMII-Snowball-3
Accuracy: 91.31 ± 0.6
node-classification-on-pubmedACMII-Snowball-2
Accuracy: 90.56 ± 0.39

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
异配性是图神经网络进行节点分类时的真实噩梦吗? | 论文 | HyperAI超神经