3 个月前

通过学习连续边方向改进图神经网络

通过学习连续边方向改进图神经网络

摘要

图神经网络(Graph Neural Networks, GNNs)传统上采用类似于无向图上扩散过程的消息传递机制,这往往导致节点特征趋于同质化,从而在节点分类等任务中降低模型的判别能力。针对这一局限性的关键洞察在于:为图的边赋予模糊的边方向——即边的方向可连续地从节点 $i$ 指向节点 $j$ 过渡到反之亦然——从而使特征能够在一个方向上优先流动,实现图中远距离信息的有效传递。为此,我们提出一种新型的复数形式拉普拉斯算子,用于具有模糊边方向的有向图,其中实部与虚部分别表示相反方向上的信息流动。基于该拉普拉斯算子,我们构建了一个通用框架,称为连续边方向图神经网络(Continuous Edge Direction, CoED GNN),用于在具有模糊边方向的图上进行学习,并通过将Weisfeiler-Leman(WL)图同构测试推广至具有模糊边方向的有向图,证明了该框架的表达能力上限。CoED GNN 的架构通过学习到的边方向对邻接节点特征进行加权聚合,并分别处理来自入边邻居和出边邻居的聚合消息,同时保留节点自身的特征。由于连续边方向具有可微性,其可与 GNN 的模型参数通过基于梯度的优化方法联合学习。该方法特别适用于图结构固定但存在多个节点特征实现的图集合数据(graph ensemble data),例如基因调控网络、网页连接图以及电力网络等场景。我们在合成数据和真实图集合数据集上进行了大量实验,结果表明,与现有方法相比,学习连续边方向能够显著提升无向图与有向图上的模型性能。

代码仓库

hormoz-lab/coed-gnn
官方
jax
GitHub 中提及

基准测试

基准方法指标
node-classification-on-chameleonCoED
Accuracy: 79.69±1.35
node-classification-on-squirrelCoED
Accuracy: 75.32±1.82
node-classification-on-texasCoED-
node-classification-on-wisconsinCoED
Accuracy: 87.84±3.70

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过学习连续边方向改进图神经网络 | 论文 | HyperAI超神经