4 个月前

SlotGAT:基于槽的消息传递异质图神经网络

SlotGAT:基于槽的消息传递异质图神经网络

摘要

异构图在建模复杂数据时无处不在。为了有效支持重要应用,迫切需要强大的异构图神经网络。我们发现现有消息传递过程中存在一个潜在的语义混合问题,即尽管节点 $v$ 的邻居属于不同的类型,但这些邻居的表示仍被迫转换到节点 $v$ 的特征空间中进行聚合。也就是说,不同节点类型的语义被纠缠在一起,融入了节点 $v$ 的表示中。为了解决这一问题,我们提出了 SlotGAT,在槽位中分别进行消息传递过程,每个节点类型对应一个槽位,以保持其表示在其自身的节点类型特征空间中。此外,在基于槽位的消息传递层中,我们设计了一种注意力机制,用于有效的槽位内消息聚合。进一步地,我们在 SlotGAT 的最后一层之后开发了一种槽位注意力技术,以学习不同槽位在下游任务中的重要性。我们的分析表明,SlotGAT 中的槽位可以在各种特征空间中保留不同的语义。通过在 6 个数据集上对 13 种基线模型进行节点分类和链接预测任务的评估,验证了 SlotGAT 的优越性。我们的代码位于 https://github.com/scottjiao/SlotGAT_ICML23/。

代码仓库

基准测试

基准方法指标
heterogeneous-node-classification-on-acmSlotGAT
Macro-F1: 93.99
Micro-F1: 94.06
heterogeneous-node-classification-on-dblp-2SlotGAT
Macro-F1: 94.95
Micro-F1: 95.31
heterogeneous-node-classification-on-freebaseSlotGAT
Macro-F1: 49.68
Micro-F1: 66.83
heterogeneous-node-classification-on-imdbSlotGAT
Macro-F1: 64.05
Micro-F1: 68.54

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SlotGAT:基于槽的消息传递异质图神经网络 | 论文 | HyperAI超神经