4 个月前

基于注意力机制的图神经网络用于异质结构学习

基于注意力机制的图神经网络用于异质结构学习

摘要

本文专注于异构信息网络(HIN)的图表示学习,其中各种类型的顶点通过多种类型的关系连接在一起。现有的大多数方法通过对HIN进行元路径修正来改进同质图嵌入模型,从而学习HIN的低维向量空间。在本文中,我们提出了一种新颖的异构图结构注意力神经网络(HetSANN),该网络可以直接编码HIN的结构信息而无需使用元路径,从而获得更具信息量的表示。通过这种方法,领域专家将不再需要设计元路径方案,我们的模型可以自动处理异构信息。具体而言,我们采用以下两种方法隐式地表示异构信息:1)通过在低维实体空间中的投影建模不同顶点之间的转换;2)随后,利用图神经网络结合注意力机制聚合投影邻域中的多关系信息。此外,我们还介绍了HetSANN的三个扩展:即用于HIN中成对关系的声音共享乘积注意力(voices-sharing product attention)、用于保持不同实体空间之间转换的循环一致性损失(cycle-consistency loss),以及充分利用信息的多任务学习。在三个公开数据集上进行的实验表明,我们提出的模型相比现有最先进解决方案取得了显著且一致的性能提升。

代码仓库

didi/hetsann
官方
tf

基准测试

基准方法指标
heterogeneous-node-classification-on-acmHetSANN
Macro-F1: 90.02
Micro-F1: 89.91
heterogeneous-node-classification-on-dblp-2HetSANN
Macro-F1: 78.55
Micro-F1: 80.56
heterogeneous-node-classification-on-imdbHetSANN
Macro-F1: 49.47
Micro-F1: 57.68

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于注意力机制的图神经网络用于异质结构学习 | 论文 | HyperAI超神经