3 个月前

基于图多重集池化的图表示的精确学习

基于图多重集池化的图表示的精确学习

摘要

图神经网络在建模图数据方面得到了广泛应用,并在节点分类与链接预测任务中取得了令人瞩目的成果。然而,要获得图的精确表示,仍需引入一种池化函数,将一组节点表示映射为紧凑的全局表示形式。现有的简单求和或平均池化方法对所有节点特征一视同仁,未考虑其任务相关性以及节点之间的结构依赖关系。相比之下,近期提出的层次化图池化方法可能对两个在Weisfeiler-Lehman同构性测试中可区分的图生成相同的表示,因其未能最优地保留节点特征中的信息。为克服现有图池化方法的上述局限性,我们首先将图池化问题建模为一种带有图结构辅助信息的多重集编码问题,并提出图多重集变换器(Graph Multiset Transformer, GMT)。GMT是一种基于多头注意力机制的全局池化层,能够根据节点间的结构依赖关系捕捉节点之间的交互作用。我们证明了GMT满足注入性(injectiveness)与置换不变性(permutation invariance),因此其表达能力至少与Weisfeiler-Lehman图同构性测试相当。此外,我们的方法可自然扩展至先前的节点聚类方法,以实现层次化图池化。实验结果表明,GMT在图分类基准任务上显著优于当前最先进的图池化方法,同时在内存与计算时间效率方面表现优异;在图重构与图生成任务中,其性能提升更为显著。

代码仓库

JinheonBaek/GMT
官方
pytorch
GitHub 中提及

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于图多重集池化的图表示的精确学习 | 论文 | HyperAI超神经