3 个月前

如何寻找你的友好邻域:基于自监督的图注意力设计

如何寻找你的友好邻域:基于自监督的图注意力设计

摘要

图神经网络中的注意力机制旨在为重要的邻居节点分配更大的权重,以获得更优的节点表示。然而,当前对图注意力机制所学习到的内容理解尚不充分,尤其是在图结构存在噪声的情况下。本文提出一种自监督图注意力网络(SuperGAT),这是一种针对噪声图数据的改进型图注意力模型。具体而言,我们设计了两种与自监督边预测任务相兼容的注意力形式,该任务利用边的存在与缺失,捕捉节点间关系重要性的内在信息。通过编码边信息,SuperGAT能够学习更具表现力的注意力机制,从而更有效地区分错误连接的邻居节点。我们发现,图的两种结构性质——同质性(homophily)与平均度数(average degree)——显著影响注意力形式与自监督机制的有效性。因此,本研究提出了一套可指导实践的“配方”,当已知上述两种图特性时,可据此选择合适的注意力设计。在17个真实世界数据集上的实验表明,该配方在其中15个数据集上具有良好的泛化能力,且基于该配方设计的模型在性能上显著优于现有基线方法。

基准测试

基准方法指标
node-classification-on-citeseer-with-publicSuperGAT MX
Accuracy: 72.6%
node-classification-on-cora-with-public-splitSuperGAT MX
Accuracy: 84.3%
node-classification-on-pubmed-with-publicSuperGAT MX
Accuracy: 81.7%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
如何寻找你的友好邻域:基于自监督的图注意力设计 | 论文 | HyperAI超神经