4 个月前

自注意力图池化

自注意力图池化

摘要

近年来,提出了将深度学习应用于图等结构化数据的先进方法。特别是,研究重点放在了将卷积神经网络推广到图数据上,这包括重新定义适用于图的卷积和下采样(池化)操作。将卷积操作推广到图的方法已被证明可以提高性能,并且得到了广泛应用。然而,将下采样应用于图的方法仍然难以实现,并且有改进的空间。在本文中,我们提出了一种基于自注意力机制的图池化方法。利用图卷积进行自注意力计算,使得我们的池化方法能够同时考虑节点特征和图拓扑结构。为了确保公平比较,现有的池化方法和我们的方法采用了相同的训练流程和模型架构。实验结果表明,我们的方法在基准数据集上使用合理的参数数量实现了优越的图分类性能。

基准测试

基准方法指标
graph-classification-on-ddSAGPool_h
Accuracy: 76.45%
graph-classification-on-ddSAGPool_g
Accuracy: 76.19%
graph-classification-on-frankensteinSAGPool_g
Accuracy: 62.57
graph-classification-on-frankensteinSAGPool_h
Accuracy: 61.73
graph-classification-on-nci1SAGPool_g
Accuracy: 74.06%
graph-classification-on-nci1SAGPool_h
Accuracy: 67.45%
graph-classification-on-nci109SAGPool_h
Accuracy: 67.86
graph-classification-on-nci109SAGPool_g
Accuracy: 74.06
graph-classification-on-proteinsSAGPool_g
Accuracy: 70.04%
graph-classification-on-proteinsSAGPool_h
Accuracy: 71.86%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
自注意力图池化 | 论文 | HyperAI超神经