4 个月前

嵌套图神经网络

嵌套图神经网络

摘要

图神经网络(GNN)在图分类任务中的成功与Weisfeiler-Lehman(1-WL)算法密切相关。通过迭代地将邻近节点的特征聚合到中心节点,1-WL和GNN都能获得一个编码了以该中心节点为根的子树的节点表示。这些以节点为根的子树表示随后被池化成一个单一的表示,用于描述整个图。然而,以节点为根的子树在表示非树形图时表达能力有限。为了解决这一问题,我们提出了嵌套图神经网络(NGNN)。NGNN使用以节点为根的子图而非子树来表示图,因此两个共享许多相同子图(而非子树)的图往往具有相似的表示。关键在于使每个节点表示不仅编码其周围的子树,还能编码其周围的子图。为了实现这一点,NGNN提取每个节点周围的局部子图,并应用基础GNN来学习每个子图的表示。然后通过对这些子图表示进行池化操作来获得整个图的表示。我们提供了严格的理论分析,证明了NGNN比1-WL算法更强大。特别是,我们证明了NGNN几乎可以区分所有的r-正则图(r-regular graphs),而1-WL总是失败。此外,与其他更强大的GNN不同,NGNN仅引入了相对于标准GNN常数级别的更高时间复杂度。NGNN是一个即插即用框架,可以与各种基础GNN结合使用。我们在多个基准数据集上测试了不同基础GNN与NGNN结合的效果。结果表明,NGNN统一提升了它们的性能,并在所有数据集上表现出高度竞争力。

代码仓库

muhanzhang/NestedGNN
pytorch
GitHub 中提及
muhanzhang/nestedgnn
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
graph-property-prediction-on-ogbg-molhivNested GIN+virtual node (ens)
Test ROC-AUC: 0.7986 ± 0.0105
Validation ROC-AUC: 0.8080 ± 0.0278
graph-property-prediction-on-ogbg-molhivNested GIN+virtual node
Test ROC-AUC: 0.7834 ± 0.0186
Validation ROC-AUC: 0.8317 ± 0.0199
graph-property-prediction-on-ogbg-molpcbaNested GIN+virtual node (ensemble)
Ext. data: No
Number of params: 44187480
Test AP: 0.3007 ± 0.0037
Validation AP: 0.3059 ± 0.0056
graph-property-prediction-on-ogbg-molpcbaNested GIN+virtual node (ens)
Test AP: 0.3007 ± 0.0037
Validation AP: 0.3059 ± 0.0056
graph-property-prediction-on-ogbg-molpcbaNested GIN+virtual node
Test AP: 0.2832 ± 0.0041
Validation AP: 0.2915 ± 0.0035

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
嵌套图神经网络 | 论文 | HyperAI超神经