4 个月前

打破图神经网络的表达瓶颈

打破图神经网络的表达瓶颈

摘要

近日,Weisfeiler-Lehman (WL) 图同构测试被用于衡量图神经网络(GNNs)的表达能力,研究表明,基于邻域聚合的图神经网络在区分图结构方面的能力最多与1-WL测试相当。此外,也有研究提出了一些类似于$k$-WL测试($k>1$)的改进方法。然而,这些图神经网络中的聚合器远未达到WL测试所要求的单射性,并且其区分能力较弱,成为表达能力的瓶颈。本文通过探索强大的聚合器来提高表达能力。我们重新定义了聚合过程及其对应的聚合系数矩阵,并系统地分析了构建更强大甚至单射聚合器所需的聚合系数矩阵的要求。这一过程也可以视为保留隐藏特征秩的一种策略,并表明基本聚合器对应于低秩变换的一个特例。我们还展示了在聚合前应用非线性单元的必要性,这与大多数基于聚合的图神经网络不同。基于我们的理论分析,我们开发了两种图神经网络层:ExpandingConv 和 CombConv。实验结果表明,我们的模型显著提升了性能,尤其是在处理大型和密集连接的图时。

代码仓库

qslim/epcb-gnns
官方
pytorch

基准测试

基准方法指标
graph-property-prediction-on-ogbg-ppaExpC
Ext. data: No
Number of params: 1369397
Test Accuracy: 0.7976 ± 0.0072
Validation Accuracy: 0.7518 ± 0.0080

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
打破图神经网络的表达瓶颈 | 论文 | HyperAI超神经