3 个月前

走出Weisfeiler-Leman层级:超越消息传递的图学习

走出Weisfeiler-Leman层级:超越消息传递的图学习

摘要

我们提出了一种名为CRaWl的新颖神经网络架构,用于图学习。与图神经网络(GNN)类似,CRaWl的每一层均可在图上更新节点特征,因此可自由地与GNN层组合或交替使用。然而,CRaWl在本质上与基于消息传递的图神经网络存在根本差异。CRaWl通过在图中随机游走路径上出现的子图上提取并聚合信息,利用一维卷积(1D Convolution)实现特征学习,从而能够捕捉长程依赖关系,并计算非局部特征。作为本方法的理论基础,我们证明了一个定理:CRaWl的表达能力与Weisfeiler-Leman(WL)算法的表达能力不可比较,因而也与图神经网络的表达能力不可比较。这意味着存在一些函数可由CRaWl表示,但无法被GNN表示,反之亦然。该结论可推广至Weisfeiler-Leman层次结构的更高阶情形,因此同样适用于高阶图神经网络。在实验方面,我们在多个图分类与回归任务的基准数据集上验证了CRaWl的性能,结果表明其在各类任务中均能达到与当前最先进GNN架构相当的水平。

代码仓库

toenshoff/CRaWl
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
graph-classification-on-reddit-bCRaWl
Accuracy: 93.15
graph-property-prediction-on-ogbg-molpcbaCRaWl
Ext. data: No
Number of params: 6115728
Test AP: 0.2986 ± 0.0025
Validation AP: 0.3075 ± 0.0020
graph-regression-on-zincCRaWl+VN
MAE: 0.088
graph-regression-on-zincCRaWl
MAE: 0.101
graph-regression-on-zinc-500kCRaWl
MAE: 0.101
graph-regression-on-zinc-500kCRaWl+VN
MAE: 0.088

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
走出Weisfeiler-Leman层级:超越消息传递的图学习 | 论文 | HyperAI超神经