4 个月前

Weisfeiler和Lehman走向细胞化:CW网络

Weisfeiler和Lehman走向细胞化:CW网络

摘要

图神经网络(GNNs)在表达能力上存在局限性,难以处理长距离相互作用,并且缺乏一种原则性的方法来建模高阶结构。这些问题可以归因于计算图与输入图结构之间的强耦合。最近提出的单纯复形消息传递网络(Message Passing Simplicial Networks)通过在图的团复形上进行消息传递,自然地解耦了这些元素。然而,这些模型可能会受到单纯复形(Simplicial Complexes, SCs)刚性组合结构的严重限制。在这项工作中,我们将最近关于SCs的理论结果扩展到常规胞腔复形(Cell Complexes),这是一种灵活包含SCs和图的拓扑对象。我们展示了这种泛化提供了一组强大的图“提升”变换,每种变换都导致一个独特的层次消息传递过程。由此产生的方法,我们统称为CW网络(CWNs),其表达能力严格超过Weisfeiler-Lehman测试,并且不低于3-Weisfeiler-Lehman测试。特别是,我们证明了基于环的一种方案在应用于分子图问题时的有效性。所提出的架构在表达能力上比常用的GNNs有显著优势,能够原则性地建模高阶信号,并且压缩节点之间的距离。我们在多种分子数据集上展示了该模型达到了最先进的结果。

代码仓库

josefhoppe/cwn-random-ccs
pytorch
GitHub 中提及
twitter-research/cwn
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
graph-classification-on-cslCIN
Acc: 1
graph-property-prediction-on-ogbg-molhivCIN
Ext. data: No
Number of params: 239745
Test ROC-AUC: 0.8094 ± 0.0057
Validation ROC-AUC: 0.8277 ± 0.0099
graph-property-prediction-on-ogbg-molhivCIN-small
Ext. data: No
Number of params: 138337
Test ROC-AUC: 0.8055 ± 0.0104
Validation ROC-AUC: 0.8310 ± 0.0102
graph-regression-on-zincCIN-small
MAE: 0.094
graph-regression-on-zincCIN
MAE: 0.079
graph-regression-on-zinc-100kCIN-small
MAE: 0.094
graph-regression-on-zinc-500kCIN-small
MAE: 0.094
graph-regression-on-zinc-500kCIN
MAE: 0.079

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Weisfeiler和Lehman走向细胞化:CW网络 | 论文 | HyperAI超神经