3 个月前

用于图分类的参数化超复数图神经网络

用于图分类的参数化超复数图神经网络

摘要

尽管在超复数(Hypercomplex, HC)空间中的表示学习近年来取得了显著进展,但该领域在图结构数据中的应用仍处于初步探索阶段。受复数与四元数代数的启发——这些代数在多种场景中已被证明能够实现高效的表示学习,并天然地具备权重共享机制——我们提出了一类新型图神经网络,充分利用超复数特征变换的数学特性。特别地,在所提出的模型族中,描述代数结构的乘法规则并非预先设定,而是在训练过程中由数据自动推导得出。在固定模型架构的前提下,我们通过实证研究证明,所提出的模型具有正则化效应,有效缓解了过拟合风险。此外,在模型容量固定的情况下,我们的方法在性能上优于其对应的实数形式图神经网络(GNN),进一步验证了超复数嵌入在表达能力上的优越性。最后,我们在多个公开的图基准数据集上对所提出的超复数图神经网络进行了测试,结果表明,该模型在达到当前最优性能的同时,参数量减少了约70%,内存占用显著降低。相关代码实现已开源,详见:https://github.com/bayer-science-for-a-better-life/phc-gnn。

代码仓库

bayer-science-for-a-better-life/phc-gnn
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
graph-property-prediction-on-ogbg-molhivPHC-GNN
Ext. data: No
Number of params: 110909
Test ROC-AUC: 0.7934 ± 0.0116
Validation ROC-AUC: 0.8217 ± 0.0089
graph-property-prediction-on-ogbg-molpcbaPHC-GNN
Ext. data: No
Number of params: 1690328
Test AP: 0.2947 ± 0.0026
Validation AP: 0.3068 ± 0.0025

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于图分类的参数化超复数图神经网络 | 论文 | HyperAI超神经