3 个月前

具有连接拉普拉斯算子的层析神经网络

具有连接拉普拉斯算子的层析神经网络

摘要

Sheaf神经网络(Sheaf Neural Network, SNN)是一种作用于“层”(sheaf)上的图神经网络(Graph Neural Network, GNN)。“层”是一种在图的节点和边上赋予向量空间,并在这些空间之间定义线性映射的数学结构。研究表明,SNN具有若干有益的理论性质,能够有效应对异质性(heterophily)和过平滑(over-smoothing)等图学习中的关键挑战。然而,这类模型的一个内在难点在于:如何为具体任务选择合适的“层”结构。此前的研究提出了两种截然不同的方法:一种是基于领域知识手动构造层结构;另一种则是采用基于梯度的端到端学习方法自动优化层结构。然而,领域知识往往难以全面覆盖实际问题,而完全通过学习来构建层结构又可能导致过拟合,并带来显著的计算开销。在本工作中,我们受黎曼几何(Riemannian geometry)的启发,提出了一种全新的层计算方法:利用流形假设(manifold assumption),构建兼具流形与图结构感知能力的正交映射,以最优方式对邻近数据点的切空间进行对齐。实验结果表明,该方法在保持优异性能的同时,显著降低了计算开销,相较于以往的SNN模型展现出更优的效率。总体而言,本研究建立起了代数拓扑与微分几何之间的有趣联系,我们期望这一工作能激发未来在该交叉方向上的深入研究。

代码仓库

antoniopurificato/sheaf4rec
pytorch
GitHub 中提及

基准测试

基准方法指标
node-classification-on-chameleonConn-NSD
Accuracy: 65.21±2.04
node-classification-on-cornellConn-NSD
Accuracy: 85.95±7.72
node-classification-on-squirrelConn-NSD
Accuracy: 45.19±1.57
node-classification-on-texasConn-NSD
Accuracy: 86.16±2.24
node-classification-on-wisconsinConn-NSD
Accuracy: 88.73±4.47

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
具有连接拉普拉斯算子的层析神经网络 | 论文 | HyperAI超神经