3 个月前

自旋加权球面卷积神经网络

自旋加权球面卷积神经网络

摘要

学习等变表示(equivariant representations)是一种极具前景的方法,能够有效降低深度神经网络的样本复杂度与模型复杂度,同时提升其泛化性能。球面卷积神经网络(spherical CNNs)是这一方向的成功范例,能够生成对球面输入具有 SO(3) 等变性的表示。目前,球面 CNN 主要有两类:第一类将输入提升至旋转群 SO(3) 上的函数,并在该群上执行卷积操作,但由于 SO(3) 比球面多一个维度,导致计算开销较大;第二类则直接在球面上进行卷积,但受限于仅能使用轴对称(各向同性)滤波器,表达能力有限。本文提出了一种新型球面 CNN,能够在不离开球面域的前提下,高效地支持各向异性滤波器。其核心思想是引入自旋加权球面函数(spin-weighted spherical functions),这类函数最初源于物理学中引力波的研究。它们是定义在球面上的复值函数,其相位在旋转下会发生变化。我们定义了自旋加权函数之间的卷积操作,并基于此构建了新的 CNN 架构。此外,自旋加权函数可被解释为球面上的向量场,因此该方法适用于输入或输出为向量场的任务。实验结果表明,该方法在多项任务上均优于以往方法,包括球面图像分类、三维形状分类以及球面全景图的语义分割任务。

代码仓库

daniilidis-group/swscnn
官方
jax
GitHub 中提及

基准测试

基准方法指标
semantic-segmentation-on-stanford2d3d-1SWSCNN
mIoU: 43.4%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
自旋加权球面卷积神经网络 | 论文 | HyperAI超神经