3 个月前

SpinNet:学习一种用于3D点云配准的通用表面描述子

SpinNet:学习一种用于3D点云配准的通用表面描述子

摘要

提取鲁棒且具有通用性的三维局部特征,是点云配准与重建等下游任务的关键。现有的基于学习的局部描述子要么对旋转变换敏感,要么依赖于传统手工设计的特征,这些特征既缺乏通用性,也难以充分代表局部几何结构。本文提出一种新颖但概念简洁的神经网络架构——SpinNet,用于提取具有旋转不变性且信息丰富、足以支持高精度配准的局部特征。首先,引入空间点变换器(Spatial Point Transformer),将输入的局部表面映射至一个精心设计的柱状空间,从而实现基于SO(2)等变表示的端到端优化。随后,采用融合强大点云基础与三维柱面卷积神经网络层的神经特征提取器,生成紧凑且具有代表性的描述子,用于匹配任务。在室内与室外多个数据集上的大量实验表明,SpinNet在性能上显著超越现有最先进方法。更为关键的是,该方法在未见过的场景以及不同传感器模态下展现出最优的泛化能力。代码已开源,地址为:https://github.com/QingyongHu/SpinNet。

代码仓库

QingyongHu/SpinNet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
point-cloud-registration-on-3dmatch-benchmarkSpinNet (no code published as of Dec 15 2020)
Feature Matching Recall: 97.6
point-cloud-registration-on-3dmatch-trainedSpinNet
Recall: 0.845
point-cloud-registration-on-eth-trained-onSpinNet
Feature Matching Recall: 0.928
Recall (30cm, 5 degrees): 73.07
point-cloud-registration-on-fpv1SpinNet
RRE (degrees): 3.105
RTE (cm): 1.670
Recall (3cm, 10 degrees): 42.46
point-cloud-registration-on-kittiSpinNet
Success Rate: 99.10
point-cloud-registration-on-kitti-trained-onSpinNet
Success Rate: 81.44

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SpinNet:学习一种用于3D点云配准的通用表面描述子 | 论文 | HyperAI超神经