3 个月前

D3Feat:3D局部特征的密集检测与描述联合学习

D3Feat:3D局部特征的密集检测与描述联合学习

摘要

点云配准的成功往往依赖于通过具有区分性的三维局部特征建立稳健的稀疏匹配。尽管基于学习的三维特征描述子发展迅速,但针对三维特征检测器的学习仍鲜受关注,更遑论两者的联合学习。本文提出一种基于三维全卷积网络的点云处理方法,设计了一种新颖且实用的学习机制,能够对每个三维点密集地预测其检测得分与描述特征。特别地,我们提出一种关键点选择策略,有效克服了三维点云固有的密度不均问题;同时,设计了一种自监督检测损失函数,该损失函数在训练过程中利用实时生成的特征匹配结果进行引导。实验结果表明,所提方法在3DMatch和KITTI数据集上均取得了当前最优的配准性能,并在ETH数据集上展现出强大的泛化能力。面向实际应用,我们进一步验证:通过采用可靠的特征检测器,仅需采样较少数量的特征点即可实现高效且精确的点云对齐。代码开源

代码仓库

XuyangBai/D3Feat
官方
tf
GitHub 中提及
XuyangBai/D3Feat.pytorch
pytorch
GitHub 中提及

基准测试

基准方法指标
point-cloud-registration-on-3dlomatch-10-30D3Feat (reported in PREDATOR)
Recall ( correspondence RMSE below 0.2): 37.2
point-cloud-registration-on-3dmatch-at-least-2D3Feat (reported in PREDATOR)
Recall ( correspondence RMSE below 0.2): 81.6
point-cloud-registration-on-3dmatch-benchmarkD3Feat-Pred
Feature Matching Recall: 95.8
point-cloud-registration-on-3dmatch-benchmarkD3Feat-rand
Feature Matching Recall: 95.3
point-cloud-registration-on-3dmatch-trainedD3Feat-pred
Recall: 0.627
point-cloud-registration-on-eth-trained-onD3Feat-pred
Feature Matching Recall: 0.563
point-cloud-registration-on-kittiD3Feat-pred
Success Rate: 99.81
point-cloud-registration-on-kitti-trained-onD3Feat-pred
Success Rate: 36.76

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
D3Feat:3D局部特征的密集检测与描述联合学习 | 论文 | HyperAI超神经