
摘要
我们提出了一种名为3DSmoothNet的全流程方法,用于通过基于孪生网络的深度学习架构和全卷积层来匹配三维点云,该方法使用体素化的平滑密度值(Smoothed Density Value, SDV)表示。SDV在每个兴趣点处计算,并对齐到局部参考帧(Local Reference Frame, LRF),以实现旋转不变性。我们的紧凑型、学习型、旋转不变的三维点云描述符在3DMatch基准数据集上达到了94.9%的平均召回率,仅用32个输出维度就超过了现有最先进方法超过20个百分点。这一极低的输出维度使得在标准PC上每特征点只需0.1毫秒即可实现近乎实时的对应搜索。由于采用了SDV、LRF以及通过全卷积层学习高度描述性的特征,我们的方法具有传感器和场景无关性。实验结果表明,仅在建筑物室内RGB-D场景上训练的3DSmoothNet在室外植被激光扫描上的平均召回率为79.0%,比最接近的学习型竞争对手高出一倍多。代码、数据和预训练模型可在https://github.com/zgojcic/3DSmoothNet在线获取。
代码仓库
zgojcic/3DSmoothNet
官方
tf
GitHub 中提及
LONG-9621/Match_SmoothNet
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| point-cloud-registration-on-3dlomatch-10-30 | 3DSN (reported in PREDATOR) | Recall ( correspondence RMSE below 0.2): 33 |
| point-cloud-registration-on-3dmatch-at-least-2 | 3DSN (reported in PREDATOR) | Recall ( correspondence RMSE below 0.2): 78.4 |
| point-cloud-registration-on-3dmatch-benchmark | 3DSmoothNet | Feature Matching Recall: 94.7 |
| point-cloud-registration-on-eth-trained-on | PerfectMatch | Feature Matching Recall: 0.790 |