
摘要
近年来,计算机视觉领域的插值任务受到了显著的关注。尽管视频插值技术取得了巨大进展,但点云插值仍然未得到充分研究。同时,现实场景中存在大量非线性的大运动,使得点云插值任务更具挑战性。鉴于这些问题,我们提出了 NeuralPCI:一种端到端的 4D 空间-时间神经场(Neural field),用于 3D 点云插值,该方法隐式地整合了多帧信息,以处理室内和室外场景中的非线性大运动。此外,我们构建了一个新的多帧点云插值数据集 NL-Drive,专门针对自动驾驶场景中的大非线性运动,以更好地展示我们方法的优势。最终,NeuralPCI 在 DHB(动态人体)和 NL-Drive 数据集上均实现了最先进的性能。除了插值任务外,我们的方法还可以自然地扩展到点云外推、变形和自动标注等领域,这表明其在其他领域具有巨大的潜力。代码已发布在 https://github.com/ispc-lab/NeuralPCI。
代码仓库
ispc-lab/neuralpci
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-point-cloud-interpolation-on-dhb-dataset | IDEA-Net | CD: 1.02 EMD: 12.03 |
| 3d-point-cloud-interpolation-on-dhb-dataset | NeuralPCI | CD: 0.54 EMD: 3.68 |
| 3d-point-cloud-interpolation-on-dhb-dataset | PointINet | CD: 0.96 EMD: 12.25 |
| 3d-point-cloud-interpolation-on-dhb-dataset | PV-RAFT | CD: 0.92 EMD: 6.14 |
| 3d-point-cloud-interpolation-on-dhb-dataset | NSFP | CD: 1.22 EMD: 7.81 |
| 3d-point-cloud-interpolation-on-nl-drive | NeuralPCI | CD: 0.80 EMD: 97.03 |
| 3d-point-cloud-interpolation-on-nl-drive | NSFP | CD: 1.75 EMD: 132.13 |
| 3d-point-cloud-interpolation-on-nl-drive | PV-RAFT | CD: 1.64 EMD: 140.42 |
| 3d-point-cloud-interpolation-on-nl-drive | PointINet | CD: 1.06 EMD: 101.12 |