摘要
近期，稀疏3D卷积技术在3D目标检测领域引发了显著变革。与基于投票的方法性能相当，稀疏3D卷积神经网络（3D CNN）在内存效率方面表现优异，且更适用于大规模场景。然而，该方法仍存在优化空间。基于一种注重实践、问题导向的分析方法，我们深入研究了此类方法的性能表现，并精准定位了其性能瓶颈。通过逐项改进所发现的问题，我们最终提出TR3D：一种高效、全卷积的端到端3D目标检测模型，在标准基准数据集ScanNet v2、SUN RGB-D和S3DIS上均取得了当前最优的检测性能。此外，为充分融合点云与RGB图像两种模态信息，我们引入了一种2D与3D特征的早期融合机制。通过将该融合模块集成至传统3D目标检测方法中，我们实现了多模态感知，并显著提升了模型性能。其中，采用早期特征融合的TR3D+FF模型在SUN RGB-D数据集上的表现超越了现有主流3D目标检测方法。总体而言，TR3D与TR3D+FF模型不仅精度卓越，同时具备轻量化、内存高效、推理速度快等优势，标志着实时3D目标检测技术发展道路上的又一重要里程碑。代码已开源，地址为：https://github.com/SamsungLabs/tr3d。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-object-detection-on-3rscan | TR3D | mAP@0.25: 62.3 mAP@0.5: 45.4 |
| 3d-object-detection-on-multiscan | TR3D | mAP@0.25: 56.7 mAP@0.5: 42.3 |
| 3d-object-detection-on-s3dis | TR3D | mAP@0.25: 74.5 mAP@0.5: 51.7 |
| 3d-object-detection-on-scannet-1 | TR3D | mAP@0.25: 26.2 mAP@0.5: 14.5 |
| 3d-object-detection-on-scannetv2 | TR3D | mAP@0.25: 72.9 mAP@0.5: 59.3 |
| 3d-object-detection-on-sun-rgbd-val | TR3D (Geo only) | mAP@0.25: 67.1 mAP@0.5: 50.4 |
| 3d-object-detection-on-sun-rgbd-val | TR3D+FF | mAP@0.25: 69.4 mAP@0.5: 53.4 |