3 个月前

用于3D单次检测的生成稀疏检测网络

用于3D单次检测的生成稀疏检测网络

摘要

三维目标检测因其在机器人、增强现实等众多前沿领域中的广泛应用潜力而受到广泛关注。然而,三维数据的稀疏性给该任务带来了独特的挑战。其中最为显著的问题是,三维点云的可观察表面往往与目标实例的中心位置不一致,难以为边界框预测提供可靠的定位依据。为此,我们提出了一种全卷积的单次稀疏检测网络——生成式稀疏检测网络(Generative Sparse Detection Network, GSDN),该网络能够高效生成用于目标候选框生成的支持信息。模型的核心组件是一个生成式稀疏张量解码器,它通过一系列转置卷积与剪枝层,在扩展稀疏张量支持范围的同时,剔除可能性较低的目标中心,从而在保持极低运行时延和内存开销的前提下实现高效推理。GSDN 仅需一次全卷积前向传播即可处理前所未有的大规模输入,无需像以往方法那样依赖启发式后处理阶段来拼接滑动窗口输出的结果。我们在三个三维室内数据集上验证了所提方法的有效性,包括大规模三维室内重建数据集。实验结果表明,我们的方法在该数据集上相较当前最优方法实现了 7.14% 的相对性能提升,且推理速度比最优的先前工作快达 3.78 倍。

代码仓库

NVIDIA/MinkowskiEngine
pytorch
GitHub 中提及
shwoo93/minkowskiengine
pytorch
GitHub 中提及
StanfordVL/MinkowskiEngine
pytorch
GitHub 中提及
jgwak/GSDN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-object-detection-on-s3disGSDN
mAP@0.25: 47.8
mAP@0.5: 25.1
3d-object-detection-on-scannetv2GSDN
mAP@0.25: 62.8
mAP@0.5: 34.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于3D单次检测的生成稀疏检测网络 | 论文 | HyperAI超神经