3 个月前

射线去噪:面向多视角3D目标检测的深度感知难负样本挖掘

射线去噪:面向多视角3D目标检测的深度感知难负样本挖掘

摘要

多视角3D目标检测系统通常因从图像中估计深度的困难,导致生成的预测不够精确,从而产生大量冗余且错误的检测结果。本文提出了一种名为Ray Denoising的创新方法,通过沿相机射线进行策略性采样,构建具有挑战性的负样本(hard negative examples),以提升检测精度。这些负样本在视觉上与真实正样本难以区分,迫使模型学习具备深度感知能力的特征表示,从而显著增强其区分真实正样本与虚假正样本的能力。Ray Denoising被设计为一个即插即用的模块,可兼容任意基于DETR架构的多视角3D检测器,且仅带来极小的训练计算开销,完全不影响推理速度。通过全面的实验验证,包括详尽的消融研究,结果一致表明,Ray Denoising在多个数据集上均显著优于现有强基线方法。在NuScenes数据集上,其平均精度(mAP)相较当前最先进方法StreamPETR提升了1.9%。在Argoverse 2数据集上亦展现出显著的性能提升,充分验证了该方法出色的泛化能力。相关代码将开源,地址为:https://github.com/LiewFeng/RayDN。

代码仓库

liewfeng/raydn
官方
pytorch
GitHub 中提及
liewfeng/beam
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-object-detection-on-nuscenes-camera-onlyRayDN
Future Frame: false
NDS: 68.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
射线去噪:面向多视角3D目标检测的深度感知难负样本挖掘 | 论文 | HyperAI超神经