3 个月前

Far3D:拓展全景三维目标检测的视野

Far3D:拓展全景三维目标检测的视野

摘要

近年来,基于环视图像的3D目标检测因其部署成本低而取得了显著进展。然而,现有大多数方法主要聚焦于近距离感知,对远距离检测的探索仍相对不足。直接将现有方法扩展至远距离场景,面临计算开销大和收敛不稳定等挑战。为解决上述问题,本文提出一种新颖的稀疏查询框架——Far3D。该方法利用高质量的2D目标先验,生成互补于3D全局查询的3D自适应查询。为进一步高效捕捉远距离目标在不同视角和尺度下的判别性特征,我们设计了一种视角感知聚合模块。此外,提出一种基于距离调制的3D去噪方法,有效缓解查询误差传播问题,改善远距离任务中的收敛性。实验表明,Far3D在具有挑战性的Argoverse 2数据集上实现了当前最优(SoTA)性能,检测范围可达150米,显著优于多个基于LiDAR的方法。同时,在nuScenes数据集上,Far3D也展现出优于先前方法的性能表现。代码已开源,地址为:https://github.com/megvii-research/Far3D。

代码仓库

megvii-research/far3d
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-object-detection-on-3d-object-detection-onFar3D
Average mAP: 24.4
3d-object-detection-on-nuscenes-camera-onlyFar3D
Future Frame: false
NDS: 68.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Far3D:拓展全景三维目标检测的视野 | 论文 | HyperAI超神经