3 个月前

EA-LSS:面向3D BEV目标检测的边缘感知Lift-splat-shot框架

EA-LSS:面向3D BEV目标检测的边缘感知Lift-splat-shot框架

摘要

近年来,基于Lift-Splat-Shot(LSS)的3D目标检测方法取得了显著进展。然而,不准确的深度估计仍是制约纯摄像头模态及多模态3D目标检测模型精度的重要瓶颈,尤其是在深度变化剧烈的区域(即“深度跳跃”问题)。本文提出了一种新型的边缘感知Lift-Splat-Shot(Edge-aware Lift-Splat-Shot, EA-LSS)框架。具体而言,我们设计了边缘感知深度融合(Edge-aware Depth Fusion, EADF)模块,以缓解“深度跳跃”问题;同时引入细粒度深度(Fine-grained Depth, FGD)模块,进一步加强对深度估计的精细化监督。所提出的EA-LSS框架可兼容任意基于LSS的3D目标检测模型,并在几乎不增加推理时间的前提下显著提升模型性能。在nuScenes基准测试上的实验结果表明,EA-LSS在纯摄像头模态与多模态模型中均表现出色。值得一提的是,EA-LSS在nuScenes测试集上取得了当前最优性能,平均精度(mAP)和检测得分(NDS)分别达到76.5%和77.6%。

代码仓库

hht1996ok/ea-bev
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-object-detection-on-nuscenesEA-LSS
NDS: 0.78
mAAE: 0.12
mAOE: 0.28
mAP: 0.77
mASE: 0.21
mATE: 0.23
mAVE: 0.20

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
EA-LSS:面向3D BEV目标检测的边缘感知Lift-splat-shot框架 | 论文 | HyperAI超神经