3 个月前

单目3D目标检测中的深度条件动态消息传播

单目3D目标检测中的深度条件动态消息传播

摘要

本文旨在学习具有上下文感知与深度感知能力的特征表示,以解决单目3D目标检测中的挑战。本文主要贡献如下:(i) 与复杂的伪LiDAR(pseudo-LiDAR)方法不同,我们提出了一种深度条件动态消息传播(Depth-Conditioned Dynamic Message Propagation, DDMP)网络,能够高效地将多尺度深度信息与图像上下文进行融合;(ii) 该方法通过首先自适应地在图像上下文中采样具有上下文感知能力的节点,随后动态预测依赖于深度的混合滤波权重与亲和矩阵,实现信息的有效传播;(iii) 通过引入中心感知深度编码(Center-aware Depth Encoding, CDE)任务,我们的方法有效缓解了深度先验不准确的问题;(iv) 我们在KITTI基准数据集上全面验证了所提方法的有效性,并在基于单目的3D目标检测方法中取得了当前最优的性能。特别地,在2020年11月16日提交当日,我们在竞争激烈的KITTI单目3D目标检测赛道中排名第一。代码与模型已开源,地址为:\url{https://github.com/fudan-zvg/DDMP}。

代码仓库

fudan-zvg/DDMP
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
monocular-3d-object-detection-on-kitti-carsDDMP-3D
AP Medium: 12.78

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供