3 个月前

基于几何的单目3D目标检测距离分解

基于几何的单目3D目标检测距离分解

摘要

单目3D目标检测在自动驾驶领域具有重要意义,但依然面临巨大挑战。其核心难题在于缺乏显式的深度信息,难以准确预测目标的距离。与现有大多数方法将距离回归为单一变量的策略不同,本文提出一种基于几何关系的距离分解新方法,通过分解距离的构成因素来实现距离恢复。该分解将目标距离分解为两个最具代表性且稳定的变量:物体的实际物理高度与图像平面上的投影视觉高度。此外,该分解方法保持了两个高度之间的内在自洽性,即使在预测高度均存在误差的情况下,仍能实现鲁棒的距离估计。该分解机制还使我们能够追溯不同场景下距离预测不确定性的根源,从而提升模型的可解释性。得益于这一设计,距离预测兼具准确性与鲁棒性。本方法直接从RGB图像中预测3D边界框,采用紧凑的网络架构,使训练与推理过程简单高效。实验结果表明,该方法在KITTI数据集的单目3D目标检测与鸟瞰图(Birds Eye View)任务上均达到了当前最优性能,并具备良好的泛化能力,可适用于不同相机内参的图像输入。

代码仓库

Rock-100/MonoDet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
monocular-3d-object-detection-on-kitti-carsMonoRCNN
AP Medium: 12.65

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供