4 个月前

MonoLSS:单目3D检测中的可学习样本选择

MonoLSS:单目3D检测中的可学习样本选择

摘要

在自动驾驶领域,单目3D检测是一项关键任务,其目标是从单个RGB图像中估计物体的3D属性(深度、尺寸和方向)。以往的研究通常以启发式的方式使用特征来学习3D属性,而没有考虑到不适当的特征可能会产生负面影响。本文引入了样本选择的概念,即只有合适的样本才应该用于训练以回归3D属性。为了自适应地选择样本,我们提出了一种基于Gumbel-Softmax和相对距离样本划分器的可学习样本选择(Learnable Sample Selection, LSS)模块。LSS模块采用预热策略,从而提高了训练的稳定性。此外,由于专门用于3D属性样本选择的LSS模块依赖于对象级别的特征,我们进一步开发了一种名为MixUp3D的数据增强方法,该方法符合成像原理且不会引入歧义,从而丰富了3D属性样本。作为两种正交的方法,LSS模块和MixUp3D可以独立使用或结合使用。大量实验表明,它们的联合使用可以产生协同效应,带来的改进超过了各自单独应用的效果之和。利用LSS模块和MixUp3D,在不增加额外数据的情况下,我们的方法MonoLSS在KITTI 3D物体检测基准测试的所有三个类别(汽车、骑自行车者和行人)中均排名第一,并在Waymo数据集和KITTI-nuScenes跨数据集评估中取得了具有竞争力的结果。代码包含在补充材料中,并将公开发布以促进相关学术和工业研究。

代码仓库

Traffic-X/MonoLSS
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
monocular-3d-object-detection-on-kitti-carsMonoLSS
AP Medium: 19.15

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供