4 个月前

基于单目视频的三维运动物体检测

基于单目视频的三维运动物体检测

摘要

在自动驾驶应用中,三维感知物理世界是基础性的。尽管时间运动对于人类视觉在检测、跟踪和深度感知方面是一个宝贵的资源,但现代三维目标检测器尚未充分利用这些特性。本文提出了一种新的基于单目视频的三维目标检测方法,该方法巧妙地利用了运动学运动来提高三维定位的精度。具体而言,我们首先提出了一种新颖的目标方向分解方法以及一种自平衡的三维置信度。我们证明了这两个组件对于使我们的运动学模型有效工作至关重要。总体而言,仅使用一个模型,我们高效地从单目视频中利用三维运动学信息,提高了三维目标检测的整体定位精度,同时生成了场景动态(自我运动和每个目标的速度)的有用副产品。我们在KITTI自动驾驶数据集上的单目三维目标检测和鸟瞰图任务中取得了最先进的性能。

代码仓库

garrickbrazil/kinematic3d
pytorch
GitHub 中提及
Nicholasli1995/EgoNet
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-object-detection-on-rope3dKinematic3D+(G)
AP@0.7: 17.74
monocular-3d-object-detection-on-kitti-carsKinematic3D
AP Medium: 12.72
vehicle-pose-estimation-on-kitti-cars-hardKinematic3D
Average Orientation Similarity: 34.81

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于单目视频的三维运动物体检测 | 论文 | HyperAI超神经