4 个月前

通过几何约束从单个图像学习预测3D车道形状和相机姿态

通过几何约束从单个图像学习预测3D车道形状和相机姿态

摘要

从摄像头检测三维车道是自动驾驶车辆面临的一个新兴问题。在这个任务中,正确的摄像头姿态是生成准确车道的关键,可以将透视视角图像转换为俯视图。通过这种转换,我们可以消除透视效果,使得三维车道看起来更加相似,并能通过低阶多项式精确拟合。然而,主流的三维车道检测器依赖于其他传感器提供的完美摄像头姿态,这不仅成本高昂,还面临着多传感器校准的问题。为了克服这一问题,我们提出了一种基于两阶段框架的方法,通过单张图像估计摄像头姿态来预测三维车道。第一阶段的目标是从透视视角图像中完成摄像头姿态任务。为了提高姿态估计的准确性,我们引入了一个辅助的三维车道任务和几何约束,以利用多任务学习的优势,增强三维和二维之间的一致性以及上述两个任务之间的兼容性。第二阶段则专注于三维车道任务,利用先前估计的姿态生成包含距离不变车道外观的俯视图,以便预测准确的三维车道。实验结果表明,在没有真实摄像头姿态的情况下,我们的方法优于现有的基于完美摄像头姿态的方法,并且具有最少的参数和计算量。代码已发布在 https://github.com/liuruijin17/CLGo。

代码仓库

liuruijin17/clgo
官方
pytorch

基准测试

基准方法指标
3d-lane-detection-on-apollo-synthetic-3d-laneCLGo
F1: 91.9
X error far: 0.361
X error near: 0.061
Z error far: 0.25
Z error near: 0.029

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过几何约束从单个图像学习预测3D车道形状和相机姿态 | 论文 | HyperAI超神经