4 个月前

LATR:基于单目图像的三维车道检测Transformer方法

LATR:基于单目图像的三维车道检测Transformer方法

摘要

从单目图像中检测3D车道是自动驾驶领域的一项基本而具有挑战性的任务。近年来的主要进展主要依赖于从前视图图像特征和相机参数构建的结构化3D代理(例如,鸟瞰图)。然而,单目图像中的深度不确定性不可避免地导致构建的代理特征图与原始图像之间的错位,给精确的车道检测带来了巨大挑战。为了解决上述问题,我们提出了一种新颖的LATR模型,这是一种端到端的3D车道检测器,它使用具备3D感知能力的前视图特征而不依赖于变换视角表示。具体而言,LATR通过基于查询和键值对的交叉注意力机制来检测3D车道。这些查询和键值对是由我们的车道感知查询生成器和动态3D地面位置嵌入构建的。一方面,每个查询都是根据2D车道感知特征生成的,并采用了混合嵌入以增强车道信息。另一方面,3D空间信息作为位置嵌入从迭代更新的3D地面平面注入。在合成数据集Apollo、真实数据集OpenLane和ONCE-3DLanes上,LATR均大幅超越了先前的最先进方法(例如,在OpenLane上的F1分数提高了11.4)。代码将在以下地址发布:https://github.com/JMoonr/LATR 。

代码仓库

jmoonr/latr
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-lane-detection-on-openlaneLATR
Curve: 68.2
Extreme Weather: 57.1
F1 (all): 61.9
Intersection: 52.3
Merge u0026 Split: 61.5
Night: 55.4
Up u0026 Down: 55.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
LATR:基于单目图像的三维车道检测Transformer方法 | 论文 | HyperAI超神经