4 个月前

PersFormer:通过透视变换器实现的3D车道检测及OpenLane基准测试

PersFormer:通过透视变换器实现的3D车道检测及OpenLane基准测试

摘要

为了应对许多自动驾驶场景中车道布局不准确的问题(如上坡/下坡、颠簸等),最近提出了一些3D车道检测方法。以往的研究在复杂情况下表现不佳,主要是由于其从前视图到鸟瞰图(BEV)的空间变换设计过于简单,以及缺乏现实世界的高质量数据集。针对这些问题,我们提出了PersFormer:一种基于Transformer的端到端单目3D车道检测器,具有创新的空间特征变换模块。我们的模型通过参考相机参数,关注前视图中的相关局部区域来生成BEV特征。PersFormer采用了统一的2D/3D锚点设计,并引入了一个辅助任务,以同时检测2D和3D车道,从而增强了特征的一致性并共享了多任务学习的优势。此外,我们发布了首个大规模真实世界3D车道数据集之一:OpenLane,该数据集具有高质量的注释和丰富的场景多样性。OpenLane包含20万帧图像、超过88万个实例级别的车道、14个车道类别,以及场景标签和路径内封闭物体的注释,旨在促进车道检测及相关工业自动驾驶技术的发展。我们在新的OpenLane数据集及Apollo 3D Lane合成数据集上的实验结果表明,PersFormer在3D车道检测任务中显著优于现有的竞争基线方法,并且在OpenLane数据集的2D车道检测任务中也达到了与当前最先进算法相当的性能。项目页面可在https://github.com/OpenPerceptionX/PersFormer_3DLane 查看,而OpenLane数据集则可从https://github.com/OpenPerceptionX/OpenLane 获取。

代码仓库

OpenDriveLab/OpenLane
GitHub 中提及
OpenDriveLab/PersFormer_3DLane
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-lane-detection-on-apollo-synthetic-3d-lanePersFormer
F1: 92.9
X error far: 0.356
X error near: 0.054
Z error far: 0.234
Z error near: 0.010
3d-lane-detection-on-openlanePersFormer (version 1.2)
Curve: 58.4
Extreme Weather: 51.8
F1 (all): 52.9
FPS (pytorch): -
Intersection: 42.1
Merge u0026 Split: 50.9
Night: 47.4
Up u0026 Down: 47.5
3d-lane-detection-on-openlanePersFormer (version 1.1)
Curve: 58.7
Extreme Weather: 54.0
F1 (all): 50.5
FPS (pytorch): -
Intersection: 41.6
Merge u0026 Split: 53.1
Night: 50.0
Up u0026 Down: 45.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PersFormer:通过透视变换器实现的3D车道检测及OpenLane基准测试 | 论文 | HyperAI超神经