3 个月前

重新思考在nuScenes中对端到端自动驾驶的开环评估

重新思考在nuScenes中对端到端自动驾驶的开环评估

摘要

现代自动驾驶系统通常被划分为三个主要任务:感知(perception)、预测(prediction)与规划(planning)。其中,规划任务旨在基于车辆自身的意图以及外部环境的输入,预测本车(ego vehicle)的未来轨迹,并据此对车辆进行控制。目前大多数研究在nuScenes数据集上评估其性能时,主要采用预测轨迹与真实轨迹之间的L2误差以及碰撞率(collision rate)作为评价指标。本文重新审视了这些现有评估指标的有效性,探讨其是否能够准确衡量不同方法之间的优劣。具体而言,我们设计了一种基于多层感知机(MLP)的端到端规划方法,该方法直接以原始传感器数据(如历史轨迹、速度等)为输入,不依赖任何感知或预测模块(例如摄像头图像或LiDAR点云),直接输出本车未来的行驶轨迹。实验结果表明,该简单方法在nuScenes数据集上的端到端规划性能与主流基于感知的方法相当,平均L2误差降低了约20%。然而,在碰撞率方面,基于感知的方法仍具有一定优势。我们进一步开展了深入分析,揭示了影响nuScenes数据集上规划任务成功的关键因素。研究发现,当前广泛采用的开环(open-loop)评估范式可能无法充分反映真实场景下端到端自动驾驶系统的综合性能,提示我们需要重新思考现有的评估机制。相关代码已开源,地址为:https://github.com/E2E-AD/AD-MLP。

代码仓库

E2E-AD/AD-MLP
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
trajectory-planning-on-nuscenesAD-MLP
Collision-1s: 0.17
Collision-2s: 0.18
Collision-3s: 0.24
Collision-Avg: 0.19
L2-1s: 0.20
L2-2s: 0.26
L2-3s: 0.41
L2-Avg: 0.29
trajectory-planning-on-nuscenesVAD-Base [jiang2023vad]
Collision-1s: 0.07
Collision-2s: 0.10
Collision-3s: 0.24
Collision-Avg: 0.14
L2-1s: 0.17
L2-2s: 0.34
L2-3s: 0.60
L2-Avg: 0.37

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
重新思考在nuScenes中对端到端自动驾驶的开环评估 | 论文 | HyperAI超神经