摘要

直接从原始传感器数据生成规划结果，一直是自动驾驶领域长期追求的目标，近年来也受到越来越多的关注。现有的大多数端到端自动驾驶方法通常将该问题分解为感知、运动预测和规划三个阶段。然而，我们认为传统的分步处理流程仍难以全面建模整个交通环境的动态演化过程，例如车辆与周围交通参与者之间的未来交互关系，以及轨迹的结构先验信息。本文提出一种面向端到端自动驾驶的新范式，其核心在于：基于历史场景预测车辆自身与周围环境的演化过程。为此，我们提出了GenAD——一种将自动驾驶问题转化为生成建模任务的生成式框架。首先，我们设计了一种以实例为中心的场景分词器（instance-centric scene tokenizer），将周围环境转化为具有地图感知能力的实例令牌（map-aware instance tokens）。随后，我们采用变分自编码器（variational autoencoder）在结构化的隐空间中学习未来轨迹的分布，以实现轨迹结构先验建模。为进一步捕捉智能体与本车在时间维度上的运动演化，我们引入一个时序模型，以在隐空间中建模动态行为，从而生成更具现实意义的未来轨迹。最终，GenAD通过在学习得到的结构化隐空间中对分布进行采样，并结合所学的时序模型生成未来场景，实现运动预测与路径规划的联合优化。在广泛使用的nuScenes基准数据集上进行的大量实验表明，所提出的GenAD在视觉中心的端到端自动驾驶任务中取得了当前最优性能，同时具备高效性。代码已开源：https://github.com/wzzheng/GenAD。