摘要

我们如何整合来自互补传感器的表示以实现自动驾驶？基于几何的融合在感知任务（如物体检测、运动预测）中显示出潜力。然而，在端到端驾驶的背景下，我们发现现有的传感器融合方法在动态代理密度较高的复杂驾驶场景中表现不佳。因此，我们提出了 TransFuser，一种利用自注意力机制整合图像和激光雷达（LiDAR）表示的方法。我们的方法在多个分辨率下使用变压器模块来融合透视图和俯视图特征图。我们在一个具有长路线和密集交通的新基准测试以及 CARLA 城市驾驶模拟器的官方排行榜上进行了实验验证，证明了其有效性。提交时，TransFuser 在 CARLA 排行榜上的驾驶评分大幅领先于所有先前的工作。与基于几何的融合相比，TransFuser 将每公里平均碰撞次数减少了 48%。