摘要

由于安全问题，自动驾驶汽车的大规模部署一直被推迟。一方面，全面的场景理解不可或缺，缺乏这种能力会导致在罕见但复杂的交通情况下（如未知物体的突然出现）存在脆弱性。然而，从全局上下文中进行推理需要访问多种类型的传感器并充分融合多模态传感器信号，这很难实现。另一方面，学习模型的可解释性不足也阻碍了安全性，因为无法验证故障原因。本文提出了一种增强安全性的自动驾驶框架，命名为可解释传感器融合变压器（Interpretable Sensor Fusion Transformer, InterFuser），该框架能够完全处理和融合来自多模态多视角传感器的信息，以实现全面的场景理解和对抗事件检测。此外，我们的框架生成了中间可解释特征，这些特征提供了更多的语义信息，并被用于更好地约束行动以确保其在安全范围内。我们在CARLA基准测试中进行了广泛的实验，结果表明我们的模型优于先前的方法，在公开的CARLA排行榜上排名第一。我们的代码将在https://github.com/opendilab/InterFuser 上提供。