摘要

利用多种传感器对于自动驾驶中的鲁棒语义感知至关重要，因为每种传感器类型都有其互补的优势和劣势。然而，现有的传感器融合方法通常在所有条件下对传感器进行统一处理，导致性能次优。相比之下，我们提出了一种新颖的条件感知多模态融合方法，用于驾驶场景的鲁棒语义感知。我们的方法称为 CAFuser，通过使用 RGB 相机输入来分类环境条件并生成一个条件标记（Condition Token），从而指导多种传感器模态的融合。我们进一步引入了特定模态的特征适配器，将不同的传感器输入对齐到共享的潜在空间中，从而实现与单一且共享的预训练主干网络的有效集成。通过根据实际条件动态调整传感器融合，我们的模型显著提高了鲁棒性和准确性，尤其是在恶劣条件下的场景中。CAFuser 在公开的 MUSES 基准测试中排名第一，实现了多模态全景分割 59.7 PQ 和语义分割 78.2 mIoU 的成绩，并且在 DeLiVER 上也创下了新的最先进水平。源代码已公开发布在：https://github.com/timbroed/CAFuser。