摘要

多模态传感器流（如摄像头、激光雷达和雷达测量）的融合在自动驾驶车辆的目标检测中发挥着关键作用，这些车辆的决策过程依赖于这些输入数据。尽管现有方法在良好环境条件下能够利用冗余信息，但在恶劣天气下，传感器流可能会受到不对称的干扰，导致现有方法失效。这些罕见的“边缘案例”场景并未在现有的数据集中得到体现，而现有的融合架构也未设计用于应对这些情况。为了解决这一挑战，我们介绍了一个在北欧超过10,000公里驾驶过程中获取的新多模态数据集。虽然该数据集是首个大规模的恶劣天气多模态数据集，包含10万个激光雷达、摄像头、雷达和门控近红外传感器（gated NIR sensors）的标签，但由于极端天气较为罕见，它并不便于训练。为此，我们提出了一种深度融合网络，旨在无需大量涵盖所有不对称干扰的标注训练数据的情况下实现鲁棒融合。不同于基于提议的融合方法，我们提出了一种单次模型，该模型通过测量熵驱动自适应特征融合。我们在广泛验证数据集上对所提出的 方法进行了验证。代码和数据可在此处获取：https://github.com/princeton-computational-imaging/SeeingThroughFog。