摘要

多模态深度传感器融合有望使自动驾驶车辆在各种天气条件下实现对其周围环境的视觉理解。然而，现有的深度传感器融合方法通常采用复杂的架构，其中多模态特征相互交织，需要大量共配准的多模态数据集进行训练。在这项工作中，我们提出了一种高效且模块化的RGB-X融合网络，该网络可以通过场景特定的融合模块利用并融合预训练的单模态模型，从而使用小型共配准多模态数据集创建联合输入自适应网络架构。我们的实验表明，与现有方法相比，我们的方法在RGB-热成像和RGB-门控数据集上表现出色，仅需少量额外参数即可完成融合。我们的代码可在https://github.com/dsriaditya999/RGBXFusion 获取。