摘要

RGB-热成像语义分割是在恶劣天气和光照条件下实现可靠语义场景理解的一种潜在解决方案。然而，以往的研究大多集中在设计多模态融合模块上，而没有考虑到多模态输入的本质特性。因此，网络容易过度依赖某一单一模态，难以学习到每个模态的互补性和有意义的表示。本文提出了一种1）RGB-T图像的互补随机遮罩策略以及2）干净输入模态与遮罩输入模态之间的自蒸馏损失。所提出的遮罩策略可以防止网络对单一模态的过度依赖，通过迫使网络在某一模态部分可用时仍能进行物体分割和分类，从而提高神经网络的准确性和鲁棒性。此外，所提出的自蒸馏损失鼓励网络从单一模态或互补遮罩模态中提取互补且有意义的表示。基于该方法，我们在三个RGB-T语义分割基准数据集上取得了最先进的性能。我们的源代码可在https://github.com/UkcheolShin/CRM_RGBTSeg 获取。