摘要

利用多种空间模态已被证明有助于提升语义分割的性能。然而，在实际应用中仍存在若干尚未解决的挑战：（a）提高标签使用效率；（b）增强模型在测试阶段模态缺失这一现实场景下的鲁棒性。为应对这些挑战，我们首先提出一种简单而高效的多模态融合机制——Linear Fusion，该方法在监督信息有限的情况下，仍能超越当前最先进的多模态模型。其次，我们提出M3L：用于掩码模态学习的多模态教师框架（Multi-modal Teacher for Masked Modality Learning），这是一个半监督学习框架，不仅能提升多模态分割性能，还能利用未标注数据增强模型对真实场景中模态缺失情况的鲁棒性。我们首次构建了面向半监督多模态语义分割的基准测试集，并报告了模型在模态缺失情况下的鲁棒性表现。实验结果表明，我们的方法在鲁棒性mIoU指标上相较最先进基线实现了最高达10%的绝对提升。相关代码已开源，地址为：https://github.com/harshm121/M3L。