摘要

领域自适应是解决标签数据稀缺情况下学习任务的重要方法。尽管大多数现有研究仅聚焦于图像模态，但现实中存在大量重要的多模态数据集。为了充分利用多模态信息进行领域自适应，我们提出了跨模态学习方法，通过模态间的相互模仿（mutual mimicking）来强制两个模态的预测结果保持一致。我们的网络在有标签数据上被约束为做出正确预测，同时在无标签的目标域数据上，要求不同模态的预测结果保持一致性。在无监督和半监督领域自适应设置下的实验结果验证了该方法的有效性。具体而言，我们在3D语义分割任务上进行评估，输入可来自2D图像、3D点云，或两者联合。我们利用近期的自动驾驶数据集构建了多样化的领域自适应场景，涵盖场景布局、光照条件、传感器配置以及天气变化等差异，同时也包括从合成数据到真实数据的设定。在所有自适应场景中，我们的方法均显著优于以往的单模态自适应基线方法。相关代码已公开，可访问 https://github.com/valeoai/xmuda_journal。