摘要

由于在恶劣视觉条件下拍摄的图像缺乏密集的像素级语义标注，学术界对无监督域自适应（Unsupervised Domain Adaptation, UDA）方法在该类图像语义分割中的应用产生了浓厚兴趣。UDA旨在将基于正常视觉条件训练的模型适配至目标的恶劣视觉条件域。与此同时，多个包含驾驶场景的数据集提供了同一场景在不同条件下的对应图像，这些跨域对应关系可作为域自适应的一种弱监督信号。本文提出 Refign，一种面向基于自训练的UDA方法的通用扩展框架，该框架充分利用了上述跨域对应关系。Refign 包含两个核心步骤：（1）通过一种具有不确定性感知能力的密集匹配网络，将正常条件下的图像与对应的恶劣条件图像进行对齐；（2）利用自适应标签修正机制，基于正常条件下的预测结果来优化恶劣条件下的分割结果。我们设计了专用模块以高效实现上述两个步骤，在多个恶劣条件下的语义分割基准测试中（包括 ACDC 和 Dark Zurich）取得了新的最优性能。该方法在训练过程中不引入额外参数，计算开销极低，且可作为即插即用的模块，无缝集成到任意基于自训练的UDA方法中以提升性能。代码已开源，地址为：https://github.com/brdav/refign。