摘要

标准的无监督域自适应方法通常利用带标签的源域数据与无标签的目标域数据联合对模型进行域适应。然而，在模型自适应（model adaptation）场景中，无法访问源域的标注数据，仅能使用在源域上训练好的模型以及无标签的目标域数据。本文研究了从正常条件到异常条件的模型自适应任务，针对语义分割任务，且目标域中存在图像级别的对应关系。目标数据集由在GPS位置匹配的地点拍摄的、成对的异常条件与正常条件街景图像构成，且均为无标签数据。本文提出的方法——CMA（Condition-Invariant Model Adaptation），利用这些成对图像，通过对比学习（contrastive learning）来学习与条件无关的特征表示。具体而言，CMA促使嵌入空间中的特征依据其条件不变的语义内容进行聚类，而非根据输入图像所处的实际采集条件进行划分。为实现准确的跨域语义对应，CMA将正常条件图像通过几何变换映射至异常条件图像的视角，并利用变换置信度分数（warp-confidence scores）生成鲁棒且聚合的特征表示。通过该方法，CMA在多个从正常到异常条件的域自适应基准测试（如ACDC和Dark Zurich）中实现了当前最优的语义分割性能。此外，我们在一个新构建的异常条件泛化基准上对CMA进行了评估，尽管由于无法访问源域数据而处于相对不利地位，其表现仍显著优于标准的无监督域自适应方法。相关代码已公开，地址为：https://github.com/brdav/cma。