3 个月前

分而对比:基于自适应对比学习的无源域自适应

分而对比:基于自适应对比学习的无源域自适应

摘要

我们研究了一类实际的领域自适应任务——无源领域自适应(Source-Free Domain Adaptation, SFUDA),该任务旨在在无法访问源域数据的情况下,将预训练于源域的模型适配至目标域。现有方法主要依赖自监督伪标签技术实现类别级别的全局对齐[1],或通过局部结构提取来增强邻域间特征的一致性[2]。尽管取得了显著进展,但两类方法各自存在局限:前者对噪声标签敏感,后者易受源域偏置影响。本文提出一种全新的SFUDA范式——“分而对比”(Divide and Contrast, DaC),旨在融合两类方法的优势,同时规避其缺陷。基于源模型的预测置信度,DaC将目标域数据划分为“类源”样本与“目标特有”样本两类,并在自适应对比学习框架下,为两类样本设定差异化的学习目标。具体而言,“类源”样本因其标签相对干净,被用于学习全局类别聚类;而更具噪声的“目标特有”样本则在实例级别上用于挖掘数据内在的局部结构。此外,我们引入基于记忆库的最大均值差异(Maximum Mean Discrepancy, MMD)损失,对“类源”域与“目标特有”样本进行对齐,以缓解域间分布差异。在VisDA、Office-Home以及更具挑战性的DomainNet数据集上的大量实验表明,DaC在性能上显著优于当前最先进的方法。代码已开源,地址为:https://github.com/ZyeZhang/DaC.git。

代码仓库

fenghz/cosda
pytorch
GitHub 中提及
zyezhang/dac
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
source-free-domain-adaptation-on-visda-2017DaC
Accuracy: 87.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
分而对比:基于自适应对比学习的无源域自适应 | 论文 | HyperAI超神经