3 个月前

我们真的需要访问源数据吗?面向无监督域自适应的源假设迁移

我们真的需要访问源数据吗?面向无监督域自适应的源假设迁移

摘要

无监督域自适应(Unsupervised Domain Adaptation, UDA)旨在利用已标注源域数据中学习到的知识,解决新无标注目标域中的相似任务。以往的UDA方法通常在模型适配过程中需要访问源数据,这使得其在去中心化私有数据场景下存在安全风险且效率低下。本文针对一种更具实际意义的设置——仅可获取训练好的源模型而无法访问源数据——提出了一种有效利用该模型解决UDA问题的新方法。为此,我们提出了一种简单但通用的表示学习框架,命名为源假设迁移(Source HypOthesis Transfer, SHOT)。SHOT冻结源模型的分类器模块(即“假设”),并通过联合利用信息最大化与自监督伪标签机制,学习目标域特定的特征提取模块,从而隐式地将目标域的表示对齐至源模型的假设空间。为验证该方法的通用性,我们在多种域自适应场景下进行了评估,包括闭集、部分集和开集域自适应。实验结果表明,SHOT在多个域自适应基准测试中均取得了当前最优的性能表现。

代码仓库

Claydon-Wang/OFTTA
pytorch
GitHub 中提及
tim-learn/SHOT
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-adaptation-on-mnist-to-uspsSHOT
Accuracy: 98.0
domain-adaptation-on-office-31SHOT
Average Accuracy: 88.6
domain-adaptation-on-office-homeSHOT
Accuracy: 71.8
domain-adaptation-on-svhn-to-mnistSHOT
Accuracy: 98.9
domain-adaptation-on-svnh-to-mnistSHOT
Accuracy: 98.9
domain-adaptation-on-usps-to-mnistSHOT
Accuracy: 98.4
domain-adaptation-on-visda2017SHOT
Accuracy: 82.9
partial-domain-adaptation-on-office-homeSHOT
Accuracy (%): 78.3
source-free-domain-adaptation-on-visda-2017SHOT
Accuracy: 82.9
universal-domain-adaptation-on-domainnetSHOT-O
H-Score: 32.6
Source-free: no
universal-domain-adaptation-on-office-homeSHOT-O
H-Score: 40.7
Source-free: yes
VLM: no
universal-domain-adaptation-on-visda2017SHOT-O
H-score: 44.0
Source-free: yes

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
我们真的需要访问源数据吗?面向无监督域自适应的源假设迁移 | 论文 | HyperAI超神经