4 个月前

更大的范数更可迁移:一种无监督领域适应的自适应特征范数方法

更大的范数更可迁移:一种无监督领域适应的自适应特征范数方法

摘要

领域适应(Domain Adaptation)使学习者能够在新环境中安全地进行泛化,通过缓解不同分布之间的领域偏移来实现这一目标。以往的研究可能未能有效揭示导致目标任务模型性能急剧下降的根本原因。在本文中,我们通过实证研究发现,目标领域的异常判别主要源于其特征范数相对于源领域显著较小。为此,我们提出了一种新颖的无参数自适应特征范数(Adaptive Feature Norm, AFN)方法。我们证明了逐步将两个领域的特征范数调整到较大的数值范围内可以带来显著的迁移增益,这表明具有较大范数的任务特定特征更具可迁移性。我们的方法成功地统一了标准领域适应和部分领域适应的计算,并对负迁移问题表现出更强的鲁棒性。无需复杂的附加机制,仅需几行代码,我们的方法就能大幅提高目标任务的性能,并且在多个基准数据集上显著超越现有最先进方法(在Office-Home数据集上提升11.5%,在VisDA2017数据集上提升17.1%)。我们希望这一简单而有效的方法能够为未来迁移学习的研究提供一些启示。代码已发布在 https://github.com/jihanyang/AFN。

代码仓库

基准测试

基准方法指标
domain-adaptation-on-imageclef-daIAFN+ENT
Accuracy: 88.9
domain-adaptation-on-office-31IAFN+ENT
Average Accuracy: 87.1
domain-adaptation-on-visda2017IAFN
Accuracy: 76.1
partial-domain-adaptation-on-office-homeSAFN
Accuracy (%): 71.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
更大的范数更可迁移:一种无监督领域适应的自适应特征范数方法 | 论文 | HyperAI超神经