3 个月前

在单个测试样本上跨领域泛化学习

在单个测试样本上跨领域泛化学习

摘要

我们致力于从一组源域中学习一个模型,使其能够良好地泛化到未见过的目标域。在这一领域泛化场景中,主要挑战在于训练阶段无法获取任何目标域的数据,导致所学习的模型未能显式地针对未见目标域进行适应。为此,我们提出一种基于单个测试样本进行跨域泛化的学习方法。我们采用元学习范式,在训练阶段使模型学习仅凭单一样本即可实现适应的能力,从而在测试阶段能够进一步针对每一个单个测试样本进行自适应调整。我们将对单个测试样本的适应过程建模为一个变分贝叶斯推断问题,将测试样本作为条件信息融入模型参数的生成过程中。该方法在测试阶段仅需一次前向传播即可完成适应,无需对未见域的额外数据进行微调或自监督训练。大量消融实验表明,我们的模型通过在训练过程中模拟域间分布变化,成功习得了针对每个单一样本进行模型适应的能力。此外,在多个领域泛化基准测试中,我们的模型性能至少与当前最优方法相当,且在多数情况下表现更优。

基准测试

基准方法指标
domain-adaptation-on-pacsSSGEN
Accuracy: 88.09

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
在单个测试样本上跨领域泛化学习 | 论文 | HyperAI超神经