4 个月前

跨域集成蒸馏用于领域泛化

跨域集成蒸馏用于领域泛化

摘要

领域泛化是指学习能够推广到未见过的目标领域的模型。我们提出了一种简单而有效的方法,称为跨域集成蒸馏(XDED),该方法在学习领域不变特征的同时,鼓励模型收敛到平坦的最小值,这最近被证明是实现领域泛化的充分条件。为此,我们的方法生成了来自不同领域但具有相同标签的训练数据输出概率的集成,并对每个输出与该集成之间的不匹配进行惩罚。此外,我们还介绍了一种去风格化技术,通过标准化特征来促使模型在任意目标领域中产生风格一致的预测。我们的方法在跨域图像分类、跨数据集人员重新识别和跨数据集语义分割等公开基准测试中显著提高了泛化能力。此外,我们还展示了通过我们的方法学习的模型对对抗攻击和图像损坏具有较强的鲁棒性。

代码仓库

leekyungmoon/XDED
官方
pytorch

基准测试

基准方法指标
domain-generalization-on-office-homeXDED (ResNet-18)
Average Accuracy: 67.4
domain-generalization-on-pacs-2XDED (ResNet-18)
Average Accuracy: 86.4
image-to-sketch-recognition-on-pacsXDED (ResNet18)
Accuracy: 51.5
single-source-domain-generalization-on-pacsXDED (ResNet18)
Accuracy: 66.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
跨域集成蒸馏用于领域泛化 | 论文 | HyperAI超神经