3 个月前

面向统一且高效的领域泛化

面向统一且高效的领域泛化

摘要

我们提出了一种名为 $\textbf{UniDG}$ 的新型统一框架,用于域泛化(Domain Generalization),该框架能够显著提升各类基础模型在分布外数据上的泛化性能,且不依赖于模型的具体架构。UniDG 的核心思想是在推理阶段对模型进行微调,从而避免反复训练带来的高昂计算成本。具体而言,我们引导模型以无监督方式学习测试数据的分布特性,并对模型参数的更新步数施加惩罚项。该惩罚项能有效缓解灾难性遗忘问题,确保原始模型中宝贵的先验知识得到最大程度的保留。在实验中,我们在 12 种不同的视觉主干网络上验证了 UniDG 的性能,涵盖基于 CNN、MLP 和 Transformer 的模型,参数量范围从 189 万到 3.03 亿不等。在 DomainBed 基准测试上,UniDG 平均实现了 +5.4% 的准确率提升。这些结果充分证明了 UniDG 在性能优势与架构普适性方面的卓越表现。代码已开源,欢迎访问:https://github.com/invictus717/UniDG

代码仓库

invictus717/UniDG
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-generalization-on-domainnetUniDG + CORAL + ConvNeXt-B
Average Accuracy: 59.5
domain-generalization-on-office-homeUniDG + CORAL + ConvNeXt-B
Average Accuracy: 88.9
domain-generalization-on-pacs-2UniDG + CORAL + ConvNeXt-B
Average Accuracy: 95.6
domain-generalization-on-terraincognitaUniDG + CORAL + ConvNeXt-B
Average Accuracy: 69.6
domain-generalization-on-vlcsUniDG + CORAL + ConvNeXt-B
Average Accuracy: 84.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向统一且高效的领域泛化 | 论文 | HyperAI超神经