4 个月前

学习优化领域特定归一化以实现领域泛化

学习优化领域特定归一化以实现领域泛化

摘要

我们提出了一种基于深度神经网络的简单而有效的多源域泛化技术,通过引入针对各个域优化的归一化层来实现。我们的方法在学习每个域的独立仿射参数时采用了多种归一化方法。对于每个域,激活值通过多种归一化统计量的加权平均进行归一化。如果需要,每种归一化类型的统计量会分别记录。具体而言,在我们的实现中,我们采用了批量归一化(Batch Normalization)和实例归一化(Instance Normalization),以确定这两种归一化方法在每个域中的最佳组合。优化后的归一化层能够有效提升所学模型的泛化能力。我们在标准的域泛化基准测试中展示了算法的最先进准确性,并证明了其在多源域适应和存在标签噪声情况下的域泛化的可行性。

基准测试

基准方法指标
domain-generalization-on-pacs-2DSON (Resnet-50)
Average Accuracy: 86.64
domain-generalization-on-pacs-2DSON (Resnet-18)
Average Accuracy: 85.11
unsupervised-domain-adaptation-on-pacsDSON
Average Accuracy: 90.38

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
学习优化领域特定归一化以实现领域泛化 | 论文 | HyperAI超神经