摘要

人类视觉感知能够轻松泛化到分布外（out-of-distribution）的视觉数据，而这一能力远超当前主流机器学习模型的表现。领域泛化（Domain Generalization, DG）旨在缩小这一差距，现有DG方法主要聚焦于损失函数的设计。本文提出探索一条正交方向——即主干网络架构的设计。这一思路源于一个经验发现：基于Transformer的模型在经验风险最小化（Empirical Risk Minimization, ERM）框架下训练时，在多个DG数据集上表现优于采用当前最先进（State-of-the-Art, SOTA）DG算法的CNN模型。为此，我们构建了一个形式化框架，通过分析网络架构与数据集内在相关性之间的对齐程度，来刻画模型对分布偏移的鲁棒性。基于该分析，我们提出了一种基于视觉Transformer的新型DG模型——可泛化混合专家模型（Generalizable Mixture-of-Experts, GMoE）。在DomainBed基准上的大量实验表明，仅使用ERM训练的GMoE在性能上显著超越现有SOTA DG基线方法。此外，GMoE与现有DG方法具有良好的互补性，当结合DG算法进行训练时，其性能进一步得到显著提升。