摘要

在领域泛化（Domain Generalization, DG）任务中，现有大多数方法致力于通过新型DG算法对特定预训练模型进行微调。本文提出一种替代性研究方向：无需微调，高效利用一组预训练模型的集合。通过大量实验与理论分析，我们证明了以下两点：（1）预训练模型本身已具备一定程度的泛化能力，但在所有分布偏移场景下并不存在“最优”的单一预训练模型；（2）分布外（Out-of-Distribution, OOD）泛化误差取决于预训练模型与未见测试分布之间的适配程度。基于这一分析，我们提出通过推荐技术，融合多样化的预训练模型，并为每个OOD样本动态分配最匹配的模型进行预测。为此，我们提出了SIMPLE——一种专为领域泛化设计的模型-样本匹配方法。首先，通过线性标签空间变换对预训练模型的预测结果进行目标域适应；随后，设计一种感知模型特性的匹配网络，动态推荐最合适的预训练模型以预测每个测试样本。在DomainBed基准上的实验表明，与当前最优（SOTA）方法相比，我们的方法在单个数据集上性能提升最高达12.2%，平均提升达3.9%；进一步扩大预训练模型池后，性能再提升6.1%。此外，该方法具有极高的效率，相比传统需微调预训练模型的DG方法，训练速度提升超过1000倍。相关代码与补充材料已公开，详见：https://seqml.github.io/simple。