摘要

在领域泛化（Domain Generalization, DG）任务中，模型仅使用源域的训练数据进行训练，以期在未见过的目标域上实现良好的泛化性能，但这一过程往往面临分布偏移（distribution shift）问题。因此，学习一个能够聚焦于跨域共性特征表示的分类器至关重要，从而使该分类器在多个领域上具备通用性，进而在未见过的目标域上也能取得优异表现。得益于跨模态任务中交叉注意力（cross attention）机制的成功应用，我们发现交叉注意力是一种强大的特征对齐工具，能够有效对齐来自不同分布的特征。基于此，我们提出了一种名为CADG（Cross Attention for Domain Generalization）的模型，其中交叉注意力机制发挥关键作用，用以缓解分布偏移问题。该设计使分类器具备在多领域间通用的能力，从而在未见领域上实现良好的泛化性能。实验结果表明，与现有单模型方法相比，所提出的方法在多个领域泛化基准测试中均达到了当前最优（state-of-the-art）性能，甚至超越了部分基于集成（ensemble-based）的方法。