摘要

无监督域自适应（Unsupervised Domain Adaptation, UDA）旨在将从带标签源域中学习到的知识迁移到一个不同的无标签目标域。现有大多数UDA方法基于卷积神经网络（CNN）框架，侧重于学习域不变的特征表示，通常从域级别或类别级别进行。然而，基于类别级别的UDA方法面临一个根本性问题：即在目标域中生成伪标签时，这些伪标签通常噪声较大，难以实现精确的域对齐，从而不可避免地影响UDA的整体性能。随着Transformer在各类任务中的成功应用，我们发现Transformer中的交叉注意力机制对噪声输入对具有较强的鲁棒性，能够实现更优的特征对齐。因此，本文将Transformer引入具有挑战性的UDA任务中。具体而言，为生成更准确的输入对，我们设计了一种双向中心感知的伪标签生成算法，用于为目标域样本生成高质量的伪标签。结合这些伪标签，本文提出了一种权重共享的三分支Transformer框架，分别利用自注意力机制进行源域与目标域特征学习，利用交叉注意力机制实现源域与目标域之间的域对齐。该设计显式地促使模型同时学习具有判别性的域特定特征与域不变特征。所提出的模型命名为CDTrans（Cross-Domain Transformer），是首个尝试完全基于Transformer架构解决UDA任务的方法之一。实验结果表明，CDTrans在多个公开的UDA数据集上均取得了最优性能，包括VisDA-2017和DomainNet。代码与模型已开源，地址为：https://github.com/CDTrans/CDTrans。