摘要
在本研究中，我们探讨了预训练语言模型在下游任务中的无监督域适应（Unsupervised Domain Adaptation, UDA）问题。为此，我们提出了一种名为UDALM的微调方法，该方法结合了分类损失与掩码语言模型（Masked Language Model, MLM）损失，能够在鲁棒且样本高效的前提下适应目标域的数据分布。实验结果表明，采用混合损失训练的模型性能随可用目标域数据量的增加而提升，且该混合损失可有效用作UDA训练过程中的停止准则。此外，我们进一步分析了A-距离（A-distance）与目标域误差之间的关系，并探讨了领域对抗训练（Domain Adversarial Training）方法的一些局限性。我们在Amazon评论情感数据集的十二组域对上对所提方法进行了评估，取得了91.74%的准确率，相比当前最优方法实现了1.11个百分点的绝对性能提升。
代码仓库
ckarouzos/slp_daptmlm
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| sentiment-analysis-on-multi-domain-sentiment | UDALM: Unsupervised Domain Adaptation through Language Modeling | Average: 91.74 Books: 90.63 DVD: 89.78 Electronics: 92.78 Kitchen: 93.77 |