摘要

预训练语言模型在通用基准上取得了令人瞩目的性能，但在迁移到特定领域时表现却显著下降。近期的研究通常采用从头开始预训练或在领域语料上进行持续预训练的方法。然而，在许多特定领域中，语料资源有限，难以支持获得精确的语义表示。为解决这一问题，我们提出了一种新型基于Transformer的語言模型——VarMAE，用于实现领域自适应的语言理解。在掩码自编码目标下，我们设计了一种上下文不确定性学习模块，能够将标记的上下文信息编码为平滑的潜在分布，从而生成多样且结构良好的上下文表示。在科学与金融领域的自然语言理解任务上的实验表明，VarMAE能够在资源有限的情况下高效适应新领域。