摘要

在大量未标记数据上预训练的词向量和语言模型（LMs）可以显著提升各种自然语言处理（NLP）任务的效果。然而，预训练数据与目标任务数据之间的相似性的度量及其影响仍然依赖于直觉。本文提出了三种成本效益较高的方法来量化源预训练数据与目标任务数据之间不同方面的相似性。我们展示了这些度量方法能够很好地预测预训练模型在30个数据对上的命名实体识别（NER）任务中的有效性。结果还表明，预训练的语言模型比预训练的词向量更有效且更具可预测性，但在预训练数据与目标任务数据不相似的情况下，预训练的词向量表现更好。