摘要

我们提出了针对其他自然语言处理（NLP）任务迁移学习的句子编码模型，这些模型能够高效地将句子编码为嵌入向量，并在多种迁移任务中表现出较高的准确性。两种变体模型允许在准确性和计算资源之间进行权衡。对于这两种变体，我们研究并报告了模型复杂度、资源消耗、迁移任务训练数据的可用性与任务性能之间的关系。我们将这些模型与通过预训练词嵌入实现词级迁移学习的基线模型以及不使用任何迁移学习的基线模型进行了比较。研究发现，使用句子嵌入的迁移学习通常优于词级迁移学习。通过句子嵌入进行迁移学习时，即使在监督训练数据量极少的情况下，我们也观察到了令人惊讶的良好性能。我们在针对检测模型偏见的词嵌入关联测试（Word Embedding Association Tests, WEAT）中获得了令人鼓舞的结果。我们的预训练句子编码模型已免费提供下载，并在 TensorFlow Hub 上开放使用。