摘要

迁移学习是一种强大的自然语言处理（NLP）技术，其中模型首先在一个数据丰富的任务上进行预训练，然后再针对下游任务进行微调。迁移学习的有效性催生了多种方法、技术和实践。本文通过引入一个统一框架，将所有基于文本的语言问题转化为文本到文本的格式，探讨了NLP中的迁移学习技术。我们的系统研究比较了数十个语言理解任务上的预训练目标、架构、无标签数据集、迁移方法以及其他因素。通过结合我们在探索过程中获得的见解以及我们新的“巨量干净爬取语料库”（Colossal Clean Crawled Corpus），我们在涵盖摘要生成、问答、文本分类等多个基准测试中取得了最先进的结果。为了促进未来在NLP迁移学习领域的研究，我们发布了我们的数据集、预训练模型和代码。