摘要

归纳迁移学习对计算机视觉领域产生了重大影响，但现有的自然语言处理（NLP）方法仍需要针对特定任务进行修改和从头训练。本文提出了一种通用语言模型微调（Universal Language Model Fine-tuning, ULMFiT）的有效迁移学习方法，该方法可以应用于任何自然语言处理任务，并介绍了对语言模型微调至关重要的技术。我们的方法在六个文本分类任务上显著超越了现有最佳水平，在大多数数据集上将错误率降低了18%-24%。此外，仅使用100个标注样本时，其性能即可与使用100倍数据量从头训练的方法相媲美。我们已开源了预训练模型和代码。