摘要

大多数关于持续学习（lifelong learning）的研究集中于图像或游戏任务，而较少涉及自然语言处理。本文提出LAMOL——一种基于语言建模的简单但高效的持续语言学习（Lifelong Language Learning, LLL）方法。LAMOL在无需额外存储空间或模型容量的前提下，通过回放先前任务的伪样本实现持续学习。具体而言，LAMOL是一种语言模型，能够同时完成任务求解与训练样本生成。当模型训练新任务时，它会自动生成之前任务的伪样本，与新任务数据一同用于训练。实验结果表明，LAMOL有效防止了灾难性遗忘，且未表现出任何顽固性（intransigence）现象，仅使用单一模型即可顺序完成五项差异显著的语言任务。总体而言，LAMOL显著优于以往方法，其性能仅比多任务学习（multitasking）低2-3%，而后者通常被视为持续语言学习的性能上限。相关源代码已开源，地址为：https://github.com/jojotenya/LAMOL。