摘要

我们提出了一种新的方法SOLOIST，该方法利用迁移学习和机器教学来大规模构建任务型机器人。我们使用基于Transformer的自回归语言模型对经典的模块化任务导向对话系统进行参数化，从而将不同的对话模块整合到单一的神经模型中。我们在异构对话语料库上预训练了一个以任务为基础的响应生成模型，该模型能够根据用户目标和现实世界知识生成用于完成任务的对话响应。通过机器教学，预训练模型可以高效地适应新任务，只需少量特定任务的对话即可实现这一目标，其中训练样本由人类教师与系统的交互生成。实验表明：(i) SOLOIST在包括CamRest676和MultiWOZ在内的多个广泛研究的任务导向对话基准测试中创造了新的最先进水平；(ii) 在少样本微调设置下，SOLOIST显著优于现有方法；(iii) 机器教学的使用大幅降低了微调过程中的标注成本。预训练模型和代码可在https://aka.ms/soloist获取。