摘要

我们介绍了一种新的生成式数据驱动对话系统（例如聊天机器人）的方法，称为TransferTransfo，该方法结合了基于迁移学习的训练方案和高容量的Transformer模型。通过使用多任务目标对模型进行微调，该目标结合了多个无监督预测任务。与当前最先进的端到端对话模型（如记忆增强型序列到序列模型和信息检索模型）相比，经过微调后的模型表现出显著的改进。在Conversational Intelligence Challenge 2的私有PERSONA-CHAT数据集上，这种方法取得了新的最先进水平，其相应的困惑度、Hits@1和F1指标分别为16.28（绝对改进45%）、80.7（绝对改进46%）和19.5（绝对改进20%）。