摘要

本文借鉴图灵测试的思路，提出使用对抗训练生成开放域对话：系统被训练以生成无法与人类对话区分开来的序列。我们将该任务视为一个强化学习（RL）问题，联合训练两个系统：一个是生成模型，用于生成响应序列；另一个是判别器——类似于图灵测试中的人类评估者——用于区分人类生成的对话和机器生成的对话。判别器的输出结果被用作生成模型的奖励，促使系统生成更加接近人类对话的内容。除了对抗训练外，我们还描述了一种对抗性评估模型，该模型使用成功欺骗对手作为对话评估指标，同时避免了潜在的一些陷阱。实验结果表明，在包括对抗性评估在内的多个指标上，对抗训练的系统生成的响应质量优于以往的基线方法。