摘要

本文分析了基于神经网络的端到端对话系统，这些系统使用更新版本的近期Ubuntu对话语料库进行训练。该语料库包含近100万条多轮对话，总计超过700万条语句和1亿个词汇，具有规模大、上下文长度长以及技术性强等特点，因此非常适合直接从数据中训练大规模模型，而无需进行大量特征工程。我们在这两种不同环境下提供了基线模型：一种是训练模型从候选回复列表中选择正确的下一句回复；另一种是训练模型在给定对话上下文的条件下，最大化生成语句的对数似然。两种方法均在我们提出的“下一句语句分类”（Next Utterance Classification, NUC）任务上进行评估，并采用基于向量的指标来衡量回复的主题相关性。我们发现，当前的端到端模型尚无法完全解决这些任务。为此，我们进行了定性错误分析，以识别在NUC任务上评估端到端模型时的主要错误原因，并对生成模型产生的样本语句进行了深入考察。基于这一分析，我们提出了若干有前景的未来研究方向，这些方向不仅适用于Ubuntu对话语料库，也可推广至一般的端到端对话系统研究。