摘要

机器学习的进步往往受到大规模数据集的可用性和用于比较建模方法的一致评估指标的推动。为此，我们介绍了一个包含数亿个对话示例的数据集仓库，并提出了一种使用“100选1准确率”（1-of-100 accuracy）的标准评估程序，用于对话响应选择模型。该仓库中包含了脚本，这些脚本允许研究人员重现标准数据集，或者根据需要调整预处理和数据过滤步骤。我们引入并评估了几个具有竞争力的基线模型，这些模型的实现已共享在仓库中，并且还介绍了一种神经编码器模型，该模型是在整个训练集上进行训练的。