摘要

人类在生成对话回应时，依赖于对话元素及其上下文之间的语义与功能依赖关系，包括指代关系（coreference relation）等。本文研究如何仅基于注意力机制（attention）来匹配回应与其多轮对话上下文。我们的方法受到近期提出的机器翻译中的Transformer模型（Vaswani et al., 2017）的启发，并在注意力机制上进行了两方面的扩展。首先，我们仅通过堆叠的自注意力机制（stacked self-attention）构建不同粒度文本片段的表示；其次，我们尝试通过上下文与回应之间的跨注意力机制，提取真正匹配的文本片段对。我们将这两种注意力机制统一整合到一个神经网络框架中。在两个大规模多轮回应选择任务上的实验结果表明，所提出的模型显著优于现有的最先进模型。