
摘要
作为对话系统技术挑战赛第7届(DSTC7)的一个赛道,诺埃蒂克端到端响应选择挑战旨在推动面向实际应用的目标导向型对话系统中话语分类技术的发展。参赛者需要从一组候选话语中为多轮对话上下文选择正确的下一轮回应。本文介绍了我们在该挑战赛两个数据集上均获得第一名的系统,其中一个数据集专注于特定领域且规模较小(咨询),另一个则更为多样且规模较大(Ubuntu)。以往的最先进模型使用基于层次结构(话语级和词级)的神经网络来显式建模不同轮次间的话语交互以进行上下文建模。在本文中,我们研究了一种仅基于链式序列的顺序匹配模型,用于多轮响应选择。我们的实验结果表明,过去在多轮响应选择中顺序匹配方法的潜力尚未得到充分挖掘。除了在挑战赛中排名第一外,所提出的模型还超越了所有先前的模型,包括最先进的层次结构模型,并在两个大规模公开的多轮响应选择基准数据集上取得了新的最先进性能。
代码仓库
jadler1/retrieval-chitchat
tf
GitHub 中提及
ArthurRizar/dialog_state_tracking_bert
tf
GitHub 中提及
swe-zzf/esim-response-selection
tf
GitHub 中提及
alibaba/esim-response-selection
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| conversational-response-selection-on-advising | CtxDec & -Rev | R@1: 31.0 R@10: 78.8 R@50: 97.8 |
| conversational-response-selection-on-dstc7 | Sequential Attention-based Network | 1-of-100 Accuracy: 64.5% |
| conversational-response-selection-on-ubuntu-1 | ESIM | R10@1: 0.796 R10@2: 0.894 R10@5: 0.975 |