4 个月前

基于序列注意力机制的全知端到端响应选择网络

基于序列注意力机制的全知端到端响应选择网络

摘要

作为对话系统技术挑战赛第7届(DSTC7)的一个赛道,诺埃蒂克端到端响应选择挑战旨在推动面向实际应用的目标导向型对话系统中话语分类技术的发展。参赛者需要从一组候选话语中为多轮对话上下文选择正确的下一轮回应。本文介绍了我们在该挑战赛两个数据集上均获得第一名的系统,其中一个数据集专注于特定领域且规模较小(咨询),另一个则更为多样且规模较大(Ubuntu)。以往的最先进模型使用基于层次结构(话语级和词级)的神经网络来显式建模不同轮次间的话语交互以进行上下文建模。在本文中,我们研究了一种仅基于链式序列的顺序匹配模型,用于多轮响应选择。我们的实验结果表明,过去在多轮响应选择中顺序匹配方法的潜力尚未得到充分挖掘。除了在挑战赛中排名第一外,所提出的模型还超越了所有先前的模型,包括最先进的层次结构模型,并在两个大规模公开的多轮响应选择基准数据集上取得了新的最先进性能。

代码仓库

基准测试

基准方法指标
conversational-response-selection-on-advisingCtxDec & -Rev
R@1: 31.0
R@10: 78.8
R@50: 97.8
conversational-response-selection-on-dstc7Sequential Attention-based Network
1-of-100 Accuracy: 64.5%
conversational-response-selection-on-ubuntu-1ESIM
R10@1: 0.796
R10@2: 0.894
R10@5: 0.975

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于序列注意力机制的全知端到端响应选择网络 | 论文 | HyperAI超神经