4 个月前

构建端到端响应选择的序列推理模型

构建端到端响应选择的序列推理模型

摘要

本文提出了一种端到端的响应选择模型,用于第七届对话系统技术挑战赛(DSTC7)的第一赛道。该任务的重点是从给定的部分对话中选择正确的下一个utterance(话语单元)。我们为此任务提出了一种基于增强顺序推理模型(Enhanced Sequential Inference Model, ESIM)的端到端神经网络。我们的模型在以下四个方面与原始ESIM模型有所不同。首先,采用了一种新的词表示方法,该方法结合了通用预训练词嵌入和在任务特定训练集上估计的词嵌入,以应对词汇表外(Out-of-Vocabulary, OOV)词的挑战。其次,设计了一种注意层次递归编码器(Attentive Hierarchical Recurrent Encoder, AHRE),该编码器能够分层编码句子并生成更具描述性的表示。第三,使用了一种新的池化方法,该方法结合了多维池化和最后状态池化,而不是原始ESIM中的最大池化和平均池化的简单组合。最后,在softmax层之前添加了一个修改层,以强调上下文中最后一个话语单元在响应选择中的重要性。在DSTC7发布的评估结果中,我们的方法在第一赛道的子任务1中,在Ubuntu数据集上排名第二,在Advising数据集上排名第三。

代码仓库

JasonForJoy/DSTC7-ResponseSelection
官方
tf
GitHub 中提及

基准测试

基准方法指标
conversational-response-selection-on-dstc7Sequential Inference Models
1-of-100 Accuracy: 60.8%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
构建端到端响应选择的序列推理模型 | 论文 | HyperAI超神经