3 个月前

基于注意力机制引导的序列到序列模型在对话行为预测中的应用

基于注意力机制引导的序列到序列模型在对话行为预测中的应用

摘要

基于对话内容预测对话行为(Dialog Act, DA)是构建对话智能体的关键环节。准确预测对话行为需要对对话上下文及全局标签依赖关系进行精确建模。本文采用在神经机器翻译(Neural Machine Translation, NMT)领域广泛应用的序列到序列(seq2seq)模型,以提升标签序列依赖性的建模能力。与当前多数基于线性条件随机场(Linear Conditional Random Field, CRF)的方法仅建模局部标签依赖不同,seq2seq模型能够有效捕捉复杂的全局依赖关系。本文提出一种专为对话行为分类设计的seq2seq模型,其核心包括:分层编码器、一种新颖的引导注意力机制,以及在训练和推理阶段均采用束搜索(beam search)策略。相较于现有最先进方法,本模型无需人工设计特征,可实现端到端训练。实验结果表明,该方法在SwDA数据集上取得了85%的准确率,在MRDA数据集上达到了91.6%的先进水平准确率,显著优于现有方法。

代码仓库

venkat-ravilla/DAP
pytorch
GitHub 中提及

基准测试

基准方法指标
dialogue-act-classification-on-icsi-meetingHGRU + Beam Search + Guided attention
Accuracy: 91.6
dialogue-act-classification-on-switchboardHGRU + Beam Search + Guided attention
Accuracy: 85.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于注意力机制引导的序列到序列模型在对话行为预测中的应用 | 论文 | HyperAI超神经