4 个月前

一种基于潜在信念状态的端到端任务导向对话模型的概率方法,用于半监督学习

一种基于潜在信念状态的端到端任务导向对话模型的概率方法,用于半监督学习

摘要

结构化信念状态对于面向任务的对话系统中的用户目标跟踪和数据库查询至关重要。然而,训练信念追踪器通常需要对每个用户话语进行昂贵的轮次级注释。本文旨在通过利用未标注的对话数据实现半监督学习,从而减轻在构建端到端对话系统时对信念状态标签的依赖。我们提出了一种概率对话模型,称为潜在信念状态(LAtent BElief State, LABES)模型,其中信念状态被表示为离散的潜在变量,并与系统响应一起在给定用户输入的情况下进行联合建模。这种潜在变量建模使我们能够在原则性的变分学习框架下开发半监督学习方法。此外,我们引入了LABES-S2S,这是一种基于复制增强的序列到序列(Seq2Seq)模型实例化的LABES模型。在有监督实验中,LABES-S2S在三个不同规模的基准数据集上取得了优异的结果。在利用未标注对话数据方面,半监督的LABES-S2S显著优于仅使用有监督数据和半监督基线方法。值得注意的是,在MultiWOZ数据集上,我们可以将注释需求减少50%,而不会影响性能。

代码仓库

thu-spmi/LABES
官方
pytorch

基准测试

基准方法指标
end-to-end-dialogue-modelling-on-multiwoz-2-1LABES-S2S
BLEU: 18.3
MultiWOZ (Inform): 78.1
MultiWOZ (Success): 67.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
一种基于潜在信念状态的端到端任务导向对话模型的概率方法,用于半监督学习 | 论文 | HyperAI超神经