4 个月前

面向任务对话的简单语言模型

面向任务对话的简单语言模型

摘要

面向任务的对话通常被分解为三个子任务:理解用户输入、决定行动和生成响应。尽管这种分解可能暗示每个子任务需要一个专门的模型,但我们发现一种简单统一的方法在MultiWOZ数据集上能够达到最先进的性能。SimpleTOD是一种面向任务对话的简化方法,它使用单一的因果语言模型对所有子任务进行训练,将其重新表述为单个序列预测问题。这使得SimpleTOD能够充分利用从预训练的开放域因果语言模型(如GPT-2)中获得的迁移学习优势。SimpleTOD在对话状态跟踪的联合目标准确性方面超越了先前的最先进水平,我们的分析还揭示了该方法在这种设置下对噪声注释具有较强的鲁棒性。此外,SimpleTOD在端到端设置中用于评估行动决策和响应生成的主要指标也有所提升:通知率提高了8.1个百分点,成功率提高了9.7个百分点,综合得分提高了7.2个百分点。

代码仓库

salesforce/simpletod
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
end-to-end-dialogue-modelling-on-multiwoz-2-0SimpleTOD
BLEU: 15.0
MultiWOZ (Inform): 84.4
MultiWOZ (Success): 70.1
end-to-end-dialogue-modelling-on-multiwoz-2-1SimpleTOD
BLEU: 15.2
MultiWOZ (Inform): 85.0
MultiWOZ (Success): 70.5
response-generation-on-mmconvSimpleTOD
BLEU: 20.3
Comb.: 32.2
Inform: 14.6
Success: 9.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向任务对话的简单语言模型 | 论文 | HyperAI超神经