3 个月前

在对话代理中融合任务导向型与开放域对话

在对话代理中融合任务导向型与开放域对话

摘要

构建智能对话系统的目标长期以来主要在两种范式下分别推进:任务导向型对话(Task-Oriented Dialogue, TOD)系统,专注于实现特定目标的功能;以及开放域对话(Open-Domain Dialogue, ODD)系统,侧重于非目标导向的闲聊交流。在实际对话中,这两种对话模式本可以自然地交织融合于同一会话之中,正如一位友好的人类助手所能做到的那样。这种能力对于对话代理而言极具价值,因为模式融合能够显著提升其可用性与实用性。本文致力于解决多轮对话中TOD与ODD融合的问题。基于广受认可的TOD数据集MultiWOZ,我们构建了一个全新的数据集FusedChat:通过对原有TOD对话轮次进行重写,并新增大量ODD对话轮次,从而生成包含两种对话模式交互的对话会话。该数据集具有跨模式上下文依赖的特性,即两种模式的对话轮次彼此相互依赖。此外,数据集中还包含丰富的语义依赖模式,如指代消解(co-reference)和省略(ellipsis)等。FusedChat共包含6万条人工撰写的ODD轮次和5000条重写的TOD轮次,为评估对话模型在跨模式对话中的表现提供了一个新的基准。这一任务更具挑战性,因为模型不仅需要判断当前应采用何种对话模式,还需基于跨模式上下文生成恰当回应。然而,具备此类能力的模型更接近人类水平的对话能力。我们在该任务上对多种基线模型进行了评估,包括基于分类的两阶段模型以及一体化融合模型(two-in-one fused models)。我们已将FusedChat数据集及所有基线模型公开发布,以推动未来在跨模式对话系统领域的研究进展。相关资源可访问:https://github.com/tomyoung903/FusedChat。

代码仓库

tomyoung903/fusedchat
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
dialogue-generation-on-fusedchatTwo-in-one model
BLEU: 12.05
Inform: 70.4
Inform_mct: 90.1
Joint SA: 0.592
PPL: 10.49
SSA: 0.50
Sensibleness: 0.52
Slot Accuracy: 0.972
Specificity: 0.47
Success: 57.0
Success_mct: 72.7
dialogue-generation-on-fusedchatClassification-based model
BLEU: 12.17
Inform: 75.1
Inform_mct: 90.8
Joint SA: 0.600
PPL: 10.50
SSA: 0.55
Sensibleness: 0.58
Slot Accuracy: 0.973
Specificity: 0.51
Success: 60.9
Success_mct: 74.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
在对话代理中融合任务导向型与开放域对话 | 论文 | HyperAI超神经