4 个月前

对话人工智能的统一预训练框架

对话人工智能的统一预训练框架

摘要

在这项工作中,我们探讨了PLATO-2在各种对话系统中的应用,包括开放域对话、基于知识的对话以及任务导向型对话。PLATO-2最初被设计为一个开放域聊天机器人,通过两阶段课程学习进行训练。在第一阶段,学习了一个粗粒度的响应生成模型,以适应简化的一对一映射关系。鉴于任务完成过程中语义映射往往具有确定性,该模型被应用于任务导向型对话中。在第二阶段,进一步学习了另一个细粒度的生成模型和一个评估模型,分别用于多样化的响应生成和连贯性估计。这些模型由于具备捕捉一对多映射的强大能力,因此适用于开放域对话和基于知识的对话。为了全面评估PLATO-2,我们参与了DSTC9(第九届对话系统技术挑战赛)的多个任务,包括开放域对话的交互式评估(第三赛道-第二任务)、基于知识的对话的静态评估(第三赛道-第一任务)以及端到端的任务导向型对话(第二赛道-第一任务)。PLATO-2在这三项任务中均获得了第一名的成绩,验证了其作为各种对话系统的统一框架的有效性。

代码仓库

基准测试

基准方法指标
interactive-evaluation-of-dialog-on-dstc9PLATO-2
Coherent: 2.8017
Consistent: 0.9390
Diversity: 2.7441
Error Recovery: 2.7518
Flexible: 2.8000
Informative: 2.7881
Inquisitive: 2.7949
Likeable: 2.7878
Overall Human Rating: 4.15
Topic Depth: 2.7678
Understanding: 2.8285

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
对话人工智能的统一预训练框架 | 论文 | HyperAI超神经