3 个月前

CICERO:对话中情境化常识推理的数据集

CICERO:对话中情境化常识推理的数据集

摘要

本文针对情境化常识推理中的对话推理问题展开研究。我们构建了CICERO数据集,该数据集包含5,672段双人对话,涵盖五类基于话语层面的推理类型:原因、后续事件、先决条件、动机以及听者的情感反应,共包含53,105条此类推理实例。基于该数据集,我们开展了多项生成式与判别式任务:生成原因与后续事件;生成先决条件、动机以及听者的情感反应;以及从多个选项中选择最合理的替代项。实验结果验证了以对话为中心的常识知识数据集在提升对话推理能力方面的价值。我们期望CICERO能够为基于常识的对话推理研究开辟新的研究路径。

代码仓库

declare-lab/CICERO
官方
GitHub 中提及

基准测试

基准方法指标
answer-generation-on-ciceroT5-large
ROUGE: 0.2947
answer-generation-on-ciceroT5-large pre-trained on GLUCOSE
ROUGE: 0.2980
answer-selection-on-ciceroT5-large
Exact Match: 77.68
answer-selection-on-ciceroUnified QA
Exact Match: 77.51
generative-question-answering-on-ciceroT5-large pre-trained on GLUCOSE
ROUGE: 0.2980
generative-question-answering-on-ciceroT5-large
ROUGE: 0.2946
generative-question-answering-on-ciceroT5-large pre-trained on COMET
ROUGE: 0.2878
generative-question-answering-on-ciceroBART
ROUGE: 0.2837

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
CICERO:对话中情境化常识推理的数据集 | 论文 | HyperAI超神经