摘要
我们介绍了加拿大统计局对话数据集（StatCan Dialogue Dataset），该数据集包含19,379次由加拿大统计局工作人员与在线用户之间的对话轮次，这些用户正在寻找已发布的数据表。对话源自真实意图，以英语或法语进行，并最终导致工作人员检索出超过5000个复杂的数据表之一。基于此数据集，我们提出了两个任务：(1) 根据正在进行的对话自动检索相关数据表；(2) 在每个对话轮次自动生成适当的工作人员回复。我们通过建立强大的基线模型来研究每个任务的难度。在时间数据分割上的实验表明，所有模型在泛化到未来对话时都面临困难，因为在从验证集过渡到测试集时，我们在两个任务中均观察到了显著的性能下降。此外，我们发现响应生成模型在决定何时返回数据表方面存在困难。鉴于这些任务对现有模型构成了重大挑战，我们鼓励社区开发适用于我们的任务的模型，这些模型可以直接用于帮助知识工作者为实时聊天用户提供相关数据表。
代码仓库
McGill-NLP/statcan-dialogue-dataset
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| table-retrieval-on-statcan-dialogue-dataset | DPR (retrieving basic info) | Recall@10: 45.0 |
| table-retrieval-on-statcan-dialogue-dataset | TAPAS-NQ (retrieving truncated table) | Recall@10: 30.0 |
| table-retrieval-on-statcan-dialogue-dataset | DPR (retrieving title) | Recall@10: 43.8 |
| table-retrieval-on-statcan-dialogue-dataset | TAPAS (retrieving truncated table) | Recall@10: 22.1 |
| table-retrieval-on-statcan-dialogue-dataset | DPR (retrieving basic info + member items) | Recall@10: 46.2 |