3 个月前

FQuAD:法语问答数据集

FQuAD:法语问答数据集

摘要

近年来,语言建模领域的最新进展显著提升了众多自然语言处理任务的最先进水平。其中,阅读理解任务在过去几年中取得了显著进步。然而,大多数研究成果仍集中于英语,因为其他语言(如法语)的标注资源依然十分有限。在本研究中,我们提出了法语问答数据集(French Question Answering Dataset,简称 FQuAD)。FQuAD 是一个基于维基百科文章的法语原生阅读理解数据集,包含问题与答案对,其 1.0 版本包含超过 25,000 个样本,1.1 版本则扩展至超过 60,000 个样本。我们训练了一个基线模型,在测试集上取得了 92.2 的 F1 分数和 82.1% 的精确匹配率。为持续追踪法语问答模型的发展进展,我们设立了排行榜,并已将 FQuAD 1.0 版本免费公开发布,访问地址为:https://illuin-tech.github.io/FQuAD-explorer/。

基准测试

基准方法指标
question-answering-on-fquad-1CamemBERT-Large
EM: 82.1
F1: 92.2
question-answering-on-fquad-1XLM-RoBERTa-Base
EM: 75.3
F1: 85.9
question-answering-on-fquad-1CamemBERT-Base
EM: 78.4
F1: 88.4
question-answering-on-fquad-1XLM-RoBERTa-Large
EM: 79.0
F1: 89.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FQuAD:法语问答数据集 | 论文 | HyperAI超神经