
摘要
近年来,语言建模领域的最新进展显著提升了众多自然语言处理任务的最先进水平。其中,阅读理解任务在过去几年中取得了显著进步。然而,大多数研究成果仍集中于英语,因为其他语言(如法语)的标注资源依然十分有限。在本研究中,我们提出了法语问答数据集(French Question Answering Dataset,简称 FQuAD)。FQuAD 是一个基于维基百科文章的法语原生阅读理解数据集,包含问题与答案对,其 1.0 版本包含超过 25,000 个样本,1.1 版本则扩展至超过 60,000 个样本。我们训练了一个基线模型,在测试集上取得了 92.2 的 F1 分数和 82.1% 的精确匹配率。为持续追踪法语问答模型的发展进展,我们设立了排行榜,并已将 FQuAD 1.0 版本免费公开发布,访问地址为:https://illuin-tech.github.io/FQuAD-explorer/。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| question-answering-on-fquad-1 | CamemBERT-Large | EM: 82.1 F1: 92.2 |
| question-answering-on-fquad-1 | XLM-RoBERTa-Base | EM: 75.3 F1: 85.9 |
| question-answering-on-fquad-1 | CamemBERT-Base | EM: 78.4 F1: 88.4 |
| question-answering-on-fquad-1 | XLM-RoBERTa-Large | EM: 79.0 F1: 89.5 |