3 个月前

UQuAD 1.0:面向机器阅读理解的乌尔都语问答训练数据集的构建

UQuAD 1.0:面向机器阅读理解的乌尔都语问答训练数据集的构建

摘要

近年来,低资源机器阅读理解(Low-Resource Machine Reading Comprehension, MRC)取得了显著进展,各类模型在多种语言数据集上均展现出优异性能。然而,现有模型均未针对乌尔都语(Urdu)进行专门适配。本文提出了一种半自动化构建乌尔都语问答数据集(UQuAD1.0)的方法,该方法结合了机器翻译的SQuAD数据与源自维基百科文章及剑桥O-Level教材中乌尔都语阅读理解练习材料的人工生成样本。UQuAD1.0是一个大规模的乌尔都语数据集,专为抽取式机器阅读理解任务设计,包含49,000个问答对,以问题、段落和答案的格式组织。其中,约45,000对问答由原始SQuAD1.0数据经机器翻译生成,其余约4,000对通过众包方式人工构建。在本研究中,我们采用了两类MRC模型:基于规则的基线模型与先进的基于Transformer的模型。实验结果表明,后者显著优于前者,因此我们决定后续研究仅聚焦于基于Transformer的架构。基于XLM-RoBERTa和多语言BERT模型,我们分别获得了0.66和0.63的F1分数。

基准测试

基准方法指标
machine-reading-comprehension-on-uquadBERT
Exact Match: 66%
machine-reading-comprehension-on-uquadXLM-RoBERTa
Exact Match: .36
F1: 66%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
UQuAD 1.0:面向机器阅读理解的乌尔都语问答训练数据集的构建 | 论文 | HyperAI超神经