3 个月前

LIQUID:一种用于列表型问题问答数据集生成的框架

LIQUID:一种用于列表型问题问答数据集生成的框架

摘要

问答(Question Answering, QA)模型通常依赖大规模的训练数据集,这促使人们亟需开发数据生成框架,以降低人工标注的成本。尽管近期已有若干研究致力于生成具有单跨度答案的合成问题,但针对包含多个非连续跨度答案的列表型问题(list questions)的生成仍缺乏系统性探索。为填补这一空白,本文提出LIQUID——一种从无标注语料库中自动构建列表型问答数据集的框架。首先,我们将维基百科或PubMed中的文本段落转化为摘要,并从摘要中提取命名实体作为候选答案。该方法能够筛选出在语义上具有上下文关联的答案,因而适用于构建列表型问题。随后,利用现成的问答生成器,结合提取出的实体与原始段落生成问题。最后,通过迭代过滤与答案扩展机制,确保答案的准确性和完整性。基于所生成的合成数据,我们在多项基准测试中显著提升了现有最优列表型QA模型的性能:在MultiSpanQA上的精确匹配F1分数提升5.0,在Quoref上提升1.9,在三个BioASQ基准上的平均提升达2.8。

代码仓库

dmis-lab/liquid
官方
GitHub 中提及

基准测试

基准方法指标
question-answering-on-multispanqaRoBERTa-large Tagger + LIQUID (Ensemble)
Exact F1: 73.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
LIQUID:一种用于列表型问题问答数据集生成的框架 | 论文 | HyperAI超神经