摘要

我们提出了PubMedQA，这是一个从PubMed摘要中收集的新型生物医学问答（QA）数据集。PubMedQA的任务是基于相应的摘要，回答关于研究问题的“是/否/可能”类问题（例如：术前使用他汀类药物是否能降低冠状动脉旁路移植术后心房颤动的发生率？）。该数据集包含1,000个专家标注的样本，61,200个未标注样本，以及211,300个通过人工生成的问答对。每个PubMedQA实例由四个部分构成：（1）一个问题，其来源为现有研究论文的标题或由标题衍生而来；（2）一段上下文，即对应摘要去除结论部分后的文本；（3）一个长答案，即摘要的结论部分，通常可回答该研究问题；（4）一个“是/否/可能”的简明答案，用于总结结论。PubMedQA是首个要求对生物医学研究文本（尤其是其定量内容）进行推理才能回答问题的问答数据集。我们表现最佳的模型——采用长答案的词袋统计信息作为额外监督信号，对BioBERT进行多阶段微调——取得了68.1%的准确率，相较于单个专家人类水平的78.0%准确率，以及多数基线模型的55.2%准确率，仍有较大提升空间。PubMedQA数据集已公开发布，可通过以下链接获取：https://url。