摘要
本文介绍了MedMCQA，这是一个专为应对真实世界医学入学考试题目而设计的大规模多项选择题问答（MCQA）数据集。该数据集共收集了超过19.4万道高质量的AIIMS与NEET PG入学考试多项选择题，涵盖2400个医疗主题和21个医学学科，平均每题词元长度为12.77，具有高度的主题多样性。每个样本包含一道题目、正确答案及多个干扰选项，要求模型具备深层次的语言理解能力，以在广泛的医学学科与主题范围内测试其超过10种推理能力。本研究还提供了详细的解题分析，结合上述信息，全面阐释了题目的解答逻辑与医学知识背景。
代码仓库
MedMCQA/MedMCQA
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multiple-choice-question-answering-mcqa-on-21 | SciBERT (Beltagy et al., 2019) | Dev Set (Acc-%): 0.39 Test Set (Acc-%): 0.39 |
| multiple-choice-question-answering-mcqa-on-21 | BioBERT (Lee et al.,2020) | Dev Set (Acc-%): 0.38 Test Set (Acc-%): 0.37 |
| multiple-choice-question-answering-mcqa-on-21 | BERT (Devlin et al., 2019)-Base | Dev Set (Acc-%): 0.35 Test Set (Acc-%): 0.33 |
| multiple-choice-question-answering-mcqa-on-21 | PubmedBERT(Gu et al., 2022) | Dev Set (Acc-%): 0.40 Test Set (Acc-%): 0.41 |