MedCalc-Bench 是一个专门用于评估大语言模型 (LLMs) 在医疗计算能力方面的数据集，由美国国立卫生研究院国家医学图书馆 (National Library of Medicine, National Institutes of Health) 和弗吉尼亚大学 (University of Virginia) 等 9 个机构于 2024 年共同发布，相关论文成果为「MEDCALC-BENCH: Evaluating Large Language Models for Medical Calculations」，已被 NeurIPS 2024 接受。 这个数据集包含了 10,055 个训练实例和 1,047 个测试实例，涵盖了 55 种不同的计算任务。每个实例都包括患者的笔记、一个计算特定临床值的问题、最终答案值以及逐步解决方案。 MedCalc-Bench 的目的是提高 LLMs 在医疗环境中的语言和计算推理能力。 数据集的特征包括行号、计算器 ID 、计算器名称、类别、输出类型、笔记 ID 、笔记类型、患者笔记、问题、相关实体、真实答案、下限、上限和真实解释。这些特征为模型提供了丰富的上下文信息，以便进行准确的计算和推理。数据集分为训练集和测试集，可以用于微调 LLMs，以提高它们在医疗计算任务中的表现。

Citation

@misc{khandekar2024medcalcbench,
title={MedCalc-Bench: Evaluating Large Language Models for Medical Calculations},
author={Nikhil Khandekar and Qiao Jin and Guangzhi Xiong and Soren Dunn and Serina S Applebaum and Zain Anwar and Maame Sarfo-Gyamfi and Conrad W Safranek and Abid A Anwar and Andrew Zhang and Aidan Gilson and Maxwell B Singer and Amisha Dave and Andrew Taylor and Aidong Zhang and Qingyu Chen and Zhiyong Lu},
year={2024},
eprint={2406.12036},
archivePrefix={arXiv},
primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}