摘要

近年来，大型语言模型（LLMs）展现出卓越的通用性，在医疗健康等专业领域具有广泛的应用潜力。尽管已存在多种针对医疗场景优化的开源大型语言模型，但将通用型大模型适配至医学领域仍面临诸多挑战。本文提出BioMistral，一个专为生物医学领域设计的开源大型语言模型，以Mistral为基底模型，并在PubMed Central数据集上进行了进一步预训练。我们对BioMistral在包含10项经典英文医学问答（QA）任务的基准测试集上进行了全面评估，同时探索了通过量化与模型融合等轻量化技术获得的高效模型。实验结果表明，BioMistral在性能上显著优于现有开源医学语言模型，并在多项指标上具备与专有模型相媲美的竞争力。为进一步解决非英语语种数据稀缺问题，并评估医学领域大模型的多语言泛化能力，我们自动将该基准测试集翻译至另外7种语言并开展评估。这标志着医学领域首次大规模的多语言大模型评估。本文所使用的数据集、多语言评估基准、实验脚本以及所有实验获得的模型均已开源，供学术界和工业界自由使用。