Kai ZhangRong ZhouEashan AdhikarlaZhiling YanYixin LiuJun YuZhengliang LiuXun ChenBrian D. DavisonHui RenJing HuangChen ChenYuyin ZhouSunyang FuWei LiuTianming LiuXiang LiYong ChenLifang HeJames ZouQuanzheng LiHongfang LiuLichao Sun

摘要
传统生物医学人工智能(AI)模型通常针对特定任务或数据模态设计,其在实际应用中灵活性有限,难以充分利用多源信息。通用型AI因其能够解析多种数据类型并生成适配多样化需求的输出,具备克服上述局限的潜力。然而,现有的生物医学通用型AI解决方案往往模型庞大且为闭源,限制了研究者、临床从业者及患者对其的访问与使用。为此,我们提出BiomedGPT——首个开源且轻量级的视觉-语言基础模型,专为通用生物医学任务设计,具备执行多种生物医学应用的能力。在25项实验中的16项中,BiomedGPT取得了当前最优性能,同时保持了计算友好型的模型规模。我们还开展了人工评估,以检验BiomedGPT在放射科视觉问答、报告生成和文本摘要任务中的表现。结果显示,BiomedGPT在问答任务中展现出稳健的预测能力,错误率低至3.8%;在撰写复杂放射科报告任务中表现令人满意,错误率为8.3%;在摘要生成方面具备竞争力,其偏好得分与人类专家几乎相当。本研究证明,通过多样化数据的有效训练,可推动更具实用价值的生物医学AI发展,从而提升诊断准确性与临床工作流程效率。
代码仓库
taokz/biomedgpt
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-captioning-on-iu-x-ray | BiomedGPT | CIDEr: 36.0 |
| image-captioning-on-peir-gross | BiomedGPT | CIDEr: 122.7 METEOR: 15.4 ROUGE-L: 30.2 |
| natural-language-inference-on-mednli | BiomedGPT-B | Accuracy: 83.83 |
| text-summarization-on-meqsum | BiomedGPT | RougeL: 52.3 |