
摘要
放射科报告的自动生成有望帮助放射科医生完成耗时的报告撰写任务。现有方法通常仅基于图像级特征生成完整报告,未能显式关注图像中的解剖区域。为此,我们提出了一种简单而有效的区域引导式报告生成模型:该模型首先检测图像中的解剖区域,然后对各个显著区域分别进行描述,最终整合形成完整报告。与以往方法无法支持人工干预且可解释性有限不同,我们的方法通过引入交互式功能,开辟了全新的临床应用场景,并显著提升了系统的透明度与可解释性。大量实验验证了该方法在报告生成任务中的有效性,其性能优于现有最先进模型,同时充分展示了其交互能力。代码与模型检查点已开源,地址为:https://github.com/ttanida/rgrg。
代码仓库
ttanida/rgrg
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| medical-report-generation-on-mimic-cxr | RGRG | BLEU-1: 37.3 BLEU-2: 24.9 BLEU-3: 17.5 BLEU-4: 12.6 CIDEr: 49.5 Example-F1-14: 0.447 Example-Precision-14: 0.461 Example-Recall-14: 0.475 METEOR: 16.8 Micro-F1-5: 0.547 Micro-Precision-5: 0.491 Micro-Recall-5: 0.617 ROUGE-L: 26.4 |