摘要
医疗编码是指将医学代码分配给临床自由文本记录的任务。医疗保健专业人员手动分配这些代码以跟踪患者的诊断和治疗情况。自动化的医疗编码可以显著减轻这一行政负担。在本文中，我们重现、比较并分析了最先进的自动化医疗编码机器学习模型。研究结果表明，由于配置较弱、训练测试集划分不当以及评估不足，多个模型的表现不佳。此前的工作中，宏F1分数计算不够理想，而我们的修正将其翻倍。我们贡献了一个修订后的模型对比方法，采用了分层抽样和相同的实验设置，包括超参数和决策边界调整。通过对预测错误的分析，我们验证并推翻了先前工作的假设。分析确认所有模型在处理罕见代码时都存在困难，而长文档的影响则微乎其微。最后，我们首次全面展示了使用重现模型对新发布的MIMIC-IV数据集的结果。为了便于未来的公平比较，我们发布了我们的代码、模型参数以及新的MIMIC-III和MIMIC-IV训练和评估流程。
代码仓库
joakimedin/medical-coding-reproducibility
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| medical-code-prediction-on-mimic-iv-icd-10 | CAML | AUC Macro: 91.1 AUC Micro: 98.5 Exact Match Ratio: 0.3 F1 Macro: 16.0 F1 Micro: 55.4 Precision@15: 52.2 Precision@8: 66.8 R-Prec: 54.5 mAP: 57.4 |
| medical-code-prediction-on-mimic-iv-icd-10 | PLM-ICD | AUC Macro: 96.6 AUC Micro: 99.2 Exact Match Ratio: 0.4 F1 Macro: 21.1 F1 Micro: 58.5 Precision@15: 55.0 Precision@8: 69.9 R-Prec: 57.9 mAP: 61.9 |
| medical-code-prediction-on-mimic-iv-icd-10 | CNN | AUC Macro: 87.9 AUC Micro: 97.5 Exact Match Ratio: 0.3 F1 Macro: 8.0 F1 Micro: 47.2 Precision@15: 45.7 Precision@8: 60.3 R-Prec: 47.3 mAP: 48.2 |
| medical-code-prediction-on-mimic-iv-icd-10 | Bi-GRU | AUC Macro: 92.4 AUC Micro: 98.3 Exact Match Ratio: 0.3 F1 Macro: 10.6 F1 Micro: 50.1 Precision@15: 47.7 Precision@8: 62.6 R-Prec: 49.6 mAP: 51.1 |
| medical-code-prediction-on-mimic-iv-icd-10 | LAAT | AUC Macro: 95.4 AUC Micro: 99.0 Exact Match Ratio: 0.4 F1 Macro: 20.3 F1 Micro: 57.9 Precision@15: 54.3 Precision@8: 68.9 R-Prec: 57.2 mAP: 60.6 |
| medical-code-prediction-on-mimic-iv-icd-10 | MultiResCNN | AUC Macro: 94.5 AUC Micro: 99.0 Exact Match Ratio: 0.4 F1 Macro: 21.1 F1 Micro: 56.9 Precision@15: 53.5 Precision@8: 67.8 R-Prec: 56.1 mAP: 59.3 |
| medical-code-prediction-on-mimic-iv-icd-9 | MultiResCNN | AUC Macro: 95.1 AUC Micro: 99.2 Exact Match Ratio: 0.8 F1 Macro: 27.7 F1 Micro: 60.4 Precision@15: 51.8 Precision@8: 67.6 R-Prec: 60.4 mAP: 64.7 |
| medical-code-prediction-on-mimic-iv-icd-9 | PLM-ICD | AUC Macro: 97.2 AUC Micro: 99.4 Exact Match Ratio: 1.0 F1 Macro: 29.8 F1 Micro: 62.6 Precision@15: 53.5 Precision@8: 70.0 R-Prec: 62.7 mAP: 68.0 |
| medical-code-prediction-on-mimic-iv-icd-9 | Bi-GRU | AUC Macro: 93.8 AUC Micro: 98.8 Exact Match Ratio: 0.7 F1 Macro: 16.6 F1 Micro: 55.5 Precision@15: 47.8 Precision@8: 64.1 R-Prec: 55.8 mAP: 58.9 |
| medical-code-prediction-on-mimic-iv-icd-9 | CNN | AUC Macro: 89.4 AUC Micro: 98.1 Exact Match Ratio: 0.6 F1 Macro: 12.6 F1 Micro: 52.4 Precision@15: 45.6 Precision@8: 61.3 R-Prec: 52.9 mAP: 55.2 |
| medical-code-prediction-on-mimic-iv-icd-9 | LAAT | AUC Macro: 96.0 AUC Micro: 99.3 Exact Match Ratio: 0.9 F1 Macro: 26.4 F1 Micro: 61.7 Precision@15: 52.7 Precision@8: 68.9 R-Prec: 61.7 mAP: 66.3 |
| medical-code-prediction-on-mimic-iv-icd-9 | CAML | AUC Macro: 90.7 AUC Micro: 98.8 Exact Match Ratio: 0.6 F1 Macro: 19.3 F1 Micro: 58.6 Precision@15: 50.3 Precision@8: 66.3 R-Prec: 58.5 mAP: 62.4 |