Thanh-Tung NguyenViktor SchlegelAbhinav KashyapStefan WinklerShao-Syuan HuangJie-Jyun LiuChih-Jen Lin
摘要
临床病历记录会被赋予ICD编码——即用于诊断和医疗操作的编码体系。近年来，研究人员已构建了多种基于预测性机器学习模型的自动化ICD编码方法。然而，目前尚缺乏基于大规模公开电子健康记录（EHR）数据的自动化ICD编码模型的广泛认可的基准测试体系。本文提出了一套基于MIMIC-IV这一最新公开EHR数据集的大型真实世界数据，用于构建公开的ICD-10编码基准测试套件。我们实现了多种主流的ICD编码预测方法，系统地比较了不同模型在标准化数据预处理流程下的表现，旨在建立一个全面、可复现的ICD编码基准数据集。该方法有效促进了研究结果的可复现性与模型间的公平比较，从而加速自动化ICD编码技术在后续研究中的应用进程。此外，我们还利用MIMIC-IV数据构建了一个新的ICD-9编码基准，其数据量更大、覆盖的ICD编码数量也显著多于MIMIC-III。我们开源了全部代码，为已获取MIMIC-IV数据的研究人员提供了便捷的数据处理流程、基准构建方法及实验复现支持，为高效开发ICD编码模型提供了实用的指导、方法论与标准化协议。
代码仓库
thomasnguyen92/MIMIC-IV-ICD-data-processing
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| medical-code-prediction-on-mimic-iv-icd-10-1 | MSMN | Macro-AUC: 97.07 Macro-F1: 5.42 Micro-AUC: 99.61 Micro-F1: 55.91 Precision@8: 67.66 |
| medical-code-prediction-on-mimic-iv-icd-10-1 | CAML | Macro-AUC: 89.91 Macro-F1: 4.07 Micro-AUC: 98.79 Micro-F1: 52.67 Precision@8: 64.43 |
| medical-code-prediction-on-mimic-iv-icd-10-1 | LAAT | Macro-AUC: 92.96 Macro-F1: 4.47 Micro-AUC: 99.14 Micro-F1: 55.40 Precision@8: 66,97 |
| medical-code-prediction-on-mimic-iv-icd-10-1 | PLM | Macro-AUC: 91.85 Macro-F1: 4.90 Micro-AUC: 99.02 Micro-F1: 56.95 Precision@8: 69.47 |
| medical-code-prediction-on-mimic-iv-icd-10-1 | Joint LAAT | Macro-AUC: 93.64 Macro-F1: 5.71 Micro-AUC: 99.27 Micro-F1: 55.89 Precision@8: 66.89 |
| medical-code-prediction-on-mimic-iv-icd10 | Joint LAAT | AUC (Macro): 93.39 AUC (Micro): 95.57 F1 (macro): 68.41 F1 (micro): 72.85 Precision@5: 64.49 |
| medical-code-prediction-on-mimic-iv-icd10 | CAML | AUC (Macro): 91.05 AUC (Micro): 93.18 F1 (macro): 64.30 F1 (micro): 67.56 Precision@5: 59.58 |
| medical-code-prediction-on-mimic-iv-icd10 | LAAT | AUC (Macro): 93.21 AUC (Micro): 95.49 F1 (macro): 68.15 F1 (micro): 72.56 Precision@5: 64.39 |
| medical-code-prediction-on-mimic-iv-icd10 | MSMN | AUC (Macro): 93.60 AUC (Micro): 95.61 F1 (macro): 69.01 F1 (micro): 74.15 Precision@5: 65.16 |
| medical-code-prediction-on-mimic-iv-icd10 | PLM-ICD | AUC (Macro): 93.37 AUC (Micro): 95.69 F1 (macro): 70.31 F1 (micro): 73.27 Precision@5: 64.57 |
| medical-code-prediction-on-mimic-iv-icd9 | CAML | AUC Macro: 93.07 AUC Micro: 94.05 F1 Macro: 65.33 F1 Micro: 69.23 Precision @5: 58.64 |
| medical-code-prediction-on-mimic-iv-icd9 | PLM-ICD | AUC Macro: 94.97 AUC Micro: 96.41 F1 Macro: 71.35 F1 Micro: 75.46 Precision @5: 62.44 |
| medical-code-prediction-on-mimic-iv-icd9 | LAAT | AUC Macro: 94.88 AUC Micro: 96.29 F1 Macro: 69.99 F1 Micro: 74.46 Precision @5: 62.01 |
| medical-code-prediction-on-mimic-iv-icd9 | Joint LAAT | AUC Macro: 94.92 AUC Micro: 96.31 F1 Macro: 69.93 F1 Micro: 74.33 Precision @5: 61.95 |
| medical-code-prediction-on-mimic-iv-icd9 | MSMN | AUC Macro: 95.13 AUC Micro: 96.46 F1 Macro: 71.85 F1 Micro: 75.78 Precision @5: 62.60 |
| medical-code-prediction-on-mimic-iv-icd9-full | CAML | F1 Macro: 11.06 F1 Micro: 57.28 Macro AUC: 93.45 Micro AUC: 99.29 Precision@8: 64.91 |
| medical-code-prediction-on-mimic-iv-icd9-full | PLM-ICD | F1 Macro: 14.40 F1 Micro: 62.45 Macro AUC: 96.61 Micro AUC: 99.53 Precision@8: 70.34 |
| medical-code-prediction-on-mimic-iv-icd9-full | LAAT | F1 Macro: 13.12 F1 Micro: 60.31 Macro AUC: 95.18 Micro AUC: 99.47 Precision@8: 67.47 |
| medical-code-prediction-on-mimic-iv-icd9-full | MSMN | F1 Macro: 13.94 F1 Micro: 61.15 Macro AUC: 96.79 Micro AUC: 99.56 Precision@8: 68.89 |
| medical-code-prediction-on-mimic-iv-icd9-full | Joint LAAT | F1 Macro: 14.17 F1 Micro: 60.37 Macro AUC: 95.57 Micro AUC: 99.49 Precision@8: 67.46 |