
摘要
组织活检切片的视觉检查是癌症诊断的基础,病理学家需在多个放大倍数下分析切片,以识别肿瘤细胞及其亚型。然而,现有基于注意力机制的多实例学习(Multiple Instance Learning, MIL)模型在用于癌症诊断中的全切片图像(Whole Slide Images, WSIs)分析时,往往忽视了肿瘤区域与其邻近图像块之间的上下文信息,导致分类错误。为解决这一问题,我们提出了一种上下文感知的多实例学习(Context-Aware Multiple Instance Learning, CAMIL)架构。CAMIL引入邻域约束注意力机制,以捕捉全切片图像中各图像块之间的依赖关系,并将上下文约束作为先验知识融入MIL模型中。我们在非小细胞肺癌分型(TCGA-NSCLC数据集)以及淋巴结转移检测(CAMELYON16和CAMELYON17数据集)任务上对CAMIL进行了评估,分别取得了97.5%、95.9%和88.1%的测试AUC,显著优于其他先进方法。此外,CAMIL通过识别具有高诊断价值的区域,进一步提升了模型的可解释性。
代码仓库
olgarithmics/ICLR_CAMIL
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multiple-instance-learning-on-camelyon16 | CAMIL | ACC: 0.917 AUC: 0.959 |
| multiple-instance-learning-on-camelyon16 | CAMIL (CAMIL-G) | ACC: 0.891 AUC: 0.95 |
| multiple-instance-learning-on-camelyon16 | CAMIL (CAMIL-L) | ACC: 0.91 AUC: 0.953 |