3 个月前

DTFD-MIL:双层特征蒸馏多实例学习用于组织病理学全切片图像分类

DTFD-MIL:双层特征蒸馏多实例学习用于组织病理学全切片图像分类

摘要

多实例学习(Multiple Instance Learning, MIL)在组织病理学全切片图像(Whole Slide Images, WSIs)分类任务中得到了日益广泛的应用。然而,针对此类特定分类问题的MIL方法仍面临诸多独特挑战,尤其是小样本队列场景下的问题。在这些场景中,全切片图像(即“包”)的数量有限,而单张WSI的分辨率极高,导致从中裁剪出的图像块(即“实例”)数量极为庞大。为应对这一挑战,本文提出通过引入“伪包”(pseudo-bags)的概念,虚拟扩充包的数量,并在此基础上构建双层MIL框架,以更有效地利用图像的内在特征。此外,本文还在基于注意力机制的MIL框架下,推导出实例概率的表达形式,并利用该推导结果辅助构建与分析所提出的框架。实验结果表明,该方法在CAMELYON-16数据集上显著优于其他最新方法,同时在TCGA肺癌数据集上也展现出更优的性能。所提出的框架具有良好的可扩展性,可进一步推广至更广泛的MIL应用场景。相关代码已开源,地址为:https://github.com/hrzhang1123/DTFD-MIL。

代码仓库

liupei101/psemix
pytorch
GitHub 中提及

基准测试

基准方法指标
multiple-instance-learning-on-camelyon16DTFD-MIL (AFS)
ACC: 0.908
AUC: 0.946
multiple-instance-learning-on-camelyon16DTFD-MIL (MaxS)
ACC: 0.864
AUC: 0.907
multiple-instance-learning-on-camelyon16DTFD-MIL (MAS)
ACC: 0.897
AUC: 0.945
multiple-instance-learning-on-camelyon16DTFD-MIL (MaxMinS)
ACC: 0.899
AUC: 0.941
multiple-instance-learning-on-tcgaDTFD-MIL (MaxS)
ACC: 0.868
AUC: 0.919
multiple-instance-learning-on-tcgaDTFD-MIL (MaxMinS)
ACC: 0.891
AUC: 0.961
multiple-instance-learning-on-tcgaDTFD-MIL (MAS)
AUC: 0.955
multiple-instance-learning-on-tcgaDTFD-MIL (AFS)
ACC: 0.951

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DTFD-MIL:双层特征蒸馏多实例学习用于组织病理学全切片图像分类 | 论文 | HyperAI超神经