3 个月前

ProMISe:基于SAM的可提示医学图像分割

ProMISe:基于SAM的可提示医学图像分割

摘要

随着分割一切模型(Segment Anything Model, SAM)的提出,基于SAM进行医学图像分割(Medical Image Segmentation, MIS)的微调方法逐渐成为研究热点。然而,由于SAM模型规模庞大,且自然图像与医学图像之间存在显著领域差异,基于微调的策略不仅成本高昂,还可能引发模型不稳定、特征破坏以及灾难性遗忘等问题。此外,部分通过微调方式将SAM迁移至特定医学领域的研究,会损害模型原有的提示(prompting)能力,严重限制其应用场景。针对上述问题,本文提出一种自动提示模块(Auto-Prompting Module, APM),该模块为基于SAM的通用模型在目标医学领域中提供欧几里得自适应提示(Euclidean adaptive prompts)。实验结果表明,此类自适应提示可显著提升SAM在无需微调情况下的医学图像分割性能。进一步地,我们提出一种新颖的非侵入式方法——增量模式迁移(Incremental Pattern Shifting, IPS),用于将SAM适配至特定医学领域。实验结果表明,IPS能够在无需微调的前提下,使SAM在医学图像分割任务中达到当前最优或具有竞争力的性能表现。通过结合上述两种方法,本文构建了一个端到端的、无需微调的可提示医学图像分割框架——ProMISe(Promptable Medical Image Segmentation)。实验验证表明,无论是单独使用APM或IPS,还是二者协同应用,均能在极低计算成本下实现优异的分割性能,且SAM的所有参数始终保持冻结状态,有效避免了微调带来的风险与开销。

代码仓库

xinkunwang111/promise
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
lesion-segmentation-on-isic-2018ProMISe
Mean IoU: 0.850
mean Dice: 0.921
medical-image-segmentation-on-cvc-colondbProMISe
mIoU: 0.789
mean Dice: 0.874
medical-image-segmentation-on-etisProMISe
mIoU: 0.750
mean Dice: 0.840
medical-image-segmentation-on-isic-2018-1ProMISe
DSC: 92.10
mIoU: 85.00
medical-image-segmentation-on-kvasir-segProMISe
mIoU: 0.851
mean Dice: 0.911

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ProMISe:基于SAM的可提示医学图像分割 | 论文 | HyperAI超神经