
摘要
随着分割一切模型(Segment Anything Model, SAM)的提出,基于SAM进行医学图像分割(Medical Image Segmentation, MIS)的微调方法逐渐成为研究热点。然而,由于SAM模型规模庞大,且自然图像与医学图像之间存在显著领域差异,基于微调的策略不仅成本高昂,还可能引发模型不稳定、特征破坏以及灾难性遗忘等问题。此外,部分通过微调方式将SAM迁移至特定医学领域的研究,会损害模型原有的提示(prompting)能力,严重限制其应用场景。针对上述问题,本文提出一种自动提示模块(Auto-Prompting Module, APM),该模块为基于SAM的通用模型在目标医学领域中提供欧几里得自适应提示(Euclidean adaptive prompts)。实验结果表明,此类自适应提示可显著提升SAM在无需微调情况下的医学图像分割性能。进一步地,我们提出一种新颖的非侵入式方法——增量模式迁移(Incremental Pattern Shifting, IPS),用于将SAM适配至特定医学领域。实验结果表明,IPS能够在无需微调的前提下,使SAM在医学图像分割任务中达到当前最优或具有竞争力的性能表现。通过结合上述两种方法,本文构建了一个端到端的、无需微调的可提示医学图像分割框架——ProMISe(Promptable Medical Image Segmentation)。实验验证表明,无论是单独使用APM或IPS,还是二者协同应用,均能在极低计算成本下实现优异的分割性能,且SAM的所有参数始终保持冻结状态,有效避免了微调带来的风险与开销。
代码仓库
xinkunwang111/promise
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| lesion-segmentation-on-isic-2018 | ProMISe | Mean IoU: 0.850 mean Dice: 0.921 |
| medical-image-segmentation-on-cvc-colondb | ProMISe | mIoU: 0.789 mean Dice: 0.874 |
| medical-image-segmentation-on-etis | ProMISe | mIoU: 0.750 mean Dice: 0.840 |
| medical-image-segmentation-on-isic-2018-1 | ProMISe | DSC: 92.10 mIoU: 85.00 |
| medical-image-segmentation-on-kvasir-seg | ProMISe | mIoU: 0.851 mean Dice: 0.911 |