HyperAIHyperAI

Command Palette

Search for a command to run...

ProMISe:基于SAM的可提示医学图像分割

Jinfeng Wang Sifan Song Xinkun Wang Yiyi Wang Yiyi Miao Jionglong Su S. Kevin Zhou

摘要

随着分割一切模型(Segment Anything Model, SAM)的提出,基于SAM进行医学图像分割(Medical Image Segmentation, MIS)的微调方法逐渐成为研究热点。然而,由于SAM模型规模庞大,且自然图像与医学图像之间存在显著领域差异,基于微调的策略不仅成本高昂,还可能引发模型不稳定、特征破坏以及灾难性遗忘等问题。此外,部分通过微调方式将SAM迁移至特定医学领域的研究,会损害模型原有的提示(prompting)能力,严重限制其应用场景。针对上述问题,本文提出一种自动提示模块(Auto-Prompting Module, APM),该模块为基于SAM的通用模型在目标医学领域中提供欧几里得自适应提示(Euclidean adaptive prompts)。实验结果表明,此类自适应提示可显著提升SAM在无需微调情况下的医学图像分割性能。进一步地,我们提出一种新颖的非侵入式方法——增量模式迁移(Incremental Pattern Shifting, IPS),用于将SAM适配至特定医学领域。实验结果表明,IPS能够在无需微调的前提下,使SAM在医学图像分割任务中达到当前最优或具有竞争力的性能表现。通过结合上述两种方法,本文构建了一个端到端的、无需微调的可提示医学图像分割框架——ProMISe(Promptable Medical Image Segmentation)。实验验证表明,无论是单独使用APM或IPS,还是二者协同应用,均能在极低计算成本下实现优异的分割性能,且SAM的所有参数始终保持冻结状态,有效避免了微调带来的风险与开销。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ProMISe:基于SAM的可提示医学图像分割 | 论文 | HyperAI超神经