4 个月前

使用混合Yolo-SAM 2模型进行结肠镜检查中的息肉自我提示分割

使用混合Yolo-SAM 2模型进行结肠镜检查中的息肉自我提示分割

摘要

在结肠镜检查中,早期诊断和治疗息肉对于降低结直肠癌(CRC)的发病率和死亡率至关重要。然而,息肉特征的变化以及结肠镜图像和视频中的伪影给准确且高效的息肉检测和分割带来了重大挑战。本文提出了一种新的息肉分割方法,通过将“任意分割模型”(Segment Anything Model, SAM 2)与YOLOv8模型相结合来实现。我们的方法利用了YOLOv8的边界框预测,自动生成SAM 2的输入提示,从而减少了对人工标注的需求。我们在五个基准结肠镜图像数据集和两个结肠镜视频数据集上进行了详尽的测试,结果表明,我们的方法在图像和视频分割任务中均超过了现有的最先进模型。特别值得一提的是,我们的方法仅使用边界框标注就实现了高精度的分割,显著减少了标注时间和工作量。这一进展有望提高临床环境中息肉检测的效率和可扩展性。相关代码已发布在GitHub上:https://github.com/sajjad-sh33/YOLO_SAM2。

代码仓库

基准测试

基准方法指标
medical-image-segmentation-on-cvc-clinicdbYolo-SAM 2
mIoU: 0.909
mean Dice: 0.951
medical-image-segmentation-on-kvasir-segYolo-SAM 2
mIoU: 0.764
mean Dice: 0.866
polyp-segmentation-on-polypgenYOlO-SAM 2
Dice: 0.808
Precision: 0.858
Recall: 0.764
mIoU: 0.678
video-polyp-segmentation-on-sun-seg-easyYOLO-SAM 2
Dice: 0.90
S measure: 0.9
Sensitivity: 83.7
mean E-measure: 93.8
mean F-measure: 93.8
video-polyp-segmentation-on-sun-seg-hardYOLO-SAM 2
Dice: 0.902
S-Measure: 0.894
Sensitivity: 0.852
mean E-measure: 0.941
mean F-measure: 0.932

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用混合Yolo-SAM 2模型进行结肠镜检查中的息肉自我提示分割 | 论文 | HyperAI超神经