3 个月前

基于MetaFormer与CNN混合模型的息肉图像分割

基于MetaFormer与CNN混合模型的息肉图像分割

摘要

自视觉Transformer(Vision Transformer)在医学图像领域展现出卓越性能以来,基于Transformer的方法已成为该领域的主流。尽管基于Transformer的方法有效解决了卷积神经网络(CNN)固有的长距离依赖建模难题,但在捕捉局部细节信息方面仍存在不足。近年来,研究重点逐渐转向如何稳健地融合局部细节与语义信息。为应对这一挑战,本文提出一种新型的Transformer-CNN混合网络——RAPUNet。该方法以MetaFormer作为Transformer主干网络,并引入一种自定义的卷积模块——RAPU(并行残差与空洞卷积单元,Residual and Atrous Convolution in Parallel Unit),以增强局部特征表达,缓解局部与全局特征融合过程中的信息失配问题。我们在多个经典的息肉分割基准数据集上对RAPUNet的分割性能进行了评估,包括Kvasir-SEG、CVC-ClinicDB、CVC-ColonDB、EndoScene-CVC300以及ETIS-LaribPolypDB。实验结果表明,所提模型在平均Dice系数和平均交并比(IoU)指标上均表现出具有竞争力的性能。尤其在CVC-ClinicDB数据集上,RAPUNet超越了当前最先进的方法。代码已开源:https://github.com/hyunnamlee/RAPUNet。

基准测试

基准方法指标
medical-image-segmentation-on-cvc-clinicdbRAPUNet
mIoU: 0.926
mean Dice: 0.961
medical-image-segmentation-on-cvc-colondbRAPUNet
mIoU: 0.9096
mean Dice: 0.9526
medical-image-segmentation-on-etisRAPUNet
mIoU: 0.9179
mean Dice: 0.9572
medical-image-segmentation-on-kvasir-segRAPUNet
mIoU: 0.885
mean Dice: 0.939

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于MetaFormer与CNN混合模型的息肉图像分割 | 论文 | HyperAI超神经