3 个月前

Polyp-PVT:基于金字塔视觉Transformer的息肉分割

Polyp-PVT:基于金字塔视觉Transformer的息肉分割

摘要

大多数聚类分割方法均以卷积神经网络(CNN)作为主干网络,这在编码器与解码器之间进行信息交换时带来了两个关键问题:其一,未能充分考虑不同层级特征之间的贡献差异;其二,缺乏有效的特征融合机制。与现有基于CNN的方法不同,本文采用Transformer编码器,以学习更具表达力和鲁棒性的特征表示。此外,考虑到内窥镜图像采集过程中的成像干扰以及息肉本身具有的隐蔽性特征,我们引入了三个标准模块:级联融合模块(Cascaded Fusion Module, CFM)、伪装识别模块(Camouflage Identification Module, CIM)和相似性聚合模块(Similarity Aggregation Module, SAM)。其中,CFM用于从高层特征中提取息肉的语义与空间位置信息;CIM用于捕捉被隐藏在低层特征中的息肉信息;SAM则将高层语义位置信息扩展至整个息肉区域,从而实现对跨层级特征的有效融合。所提出的模型名为Polyp-PVT,能够有效抑制特征中的噪声,并显著提升其表达能力。在五个广泛采用的公开数据集上进行的大量实验表明,该模型在应对各类挑战性场景(如外观变化、小目标、旋转等)时,相较于现有代表性方法展现出更强的鲁棒性。该模型代码已开源,可访问 https://github.com/DengPingFan/Polyp-PVT。

代码仓库

DengPingFan/Polyp-PVT
官方
pytorch
GitHub 中提及
whai362/PVT
pytorch
GitHub 中提及

基准测试

基准方法指标
medical-image-segmentation-on-cvc-colondbPolyp-PVT
Average MAE: 0.031
S-Measure: 0.865
mIoU: 0.727
max E-Measure: 0.913
mean Dice: 0.808

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Polyp-PVT:基于金字塔视觉Transformer的息肉分割 | 论文 | HyperAI超神经