
摘要
当前的医学图像分割方法在深入探索多尺度信息和有效结合局部细节纹理与全局上下文语义信息方面存在局限性,导致过度分割、欠分割和分割边界模糊等问题。为了解决这些挑战,我们从不同角度探讨了多尺度特征表示,并提出了一种新颖、轻量且多尺度的架构(LM-Net),该架构融合了卷积神经网络(CNNs)和视觉变换器(ViTs)的优点,以提高分割精度。LM-Net采用了一个轻量多分支模块,在同一层捕捉多尺度特征。此外,我们引入了两个模块来同时在不同层捕捉局部细节纹理和全局语义:局部特征变换器(Local Feature Transformer, LFT)和全局特征变换器(Global Feature Transformer, GFT)。LFT通过整合局部窗口自注意力机制来捕捉局部细节纹理,而GFT则利用全局自注意力机制来捕捉全局上下文语义。通过结合这些模块,我们的模型实现了局部和全局表示之间的互补性,缓解了医学图像分割中边界模糊的问题。为了评估LM-Net的可行性,我们在三个公开的不同模态数据集上进行了广泛的实验。实验结果表明,我们提出的模型不仅达到了最先进的性能,超过了先前的方法,而且仅需4.66G浮点运算次数(FLOPs)和5.4M参数。这三项不同模态数据集上的最新结果展示了我们所提出的LM-Net在各种医学图像分割任务中的有效性和适应性。
代码仓库
Asunatan/LM-Net
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| medical-image-segmentation-on-kvasir-seg | LM-Net | Flops: 4.66 Params: 5.4 Precision: 0.8964 Recall: 0.9038 mIoU: 0.8912 mean Dice: 0.9409 |