4 个月前

MobileUNETR:一种轻量级的端到端混合视觉变换器,用于高效的医学图像分割

MobileUNETR:一种轻量级的端到端混合视觉变换器,用于高效的医学图像分割

摘要

皮肤癌分割在医学图像分析中是一个重要的挑战。现有的许多解决方案,主要是基于卷积神经网络(CNN)的方法,面临缺乏全局上下文理解的问题。另一方面,一些方法采用大规模的Transformer模型来弥补全局上下文的不足,但这样做会增加模型规模和计算复杂度。最后,许多基于Transformer的方法主要依赖于基于CNN的解码器,忽视了基于Transformer的解码模型的优势。鉴于这些局限性,我们通过引入MobileUNETR来解决对高效轻量级解决方案的需求,该方法旨在克服CNN和Transformer在性能上的限制,同时尽量减小模型规模,为高效的图像分割提供了有前景的方向。MobileUNETR具有三个主要特点:1) MobileUNETR包含一个轻量级的混合CNN-Transformer编码器,以高效的方式平衡局部和全局上下文特征的提取;2) 一种新颖的混合解码器,在解码阶段同时利用不同分辨率下的低层和全局特征进行精确的掩膜生成;3) 超越大型复杂架构,MobileUNETR仅用300万个参数和1.3 GFLOP的计算复杂度实现了优越的性能,分别在参数数量和浮点运算次数上减少了10倍和23倍。为了验证所提出方法的有效性,我们在四个公开可用的皮肤病变分割数据集上进行了广泛的实验,包括ISIC 2016、ISIC 2017、ISIC 2018和PH2数据集。代码将在以下地址公开发布:https://github.com/OSUPCVLab/MobileUNETR.git

代码仓库

osupcvlab/mobileunetr
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
lesion-segmentation-on-isic-2018MobileUNETR
Mean IoU: 0.8456
mean Dice: 0.9074
lesion-segmentation-on-ph2MobileUNETR
Dice Score: 0.9570
medical-image-segmentation-on-isic2018MobileUNETR
Accuracy: 94.40
mean Dice: 90.74
semantic-segmentation-on-ph2MobileUNETR
Average Dice: 95.70
Average IOU: 92.30

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MobileUNETR:一种轻量级的端到端混合视觉变换器,用于高效的医学图像分割 | 论文 | HyperAI超神经