摘要

近年来，卷积神经网络（CNN）在医学图像分析领域取得了诸多里程碑式进展。特别是基于U型架构与跳跃连接的深度神经网络，已被广泛应用于各类医学图像任务中。然而，尽管CNN表现出色，由于卷积操作的局部性限制，其在捕捉全局及长距离语义信息交互方面仍存在不足。为此，本文提出Swin-Unet，一种面向医学图像分割的纯Transformer型U型网络。该方法将图像块进行token化处理后，输入基于Transformer的U型编码器-解码器架构，并通过跳跃连接实现局部与全局语义特征的联合学习。具体而言，编码器采用具有移位窗口机制的分层Swin Transformer，以有效提取上下文特征；解码器则设计为对称的Swin Transformer结构，并引入补丁扩展层（patch expanding layer），实现上采样操作，以恢复特征图的空间分辨率。在多器官与心脏分割任务中，当输入输出直接进行4倍下采样与上采样时，实验结果表明，该纯Transformer驱动的U型编码器-解码器网络在性能上优于完全基于卷积或卷积与Transformer混合的方法。相关代码与训练好的模型将公开发布于：https://github.com/HuCaoFighting/Swin-Unet。