摘要

尽管Transformer已成为自然语言处理领域的首选模型，但其在医学影像领域的关注度却相对有限。鉴于其能够有效建模长程依赖关系，Transformer有望帮助传统的卷积神经网络克服其固有的空间归纳偏置缺陷。然而，近期多数基于Transformer的分割方法仅将其作为辅助模块，用于将全局上下文信息融入卷积特征表示中。为解决这一问题，本文提出nnFormer，一种面向体数据医学图像分割的三维Transformer模型。nnFormer不仅融合了交错排列的卷积与自注意力操作，还引入了基于体素的局部与全局自注意力机制，以更有效地学习体积级特征表示。此外，nnFormer创新性地采用“跳跃注意力”（skip attention）机制，替代U-Net类架构中传统的跳跃连接中的拼接或求和操作。实验结果表明，nnFormer在三个公开数据集上显著优于此前基于Transformer的分割方法，性能提升幅度显著。与nnUNet相比，nnFormer在HD95指标上表现更优，同时在Dice相似系数（DSC）上保持相当水平。进一步研究发现，nnFormer与nnUNet在模型集成中具有高度互补性，联合使用可进一步提升整体分割性能。