摘要

Transformer 在医学图像分割任务中已展现出卓越的性能。然而，由于其底层采用单尺度自注意力（Self-Attention, SA）机制，Transformer 在泛化能力方面可能存在局限性。为此，本文提出一种多尺度层次化视觉Transformer（Multi-scale hiERarchical vIsion Transformer, MERIT）主干网络，通过在多尺度上计算自注意力机制，显著提升了模型的泛化能力。此外，我们引入了一种基于注意力的解码器结构——级联注意力解码（Cascaded Attention Decoding, CASCADE），用于对MERIT生成的多阶段特征进行进一步优化与细化。最后，我们提出一种高效的多阶段特征混合损失聚合方法——MUTATION，通过隐式集成（implicit ensembling）的方式实现更优的模型训练。在两个广泛使用的医学图像分割基准数据集（Synapse多器官数据集、ACDC心脏分割数据集）上的实验结果表明，MERIT在性能上优于当前主流方法。所提出的MERIT架构与MUTATION损失聚合策略可广泛应用于下游的医学图像分割及语义分割任务。