摘要

Transformer 通过自注意力机制能够有效建模全局（长距离）信息，在自然语言处理和二维图像分类任务中取得了显著成功。然而，对于密集预测任务，尤其是三维医学图像分割，局部特征与全局特征同样至关重要。本文首次将 Transformer 引入三维卷积神经网络（3D CNN）中，用于 MRI 脑肿瘤分割，并提出了一种基于编码器-解码器结构的新型网络架构——TransBTS。为捕捉三维局部上下文信息，编码器首先利用 3D CNN 提取体数据的空间特征图；同时，对这些特征图进行精心重构，转化为适用于 Transformer 的“token”输入，以实现全局特征建模。解码器则融合 Transformer 嵌入的特征，并通过逐步上采样策略，生成精细的分割结果。在 BraTS 2019 与 BraTS 2020 两个公开数据集上的大量实验结果表明，TransBTS 在三维 MRI 扫描脑肿瘤分割任务中，性能达到或优于当前最先进的三维方法。代码已开源，地址为：https://github.com/Wenxuan-1119/TransBTS。