
摘要
在过去十年中,卷积神经网络(ConvNets)一直是医学图像分析领域的研究重点。然而,由于ConvNets对图像中长距离空间关系缺乏显式建模,其性能可能受到限制。近年来,视觉Transformer(Vision Transformer)架构被提出,以弥补ConvNets的不足,并在多项医学影像应用中取得了当前最优的性能表现。由于Transformer具有显著更大的感受野,能够更精确地捕捉移动图像与固定图像之间的空间对应关系,因此在图像配准任务中展现出巨大潜力。本文提出TransMorph,一种用于三维医学图像配准的混合Transformer-ConvNet模型。此外,本文还进一步构建了TransMorph的微分同胚(diffeomorphic)变体与贝叶斯(Bayesian)变体:前者确保形变过程保持拓扑结构不变,后者可提供校准良好的配准不确定性估计。我们通过三个典型应用对所提出的模型进行了广泛验证:跨患者脑部MRI配准、模板到患者脑部MRI配准,以及体模到CT图像配准。实验结果将所提模型与多种现有配准方法及Transformer架构进行了对比。定性和定量分析均表明,基于Transformer的模型在性能上显著优于基线方法,充分验证了Transformer在医学图像配准任务中的有效性与优越性。
代码仓库
rohitrango/dio
pytorch
GitHub 中提及
junyuchen245/TransMorph_Transformer_for_Medical_Image_Registration
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| medical-image-registration-on-ixi | TransMorph | DSC: 0.744 |
| medical-image-registration-on-oasis | TransMorph | DSC: 0.818 val dsc: 85.8 |