3 个月前

TransMorph:用于无监督医学图像配准的Transformer

TransMorph:用于无监督医学图像配准的Transformer

摘要

在过去十年中,卷积神经网络(ConvNets)一直是医学图像分析领域的研究重点。然而,由于ConvNets对图像中长距离空间关系缺乏显式建模,其性能可能受到限制。近年来,视觉Transformer(Vision Transformer)架构被提出,以弥补ConvNets的不足,并在多项医学影像应用中取得了当前最优的性能表现。由于Transformer具有显著更大的感受野,能够更精确地捕捉移动图像与固定图像之间的空间对应关系,因此在图像配准任务中展现出巨大潜力。本文提出TransMorph,一种用于三维医学图像配准的混合Transformer-ConvNet模型。此外,本文还进一步构建了TransMorph的微分同胚(diffeomorphic)变体与贝叶斯(Bayesian)变体:前者确保形变过程保持拓扑结构不变,后者可提供校准良好的配准不确定性估计。我们通过三个典型应用对所提出的模型进行了广泛验证:跨患者脑部MRI配准、模板到患者脑部MRI配准,以及体模到CT图像配准。实验结果将所提模型与多种现有配准方法及Transformer架构进行了对比。定性和定量分析均表明,基于Transformer的模型在性能上显著优于基线方法,充分验证了Transformer在医学图像配准任务中的有效性与优越性。

代码仓库

基准测试

基准方法指标
medical-image-registration-on-ixiTransMorph
DSC: 0.744
medical-image-registration-on-oasisTransMorph
DSC: 0.818
val dsc: 85.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
TransMorph:用于无监督医学图像配准的Transformer | 论文 | HyperAI超神经