摘要

变压器架构在医学图像配准领域已崭露头角，通过解决卷积神经网络（CNN）的有限感受野问题以及深层模型中的梯度不稳定问题，其性能超过了CNN。尽管取得了成功，基于变压器的模型仍需要大量的训练资源，包括数据、内存和计算能力，这可能限制了资源有限的最终用户的应用。特别是，现有的基于变压器的3D图像配准架构面临两个关键挑战，影响了它们的效率和效果。首先，虽然基于窗口的注意力机制通过关注局部区域减少了全注意力机制的二次复杂度，但它们往往难以有效地整合局部和全局信息。其次，标记化（tokenization）的粒度是注册精度的一个重要因素，但在性能上存在权衡：较小体素尺寸的标记可以增强细节捕捉，但同时会增加计算复杂度、提高内存使用率并增加过拟合的风险。本文介绍了一种名为\name的基于变压器的无监督3D图像配准架构。该架构通过平面基注意力机制在3D体积中平衡局部和全局注意力，并采用高分辨率标记化策略及合并操作，在不牺牲计算效率的前提下捕捉更精细的细节。值得注意的是，\name在OASIS数据集上的性能表现树立了新的标杆，参数量减少了16-27倍。https://github.com/MedVIC-Lab/Efficient_Morph_Registration