摘要

当前深度学习用于密集预测的核心思想，是将模型应用于以每个像素为中心的规则图像块（patch），以实现像素级的预测。然而，这类方法存在局限性：其图像块的形状与大小由网络架构预先固定，而非通过数据学习获得。本文提出了一种密集Transformer网络（Dense Transformer Networks），能够从数据中自动学习图像块的形状与尺寸。该网络采用编码器-解码器架构，并在编码器和解码器路径中分别插入一对密集Transformer模块。本工作的创新之处在于，我们提出了有效的技术方案，实现从数据中学习图像块的几何特性，并高效恢复密集预测所必需的空间对应关系。所提出的密集Transformer模块具有可微性，因此整个网络可端到端进行训练。我们在生物图像分割任务上应用所提出的网络，实验结果表明，其性能显著优于现有基线方法。