摘要

由于卷积神经网络（CNNs）在从大规模数据中学习可泛化的图像先验方面表现出色，这些模型已被广泛应用于图像恢复及相关任务。近期，另一种神经架构——Transformer，在自然语言处理和高级视觉任务中展现出显著的性能提升。虽然Transformer模型缓解了CNNs的局限性（即有限的感受野和对输入内容的适应性不足），但其计算复杂度随空间分辨率呈二次增长，因此将其应用于涉及高分辨率图像的大多数图像恢复任务变得不可行。在本研究中，我们通过在构建模块（多头注意力机制和前馈网络）中进行若干关键设计，提出了一种高效的Transformer模型，使其能够在捕捉长距离像素交互的同时，仍然适用于大尺寸图像。我们提出的模型命名为Restoration Transformer（Restormer），在多个图像恢复任务上取得了最先进的结果，包括图像去雨、单幅图像运动去模糊、散焦去模糊（单幅图像和双像素数据）以及图像去噪（高斯灰度/彩色去噪和真实图像去噪）。源代码和预训练模型可在https://github.com/swz30/Restormer 获取。