摘要

由于各种复杂多样的雪降解问题，单幅图像除雪是一项具有挑战性的图像恢复任务。现有的方法无法理想地解决这一问题，因此我们提出了一种新型的变压器模型——SnowFormer，该模型通过探索高效的交叉注意力机制来构建跨补丁的局部-全局上下文交互，超越了现有使用局部算子或普通变压器的方法。与之前的除雪方法和通用图像恢复方法相比，SnowFormer具有多项优势。首先，与近期图像恢复视觉变压器中使用的多头自注意力机制不同，SnowFormer引入了多头交叉注意力机制，以实现尺度感知的雪查询与局部补丁嵌入之间的局部-全局上下文交互。其次，SnowFormer中的雪查询由查询生成器从聚合的尺度感知特征中生成，这些特征富含潜在的干净线索，从而导致更优的恢复效果。最后，SnowFormer在六个合成和真实世界的数据集上超越了先进的最新除雪网络和流行的通用图像恢复变压器。代码已发布在 \url{https://github.com/Ephemeral182/SnowFormer}。