摘要

图像修复是一个长期存在的低级视觉问题，例如去模糊和去雨。在图像修复过程中，不仅要考虑修复的空间细节和上下文信息以确保质量，还要考虑系统的复杂性。尽管许多方法已经能够保证图像修复的质量，但最先进的（SOTA）方法的系统复杂性也在不断增加。基于这一动机，我们提出了一种混合层次网络，可以平衡这些相互竞争的目标。我们的主要提议是一种混合层次架构，该架构逐步从退化图像中恢复上下文信息和空间细节，同时设计了内部模块以降低系统复杂性。具体而言，我们的模型首先使用编码器-解码器架构学习上下文信息，然后将其与保留空间细节的高分辨率分支相结合。为了便于分析和比较，减少该架构的系统复杂性，我们用乘法替换了非线性激活函数或将其移除，并采用了简单的网络结构。此外，我们在编码器-解码器中间块中用全局自注意力机制替换了空间卷积。由此产生的紧密互联的层次架构被命名为MHNet，在多个图像修复任务上表现出显著的性能提升，包括图像去雨和去模糊。