摘要

图像修复是指从受损的输入图像中恢复高质量图像的任务，例如去模糊和去雨。在图像修复过程中，通常需要维持空间细节和上下文信息之间的复杂平衡。尽管多阶段网络可以最优地平衡这些相互竞争的目标并实现显著性能提升，但这也会增加系统的复杂度。本文提出了一种基于简单U-Net架构的山形单阶段设计，通过移除或替换不必要的非线性激活函数，在较低系统复杂度下实现上述平衡。具体而言，我们提出了一种特征融合中间件（Feature Fusion Middleware, FFM）机制作为编码器-解码器架构层级间的信息交换组件。该机制将高层信息无缝集成到相邻的低层，逐层向下直至最低层。最终，所有信息在原始图像分辨率操作层进行融合，从而保留了空间细节并整合了上下文信息，确保高质量的图像修复效果。此外，我们还提出了一种多头注意力中间块（Multi-Head Attention Middle Block, MHAMB），作为编码器和解码器之间的桥梁，以捕捉更多全局信息并超越卷积神经网络（CNNs）的感受野限制。大量实验表明，我们的方法命名为M3SNet，在计算成本低于先前模型一半的情况下，在多个图像修复任务（如去雨和去模糊）中优于现有的最先进模型。