摘要

图像修复（image inpainting）是指对图像中缺失区域进行合成，以恢复被遮挡或退化的部分，同时也可作为自监督学习的前置任务。当前最先进的图像修复模型通常计算开销较大，其架构基于Transformer或CNN主干网络，并在对抗训练或扩散模型框架下进行训练。本文提出一种不同于视觉Transformer的计算高效型全卷积架构——WavePaint，其核心基于WaveMix结构。该模型利用二维离散小波变换（2D Discrete Wavelet Transform, DWT）实现空间域与多分辨率下的特征混合，并结合卷积层进行高效建模。实验结果表明，WavePaint在图像重建质量上超越了当前最先进的图像修复模型，同时参数量不足其一半，训练与推理时间也显著降低。值得注意的是，该模型在CelebA-HQ数据集上的表现甚至优于现有基于GAN的架构，且无需使用对抗性可训练判别器。本研究表明，那些基于自然图像先验设计的神经网络架构，能够在显著减少参数量与计算成本的前提下，实现与Transformer相当的泛化能力。