摘要

我们提出了一种生成式图像修复系统，用于完成带有自由形状掩模和指导的图像。该系统基于数百万张图像上的门控卷积学习，无需额外的标注工作。所提出的门控卷积解决了传统卷积将所有输入像素视为有效像素的问题，通过在所有层的每个空间位置为每个通道提供可学习的动态特征选择机制，扩展了部分卷积的功能。此外，由于自由形状掩模可以在图像中的任何位置以任意形状出现，因此专为单个矩形掩模设计的全局和局部生成对抗网络（GAN）并不适用。为此，我们还提出了一种基于补丁的 GAN 损失函数，称为 SN-PatchGAN，通过在密集图像块上应用谱归一化判别器实现。SN-PatchGAN 在公式上简单，在训练过程中快速且稳定。自动图像修复和用户引导扩展的结果表明，我们的系统生成的质量更高、灵活性更强的结果优于以往的方法。我们的系统帮助用户快速移除干扰物体、修改图像布局、清除水印和编辑人脸。代码、演示和模型可在以下链接获取：https://github.com/JiahuiYu/generative_inpainting