摘要

近期的图像修复方法取得了显著进展，但在处理复杂图像中大尺度缺失区域时，往往难以生成合理的图像结构。这一问题部分源于现有网络结构在捕捉图像的长程依赖关系与高层语义信息方面能力不足。为此，我们提出了一种新型网络架构——级联调制生成对抗网络（Cascaded Modulation GAN, CM-GAN），其由一个包含傅里叶卷积块的编码器与一个双流解码器构成。编码器能够从带有缺失区域的输入图像中提取多尺度特征表示；解码器在每一尺度层级均引入一种新颖的级联全局-空间调制模块。在每个解码器块中，首先通过全局调制实现粗粒度且语义感知的结构重建，随后通过空间调制对特征图进行空间自适应的精细化调整。此外，我们设计了一种面向对象的训练策略，有效防止网络在缺失区域内“幻觉”生成新的物体，从而满足真实场景下物体移除任务的实际需求。大量实验结果表明，本方法在定量与定性评估上均显著优于现有主流方法。项目主页详见：\url{https://github.com/htzheng/CM-GAN-Inpainting}。