摘要

图像修复技术在卷积神经网络（CNN）的推动下取得了显著进展，这主要得益于CNN强大的纹理建模能力。然而，由于其固有特性（如局部归纳偏置、空间不变卷积核），CNN在理解图像全局结构方面表现不佳，且难以自然支持多样化的修复结果。近年来，Transformer在建模长距离依赖关系和生成多样化结果方面展现出强大能力，但其计算复杂度与输入长度呈二次方关系，限制了其在高分辨率图像处理中的应用。本文融合了两种架构的优势，提出一种面向多样化的图像修复方法：利用Transformer进行外观先验重建，同时结合CNN实现纹理补全。其中，Transformer负责恢复多样且一致的全局结构及部分粗略纹理，而CNN则在高分辨率掩码图像的引导下，对粗略先验进行局部纹理细节的精细化增强。所提出的方法在三个方面显著优于现有最先进方法：1）即使与确定性修复方法相比，图像保真度也实现了大幅提升；2）在多样化修复任务中兼具更优的多样性与更高的保真度；3）在大尺寸掩码和通用数据集（如ImageNet）上展现出卓越的泛化能力。