摘要

盲脸修复是一个高度不适定的问题，通常需要辅助指导来实现两个目标：1）改进从退化输入到期望输出的映射；2）补充输入中丢失的高质量细节。在本文中，我们展示了通过将盲脸修复转化为代码预测任务，可以在一个小的代理空间中利用学习到的离散码本先验（codebook prior），大幅减少修复映射中的不确定性和模糊性，同时为生成高质量人脸提供丰富的视觉原子。基于这一范式，我们提出了一种基于Transformer的预测网络，命名为CodeFormer，用于建模低质量人脸的全局组成和上下文以进行代码预测，即使输入严重退化也能发现与目标人脸接近的自然人脸。为了增强对不同退化情况的适应性，我们还提出了一种可控特征变换模块，允许在保真度和质量之间灵活权衡。得益于表达能力强的码本先验和全局建模，CodeFormer在质量和保真度方面均优于现有方法，并表现出对退化的优越鲁棒性。广泛的实验结果验证了我们的方法在合成数据集和真实世界数据集上的有效性。