摘要

尽管基于深度学习的盲人脸修复方法已经取得了前所未有的成功，但它们仍然面临两个主要限制。首先，大多数方法在面对超出其训练数据范围的复杂退化时表现不佳。其次，这些方法需要多种约束条件，例如保真度损失、感知损失和对抗损失，这需要繁琐的超参数调整以稳定并平衡这些约束的影响。在这项工作中，我们提出了一种名为DifFace的新方法，该方法能够在不复杂的损失设计的情况下更优雅地应对未见过的复杂退化。我们的方法的关键在于从观察到的低质量（LQ）图像建立到其高质量（HQ）对应图像的后验分布。具体而言，我们设计了一个从LQ图像到预训练扩散模型中间状态的转换分布，然后通过递归应用预训练扩散模型逐步将此中间状态传输到HQ目标。该转换分布仅依赖于一个使用$L_2$损失在一些合成数据上训练的修复主干网络，从而有效避免了现有方法中繁琐的训练过程。此外，转换分布可以收缩修复主干网络的误差，从而使我们的方法对未知退化更加鲁棒。全面的实验表明，DifFace优于当前最先进的方法，尤其是在严重退化的案例中。代码和模型可在https://github.com/zsyOAOA/DifFace获取。