摘要

近期，关于去噪扩散模型的研究已将其应用扩展到图像修复领域。传统的基于扩散的图像修复方法利用退化图像作为条件输入，以有效引导逆向生成过程，而不会修改原始的去噪扩散过程。然而，由于退化图像已经包含低频信息，从高斯白噪声开始会增加采样步骤。我们提出了一种名为Resfusion的一般框架，该框架将残差项纳入扩散前向过程，并直接从带有噪声的退化图像开始逆向过程。我们的推理过程形式与DDPM（去噪扩散概率模型）一致。我们引入了一种加权残差噪声，称为resnoise（残差噪声），并明确提供了残差项与resnoise中的噪声项之间的定量关系。通过利用平滑等效变换，Resfusion确定了最优加速步长，并保持了现有噪声调度的完整性，统一了训练和推理过程。实验结果表明，Resfusion在ISTD数据集、LOL数据集和Raindrop数据集中仅需五步采样即可展现出竞争力性能。此外，Resfusion可以轻松应用于图像生成，并表现出强大的通用性。我们的代码和模型可在https://github.com/nkicsl/Resfusion获取。