摘要

本文提出了一种基于条件扩散模型的图像到图像转换的统一框架，并在四个具有挑战性的图像到图像转换任务上对该框架进行了评估，这些任务分别是彩色化、修复、去裁剪和JPEG恢复。我们对图像到图像扩散模型的简单实现，在所有任务中均优于强大的生成对抗网络（GAN）和回归基线方法，无需针对特定任务进行超参数调整、架构定制或引入任何辅助损失函数或复杂的新技术。我们揭示了在去噪扩散目标中使用L2损失与L1损失对样本多样性的影响，并通过实证研究展示了神经架构中自注意力机制的重要性。尤为重要的是，我们倡导基于ImageNet的统一评估协议，该协议包括人类评价和样本质量评分（如FID、Inception Score、预训练ResNet-50的分类准确率以及与原始图像的感知距离）。我们期望这一标准化评估协议能够在推动图像到图像转换研究方面发挥重要作用。最后，我们证明了一个通用的多任务扩散模型在性能上可以达到或超过特定任务专用模型的表现。请访问https://diffusion-palette.github.io 以了解结果概览。