摘要

我们提出了一种创新的无数据（data-free）方法——得分身份蒸馏（Score identity Distillation, SiD），该方法可将预训练扩散模型的生成能力高效地蒸馏至单步生成器中。SiD不仅在蒸馏过程中实现了弗雷歇起始距离（Fréchet Inception Distance, FID）的指数级快速下降，而且其最终FID性能可达到甚至超越原始教师模型（teacher diffusion models）的水平。通过将前向扩散过程重新建模为半隐式分布，我们利用三个与得分（score）相关的数学恒等式，构建了一种创新的损失机制。该机制通过使用生成器自身合成的图像进行训练，无需依赖真实数据或基于反向扩散的生成过程，从而在显著缩短的生成时间内实现高效的模型蒸馏。在四个基准数据集上的实验评估表明，SiD在蒸馏过程中展现出极高的迭代效率，并在生成质量方面全面超越了现有各类蒸馏方法——无论这些方法是一步式或少步式、是否依赖训练数据，或是无数据方法。这一成果不仅重新定义了扩散模型蒸馏在效率与有效性方面的基准，也对基于扩散模型的生成技术整体领域产生了深远影响。相关PyTorch实现代码已开源，地址为：https://github.com/mingyuanzhou/SiD