
摘要
扩散模型(Diffusion Models)正逐渐成为高质量图像生成的强大解决方案,在诸多场景下其生成质量已超越生成对抗网络(GANs)。然而,其训练与推理速度缓慢,已成为制约其在实时应用中落地的主要瓶颈。近期提出的DiffusionGAN方法通过将采样步骤从数千次大幅减少至数次,显著降低了模型运行时间,但其速度仍远落后于GAN类模型。本文旨在缩小这一速度差距,提出一种基于小波变换的新型扩散机制。该方法通过小波分解,从图像和特征两个层面分别提取低频与高频成分,并对这些成分进行自适应处理,从而实现更快速的生成过程,同时保持优异的生成质量。此外,本文还引入一种重构项(reconstruction term),有效加速了模型训练的收敛过程。在CelebA-HQ、CIFAR-10、LSUN-Church和STL-10等多个数据集上的实验结果表明,所提出的方法为实现实时、高保真扩散模型提供了关键性突破。相关代码与预训练模型已开源,地址为:\url{https://github.com/VinAIResearch/WaveDiff.git}。
代码仓库
vinairesearch/wavediff
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-generation-on-celeba-hq-1024x1024 | WaveDiff | FID: 5.98 NFE: 2 |
| image-generation-on-celeba-hq-256x256 | WaveDiff | FID: 5.94 NFE: 2 Recall: 0.37 |
| image-generation-on-celeba-hq-512x512 | WaveDiff | FID: 6.40 NFE: 2 Recall: 0.35 |
| image-generation-on-lsun-churches-256-x-256 | WaveDiff | FID: 5.06 NFE: 4 Recall: 0.40 |
| image-generation-on-stl-10 | WaveDiff | FID: 12.93 NFE: 4 Recall: 0.41 |