3 个月前

小波扩散模型是快速且可扩展的图像生成器

小波扩散模型是快速且可扩展的图像生成器

摘要

扩散模型(Diffusion Models)正逐渐成为高质量图像生成的强大解决方案,在诸多场景下其生成质量已超越生成对抗网络(GANs)。然而,其训练与推理速度缓慢,已成为制约其在实时应用中落地的主要瓶颈。近期提出的DiffusionGAN方法通过将采样步骤从数千次大幅减少至数次,显著降低了模型运行时间,但其速度仍远落后于GAN类模型。本文旨在缩小这一速度差距,提出一种基于小波变换的新型扩散机制。该方法通过小波分解,从图像和特征两个层面分别提取低频与高频成分,并对这些成分进行自适应处理,从而实现更快速的生成过程,同时保持优异的生成质量。此外,本文还引入一种重构项(reconstruction term),有效加速了模型训练的收敛过程。在CelebA-HQ、CIFAR-10、LSUN-Church和STL-10等多个数据集上的实验结果表明,所提出的方法为实现实时、高保真扩散模型提供了关键性突破。相关代码与预训练模型已开源,地址为:\url{https://github.com/VinAIResearch/WaveDiff.git}。

代码仓库

vinairesearch/wavediff
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-generation-on-celeba-hq-1024x1024WaveDiff
FID: 5.98
NFE: 2
image-generation-on-celeba-hq-256x256WaveDiff
FID: 5.94
NFE: 2
Recall: 0.37
image-generation-on-celeba-hq-512x512WaveDiff
FID: 6.40
NFE: 2
Recall: 0.35
image-generation-on-lsun-churches-256-x-256WaveDiff
FID: 5.06
NFE: 4
Recall: 0.40
image-generation-on-stl-10WaveDiff
FID: 12.93
NFE: 4
Recall: 0.41

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
小波扩散模型是快速且可扩展的图像生成器 | 论文 | HyperAI超神经