3 个月前

基于评分的模型生成数据时需快速推进

基于评分的模型生成数据时需快速推进

摘要

基于得分(去噪扩散)的生成模型近年来在生成逼真且多样化的数据方面取得了显著进展。这类方法通过定义一个前向扩散过程,将数据逐步转化为噪声,并通过反向过程生成数据(即从噪声恢复为数据)。然而,当前的得分模型生成数据速度极慢,主要原因在于数值随机微分方程(SDE)求解器需要大量评估得分网络。在本研究中,我们旨在通过设计一种更高效的SDE求解器来加速这一过程。现有方法普遍采用欧拉-马鲁亚马(Euler-Maruyama, EM)求解器,其使用固定的步长。我们发现,简单地用其他SDE求解器替代EM效果不佳——要么生成样本质量低下,要么运行速度反而慢于EM。为克服这一问题,我们逐步精心设计了一种适用于得分生成模型的自适应步长SDE求解器。该求解器仅需两次得分函数评估,极少拒绝样本,且能生成高质量数据。相比EM求解器,我们的方法在保持或超越样本质量的前提下,实现2至10倍的加速。对于高分辨率图像生成任务,我们的方法在样本质量上显著优于所有对比方法。此外,该SDE求解器无需任何步长调参,具有良好的实用性和易用性。

代码仓库

AlexiaJM/score_sde_fast_sampling
官方
jax
GitHub 中提及

基准测试

基准方法指标
image-generation-on-ffhq-256-x-256VE (erel=0.01)
FID: 15.67
image-generation-on-ffhq-256-x-256VE (erel=0.02)
FID: 15.67
image-generation-on-lsun-churches-256-x-256VE (erel=0.01)
FID: 26.46
image-generation-on-lsun-churches-256-x-256VE (erel=0.02)
FID: 26.46

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于评分的模型生成数据时需快速推进 | 论文 | HyperAI超神经