3 个月前

反射扩散模型

反射扩散模型

摘要

基于得分的扩散模型通过学习逆转一个将数据映射至噪声的随机微分方程(SDE)来生成样本。然而,在复杂任务中,数值误差可能累积,导致生成样本严重失真。以往的方法通过阈值化(thresholding)缓解这一漂移问题:在每一步扩散过程后将样本投影回自然数据域(例如图像中的像素空间)。但这种方法在训练与生成过程中引入了不一致,造成过程失配。为以更合理的方式纳入数据约束,我们提出反射扩散模型(Reflected Diffusion Models),该方法转而逆转定义在数据支撑集上的反射随机微分方程(reflected SDE)。我们的方法通过广义得分匹配损失学习受扰动的得分函数,并扩展了标准扩散模型的关键组件,包括扩散引导(diffusion guidance)、基于似然的训练以及常微分方程(ODE)采样。此外,我们建立了与阈值化方法之间的理论联系:此类方法本质上是反射SDE的离散化形式。在标准图像基准测试中,我们的方法在无需任何架构修改的情况下,性能达到或超越当前最优水平;在无分类器引导(classifier-free guidance)设置下,该方法支持基于ODE的快速精确采样,并在高引导权重下生成更具真实感的样本。

代码仓库

louaaron/Reflected-Diffusion
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-generation-on-imagenet-32x32Reflected Diffusion
bpd: 3.74

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
反射扩散模型 | 论文 | HyperAI超神经