
摘要
我们提出功能扩散过程(Functional Diffusion Processes, FDPs),该模型将基于得分的扩散模型推广至无限维函数空间。FDPs 需要一套全新的数学框架来描述前向与后向动态过程,并引入多项扩展以推导出可实际训练的目标函数。这些扩展包括无限维版本的 Girsanov 定理,用于实现证据下界(ELBO)的计算;以及无限维采样定理,以保证在可数个点上的函数取值等价于完整的无限维函数。基于 FDPs,我们构建了一类新型函数空间生成模型,这类模型无需依赖特定的网络架构,可适用于任意类型的连续数据。在真实数据上的实验结果表明,FDPs 仅使用一个简单的多层感知机(MLP)架构,参数量比现有扩散模型少几个数量级,即可实现高质量的图像生成。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-generation-on-celeba-64x64 | FDP(MLP) | FID: 35 FID_CLIP: 12.44 |
| image-generation-on-celeba-64x64 | FDP(UViT) | FID: 11 FID_CLIP: 6.55 |