3 个月前

连续时间函数扩散过程

连续时间函数扩散过程

摘要

我们提出功能扩散过程(Functional Diffusion Processes, FDPs),该模型将基于得分的扩散模型推广至无限维函数空间。FDPs 需要一套全新的数学框架来描述前向与后向动态过程,并引入多项扩展以推导出可实际训练的目标函数。这些扩展包括无限维版本的 Girsanov 定理,用于实现证据下界(ELBO)的计算;以及无限维采样定理,以保证在可数个点上的函数取值等价于完整的无限维函数。基于 FDPs,我们构建了一类新型函数空间生成模型,这类模型无需依赖特定的网络架构,可适用于任意类型的连续数据。在真实数据上的实验结果表明,FDPs 仅使用一个简单的多层感知机(MLP)架构,参数量比现有扩散模型少几个数量级,即可实现高质量的图像生成。

基准测试

基准方法指标
image-generation-on-celeba-64x64FDP(MLP)
FID: 35
FID_CLIP: 12.44
image-generation-on-celeba-64x64FDP(UViT)
FID: 11
FID_CLIP: 6.55

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
连续时间函数扩散过程 | 论文 | HyperAI超神经