3 个月前

生成建模中的流匹配

生成建模中的流匹配

摘要

我们提出了一种基于连续归一化流(Continuous Normalizing Flows, CNFs)的新一代生成建模范式,使得CNFs的训练规模达到了前所未有的水平。具体而言,本文引入了流匹配(Flow Matching, FM)这一新概念,这是一种无需模拟的CNFs训练方法,其核心思想是通过回归固定条件概率路径的向量场来实现训练。流匹配兼容一类广义的高斯概率路径,用于在噪声样本与数据样本之间进行变换——这一框架涵盖了现有扩散路径作为特例。有趣的是,我们发现将流匹配与扩散路径结合使用,可为扩散模型的训练提供一种更为鲁棒且稳定的替代方案。此外,流匹配还为采用非扩散型概率路径训练CNFs开辟了新途径。其中特别值得关注的是,利用最优传输(Optimal Transport, OT)位移插值来定义条件概率路径。这类路径相比传统扩散路径更具效率,能够实现更快的训练与采样速度,并带来更优的泛化性能。在ImageNet数据集上,基于流匹配训练的CNFs在似然度和生成样本质量方面均显著优于其他基于扩散的方法,同时可借助现成的数值常微分方程(ODE)求解器实现快速且可靠的样本生成。

代码仓库

edapinenut/ppflow
pytorch
GitHub 中提及
g4vrel/CFM
pytorch
GitHub 中提及
shivammehta25/Matcha-TTS
pytorch
GitHub 中提及
jjunak-yun/FLowHigh_code
pytorch
GitHub 中提及

基准测试

基准方法指标
density-estimation-on-cifar-10Flow matching
NLL (bits/dim): 2.99
image-generation-on-cifar-10FM
FID: 6.35
image-generation-on-imagenet-32x32FM
FID: 5.02
bpd: 3.53
image-generation-on-imagenet-64x64FM
Bits per dim: 3.31
FID: 14.45

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
生成建模中的流匹配 | 论文 | HyperAI超神经