3 个月前

通过判别器梯度流优化深度生成模型

通过判别器梯度流优化深度生成模型

摘要

近年来,深度生成建模取得了显著进展,如今生成的模拟样本(如图像)已能与真实世界数据高度相似。然而,对于任意给定的生成模型,其生成质量通常存在不一致性,不同样本之间的差异可能极为显著。为此,我们提出了一种名为判别器梯度流(Discriminator Gradient flow, DGflow)的新技术,该方法通过优化真实数据分布与生成数据分布之间熵正则化的f-散度的梯度流,显著提升生成样本的质量。该梯度流可表示为一个非线性Fokker-Planck方程,可通过等价的McKean-Vlasov过程进行高效采样模拟。与以往依赖浪费性样本拒绝策略的方法(如DRS与MH-GAN)不同,DGflow通过精炼低质量样本实现改进,避免了不必要的计算开销。相较于仅针对特定GAN变体的研究,我们的方法具有更广泛的适用性,不仅适用于具有向量值判别器的GAN,还可推广至其他深度生成模型,如变分自编码器(VAE)和归一化流(Normalizing Flows)。在多个合成数据集、图像数据集和文本数据集上的实验结果表明,DGflow能够显著提升多种生成模型的样本质量,在性能上超越当前最先进的判别器最优传输(Discriminator Optimal Transport, DOT)与判别器驱动隐空间采样(Discriminator Driven Latent Sampling, DDLS)方法。

代码仓库

clear-nus/DGflow
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
text-generation-on-one-billion-wordWGANGP + DGflow
JS-4: 0.186

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供