3 个月前

判别器对比发散:通过探索判别器能量实现半摊销生成建模

判别器对比发散:通过探索判别器能量实现半摊销生成建模

摘要

生成对抗网络(Generative Adversarial Networks, GANs)在建模高维数据方面展现出巨大潜力。GAN的训练目标通常旨在最小化某种分布差异度量,例如 $f$-散度($f$-GANs)或积分概率度量(Wasserstein GANs)。当以 $f$-散度作为目标函数时,判别器本质上用于估计概率密度比,而该估计出的密度比在后续可有效提升生成器所产样本的质量。然而,如何充分利用Wasserstein GAN(WGAN)中判别器所蕴含的信息,仍鲜有深入研究。本文提出了一种新的方法——判别器对比散度(Discriminator Contrastive Divergence),其理论动机源于WGAN判别器的特性以及WGAN与基于能量模型(energy-based models)之间的内在联系。与标准GAN中直接利用生成器生成新样本的方式不同,本文所提方法采用一种半摊销式(semi-amortized)生成流程:以生成器的输出作为初始状态,随后通过基于判别器梯度的若干步Langevin动力学迭代,逐步优化样本。实验结果表明,该方法在合成数据以及多个真实图像生成基准任务上均显著提升了生成质量,验证了其有效性与优越性。

基准测试

基准方法指标
image-generation-on-cifar-10SNGAN-DCD (Latent)
FID: 16.24
image-generation-on-cifar-10SNGAN-DCD (Pixel)
FID: 21.67
image-generation-on-stl-10SNGAN-DCD (Pixel)
FID: 22.25
Inception score: 9.25
image-generation-on-stl-10SNGAN-DCD (Latent)
FID: 17.68
Inception score: 9.33

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
判别器对比发散:通过探索判别器能量实现半摊销生成建模 | 论文 | HyperAI超神经