摘要

我们提出了一种名为极性采样（Polarity Sampling）的理论严谨、即插即用的方法，用于控制预训练深度生成网络（Deep Generative Networks, DGNs）的生成质量与多样性。基于DGNs本质上可视为连续分段仿射样条（continuous piecewise affine splines），或可被其良好近似这一事实，我们推导出DGN输出空间分布的解析表达式，该表达式为DGN雅可比行列式奇异值乘积的幂函数，其指数为参数 $ρ$。我们称该参数 $ρ$ 为极性（polarity）参数，并证明：当 $ρ < 0$ 时，采样聚焦于输出空间分布的模式（modes）；当 $ρ > 0$ 时，则聚焦于反模式（anti-modes）。实验表明，相较于传统方法（如截断采样，truncation），引入非零极性参数可在多个前沿DGN模型上实现更优的精度-召回率（质量-多样性）帕累托前沿。我们进一步提供了大量定性和定量结果，验证了在多种条件与非条件图像生成任务中，该方法显著提升了整体生成质量，例如在Fréchet inception距离（FID）指标上取得显著改善。所测试的模型包括StyleGAN3、BigGAN-deep和NVAE等当前最先进的生成网络。特别地，极性采样重新定义了多个基准任务上的性能上限：在FFHQ数据集上，StyleGAN2的FID降至2.57；在LSUN Car数据集上，StyleGAN2的FID降至2.27；在AFHQv2数据集上，StyleGAN3的FID降至3.95。演示视频与代码：bit.ly/polarity-samp