
摘要
图像重建与合成得益于生成模型的发展取得了显著进展。然而,在频域上,真实图像与生成图像之间仍可能存在差距。本研究表明,缩小频域上的差异可进一步提升图像重建与合成的质量。为此,我们提出一种新型的焦点频域损失(focal frequency loss),该损失函数能够自适应地聚焦于难以生成的频率成分,同时对易于合成的成分进行加权抑制。这一目标函数与现有的空间域损失相辅相成,有效缓解了神经网络固有偏差导致的重要频域信息丢失问题。实验结果表明,该焦点频域损失在提升多种主流模型(如VAE、pix2pix和SPADE)的感知质量与定量性能方面均展现出优异的通用性与有效性。此外,我们还验证了其在StyleGAN2中的应用潜力。
代码仓库
EndlessSora/focal-frequency-loss
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-to-image-translation-on-cityscapes | SPADE + FFL | FID: 59.5 Per-pixel Accuracy: 82.5% mIoU: 64.2 |