3 个月前

用于图像重建与合成的焦点频率损失

用于图像重建与合成的焦点频率损失

摘要

图像重建与合成得益于生成模型的发展取得了显著进展。然而,在频域上,真实图像与生成图像之间仍可能存在差距。本研究表明,缩小频域上的差异可进一步提升图像重建与合成的质量。为此,我们提出一种新型的焦点频域损失(focal frequency loss),该损失函数能够自适应地聚焦于难以生成的频率成分,同时对易于合成的成分进行加权抑制。这一目标函数与现有的空间域损失相辅相成,有效缓解了神经网络固有偏差导致的重要频域信息丢失问题。实验结果表明,该焦点频域损失在提升多种主流模型(如VAE、pix2pix和SPADE)的感知质量与定量性能方面均展现出优异的通用性与有效性。此外,我们还验证了其在StyleGAN2中的应用潜力。

代码仓库

EndlessSora/focal-frequency-loss
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-to-image-translation-on-cityscapesSPADE + FFL
FID: 59.5
Per-pixel Accuracy: 82.5%
mIoU: 64.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于图像重建与合成的焦点频率损失 | 论文 | HyperAI超神经