
摘要
本工作针对感知超分辨率(Perceptual Super-Resolution, SR)中的保真度目标展开研究。具体而言,我们聚焦于基于生成对抗网络(GAN)的超分辨率框架中,像素级 $L_\text{p}$ 损失($\mathcal{L}\text{pix}$)所存在的固有缺陷。众所周知,$\mathcal{L}\text{pix}$ 与感知质量之间存在权衡关系,因此以往方法通常采用乘以较小缩放因子或引入低通滤波器等间接手段进行缓解。然而,本工作指出,这些方法未能触及导致模糊现象的根本原因。为此,我们提出两个关键思路:1)精确识别 $\mathcal{L}\text{pix}$ 中导致模糊的子成分;2)仅基于不受该权衡关系影响的因子进行引导。我们发现,这一目标可通过一种预先使用 $\mathcal{L}\text{pix}$ 训练的自编码器(Auto-Encoder, AE)以出人意料的简洁方式实现。据此,我们提出一种新型损失函数——自编码引导最优惩罚损失(Auto-Encoded Supervision for Optimal Penalization, $L_\text{AESOP}$),该损失在自编码器的解码器输出空间(而非瓶颈层)中度量特征距离,而非直接在原始像素空间中进行。通过简单地将 $\mathcal{L}\text{pix}$ 替换为 $L\text{AESOP}$,即可在不损害感知质量的前提下,提供高效且精确的重建指导。本方法设计简洁,易于集成至现有超分辨率框架中。实验结果表明,AESOP 能够在感知超分辨率任务中取得优异性能。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-super-resolution-on-bsd100-4x-upscaling | AESOP | DISTS: 0.1072 LPIPS: 0.1385 PSNR: 25.93 SSIM: 0.6813 |
| image-super-resolution-on-div2k-val-4x | AESOP | DISTS: 0.0459 LPIPS: 0.0893 PSNR: 29.137 SSIM: 0.8023 |
| image-super-resolution-on-general-100-4x | AESOP | DISTS: 0.0762 LPIPS: 0.071 PSNR: 30.401 SSIM: 0.8328 |
| image-super-resolution-on-manga109-4x | AESOP | DISTS: 0.0328 LPIPS: 0.0461 PSNR: 30.061 SSIM: 0.888 |
| image-super-resolution-on-set14-4x-upscaling | AESOP | DISTS: 0.0819 LPIPS: 0.1027 PSNR: 27.421 SSIM: 0.7438 |
| image-super-resolution-on-urban100-4x | AESOP | DISTS: 0.0742 LPIPS: 0.0945 PSNR: 26.148 SSIM: 0.7884 |