3 个月前

面向感知的单图像超分辨率:基于最优目标估计

面向感知的单图像超分辨率:基于最优目标估计

摘要

基于感知损失和对抗性损失训练的单图像超分辨率(SISR)网络,相较于采用以失真为导向的损失函数(如L1或L2)的网络,能够生成对比度更高的输出结果。然而,已有研究表明,仅使用单一感知损失难以准确恢复图像中局部变化多样、结构复杂的形状,常导致产生不期望的伪影或不自然的细节。为此,研究者尝试结合多种损失函数,如感知损失、对抗性损失与失真损失,但如何选取最优的损失组合仍是一个具有挑战性的问题。针对这一问题,本文提出一种新型SISR框架,该框架能够为图像的不同区域自适应地分配最优目标函数,从而在高分辨率输出的整体区域内生成更为合理的结果。具体而言,该框架包含两个模型:一是预测模型,用于根据给定的低分辨率(LR)输入推断出最优目标函数分布图;二是生成模型,根据目标函数分布图生成相应的高分辨率(SR)输出。生成模型在本文提出的“目标轨迹”(objective trajectory)上进行训练,该轨迹代表一组关键的损失目标,使得单一网络能够学习到对应于不同损失组合的多样化超分辨率结果。预测模型则通过低分辨率图像与其对应最优目标分布图的配对数据进行训练,这些最优目标分布图是从目标轨迹中搜索得到的。在五个基准数据集上的实验结果表明,所提方法在LPIPS、DISTS、PSNR和SSIM等指标上均优于当前最先进的感知驱动型超分辨率方法。视觉效果对比进一步验证了本方法在感知质量导向的图像重建方面具有显著优势。相关代码与模型已开源,地址为:https://github.com/seungho-snu/SROOE。

代码仓库

seungho-snu/SROOE
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-bsd100-4x-upscalingSROOE
LPIPS: 0.1500
PSNR: 24.87
SSIM: 0.6869
image-super-resolution-on-div2k-val-4xSROOE
DISTS: 0.0491
LPIPS: 0.0957
LRPSNR: 50.80
PSNR: 27.69
SSIM: 0.7932
image-super-resolution-on-general100-4xSROOE
DISTS: 0.0795
LPIPS: 0.0753
LR-PSNR: 50.11
PSNR: 28.74
SSIM: 0.8297
image-super-resolution-on-manga109-4xSROOE
DISTS: 0.0351
LPIPS: 0.0524
LR-PSNR: 48.77
PSNR: 28.08
SSIM: 0.8554
image-super-resolution-on-urban100-4xSROOE
DISTS: 0.0764
LPIPS: 0.1065
LR-PSNR: 48.32
PSNR: 24.33
SSIM: 0.7707

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向感知的单图像超分辨率:基于最优目标估计 | 论文 | HyperAI超神经