4 个月前

盲超分辨率的交替优化展开

盲超分辨率的交替优化展开

摘要

以往的方法将盲超分辨率(SR)问题分解为两个连续的步骤:\textit{i}) 从给定的低分辨率(LR)图像中估计模糊核;\textit{ii}) 基于估计的模糊核恢复超分辨率图像。这种两步解决方案涉及两个独立训练的模型,它们之间可能不完全兼容。第一步中的小误差可能会导致第二步性能大幅下降。另一方面,第一步只能利用LR图像中的有限信息,这使得预测高精度模糊核变得困难。针对这些问题,我们没有将这两个步骤分开考虑,而是采用了交替优化算法,在单个模型中同时估计模糊核并恢复超分辨率图像。具体而言,我们设计了两个卷积神经模块,分别命名为\textit{恢复器}(Restorer)和\textit{估计器}(Estimator)。\textit{恢复器}基于预测的模糊核恢复超分辨率图像,而\textit{估计器}则在恢复的超分辨率图像的帮助下估计模糊核。我们反复交替这两个模块,并展开这一过程以形成一个端到端可训练的网络。通过这种方式,\textit{估计器}可以利用LR和SR图像的信息,从而使得模糊核的估计更加容易。更重要的是,\textit{恢复器}是使用由\textit{估计器}估计的模糊核进行训练的,而不是使用真实的模糊核,因此\textit{恢复器}对\textit{估计器}的估计误差具有更高的容忍度。在合成数据集和真实世界图像上的大量实验表明,我们的模型在很大程度上优于现有最先进方法,并且能够在更高速度下产生更令人满意的视觉效果。源代码可在以下地址获取:https://github.com/greatlog/DAN.git。

代码仓库

greatlog/DAN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
blind-super-resolution-on-bsd100-2x-upscalingDAN
PSNR: 31.76
SSIM: 0.8858
blind-super-resolution-on-bsd100-4x-upscalingDAN
PSNR: 27.51
SSIM: 0.7248
blind-super-resolution-on-div2krk-2xDAN
PSNR: 32.56
SSIM: 0.8997
blind-super-resolution-on-div2krk-4xDANv1
PSNR: 27.55
SSIM: 0.7582
blind-super-resolution-on-manga109-2xDAN
PSNR: 37.23
SSIM: 0.971
blind-super-resolution-on-manga109-4xDAN
PSNR: 30.5
SSIM: 0.9037
blind-super-resolution-on-set14-2x-upscalingDAN
PSNR: 33.07
SSIM: 0.9068
blind-super-resolution-on-set14-4x-upscalingDAN
PSNR: 28.43
SSIM: 0.7693
blind-super-resolution-on-set5-2x-upscalingDAN
PSNR: 37.33
SSIM: 0.9526
blind-super-resolution-on-set5-4x-upscalingDAN
PSNR: 31.89
SSIM: 0.8864
blind-super-resolution-on-urban100-2xDAN
PSNR: 30.6
SSIM: 0.902
blind-super-resolution-on-urban100-4xDAN
PSNR: 25.86
SSIM: 0.7721

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
盲超分辨率的交替优化展开 | 论文 | HyperAI超神经