4 个月前

图像超分辨率的反馈网络

图像超分辨率的反馈网络

摘要

近期在图像超分辨率(SR)领域的进展探索了深度学习在实现更好重建性能方面的潜力。然而,人类视觉系统中普遍存在的反馈机制尚未被现有的基于深度学习的图像超分辨率方法充分利用。本文提出了一种图像超分辨率反馈网络(SRFBN),用于利用高层信息来优化低层表示。具体而言,我们通过在RNN中引入带有约束条件的隐状态来实现这种反馈机制。设计了一个反馈模块以处理反馈连接并生成强大的高层表示。所提出的SRFBN具有强大的早期重建能力,并能够逐步创建最终的高分辨率图像。此外,我们引入了一种课程学习策略,使网络更适合处理更为复杂的任务,即低分辨率图像受到多种退化类型的影响。大量的实验结果表明,与现有最先进方法相比,所提出的SRFBN表现出显著的优势。代码可在https://github.com/Paper99/SRFBN_CVPR19 获取。

代码仓库

tianbaochou/YOUKU-VSRE-2019-49th
pytorch
GitHub 中提及
turboLIU/SRFBN-tensorflow
tf
GitHub 中提及
JihyunLee9805/GMFN
pytorch
GitHub 中提及
Paper99/SRFBN_CVPR19
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-bsd100-2x-upscalingSRFBN
PSNR: 32.29
image-super-resolution-on-bsd100-3x-upscalingSRFBN
PSNR: 29.24
image-super-resolution-on-bsd100-4x-upscalingSRFBN
PSNR: 27.72
SSIM: 0.7409
image-super-resolution-on-ffhq-1024-x-1024-4xSRFBN
FID: 17.14
MS-SSIM: 0.931
PSNR: 27.90
SSIM: 0.822
image-super-resolution-on-ffhq-256-x-256-4xSRFBN
FID: 132.59
MS-SSIM: 0.895
PSNR: 21.96
SSIM: 0.693
image-super-resolution-on-ffhq-512-x-512-4xSRFBN
FED: 0.0984
FID: 20.032
LLE: 2.066
LPIPS: 0.2406
MS-SSIM: 0.953
NIQE: 13.901
PSNR: 29.577
SSIM: 0.827
image-super-resolution-on-manga109-2xSRFBN
PSNR: 39.08
image-super-resolution-on-manga109-3xSRFBN
PSNR: 34.18
image-super-resolution-on-manga109-4xSRFBN
PSNR: 31.15
SSIM: 0.9160
image-super-resolution-on-set14-2x-upscalingSRFBN
PSNR: 33.82
image-super-resolution-on-set14-3x-upscalingSRFBN
PSNR: 30.1
image-super-resolution-on-set14-4x-upscalingSRFBN
PSNR: 28.81
SSIM: 0.7868
image-super-resolution-on-set5-2x-upscalingSRFBN
PSNR: 38.11
image-super-resolution-on-set5-3x-upscalingSRFBN
PSNR: 34.70
image-super-resolution-on-urban100-2xSRFBN
PSNR: 32.62
image-super-resolution-on-urban100-3xSRFBN
PSNR: 28.73
image-super-resolution-on-urban100-4xSRFBN
PSNR: 26.6
SSIM: 0.8015

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图像超分辨率的反馈网络 | 论文 | HyperAI超神经