3 个月前

基于跨尺度非局部注意力与全面自样本挖掘的图像超分辨率

基于跨尺度非局部注意力与全面自样本挖掘的图像超分辨率

摘要

基于深度卷积的单图像超分辨率(SISR)网络能够从大规模外部图像资源中学习局部重建特征,从而获得显著性能提升。然而,现有大多数方法忽略了自然图像中广泛存在的长程特征相似性。尽管一些近期工作通过引入非局部注意力模块成功利用了图像内在的特征相关性,但当前的深度模型尚未探索图像的另一项固有特性:跨尺度特征相关性。本文首次提出一种集成于循环神经网络中的跨尺度非局部(Cross-Scale Non-Local, CS-NL)注意力模块。通过在强大的循环融合单元中结合新的CS-NL先验,以及局部和同尺度非局部先验,我们能够在单张低分辨率(LR)图像内部更有效地挖掘跨尺度特征关联。通过充分整合所有可能的先验信息,SISR性能得到显著提升。大量实验表明,所提出的CS-NL模块在多个SISR基准测试上取得了新的最优性能,确立了当前最先进的技术水平。

代码仓库

SHI-Labs/Cross-Scale-Non-Local-Attention
官方
pytorch
GitHub 中提及
Lornatang/CSNLN-PyTorch
pytorch
GitHub 中提及
nSamsow/CSNLN-new
pytorch
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-bsd100-2x-upscalingCSNLN
PSNR: 32.4
SSIM: 0.9024
image-super-resolution-on-bsd100-3x-upscalingCSNLN
PSNR: 29.33
SSIM: 0.8105
image-super-resolution-on-bsd100-4x-upscalingCSNLN
PSNR: 27.8
SSIM: 0.7439
image-super-resolution-on-manga109-2xCSNLN
PSNR: 39.37
SSIM: 0.9785
image-super-resolution-on-manga109-3xCSNLN
PSNR: 34.45
SSIM: 0.9502
image-super-resolution-on-manga109-4xCSNLN
PSNR: 31.43
SSIM: 0.9201
image-super-resolution-on-set14-2x-upscalingCSNLN
PSNR: 34.12
SSIM: 0.9223
image-super-resolution-on-set14-3x-upscalingCSNLN
PSNR: 30.66
SSIM: 0.8482
image-super-resolution-on-set14-4x-upscalingCSNLN
PSNR: 28.95
SSIM: 0.7888
image-super-resolution-on-set5-2x-upscalingCSNLN
PSNR: 38.28
SSIM: 0.9616
image-super-resolution-on-set5-3x-upscalingCSNLN
PSNR: 34.74
SSIM: 0.9300
image-super-resolution-on-urban100-2xCSNLN
PSNR: 33.25
SSIM: 0.9386
image-super-resolution-on-urban100-3xCSNLN
PSNR: 29.13
SSIM: 0.8712
image-super-resolution-on-urban100-4xCSNLN
PSNR: 27.22
SSIM: 0.8168

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于跨尺度非局部注意力与全面自样本挖掘的图像超分辨率 | 论文 | HyperAI超神经