3 个月前

多阶段渐进式图像修复

多阶段渐进式图像修复

摘要

图像恢复任务在重建图像时,需要在空间细节与高层上下文信息之间实现复杂的平衡。本文提出一种新颖的协同设计,能够最优地协调这些相互竞争的目标。我们的核心思想是一种多阶段架构,通过逐步学习退化输入的恢复函数,将整体恢复过程分解为更易处理的步骤。具体而言,模型首先利用编码器-解码器结构学习上下文特征,随后将其与保留局部信息的高分辨率分支进行融合。在每一阶段,我们引入一种新颖的逐像素自适应设计,利用就地监督注意力机制对局部特征进行重新加权。此类多阶段架构的关键在于不同阶段之间的信息交互。为此,我们提出一种双面策略:信息不仅沿时间顺序从早期阶段向后期阶段传递,而且特征处理模块之间还存在横向连接,以避免信息丢失。由此构建的紧密耦合的多阶段架构被命名为MPRNet,在涵盖图像去雨、去模糊和去噪等多种任务的十个数据集上均展现出显著的性能提升。源代码与预训练模型已公开,可访问 https://github.com/swz30/MPRNet。

代码仓库

swz30/MIRNet
pytorch
GitHub 中提及
swz30/mirnetv2
pytorch
GitHub 中提及
swz30/restormer
pytorch
GitHub 中提及
taowangzj/llformer
pytorch
GitHub 中提及
swz30/CycleISP
pytorch
GitHub 中提及
sotiraslab/AgileFormer
pytorch
GitHub 中提及
HDCVLab/MC-Blur-Dataset
pytorch
GitHub 中提及
swz30/MPRNet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
deblurring-on-goproMPRNet
PSNR: 32.66
SSIM: 0.959
deblurring-on-hide-trained-on-goproMPRNet
PSNR (sRGB): 30.96
Params (M): 20.1
SSIM (sRGB): 0.939
deblurring-on-realblur-j-1MPRNet
PSNR (sRGB): 31.76
Params(M): 20.1
SSIM (sRGB): 0.922
deblurring-on-realblur-j-trained-on-goproMPRNet
PSNR (sRGB): 28.70
SSIM (sRGB): 0.873
deblurring-on-realblur-rMPRNet
PSNR (sRGB): 39.31
SSIM (sRGB): 0.972
deblurring-on-realblur-r-trained-on-goproMPRNet
PSNR (sRGB): 35.99
SSIM (sRGB): 0.952
deblurring-on-rsblurMPRNet
Average PSNR: 33.61
image-deblurring-on-goproMPRNet
PSNR: 32.66
Params (M): 20.1
SSIM: 0.959
image-denoising-on-dndMPRNet
PSNR (sRGB): 39.80
SSIM (sRGB): 0.954
image-denoising-on-siddMPRNet
PSNR (sRGB): 39.71
SSIM (sRGB): 0.958
single-image-deraining-on-rain100hMPRNet
PSNR: 30.41
SSIM: 0.89
single-image-deraining-on-rain100lMPRNet
PSNR: 36.40
SSIM: 0.965
single-image-deraining-on-test100MPRNet
PSNR: 30.27
SSIM: 0.897
single-image-deraining-on-test1200MPRNet
PSNR: 32.91
SSIM: 0.916
single-image-deraining-on-test2800MPRNet
PSNR: 33.64
SSIM: 0.938
spectral-reconstruction-on-arad-1kMPRNet
MRAE: 0.1817
PSNR: 33.50
RMSE: 0.0270

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
多阶段渐进式图像修复 | 论文 | HyperAI超神经