
摘要
图像恢复任务在重建图像时,需要在空间细节与高层上下文信息之间实现复杂的平衡。本文提出一种新颖的协同设计,能够最优地协调这些相互竞争的目标。我们的核心思想是一种多阶段架构,通过逐步学习退化输入的恢复函数,将整体恢复过程分解为更易处理的步骤。具体而言,模型首先利用编码器-解码器结构学习上下文特征,随后将其与保留局部信息的高分辨率分支进行融合。在每一阶段,我们引入一种新颖的逐像素自适应设计,利用就地监督注意力机制对局部特征进行重新加权。此类多阶段架构的关键在于不同阶段之间的信息交互。为此,我们提出一种双面策略:信息不仅沿时间顺序从早期阶段向后期阶段传递,而且特征处理模块之间还存在横向连接,以避免信息丢失。由此构建的紧密耦合的多阶段架构被命名为MPRNet,在涵盖图像去雨、去模糊和去噪等多种任务的十个数据集上均展现出显著的性能提升。源代码与预训练模型已公开,可访问 https://github.com/swz30/MPRNet。
代码仓库
swz30/MIRNet
pytorch
GitHub 中提及
swz30/mirnetv2
pytorch
GitHub 中提及
swz30/restormer
pytorch
GitHub 中提及
taowangzj/llformer
pytorch
GitHub 中提及
swz30/CycleISP
pytorch
GitHub 中提及
sotiraslab/AgileFormer
pytorch
GitHub 中提及
HDCVLab/MC-Blur-Dataset
pytorch
GitHub 中提及
swz30/MPRNet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| deblurring-on-gopro | MPRNet | PSNR: 32.66 SSIM: 0.959 |
| deblurring-on-hide-trained-on-gopro | MPRNet | PSNR (sRGB): 30.96 Params (M): 20.1 SSIM (sRGB): 0.939 |
| deblurring-on-realblur-j-1 | MPRNet | PSNR (sRGB): 31.76 Params(M): 20.1 SSIM (sRGB): 0.922 |
| deblurring-on-realblur-j-trained-on-gopro | MPRNet | PSNR (sRGB): 28.70 SSIM (sRGB): 0.873 |
| deblurring-on-realblur-r | MPRNet | PSNR (sRGB): 39.31 SSIM (sRGB): 0.972 |
| deblurring-on-realblur-r-trained-on-gopro | MPRNet | PSNR (sRGB): 35.99 SSIM (sRGB): 0.952 |
| deblurring-on-rsblur | MPRNet | Average PSNR: 33.61 |
| image-deblurring-on-gopro | MPRNet | PSNR: 32.66 Params (M): 20.1 SSIM: 0.959 |
| image-denoising-on-dnd | MPRNet | PSNR (sRGB): 39.80 SSIM (sRGB): 0.954 |
| image-denoising-on-sidd | MPRNet | PSNR (sRGB): 39.71 SSIM (sRGB): 0.958 |
| single-image-deraining-on-rain100h | MPRNet | PSNR: 30.41 SSIM: 0.89 |
| single-image-deraining-on-rain100l | MPRNet | PSNR: 36.40 SSIM: 0.965 |
| single-image-deraining-on-test100 | MPRNet | PSNR: 30.27 SSIM: 0.897 |
| single-image-deraining-on-test1200 | MPRNet | PSNR: 32.91 SSIM: 0.916 |
| single-image-deraining-on-test2800 | MPRNet | PSNR: 33.64 SSIM: 0.938 |
| spectral-reconstruction-on-arad-1k | MPRNet | MRAE: 0.1817 PSNR: 33.50 RMSE: 0.0270 |