3 个月前

AdaRevD:自适应块退出可逆解码器推动图像去模糊的极限

AdaRevD:自适应块退出可逆解码器推动图像去模糊的极限

摘要

尽管图像去模糊技术近年来取得了显著进展,但受限于解码能力的不足,当前最先进(SOTA)方法的性能仍面临上限。本文提出了一项开创性工作——自适应块级退出可逆解码器(Adaptive Patch Exiting Reversible Decoder, AdaRevD),旨在探索并突破现有方法在解码能力上的瓶颈。通过继承预训练编码器的权重,我们重构了一个可逆解码器,实现了从单解码器训练向多解码器训练的高效扩展,同时保持对GPU显存的友好性。此外,我们的可逆结构能够逐步从紧凑的退化表征中解耦出高层退化程度与低层模糊模式(即模糊图像与其清晰对应图像之间的残差)。考虑到空间变化的运动模糊核导致不同图像块具有不同的去模糊难度,我们进一步引入一个分类器,用于学习图像块的退化程度,从而实现不同块在不同子解码器中的自适应退出,显著提升推理效率。实验结果表明,所提出的AdaRevD有效突破了图像去模糊的性能极限,在GoPro数据集上实现了34.60 dB的PSNR,显著优于现有方法。

代码仓库

INVOKERer/AdaRevD
官方
pytorch
INVOKERer/LoFormer
pytorch
GitHub 中提及
invokerer/deeprft
pytorch
GitHub 中提及

基准测试

基准方法指标
deblurring-on-goproAdaRevD
PSNR: 34.6
SSIM: 0.972
deblurring-on-hide-trained-on-goproAdaRevD
PSNR (sRGB): 32.35
SSIM (sRGB): 0.953
deblurring-on-realblur-j-1AdaRevD
PSNR (sRGB): 33.96
SSIM (sRGB): 0.944
deblurring-on-realblur-j-trained-on-goproAdaRevD
PSNR (sRGB): 30.12
SSIM (sRGB): 0.894
deblurring-on-realblur-rAdaRevD
PSNR (sRGB): 41.19
SSIM (sRGB): 0.979
deblurring-on-realblur-r-trained-on-goproAdaRevD
PSNR (sRGB): 36.53
SSIM (sRGB): 0.957
image-deblurring-on-goproAdaRevD
PSNR: 34.6
SSIM: 0.972
image-deblurring-on-hideAdaRevD
PSNR: 32.35
SSIM: 0.953

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
AdaRevD:自适应块退出可逆解码器推动图像去模糊的极限 | 论文 | HyperAI超神经