4 个月前

图像恢复的简单基线方法

图像恢复的简单基线方法

摘要

尽管图像恢复领域最近取得了显著进展,但最先进(SOTA)方法的系统复杂度也在不断增加,这可能会阻碍方法的便捷分析和比较。在本文中,我们提出了一种简单基线模型,该模型不仅超越了现有的最先进方法,而且计算效率更高。为了进一步简化基线模型,我们发现非线性激活函数(如Sigmoid、ReLU、GELU、Softmax等)并非必要:它们可以用乘法替代或完全移除。因此,我们从基线模型中推导出一种无非线性激活函数的网络,即NAFNet(Nonlinear Activation Free Network)。在多个具有挑战性的基准测试中,NAFNet取得了最先进水平的结果,例如在GoPro数据集上(用于图像去模糊),其PSNR值达到33.69 dB,比之前的最先进方法高出0.38 dB,而计算成本仅为前者的8.4%;在SIDD数据集上(用于图像去噪),其PSNR值达到40.30 dB,比之前的最先进方法高出0.28 dB,且计算成本不到前者的50%。代码和预训练模型已发布在https://github.com/megvii-research/NAFNet。

代码仓库

megvii-research/TLC
pytorch
GitHub 中提及
megvii-research/NAFNet
官方
pytorch
GitHub 中提及
setsunil/dsdnet
pytorch
GitHub 中提及
dhryougit/afm
pytorch
GitHub 中提及
megvii-research/tlsc
pytorch
GitHub 中提及
dslisleedh/NAFNet-flax
jax
GitHub 中提及

基准测试

基准方法指标
deblurring-on-basedNAFNet (REDS)
ERQAv2.0: 0.74508
LPIPS: 0.08561
PSNR: 30.54803
SSIM: 0.95035
Subjective: 2.8405
VMAF: 66.85941
deblurring-on-goproNAFNet
PSNR: 33.69
SSIM: 0.967
image-deblurring-on-goproNAFNet - TLC
PSNR: 33.69
Params (M): 67.89
SSIM: 0.967
image-denoising-on-siddNAFNet
PSNR (sRGB): 40.30
SSIM (sRGB): 0.961
single-image-desnowing-on-csdNAFNet
Average PSNR (dB): 35.13

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图像恢复的简单基线方法 | 论文 | HyperAI超神经