
摘要
尽管图像恢复领域最近取得了显著进展,但最先进(SOTA)方法的系统复杂度也在不断增加,这可能会阻碍方法的便捷分析和比较。在本文中,我们提出了一种简单基线模型,该模型不仅超越了现有的最先进方法,而且计算效率更高。为了进一步简化基线模型,我们发现非线性激活函数(如Sigmoid、ReLU、GELU、Softmax等)并非必要:它们可以用乘法替代或完全移除。因此,我们从基线模型中推导出一种无非线性激活函数的网络,即NAFNet(Nonlinear Activation Free Network)。在多个具有挑战性的基准测试中,NAFNet取得了最先进水平的结果,例如在GoPro数据集上(用于图像去模糊),其PSNR值达到33.69 dB,比之前的最先进方法高出0.38 dB,而计算成本仅为前者的8.4%;在SIDD数据集上(用于图像去噪),其PSNR值达到40.30 dB,比之前的最先进方法高出0.28 dB,且计算成本不到前者的50%。代码和预训练模型已发布在https://github.com/megvii-research/NAFNet。
代码仓库
megvii-research/TLC
pytorch
GitHub 中提及
murufeng/FUIR
pytorch
megvii-research/NAFNet
官方
pytorch
GitHub 中提及
setsunil/dsdnet
pytorch
GitHub 中提及
dhryougit/afm
pytorch
GitHub 中提及
rflepp/efficient_mobile_denoising_models
tf
GitHub 中提及
dhryougit/learning-to-translate-noise
pytorch
GitHub 中提及
dslisleedh/NAFNet-tensorflow2
tf
GitHub 中提及
megvii-research/tlsc
pytorch
GitHub 中提及
dslisleedh/NAFNet-flax
jax
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| deblurring-on-based | NAFNet (REDS) | ERQAv2.0: 0.74508 LPIPS: 0.08561 PSNR: 30.54803 SSIM: 0.95035 Subjective: 2.8405 VMAF: 66.85941 |
| deblurring-on-gopro | NAFNet | PSNR: 33.69 SSIM: 0.967 |
| image-deblurring-on-gopro | NAFNet - TLC | PSNR: 33.69 Params (M): 67.89 SSIM: 0.967 |
| image-denoising-on-sidd | NAFNet | PSNR (sRGB): 40.30 SSIM (sRGB): 0.961 |
| single-image-desnowing-on-csd | NAFNet | Average PSNR (dB): 35.13 |