
摘要
自然图像的非局部自相似性特性已被广泛用于解决各种图像处理问题。在视频序列中,利用这一特性更加有益,因为存在时间冗余。在图像和视频去噪的背景下,许多传统算法利用了自相似性,将数据分割为重叠的块(patch),收集相似的块组并以某种方式对这些组进行处理。随着卷积神经网络(CNN)的出现,基于块的方法已经被放弃。大多数CNN去噪器在整个图像上操作,通过使用较大的感受野来隐式地利用非局部关系。本文提出了一种新的方法,在视频去噪中利用自相似性,同时仍然依赖常规的卷积架构。我们引入了“拼接帧”(patch-craft frames)的概念——这些人工帧与真实帧相似,由匹配的块拼接而成。我们的算法通过添加拼接帧来增强视频序列,并将其输入到CNN中。实验结果表明,所提出的这种方法显著提高了去噪性能。
代码仓库
grishavak/PaCNet-denoiser
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| color-image-denoising-on-cbsd68-sigma15 | PaCNet | PSNR: 33.95 |
| color-image-denoising-on-cbsd68-sigma25 | PaCNet | PSNR: 31.22 |
| color-image-denoising-on-cbsd68-sigma50 | PaCNet | PSNR: 27.93 |
| video-denoising-on-davis-sigma10 | PaCNet | PSNR: 39.97 |
| video-denoising-on-davis-sigma20 | PaCNet | PSNR: 36.82 |
| video-denoising-on-davis-sigma30 | PaCNet | PSNR: 34.79 |
| video-denoising-on-davis-sigma40 | PaCNet | PSNR: 33.34 |
| video-denoising-on-davis-sigma50 | PaCNet | PSNR: 32.2 |
| video-denoising-on-set8-sigma10 | PaCNet | PSNR: 37.06 |
| video-denoising-on-set8-sigma20 | PaCNet | PSNR: 33.94 |
| video-denoising-on-set8-sigma30 | PaCNet | PSNR: 32.05 |
| video-denoising-on-set8-sigma40 | PaCNet | PSNR: 30.7 |
| video-denoising-on-set8-sigma50 | PaCNet | PSNR: 29.66 |