4 个月前

Patch Craft:基于深度建模和补丁匹配的视频降噪

Patch Craft:基于深度建模和补丁匹配的视频降噪

摘要

自然图像的非局部自相似性特性已被广泛用于解决各种图像处理问题。在视频序列中,利用这一特性更加有益,因为存在时间冗余。在图像和视频去噪的背景下,许多传统算法利用了自相似性,将数据分割为重叠的块(patch),收集相似的块组并以某种方式对这些组进行处理。随着卷积神经网络(CNN)的出现,基于块的方法已经被放弃。大多数CNN去噪器在整个图像上操作,通过使用较大的感受野来隐式地利用非局部关系。本文提出了一种新的方法,在视频去噪中利用自相似性,同时仍然依赖常规的卷积架构。我们引入了“拼接帧”(patch-craft frames)的概念——这些人工帧与真实帧相似,由匹配的块拼接而成。我们的算法通过添加拼接帧来增强视频序列,并将其输入到CNN中。实验结果表明,所提出的这种方法显著提高了去噪性能。

代码仓库

grishavak/PaCNet-denoiser
官方
pytorch
GitHub 中提及

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Patch Craft:基于深度建模和补丁匹配的视频降噪 | 论文 | HyperAI超神经