3 个月前

面向学习任务的流机制以相互引导合成与真实视频去噪中的特征对齐

面向学习任务的流机制以相互引导合成与真实视频去噪中的特征对齐

摘要

视频去噪旨在从含噪视频中恢复出清晰的视频内容。已有研究指出,通过利用相邻帧提供的时空上下文信息,光流可以有效辅助去噪。然而,光流估计本身对噪声较为敏感,在噪声水平较高时可能失效,从而影响去噪效果。为此,本文提出一种新型的多尺度精细化光流引导视频去噪方法,该方法在不同噪声水平下均表现出更强的鲁棒性。所提方法主要由两个模块构成:面向去噪的光流精炼(Denoising-oriented Flow Refinement, DFR)模块,以及光流引导的互信息去噪传播(Flow-guided Mutual Denoising Propagation, FMDP)模块。与以往直接采用现成光流结果的方法不同,DFR首先学习具有鲁棒性的多尺度光流,而FMDP则通过从低分辨率到高分辨率逐步引入并精炼光流信息,实现更有效的光流引导。结合真实噪声退化建模,所提出的多尺度光流引导去噪网络在合成高斯噪声去除和真实视频去噪任务上均达到了当前最优性能。相关代码将公开发布。

基准测试

基准方法指标
video-denoising-on-davis-sigma10ReViD
PSNR: 41.03
video-denoising-on-davis-sigma20ReViD
PSNR: 38.5
video-denoising-on-davis-sigma30ReViD
PSNR: 36.97
video-denoising-on-davis-sigma40ReViD
PSNR: 35.83
video-denoising-on-davis-sigma50ReViD
PSNR: 34.9
video-denoising-on-set8-sigma10ReViD
PSNR: 38.07
video-denoising-on-set8-sigma20ReViD
PSNR: 35.35
video-denoising-on-set8-sigma30ReViD
PSNR: 33.78
video-denoising-on-set8-sigma40ReViD
PSNR: 32.66
video-denoising-on-set8-sigma50ReViD
PSNR: 31.77
video-denoising-on-videolqRealBasicVSR
BRISQUE: 29.2103
NIQE: 4.2167
PIQE: 48.0369
video-denoising-on-videolqReViD
BRISQUE: 29.0212
NIQE: 4.0205
PIQE: 45.0768

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向学习任务的流机制以相互引导合成与真实视频去噪中的特征对齐 | 论文 | HyperAI超神经