4 个月前

协作反馈判别传播用于视频超分辨率

协作反馈判别传播用于视频超分辨率

摘要

现有视频超分辨率(VSR)方法的成功主要归功于探索空间和时间信息,这通常通过一个带有对齐模块的递归传播模块来实现。然而,不准确的对齐通常会导致对齐特征出现显著的伪影,这些伪影在传播过程中会被累积,从而影响视频恢复的质量。此外,传播模块仅向前或向后传播相同时间步的特征,在复杂运动或遮挡的情况下可能会失败,限制了其在高质量帧恢复中的性能。为了解决这些问题,我们提出了一种协作反馈判别(CFD)方法,用于纠正不准确的对齐特征并建模长距离的空间和时间信息,以实现更好的视频重建。具体而言,我们开发了一种判别对齐校正(DAC)方法,自适应地探索信息并减少由不准确对齐引起的伪影的影响。然后,我们提出了一种协作反馈传播(CFP)模块,该模块利用反馈和门控机制同时更好地探索前向和后向传播中不同时间步特征的空间和时间信息。最后,我们将所提出的DAC和CFP嵌入常用的VSR网络中,以验证我们方法的有效性。在多个基准数据集上的定量和定性实验表明,我们的方法可以在保持较低模型复杂度的同时提高现有VSR模型的性能。源代码和预训练模型将在以下网址提供:\url{https://github.com/House-Leo/CFDVSR}。

代码仓库

house-leo/cfdvsr
官方
GitHub 中提及

基准测试

基准方法指标
video-super-resolution-on-vid4-4x-upscalingCFD-PSRT
PSNR: 28.18
SSIM: 0.8503

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
协作反馈判别传播用于视频超分辨率 | 论文 | HyperAI超神经