4 个月前

具有记忆增强的非局部注意力机制用于视频超分辨率

具有记忆增强的非局部注意力机制用于视频超分辨率

摘要

在本文中,我们提出了一种新颖的视频超分辨率方法,旨在从低分辨率(LR)视频生成高保真高分辨率(HR)视频。以往的方法主要利用时间邻近帧来辅助当前帧的超分辨率处理。这些方法由于空间帧对齐的挑战以及相似低分辨率邻近帧提供的有用信息不足,性能提升有限。相比之下,我们设计了一种跨帧非局部注意力机制,该机制允许在无需帧对齐的情况下进行视频超分辨率处理,从而对视频中的大运动更加鲁棒。此外,为了获取超出邻近帧的信息,我们设计了一种新型的记忆增强注意力模块,在超分辨率训练过程中记忆一般视频细节。实验结果表明,我们的方法在处理大运动视频时,无需对齐帧即可实现优于现有最先进方法的性能。我们将公开源代码。

代码仓库

jiy173/MANA
官方
pytorch

基准测试

基准方法指标
analog-video-restoration-on-tapeMANA
LPIPS: 0.206
PSNR: 27.81
SSIM: 0.843
VMAF: 40.28

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
具有记忆增强的非局部注意力机制用于视频超分辨率 | 论文 | HyperAI超神经