3 个月前

基于动态上采样滤波器的深度视频超分辨率网络(无需显式运动补偿)

基于动态上采样滤波器的深度视频超分辨率网络(无需显式运动补偿)

摘要

视频超分辨率(Video Super-Resolution, VSR)近年来变得愈发重要,旨在为超高清显示设备提供高分辨率(High Resolution, HR)内容。尽管已有大量基于深度学习的VSR方法被提出,但大多数方法仍严重依赖运动估计与补偿的准确性。本文提出一种根本不同的VSR框架。我们设计了一种新颖的端到端深度神经网络,该网络能够根据每个像素的局部时空邻域动态生成上采样滤波器与残差图像,从而避免了显式的运动补偿过程。在该方法中,高分辨率图像直接通过动态上采样滤波器从输入图像重构得到,而细微细节则通过计算所得的残差图像进行补充。结合一种新型数据增强技术,所提出的网络在生成高分辨率视频时,不仅显著提升了图像锐度,还有效保持了时间一致性,相较以往方法具有明显优势。此外,我们通过大量实验对网络性能进行了深入分析,揭示了该网络如何隐式地处理运动信息。

基准测试

基准方法指标
video-super-resolution-on-msu-vsr-benchmarkDUF-28L
1 - LPIPS: 0.87
ERQAv1.0: 0.645
FPS: 0.418
PSNR: 25.852
QRCRv1.0: 0.549
SSIM: 0.83
Subjective score: 5.324
video-super-resolution-on-msu-vsr-benchmarkDUF-16L
1 - LPIPS: 0.868
ERQAv1.0: 0.641
FPS: 0.605
PSNR: 24.606
QRCRv1.0: 0.549
SSIM: 0.828
Subjective score: 5.124
video-super-resolution-on-vid4-4x-upscalingVSR-DUF
PSNR: 27.33
SSIM: 0.8319
video-super-resolution-on-vid4-4x-upscaling-1DUF
PSNR: 27.38
SSIM: 0.8329

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于动态上采样滤波器的深度视频超分辨率网络(无需显式运动补偿) | 论文 | HyperAI超神经