3 个月前

DynaVSR:动态自适应盲视频超分辨率

DynaVSR:动态自适应盲视频超分辨率

摘要

大多数传统的监督式超分辨率(SR)算法假设低分辨率(LR)图像由高分辨率(HR)图像通过一个固定且已知的下采样核进行下采样得到,然而这一假设在实际场景中往往并不成立。近年来,一些无监督超分辨率(blind SR)算法被提出,旨在为每张输入的低分辨率图像估计不同的下采样核。然而,这些方法通常计算开销巨大,难以直接应用于视频超分辨率任务。为此,本文提出了一种新型基于元学习的视频超分辨率框架——DynaVSR,该框架专为真实世界视频超分辨率设计,能够高效地估计下采样模型并自适应地适配当前输入。具体而言,我们训练了一个多帧下采样模块,该模块使用多种类型的合成模糊核进行训练,并与视频超分辨率网络无缝集成,实现输入感知的自适应能力。实验结果表明,DynaVSR显著提升了当前最先进的视频超分辨率模型的性能,同时推理速度比现有的无监督超分辨率方法快一个数量级。

代码仓库

esw0116/DynaVSR
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
video-super-resolution-on-msu-video-upscalersDynaVSR
PSNR: 26.12
SSIM: 0.916
VMAF: 56.86
video-super-resolution-on-msu-vsr-benchmarkDynaVSR-R
1 - LPIPS: 0.884
ERQAv1.0: 0.709
FPS: 0.177
PSNR: 28.377
QRCRv1.0: 0.557
SSIM: 0.865
Subjective score: 6.136
video-super-resolution-on-msu-vsr-benchmarkDynaVSR-V
1 - LPIPS: 0.859
ERQAv1.0: 0.643
FPS: 0.15
PSNR: 29.011
QRCRv1.0: 0.549
SSIM: 0.864
Subjective score: 4.359

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DynaVSR:动态自适应盲视频超分辨率 | 论文 | HyperAI超神经