3 个月前

基于分组空间-时间移位的视频修复简单基线

基于分组空间-时间移位的视频修复简单基线

摘要

视频修复旨在从退化视频中恢复出清晰帧,具有广泛的重要应用价值。其核心在于有效利用帧间信息。然而,现有的深度学习方法通常依赖于复杂的网络结构,如光流估计、可变形卷积以及跨帧自注意力层,导致计算开销高昂。在本研究中,我们提出了一种简单而高效的视频修复框架。该方法基于分组时空移位(grouped spatial-temporal shift)机制,这是一种轻量且直观的技术,能够隐式地捕捉帧间对应关系,实现多帧信息的有效聚合。通过引入分组空间移位,我们显著扩展了有效感受野。结合基础的2D卷积操作,该简洁框架能够高效地整合帧间信息。大量实验表明,该方法在视频去模糊与视频去噪任务上均优于此前的最先进方法,同时计算成本不足其四分之一。结果表明,该方法在保持高质量修复效果的同时,具有显著降低计算开销的潜力。代码已开源,地址为:https://github.com/dasongli1/Shift-Net。

代码仓库

dasongli1/shift-net
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
deblurring-on-dvd-1GShift-Net
PSNR: 34.69
SSIM: 0.969
deblurring-on-goproGShift-Net
PSNR: 35.88
SSIM: 0.979

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于分组空间-时间移位的视频修复简单基线 | 论文 | HyperAI超神经