3 个月前

用于压缩视频质量增强的时空可变形卷积

用于压缩视频质量增强的时空可变形卷积

摘要

近年来,深度学习方法在压缩视频质量增强方面取得了显著进展。为更有效地挖掘时序信息,现有方法通常通过估计光流实现时序运动补偿。然而,由于压缩视频受到多种压缩伪影的严重干扰,导致估计的光流往往不准确且不可靠,从而限制了质量增强的效果。此外,传统方法通常以成对方式对连续帧进行光流估计,计算成本高且效率低下。针对上述问题,本文提出一种快速而高效的质量增强方法,通过引入一种新颖的时空可变形融合(Spatio-Temporal Deformable Fusion, STDF)机制,实现时序信息的有效聚合。具体而言,所提出的STDF以目标帧及其邻近参考帧作为输入,联合预测一个偏移场,用于对卷积操作的时空采样位置进行变形。由此,目标帧与参考帧之间的互补信息可在一次时空可变形卷积(Spatio-Temporal Deformable Convolution, STDC)操作中完成融合。大量实验结果表明,本方法在质量增强的准确性和效率方面均达到了当前最优水平。

基准测试

基准方法指标
video-enhancement-on-mfqe-v2STDF
Incremental PSNR: 0.83
Parameters(M): 1.28

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于压缩视频质量增强的时空可变形卷积 | 论文 | HyperAI超神经