4 个月前

多场去隔行处理使用可变形卷积残差块和自注意力机制

多场去隔行处理使用可变形卷积残差块和自注意力机制

摘要

尽管深度学习在图像/视频修复和超分辨率领域取得了显著影响,但学术界和工业界对学习型去隔行扫描的关注相对较少。尽管如此,由于退化模型已知且固定,去隔行扫描非常适合从合成数据中进行监督学习。在本文中,我们提出了一种新颖的多场全帧率去隔行扫描网络,该网络将最先进的超分辨率方法应用于去隔行扫描任务。我们的模型使用可变形卷积残差块和自注意力机制,将相邻场的特征对齐到参考场(待去隔行扫描)。大量的实验结果表明,所提出的方法在数值性能和感知性能方面均提供了最先进的去隔行扫描结果。截至本文撰写时,我们的模型在 https://videoprocessing.ai/benchmarks/deinterlacer.html 的全帧率排行榜上排名第一。

基准测试

基准方法指标
video-deinterlacing-on-msu-deinterlacerDfRes (122000 G2e 3)
PSNR: 43.200
SSIM: 0.972
Subjective: 0.862
VMAF: 95.68
video-deinterlacing-on-msu-deinterlacerDfRes (SA)
FPS on CPU: 0.1
PSNR: 43.486
SSIM: 0.972
Subjective: 0.925
VMAF: 95.96
video-deinterlacing-on-msu-deinterlacerDfRes
FPS on CPU: 0.4
PSNR: 40.590
SSIM: 0.971
Subjective: 0.912
VMAF: 95.20

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
多场去隔行处理使用可变形卷积残差块和自注意力机制 | 论文 | HyperAI超神经