3 个月前

基于深度学习的无参考质量评估模型用于UGC视频

基于深度学习的无参考质量评估模型用于UGC视频

摘要

用户生成内容(User Generated Content, UGC)视频的质量评估在保障终端用户观看体验方面具有重要作用。以往的UGC视频质量评估(VQA)研究通常采用图像识别模型或图像质量评估(IQA)模型,从视频帧中提取帧级特征以进行质量回归。然而,由于这些任务与UGC VQA任务之间存在显著的域偏移(domain shift),此类方法被视为次优方案。本文提出了一种简洁而高效的UGC VQA模型,旨在通过端到端训练空间特征提取网络,直接从视频帧的原始像素中学习具有质量感知能力的空间特征表示,从而缓解上述问题。同时,为建模空间特征无法捕捉的时序相关失真,我们进一步提取运动特征。所提模型采用极稀疏帧提取空间特征,并利用高密度帧(即视频片段)以极低的空间分辨率提取运动特征,从而实现较低的计算复杂度。基于更优的质量感知特征,我们仅采用简单的多层感知机(MLP)网络将特征回归为片段级质量得分,并通过时序平均池化策略获得视频级质量评分。此外,为解决跨不同空间分辨率的VQA问题,我们引入了一种多尺度质量融合策略,其多尺度权重由人类视觉系统的对比敏感度函数(Contrast Sensitivity Function, CSF)推导得出。实验结果表明,所提模型在五个主流UGC VQA数据集上均取得了最优性能,充分验证了其有效性。相关代码将公开发布。

代码仓库

sunwei925/SimpleVQA
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
video-quality-assessment-on-konvid-1kSimpleVQA
PLCC: 0.860
video-quality-assessment-on-live-fb-lsvqSimpleVQA
PLCC: 0.861
video-quality-assessment-on-youtube-ugcSimpleVQA
PLCC: 0.856

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于深度学习的无参考质量评估模型用于UGC视频 | 论文 | HyperAI超神经