3 个月前

UGC-VQA:面向用户生成内容的盲视频质量评估基准测试

UGC-VQA:面向用户生成内容的盲视频质量评估基准测试

摘要

近年来,得益于价格实惠且性能可靠的消费级视频采集设备的不断发展,以及社交媒体平台的迅猛普及,用户生成内容(User-Generated Content, UGC)视频在互联网上的分享与流媒体传播呈现出爆发式增长。为此,亟需开发准确的视频质量评估(Video Quality Assessment, VQA)模型,以对海量UGC/消费级视频内容进行有效监控、控制与优化。然而,针对真实场景中自然采集视频(in-the-wild videos)的盲质量预测任务极具挑战性,因为UGC内容的质量退化通常具有不可预测性、复杂性,且常多种退化因素交织混杂。本文通过在一个统一的评估架构下,对当前主流的无参考/盲视频质量评估(Blind VQA, BVQA)特征与模型进行全面评估,为推进UGC-VQA问题的研究贡献了新的实证洞察,不仅深化了对主观视频质量感知规律的理解,也为VQA模型的设计提供了重要参考。在此基础上,我们采用特征选择策略,从领先模型所使用的763个统计特征中筛选出60个最具代表性的特征,构建了一种新型融合型盲视频质量评估模型,命名为VIDeo quality EVALuator(VIDEVAL)。该模型在保证优异评估性能的同时,显著提升了计算效率,有效平衡了VQA性能与计算开销之间的权衡。实验结果表明,VIDEVAL在保持领先性能的前提下,相较其他先进模型实现了显著更低的计算成本,达到了当前最优的性能-效率比。此外,本研究提出了一套标准化的评估协议,为UGC-VQA问题建立了一个可靠且可复现的基准测试平台。我们相信,该基准将有力推动基于深度学习的VQA建模研究,以及面向感知优化的高效UGC视频处理、转码与流媒体传输技术的发展。为促进研究的可复现性与公开评估,VIDEVAL的完整实现已开源发布,访问地址为:https://github.com/tu184044109/VIDEVAL_release。

代码仓库

vztu/VIDEVAL
GitHub 中提及
tu184044109/BVQA_Benchmark
pytorch
GitHub 中提及
vztu/BVQA_Benchmark
pytorch
GitHub 中提及
vztu/VIDEVAL_release
GitHub 中提及
tu184044109/VIDEVAL_release
官方
GitHub 中提及

基准测试

基准方法指标
video-quality-assessment-on-konvid-1kVIDEVAL
PLCC: 0.7803
video-quality-assessment-on-live-fb-lsvqVIDEVAL
PLCC: 0.783
video-quality-assessment-on-live-vqcVIDEVAL
PLCC: 0.7514
video-quality-assessment-on-msu-video-qualityVIDEVAL
KLCC: 0.5414
PLCC: 0.7717
SRCC: 0.7286
Type: NR
video-quality-assessment-on-youtube-ugcVIDEVAL
PLCC: 0.7733

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供