3 个月前

从审美与技术双重视角探索用户生成内容的视频质量评估

从审美与技术双重视角探索用户生成内容的视频质量评估

摘要

用户生成内容(UGC)视频的迅猛增长,对高效视频质量评估(VQA)算法的发展提出了迫切需求。然而,UGC-VQA问题的评估目标仍不够明确,可从两个视角理解:技术视角,即衡量失真感知;美学视角,即与内容偏好和推荐相关。为深入探究这两个视角如何共同影响用户对UGC视频的整体主观评价,我们开展了一项大规模主观实验,系统收集了人们对视频整体质量的主观评分,以及从美学和技术两个维度的感知数据。由此构建的解耦视频质量数据库(DIVIDE-3k)证实,人类对UGC视频的质量判断不可避免地同时受到美学与技术双重视角的影响。基于这一发现,我们提出一种新型客观视频质量评估模型——解耦式客观视频质量评估器(DOVER),该模型能够分别从美学与技术两个视角建模UGC视频的质量。DOVER在UGC-VQA任务中展现出当前最优的性能表现,同时具备极高的计算效率。进一步地,依托DIVIDE-3k中分离的视角评分,我们提出DOVER++,这是首个能够仅基于单一美学或技术视角,提供可靠且清晰区分的质量评估方法。相关代码已开源,详见:https://github.com/VQAssessment/DOVER。

代码仓库

QualityAssessment/DOVER
官方
pytorch
GitHub 中提及
vqassessment/dover
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
video-quality-assessment-on-konvid-1kDOVER (end-to-end)
PLCC: 0.905
video-quality-assessment-on-konvid-1kDOVER (head-only)
PLCC: 0.894
video-quality-assessment-on-live-fb-lsvqDOVER
PLCC: 0.889
video-quality-assessment-on-live-vqcDOVER (end-to-end)
PLCC: 0.874
video-quality-assessment-on-live-vqcDOVER (head-only)
PLCC: 0.863
video-quality-assessment-on-msu-video-qualityDOVER
KLCC: 0.7216
PLCC: 0.9099
SRCC: 0.8871
Type: NR
video-quality-assessment-on-youtube-ugcDOVER (end-to-end)
PLCC: 0.874
video-quality-assessment-on-youtube-ugcDOVER (head-only)
PLCC: 0.862

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
从审美与技术双重视角探索用户生成内容的视频质量评估 | 论文 | HyperAI超神经