3 个月前

通过质量感知预训练与运动感知实现对真实场景视频的质量盲评估

通过质量感知预训练与运动感知实现对真实场景视频的质量盲评估

摘要

在真实场景中获取的视频的感知质量评估,对于保障视频服务质量具有重要意义。由于难以获得具有原始质量的参考视频,且真实场景下的失真类型复杂多样,给盲视频质量评估(Blind Video Quality Assessment, BVQA)任务带来了巨大挑战。尽管基于模型的迁移学习是解决BVQA任务的一种有效且高效的方法,但如何识别并有效弥合不同数据域之间的分布差异,以获得更优的视频表征,仍是亟待解决的问题。在本研究中,我们提出从包含真实失真图像的质量评估(Image Quality Assessment, IQA)数据库,以及具有丰富运动模式的大规模动作识别数据集中迁移知识。我们综合利用这两类数据来学习特征提取器。在目标视频质量评估(VQA)数据库上,采用混合列表级排序损失函数(mixed list-wise ranking loss function)对所提模型进行训练。在六个不同数据库上的大量实验表明,无论是在单一数据库训练还是混合数据库训练的设置下,本方法均表现出优异的性能,具有很强的竞争力。此外,我们验证了所提方法中各组成部分的合理性,并探索了一种简洁有效的改进方式,进一步提升了模型性能。

代码仓库

zwx8981/tcsvt-2022-bvqa
pytorch
GitHub 中提及
zwx8981/BVQA-2021
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
video-quality-assessment-on-konvid-1kBVQA-2022
PLCC: 0.834
video-quality-assessment-on-live-fb-lsvqBVQA-2022
PLCC: 0.854
video-quality-assessment-on-live-vqcBVQA-2022
PLCC: 0.839
video-quality-assessment-on-msu-video-qualityLI
KLCC: 0.7640
PLCC: 0.9270
SRCC: 0.9131
Type: NR
video-quality-assessment-on-youtube-ugcBVQA-2022
PLCC: 0.8178

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过质量感知预训练与运动感知实现对真实场景视频的质量盲评估 | 论文 | HyperAI超神经