4 个月前

ReLaX-VQA:用于增强视频质量评估的残差片段和层堆提取方法

ReLaX-VQA:用于增强视频质量评估的残差片段和层堆提取方法

摘要

随着用户生成内容(UGC)在用户与分享平台之间快速交换,对野生环境中的视频质量评估的需求日益凸显。UGC通常使用消费级设备获取,并在到达最终用户之前经历多轮压缩(转码)。因此,传统的以原始内容为参考的质量评估指标不再适用。本文提出了一种新的无参考视频质量评估(NR-VQA)模型——ReLaX-VQA,旨在解决在没有原始未压缩视频作为参考的情况下评估多样化视频内容质量的挑战。ReLaX-VQA通过帧差来智能选择时空片段,并结合采样帧的不同空间特征表达,从而更好地捕捉相邻帧的空间和时间变化。此外,该模型通过在深度神经网络中采用层叠技术,从残差网络和视觉变换器中提取特征,增强了抽象能力。在四个UGC数据集上的广泛测试表明,ReLaX-VQA始终优于现有的NR-VQA方法,平均SRCC达到0.8658,PLCC达到0.8873。开源代码和训练好的模型可促进NR-VQA领域的进一步研究和应用,相关资源可在https://github.com/xinyiW915/ReLaX-VQA 获取。

代码仓库

xinyiw915/relax-vqa
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
video-quality-assessment-on-konvid-1kReLaX-VQA (trained on LSVQ only)
PLCC: 0.8427
video-quality-assessment-on-konvid-1kReLaX-VQA
PLCC: 0.8473
video-quality-assessment-on-konvid-1kReLaX-VQA (finetuned on KoNViD-1k)
PLCC: 0.8668
video-quality-assessment-on-live-vqcReLaX-VQA (finetuned on LIVE-VQC)
PLCC: 0.8876
video-quality-assessment-on-live-vqcReLaX-VQA (trained on LSVQ only)
PLCC: 0.8242
video-quality-assessment-on-live-vqcReLaX-VQA
PLCC: 0.8079
video-quality-assessment-on-youtube-ugcReLaX-VQA (finetuned on YouTube-UGC)
PLCC: 0.8652
video-quality-assessment-on-youtube-ugcReLaX-VQA (trained on LSVQ only)
PLCC: 0.8354
video-quality-assessment-on-youtube-ugcReLaX-VQA
PLCC: 0.8204

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ReLaX-VQA:用于增强视频质量评估的残差片段和层堆提取方法 | 论文 | HyperAI超神经