3 个月前

基于时空显著性的时序映射

基于时空显著性的时序映射

摘要

我们提出一种新方法,能够在保留原始视频关键时刻的前提下,从高帧率(HFR)输入生成常规帧率、低帧率(LFR)视频。我们称此方法为“时间映射”(time-mapping),它是对高动态范围到低动态范围空间色调映射(spatial tone-mapping)的一种时间域类比。本方法主要贡献如下:(1)提出一种鲁棒的时空显著性方法,用于评估视觉重要性;(2)设计一种重定时技术,基于帧的重要性进行时间域重采样;(3)引入时间滤波器,以增强显著运动的渲染效果。在基准数据集上的实验结果表明,我们的时空显著性方法达到了当前最优水平。此外,用户研究表明,相较于更为直接的方法,本方法在高帧率向低帧率的时间映射中具有显著优势。

基准测试

基准方法指标
video-salient-object-detection-on-davis-2016TIMP
AVERAGE MAE: 0.185
MAX E-MEASURE: 0.680
S-Measure: 0.574
video-salient-object-detection-on-davsodTIMP
Average MAE: 0.206
S-Measure: 0.534
max E-Measure: 0.582
video-salient-object-detection-on-davsod-1TIMP
Average MAE: 0.245
S-Measure: 0.503
max E-measure: 0.616
video-salient-object-detection-on-davsod-2TIMP
Average MAE: 0.190
S-Measure: 0.530
max E-measure: 0.665
video-salient-object-detection-on-fbms-59TIMP
AVERAGE MAE: 0.192
MAX F-MEASURE: 0.465
S-Measure: 0.576
video-salient-object-detection-on-uvsdTIMP
Average MAE: 0.171
S-Measure: 0.541
max E-measure: 0.662
video-salient-object-detection-on-visalTIMP
Average MAE: 0.170
S-Measure: 0.612
max E-measure: 0.743
video-salient-object-detection-on-vos-tTIMP
Average MAE: 0.192
S-Measure: 0.546
max E-measure: 0.640

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于时空显著性的时序映射 | 论文 | HyperAI超神经