
摘要
我们提出一种新方法,能够在保留原始视频关键时刻的前提下,从高帧率(HFR)输入生成常规帧率、低帧率(LFR)视频。我们称此方法为“时间映射”(time-mapping),它是对高动态范围到低动态范围空间色调映射(spatial tone-mapping)的一种时间域类比。本方法主要贡献如下:(1)提出一种鲁棒的时空显著性方法,用于评估视觉重要性;(2)设计一种重定时技术,基于帧的重要性进行时间域重采样;(3)引入时间滤波器,以增强显著运动的渲染效果。在基准数据集上的实验结果表明,我们的时空显著性方法达到了当前最优水平。此外,用户研究表明,相较于更为直接的方法,本方法在高帧率向低帧率的时间映射中具有显著优势。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| video-salient-object-detection-on-davis-2016 | TIMP | AVERAGE MAE: 0.185 MAX E-MEASURE: 0.680 S-Measure: 0.574 |
| video-salient-object-detection-on-davsod | TIMP | Average MAE: 0.206 S-Measure: 0.534 max E-Measure: 0.582 |
| video-salient-object-detection-on-davsod-1 | TIMP | Average MAE: 0.245 S-Measure: 0.503 max E-measure: 0.616 |
| video-salient-object-detection-on-davsod-2 | TIMP | Average MAE: 0.190 S-Measure: 0.530 max E-measure: 0.665 |
| video-salient-object-detection-on-fbms-59 | TIMP | AVERAGE MAE: 0.192 MAX F-MEASURE: 0.465 S-Measure: 0.576 |
| video-salient-object-detection-on-uvsd | TIMP | Average MAE: 0.171 S-Measure: 0.541 max E-measure: 0.662 |
| video-salient-object-detection-on-visal | TIMP | Average MAE: 0.170 S-Measure: 0.612 max E-measure: 0.743 |
| video-salient-object-detection-on-vos-t | TIMP | Average MAE: 0.192 S-Measure: 0.546 max E-measure: 0.640 |