
摘要
我们提出了一种基于测地距离的无监督显著视频对象分割方法。与传统方法不同,本方法通过计算稳健的测地距离,将显著性作为先验信息引入对象识别过程。我们选取两种具有区分性的视觉特征:空间边缘与时间运动边界,作为前景对象位置的指示信号。首先,利用这些指示信号的测地距离生成逐帧的时空显著性图。基于观察发现,前景区域通常被具有高时空边缘值的区域所包围,因此测地距离能够提供前景与背景的初始估计。随后,通过后续帧中到背景区域的测地距离,进一步生成高质量的显著性结果。基于所得的显著性图,我们构建了前景与背景的全局外观模型。结合运动连续性约束,为每一帧建立动态位置模型。最终,将时空显著性图、外观模型与动态位置模型整合进一个能量最小化框架,实现空间与时间上均一致的物体分割。在基准视频数据集上的大量定量与定性实验表明,所提方法在性能上优于当前最先进的算法。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| video-salient-object-detection-on-davis-2016 | SAGM | AVERAGE MAE: 0.105 MAX E-MEASURE: 0.797 S-Measure: 0.664 |
| video-salient-object-detection-on-davsod | SAGM | Average MAE: 0.187 S-Measure: 0.564 max E-Measure: 0.640 |
| video-salient-object-detection-on-davsod-1 | SAGM | Average MAE: 0.198 S-Measure: 0.543 max E-measure: 0.616 |
| video-salient-object-detection-on-davsod-2 | SAGM | Average MAE: 0.161 S-Measure: 0.560 max E-measure: 0.697 |
| video-salient-object-detection-on-fbms-59 | SAGM | AVERAGE MAE: 0.161 MAX F-MEASURE: 0.564 S-Measure: 0.659 |
| video-salient-object-detection-on-mcl | SAGM | AVERAGE MAE: 0.136 MAX E-MEASURE: 0.745 S-Measure: 0.615 |
| video-salient-object-detection-on-segtrack-v2 | SAGM | AVERAGE MAE: 0.081 S-Measure: 0.719 max E-measure: 0.826 |
| video-salient-object-detection-on-uvsd | SAGM | Average MAE: 0.111 S-Measure: 0.629 max E-measure: 0.755 |
| video-salient-object-detection-on-visal | SAGM | Average MAE: 0.105 S-Measure: 0.749 max E-measure: 0.858 |
| video-salient-object-detection-on-vos-t | SAGM | Average MAE: 0.172 S-Measure: 0.615 max E-measure: 0.664 |