3 个月前

显著性感知的测地线视频对象分割

显著性感知的测地线视频对象分割

摘要

我们提出了一种基于测地距离的无监督显著视频对象分割方法。与传统方法不同,本方法通过计算稳健的测地距离,将显著性作为先验信息引入对象识别过程。我们选取两种具有区分性的视觉特征:空间边缘与时间运动边界,作为前景对象位置的指示信号。首先,利用这些指示信号的测地距离生成逐帧的时空显著性图。基于观察发现,前景区域通常被具有高时空边缘值的区域所包围,因此测地距离能够提供前景与背景的初始估计。随后,通过后续帧中到背景区域的测地距离,进一步生成高质量的显著性结果。基于所得的显著性图,我们构建了前景与背景的全局外观模型。结合运动连续性约束,为每一帧建立动态位置模型。最终,将时空显著性图、外观模型与动态位置模型整合进一个能量最小化框架,实现空间与时间上均一致的物体分割。在基准视频数据集上的大量定量与定性实验表明,所提方法在性能上优于当前最先进的算法。

基准测试

基准方法指标
video-salient-object-detection-on-davis-2016SAGM
AVERAGE MAE: 0.105
MAX E-MEASURE: 0.797
S-Measure: 0.664
video-salient-object-detection-on-davsodSAGM
Average MAE: 0.187
S-Measure: 0.564
max E-Measure: 0.640
video-salient-object-detection-on-davsod-1SAGM
Average MAE: 0.198
S-Measure: 0.543
max E-measure: 0.616
video-salient-object-detection-on-davsod-2SAGM
Average MAE: 0.161
S-Measure: 0.560
max E-measure: 0.697
video-salient-object-detection-on-fbms-59SAGM
AVERAGE MAE: 0.161
MAX F-MEASURE: 0.564
S-Measure: 0.659
video-salient-object-detection-on-mclSAGM
AVERAGE MAE: 0.136
MAX E-MEASURE: 0.745
S-Measure: 0.615
video-salient-object-detection-on-segtrack-v2SAGM
AVERAGE MAE: 0.081
S-Measure: 0.719
max E-measure: 0.826
video-salient-object-detection-on-uvsdSAGM
Average MAE: 0.111
S-Measure: 0.629
max E-measure: 0.755
video-salient-object-detection-on-visalSAGM
Average MAE: 0.105
S-Measure: 0.749
max E-measure: 0.858
video-salient-object-detection-on-vos-tSAGM
Average MAE: 0.172
S-Measure: 0.615
max E-measure: 0.664

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
显著性感知的测地线视频对象分割 | 论文 | HyperAI超神经