3 个月前

基于运动的双路网络的无监督视频对象分割

基于运动的双路网络的无监督视频对象分割

摘要

在本研究中,我们探讨了无监督视频对象分割问题,即在不依赖对象先验知识的情况下对运动物体进行分割。首先,我们提出了一种基于运动的双边网络,通过分析非对象区域的运动模式来估计背景。该双边网络通过精确识别背景区域,有效减少了误检区域。随后,我们将双边网络输出的背景估计结果与实例嵌入(instance embeddings)融合到一个图结构中,利用图边连接不同帧中的像素,从而实现跨多帧的推理。通过定义并最小化一个代价函数,对图中的节点进行分类,并根据节点标签完成视频帧的分割。所提出的方法在DAVIS 2016和FBMS-59数据集上均优于以往的最先进无监督视频对象分割方法。

基准测试

基准方法指标
video-salient-object-detection-on-davis-2016MBNM
AVERAGE MAE: 0.031
MAX E-MEASURE: 0.966
MAX F-MEASURE: 0.862
S-Measure: 0.887
video-salient-object-detection-on-davsodMBNM
Average MAE: 0.109
S-Measure: 0.646
max E-Measure: 0.694
max F-Measure: 0.506
video-salient-object-detection-on-davsod-1MBNM
Average MAE: 0.127
S-Measure: 0.597
max E-measure: 0.665
video-salient-object-detection-on-fbms-59MBNM
AVERAGE MAE: 0.047
MAX E-MEASURE: 0.892
MAX F-MEASURE: 0.816
S-Measure: 0.857
video-salient-object-detection-on-mclMBNM
AVERAGE MAE: 0.119
MAX E-MEASURE: 0.858
MAX F-MEASURE: 0.698
S-Measure: 0.755
video-salient-object-detection-on-segtrack-v2MBNM
AVERAGE MAE: 0.026
MAX F-MEASURE: 0.716
S-Measure: 0.809
max E-measure: 0.878
video-salient-object-detection-on-uvsdMBNM
Average MAE: 0.079
S-Measure: 0.698
max E-measure: 0.776
video-salient-object-detection-on-visalMBNM
Average MAE: 0.047
S-Measure: 0.857
max E-measure: 0.892
video-salient-object-detection-on-vos-tMBNM
Average MAE: 0.099
S-Measure: 0.742
max E-measure: 0.797

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于运动的双路网络的无监督视频对象分割 | 论文 | HyperAI超神经