
摘要
无监督视频对象分割(VOS)旨在在像素级别检测视频序列中最显著的对象。在无监督VOS中,大多数最先进的方法利用从光流图中获得的运动线索以及外观线索,以利用显著对象通常相对于背景具有独特运动这一特性。然而,由于这些方法过度依赖可能在某些情况下不可靠的运动线索,因此无法实现稳定的预测。为了减少现有双流VOS方法对运动线索的依赖,我们提出了一种新颖的可选利用运动线索的网络——运动选项网络。此外,为了充分利用所提出的网络中运动并非总是必需这一特性,我们引入了一种协作网络学习策略。在所有公开的基准数据集上,我们提出的网络均实现了实时推理速度下的最先进性能。
代码仓库
suhwan-cho/tmo
官方
pytorch
GitHub 中提及
ahasan-haque/TMO-RAFT
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| unsupervised-video-object-segmentation-on-10 | TMO (MiT-b1) | F: 87.8 G: 87.2 J: 86.6 |
| unsupervised-video-object-segmentation-on-10 | TMO (RN-101) | F: 86.6 G: 86.1 J: 85.6 |
| unsupervised-video-object-segmentation-on-11 | TMO (MiT-b1) | J: 80.0 |
| unsupervised-video-object-segmentation-on-11 | TMO (RN-101) | J: 79.9 |
| unsupervised-video-object-segmentation-on-12 | TMO (MiT-b1) | J: 71.1 |
| unsupervised-video-object-segmentation-on-12 | TMO (RN-101) | J: 71.5 |