
摘要
半监督视频对象分割(VOS)旨在在视频中密集跟踪某些指定的对象。该任务的主要挑战之一是存在与目标对象相似的背景干扰物。我们提出了三种新颖的策略来抑制这些干扰物:1) 空间时间多样化的模板构建方案,以获取目标对象的泛化特性;2) 可学习的距离评分函数,通过利用连续两帧之间的时序一致性来排除空间上远离的干扰物;3) 交换和附加增强技术,通过提供包含纠缠对象的训练样本,迫使每个对象具有独特的特征。在所有公开的基准数据集上,我们的模型性能与当前最先进的方法相当,甚至实现了实时性能。定性结果也证明了我们的方法优于现有方法。我们相信,我们的方法将在未来的VOS研究中得到广泛应用。
代码仓库
suhwan-cho/tbd
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semi-supervised-video-object-segmentation-on-20 | TBD | D16 val (F): 86.2 D16 val (G): 86.8 D16 val (J): 87.5 D17 test (F): 72.2 D17 test (G): 69.4 D17 test (J): 66.6 D17 val (F): 82.3 D17 val (G): 80.0 D17 val (J): 77.6 FPS: 50.1 |