
摘要
我们提出了一种基于匹配机制的新型半监督视频对象分割(Semi-Supervised Video Object Segmentation, VOS)框架。近年来,基于匹配的算法在VOS任务中取得了最先进性能,其核心思想是构建特征库(feature bank)以存储区域特征,用于后续的特征匹配与分类。然而,如何高效组织随时间持续增长的特征库中的信息仍缺乏深入研究,导致特征库的设计效率低下。为此,我们提出一种自适应的特征库更新机制,能够动态地吸收新特征并剔除过时特征。同时,我们设计了一种新的置信度损失函数以及一个细粒度分割模块,以提升在不确定区域的分割精度。在多个公开基准测试中,我们的方法显著优于现有最先进算法。
代码仓库
xmlyqing00/AFB-URR
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semi-supervised-video-object-segmentation-on-13 | AFB-URR | F: 84.5 J: 82.9 Ju0026F: 83.7 |
| semi-supervised-video-object-segmentation-on-14 | AFB-URR | F: 84.6 J: 82.9 Ju0026F: 83.8 |
| semi-supervised-video-object-segmentation-on-20 | AFB-URR | D17 val (F): 76.1 D17 val (G): 74.6 D17 val (J): 73.0 FPS: 4.00 |
| video-object-segmentation-on-youtube-vos | AFB-URR | F-Measure (Seen): 83.1 F-Measure (Unseen): 82.6 Jaccard (Seen): 78.8 Jaccard (Unseen): 74.1 Overall: 79.6 |
| visual-object-tracking-on-davis-2017 | AFB-URR | F-measure (Decay): 15.5 F-measure (Mean): 76.1 F-measure (Recall): 87.0 Ju0026F: 74.6 Jaccard (Decay): 13.8 Jaccard (Mean): 73.0 Jaccard (Recall): 85.3 |