3 个月前

基于自适应特征库与不确定区域精化的视频目标分割

基于自适应特征库与不确定区域精化的视频目标分割

摘要

我们提出了一种基于匹配机制的新型半监督视频对象分割(Semi-Supervised Video Object Segmentation, VOS)框架。近年来,基于匹配的算法在VOS任务中取得了最先进性能,其核心思想是构建特征库(feature bank)以存储区域特征,用于后续的特征匹配与分类。然而,如何高效组织随时间持续增长的特征库中的信息仍缺乏深入研究,导致特征库的设计效率低下。为此,我们提出一种自适应的特征库更新机制,能够动态地吸收新特征并剔除过时特征。同时,我们设计了一种新的置信度损失函数以及一个细粒度分割模块,以提升在不确定区域的分割精度。在多个公开基准测试中,我们的方法显著优于现有最先进算法。

代码仓库

xmlyqing00/AFB-URR
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-video-object-segmentation-on-13AFB-URR
F: 84.5
J: 82.9
Ju0026F: 83.7
semi-supervised-video-object-segmentation-on-14AFB-URR
F: 84.6
J: 82.9
Ju0026F: 83.8
semi-supervised-video-object-segmentation-on-20AFB-URR
D17 val (F): 76.1
D17 val (G): 74.6
D17 val (J): 73.0
FPS: 4.00
video-object-segmentation-on-youtube-vosAFB-URR
F-Measure (Seen): 83.1
F-Measure (Unseen): 82.6
Jaccard (Seen): 78.8
Jaccard (Unseen): 74.1
Overall: 79.6
visual-object-tracking-on-davis-2017AFB-URR
F-measure (Decay): 15.5
F-measure (Mean): 76.1
F-measure (Recall): 87.0
Ju0026F: 74.6
Jaccard (Decay): 13.8
Jaccard (Mean): 73.0
Jaccard (Recall): 85.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于自适应特征库与不确定区域精化的视频目标分割 | 论文 | HyperAI超神经