4 个月前

解决视频对象分割中的背景干扰问题

解决视频对象分割中的背景干扰问题

摘要

半监督视频对象分割(VOS)旨在在视频中密集跟踪某些指定的对象。该任务的主要挑战之一是存在与目标对象相似的背景干扰物。我们提出了三种新颖的策略来抑制这些干扰物:1) 空间时间多样化的模板构建方案,以获取目标对象的泛化特性;2) 可学习的距离评分函数,通过利用连续两帧之间的时序一致性来排除空间上远离的干扰物;3) 交换和附加增强技术,通过提供包含纠缠对象的训练样本,迫使每个对象具有独特的特征。在所有公开的基准数据集上,我们的模型性能与当前最先进的方法相当,甚至实现了实时性能。定性结果也证明了我们的方法优于现有方法。我们相信,我们的方法将在未来的VOS研究中得到广泛应用。

代码仓库

suhwan-cho/tbd
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-video-object-segmentation-on-20TBD
D16 val (F): 86.2
D16 val (G): 86.8
D16 val (J): 87.5
D17 test (F): 72.2
D17 test (G): 69.4
D17 test (J): 66.6
D17 val (F): 82.3
D17 val (G): 80.0
D17 val (J): 77.6
FPS: 50.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
解决视频对象分割中的背景干扰问题 | 论文 | HyperAI超神经