3 个月前

无监督视频目标分割中的掩码选择与传播

无监督视频目标分割中的掩码选择与传播

摘要

在本项工作中,我们提出了一种新颖的无监督视频对象分割方法,能够自动为显著性对象生成实例级别的分割掩码,并在视频序列中实现持续跟踪。该方法有效解决了现有方法在时间传播、目标跟踪以及新对象引入过程中普遍存在的漂移问题。为此,我们提出了一种创新思路:通过集成多种评估准则,在线动态优化分割掩码质量。我们进一步引入了一种名为Selector Net的新型神经网络,用于评估掩码质量。该网络经过特殊训练,具备跨不同数据集的泛化能力。所提出的方法能够有效抑制视频序列中累积的噪声,最终在DAVIS 2019无监督挑战数据集上取得了当前最优的性能,平均交并比(J&F mean)达到61.6%。此外,我们在FBMS和SegTrack V2等数据集上也进行了测试,结果表现优于或至少与现有方法相当。

基准测试

基准方法指标
unsupervised-video-object-segmentation-on-3FrameSelect
Mean IoU: 72.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
无监督视频目标分割中的掩码选择与传播 | 论文 | HyperAI超神经