4 个月前

DVIS-DAQ:通过动态锚点查询改进视频分割

DVIS-DAQ:通过动态锚点查询改进视频分割

摘要

现代视频分割方法采用对象查询来执行帧间关联,并在跟踪连续出现的对象时表现出令人满意的性能,即使面对大规模运动和短暂遮挡。然而,这些方法在处理现实世界中常见的新出现和消失的对象时表现不佳,因为它们试图通过背景和前景查询之间的特征转换来建模对象的出现和消失,而这些查询之间存在显著的特征差距。我们引入了动态锚点查询(Dynamic Anchor Queries, DAQ),通过根据潜在候选对象的特征动态生成锚点查询,从而缩短锚点与目标查询之间的转换差距。此外,我们提出了一种基于查询级别的对象出现与消失模拟(Emergence and Disappearance Simulation, EDS)策略,该策略能够在不增加任何额外成本的情况下释放DAQ的潜力。最后,我们将提出的DAQ和EDS结合到DVIS中,得到了DVIS-DAQ。大量实验表明,DVIS-DAQ在五个主流视频分割基准上实现了新的最先进(State-of-the-Art, SOTA)性能。代码和模型可在以下网址获取:https://github.com/SkyworkAI/DAQ-VS。

代码仓库

zhang-tao-whu/DVIS_Plus
pytorch
GitHub 中提及
zhang-tao-whu/DVIS
pytorch
GitHub 中提及
skyworkai/daq-vs
官方
GitHub 中提及

基准测试

基准方法指标
video-instance-segmentation-on-ovis-1DVIS-DAQ(VIT-L, Offline)
AP50: 83.8
AP75: 62.9
mask AP: 57.1
video-instance-segmentation-on-youtube-vis-2DVIS-DAQ(VIT-L, Offline)
AP50: 86.1
AP75: 72.2
AR1: 49.6
AR10: 70.7
mask AP: 64.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DVIS-DAQ:通过动态锚点查询改进视频分割 | 论文 | HyperAI超神经