HyperAIHyperAI

Command Palette

Search for a command to run...

具有时间一致性的混合记忆引用视频对象分割

Bo Miao Yongxin Zhang Xiaowei Liu

摘要

指代视频对象分割(R-VOS)方法在应对时间上下文变化和存在其他视觉相似对象时,面临维持一致对象分割的挑战。我们提出了一种端到端的R-VOS范式,该范式显式地建模了时间实例一致性以及指代分割。具体而言,我们引入了一种新颖的混合记忆机制,该机制促进了帧间协作,从而实现稳健的空间-时间匹配和传播。通过多粒度关联,自动生成高质量参考掩码的帧特征被传播以分割剩余帧,从而实现时间上的一致性R-VOS。此外,我们提出了一种新的掩码一致性评分(Mask Consistency Score, MCS)指标来评估视频分割的时间一致性。大量实验表明,我们的方法显著提高了时间一致性,在流行的R-VOS基准测试中取得了顶级性能,例如Ref-YouTube-VOS(67.1%)和Ref-DAVIS17(65.6%)。代码可在https://github.com/bo-miao/HTR 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
具有时间一致性的混合记忆引用视频对象分割 | 论文 | HyperAI超神经