摘要

指代视频对象分割（R-VOS）方法在应对时间上下文变化和存在其他视觉相似对象时，面临维持一致对象分割的挑战。我们提出了一种端到端的R-VOS范式，该范式显式地建模了时间实例一致性以及指代分割。具体而言，我们引入了一种新颖的混合记忆机制，该机制促进了帧间协作，从而实现稳健的空间-时间匹配和传播。通过多粒度关联，自动生成高质量参考掩码的帧特征被传播以分割剩余帧，从而实现时间上的一致性R-VOS。此外，我们提出了一种新的掩码一致性评分（Mask Consistency Score, MCS）指标来评估视频分割的时间一致性。大量实验表明，我们的方法显著提高了时间一致性，在流行的R-VOS基准测试中取得了顶级性能，例如Ref-YouTube-VOS（67.1%）和Ref-DAVIS17（65.6%）。代码可在https://github.com/bo-miao/HTR 获取。