摘要

近期，自监督稠密跟踪领域受到广泛关注，取得了快速进展，但其性能仍远不及有监督方法。本文提出一种在无任何标注视频上训练的稠密跟踪模型，在现有基准测试中显著超越以往自监督方法（提升达15%），并实现了与有监督方法相当的性能。本文主要贡献如下：首先，通过系统而深入的实验，重新评估了自监督训练中常用的传统设计选择与重建损失函数，最终明确了最优配置。其次，通过在现有架构中引入一个关键的记忆组件，进一步提升了方法性能。第三，我们在大规模半监督视频对象分割（即稠密跟踪）任务上进行了全面基准测试，并提出了一项新指标——泛化能力（generalizability）。我们的前两项贡献使得首个在标准稠密跟踪评估指标上具备与有监督方法竞争能力的自监督网络成为可能。在泛化能力评估中，我们发现自监督方法实际上优于大多数有监督方法。我们认为，这一新的泛化能力指标更能反映稠密跟踪在真实应用场景中的实际需求，有望激发该研究方向的进一步关注与创新。