摘要

在视觉目标跟踪（Visual Object Tracking, VOT）与视频目标分割（Video Object Segmentation, VOS）任务中，对指定目标进行时空上的持续追踪是一项核心目标。尽管已有部分研究尝试联合实现跟踪与分割，但这些方法通常在初始化与预测阶段难以同时兼容边界框（box）与掩码（mask）表示，且主要局限于单目标场景。为解决上述局限性，本文提出一种面向多目标的掩码-边界框一体化统一追踪与分割框架，命名为MITS（Multi-object Mask-box Integrated framework for unified Tracking and Segmentation）。首先，本文设计了一种统一标识模块，支持在初始化阶段同时使用边界框或掩码作为参考：从边界框中推断出详细的物体信息，或直接保留掩码中的原始语义结构。此外，提出一种新颖的精确定位边界框预测器，以实现高精度的多目标边界框预测，从而促进面向目标的表示学习。在整个处理流程中，所有目标对象从编码、传播到解码均以统一的流水线方式并行处理，实现VOT与VOS任务的统一建模。实验结果表明，MITS在多个VOT与VOS基准测试中均达到了当前最优性能。尤其值得注意的是，在GOT-10k测试集上，MITS相较最优的先前VOT方法性能提升约6%；同时，在VOS基准测试中显著提升了边界框初始化的准确性。代码已开源，访问地址为：https://github.com/yoxu515/MITS。