摘要

基于自然语言描述的目标追踪旨在视频序列中根据自然语言描述定位目标对象。现有算法通常将该问题分解为两个步骤：视觉定位（visual grounding）与目标追踪（tracking），并分别采用独立的定位模型和追踪模型来实现这两个阶段。然而，这种分离式框架忽略了视觉定位与追踪之间的内在关联——即自然语言描述为两个阶段均提供了全局语义线索，有助于目标的精确定位。此外，此类分离架构难以实现端到端的联合训练。为解决上述问题，本文提出一种联合视觉定位与追踪的统一框架，将定位与追踪重构为一个统一任务：基于给定的视觉-语言参考信息，实现对目标的精准定位。具体而言，我们设计了一种多源关系建模模块，以有效建立视觉-语言参考与测试图像之间的关联。同时，引入时序建模模块，在全局语义信息的引导下为模型提供时序上下文线索，显著提升了模型对目标外观变化的适应能力。在TNL2K、LaSOT、OTB99和RefCOCOg等多个基准数据集上的大量实验结果表明，所提方法在定位与追踪性能上均优于当前最先进的算法。代码已开源，地址为：https://github.com/lizhou-cs/JointNLT。