摘要
本文致力于在视频中追踪目标物体。与传统方法在视频首帧通过边界框指定目标不同，我们提出基于自然语言描述来追踪目标，这种方法不仅实现了更自然的人机交互，也为提升追踪效果提供了新途径。我们定义了三种基于语言描述的追踪模式：仅依赖语言形式的目标描述、基于语言引导的视觉目标描述，以及融合语言与视觉信息的联合描述模式。为验证自然语言描述在追踪任务中的潜力，我们对两个主流的追踪数据集进行了扩展，增加了语言描述信息，并开展了相关实验。最后，我们还展望了在监控及其他实时视频流场景中，借助语言描述指定目标所可能开启的新应用前景。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| referring-expression-segmentation-on-a2d | Li et al. | AP: 0.163 IoU mean: 0.354 IoU overall: 0.515 Precision@0.5: 0.387 Precision@0.6: 0.290 Precision@0.7: 0.175 Precision@0.8: 0.066 Precision@0.9: 0.001 |
| referring-expression-segmentation-on-j-hmdb | Li et al. | AP: 0.173 IoU mean: 0.491 IoU overall: 0.529 Precision@0.5: 0.578 Precision@0.6: 0.335 Precision@0.7: 0.103 Precision@0.8: 0.060 Precision@0.9: 0.000 |