摘要

在本文中，我们提出了一种新的跟踪架构，其中编码器-解码器变压器（Transformer）作为关键组件。编码器建模了目标对象与搜索区域之间的全局时空特征依赖关系，而解码器则学习查询嵌入以预测目标对象的空间位置。我们的方法将目标跟踪视为一个直接的边界框预测问题，无需使用任何提议或预定义的锚点。通过编码器-解码器变压器，对象预测仅使用一个简单的全卷积网络，该网络直接估计对象的角点。整个方法是端到端的，不需要任何后处理步骤，如余弦窗口和边界框平滑，从而大大简化了现有的跟踪流程。所提出的跟踪器在五个具有挑战性的短期和长期基准测试中达到了最先进的性能，并且以实时速度运行，比Siam R-CNN快6倍。代码和模型已开源，可在https://github.com/researchmm/Stark获取。