摘要

如今，提高离线训练的暹罗追踪器的性能变得越来越困难，因为从第一帧裁剪出的模板中的固定信息已经被充分挖掘，但它们在抵抗目标外观变化方面的能力较差。现有的具有模板更新机制的追踪器依赖于耗时的数值优化和复杂的手动设计策略来实现竞争力性能，这阻碍了它们在实时追踪和实际应用中的使用。本文提出了一种基于时空记忆网络的新追踪框架，该框架能够充分利用与目标相关的历史信息，以更好地适应追踪过程中的外观变化。具体而言，引入了一种新的记忆机制，该机制存储目标的历史信息，引导追踪器关注当前帧中最具信息量的区域。此外，记忆网络在像素级上的相似性计算使我们的追踪器能够生成更为精确的目标边界框。通过在具有挑战性的大规模基准数据集（如OTB-2015、TrackingNet、GOT-10k、LaSOT、UAV123和VOT2018）上进行广泛的实验并与许多有竞争力的追踪器进行对比，结果显示，在没有任何额外技巧的情况下，我们的追踪器在运行速度达到37帧每秒时仍优于所有先前的实时方法。代码可在https://github.com/fzh0917/STMTrack 获取。