在基于外观的视觉跟踪中，存在与被跟踪目标外观高度相似的干扰物体，这构成了一个根本性挑战。这类干扰物容易被误判为目标本身，从而导致跟踪最终失败。尽管大多数现有方法致力于通过构建更强大的外观模型来抑制干扰物，我们则采取了一种不同的思路。我们提出主动追踪干扰物本身，以维持对目标的持续跟踪。为此，我们引入了一种可学习的关联网络，能够实现所有目标候选者在帧间的身份传播。针对视觉跟踪中干扰物之间缺乏真实对应关系的问题，我们提出一种结合部分标注与自监督学习的训练策略。我们在多个具有挑战性的数据集上对所提方法进行了全面的实验验证与分析。实验结果表明，我们的跟踪器在六个基准测试中均达到了新的最先进水平，在LaSOT数据集上取得了67.1%的AUC得分，并在OxUvA长期跟踪数据集上实现了+5.8%的绝对性能提升。