摘要

多目标跟踪（MOT）是一项与监控系统和移动摄像机应用（如自动驾驶和机器人视觉）密切相关的重要且实用的任务。然而，由于检测不可靠、遮挡以及快速的摄像机运动，被跟踪的目标很容易丢失，这使得MOT变得非常具有挑战性。最近的大多数研究将跟踪视为再识别（Re-ID）任务，但如何结合外观特征和时间特征仍然是一个未得到充分解决的问题。在本文中，我们提出了一种创新且有效的跟踪方法——TrackletNet Tracker（TNT），该方法在一个统一的框架内结合了时间和外观信息。首先，我们定义了一个图模型，其中每个轨迹片段被视为一个顶点。这些轨迹片段通过使用CNN特征进行外观相似度计算，并利用极线约束下的交并比（IOU）来补偿相邻帧之间的摄像机运动而生成。然后，对于每一对轨迹片段，其相似度由我们设计的多尺度TrackletNet进行测量。最后，轨迹片段被聚类成组，代表各个对象ID。我们提出的TNT能够应对MOT中的大部分挑战，并在MOT16和MOT17基准数据集上取得了与其他最先进方法相比令人鼓舞的结果。