摘要

在开放世界环境下，对任意物体（包括模型训练过程中从未见过的物体）进行跟踪与检测，是自主系统所必需但至今仍难以实现的关键能力。若一个自主代理对从未见过的物体完全“视而不见”，在真实世界中运行时将带来严重的安全隐患——然而，这正是当前绝大多数系统的工作方式。推动任意物体跟踪能力发展的主要障碍之一，在于该任务极难进行有效评估。能够实现现有方法间“公平比较”的基准测试，是推动这一重要研究领域发展的关键第一步。本文旨在弥补这一评估短板，系统梳理开放世界中已知与未知物体检测与跟踪的研究现状，并提出一套完整的评估方法论。我们提出了一个新的基准——TAO-OW（Open World中任意物体跟踪），对当前多目标跟踪技术进行了分析，构建了该任务的基线方法，并指出了未来研究面临的关键挑战。我们期望通过此项工作，开启多目标跟踪研究的新方向，助力实现能够在真实世界中安全运行的智能系统。