摘要

本文介绍了多目标预测（Multiple Object Forecasting, MOF）问题，其目标是预测被跟踪对象的未来边界框。与现有主要从俯视角度考虑物体轨迹预测的研究不同，我们从物体层面的角度来定义这一问题，并呼吁预测完整的物体边界框，而不仅仅是轨迹。为了解决这一任务，我们引入了Citywalks数据集，该数据集包含超过20万帧高分辨率视频。Citywalks数据集由来自10个欧洲国家21个城市在多种天气条件下录制的视频片段组成，涵盖了超过3500条独特的行人轨迹。为了评估这些方法，我们将现有的轨迹预测方法适应于MOF，并在未进行微调的情况下确认了它们在MOT-17数据集上的跨数据集泛化能力。最后，我们提出了STED，一种新颖的编码器-解码器架构用于MOF。STED结合了视觉和时间特征来建模物体运动和自我运动（ego-motion），并在MOF方面超越了现有的方法。代码和数据集链接：https://github.com/olly-styles/Multiple-Object-Forecasting