4 个月前

物体不会消失:基于单帧物体位置预测的视频物体检测

物体不会消失:基于单帧物体位置预测的视频物体检测

摘要

视频中的物体通常表现出连续平滑的运动。我们从三个方面利用这种连续平滑的运动特性:1) 通过将物体运动作为额外的监督源来提高准确性,这可以通过从静态关键帧预测物体位置来实现。2) 通过仅在所有帧的一小部分上进行昂贵的特征计算来提高效率。由于相邻视频帧往往具有冗余性,我们只需为一个静态关键帧计算特征,并预测后续帧中的物体位置。3) 减少标注成本,即仅对关键帧进行标注,并利用关键帧之间的平滑伪运动(smooth pseudo-motion)。我们在四个数据集上展示了计算效率、标注效率以及相对于现有最佳方法改进的平均精度:ImageNet VID、EPIC KITCHENS-55、YouTube-BoundingBoxes 和 Waymo Open 数据集。我们的源代码可在 https://github.com/L-KID/Videoobject-detection-by-location-anticipation 获取。

基准测试

基准方法指标
video-object-detection-on-epic-kitchens-55Ours (Faster RCNN)
mAP@.5: 41.7
video-object-detection-on-imagenet-vidOurs (Faster RCNN + R101)
MAP : 87.2
video-object-detection-on-imagenet-vidOurs (Def. DETR + SwinB)
MAP : 91.3
video-object-detection-on-imagenet-vidOurs (Def. DETR + R101)
MAP : 87.9
video-object-detection-on-waymo-open-dataset-
AP: 59.28
video-object-detection-on-yt-bb-
mAP: 59.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
物体不会消失:基于单帧物体位置预测的视频物体检测 | 论文 | HyperAI超神经