4 个月前

BURST:一种用于统一视频中物体识别、分割和跟踪的基准

BURST:一种用于统一视频中物体识别、分割和跟踪的基准

摘要

多个现有的基准测试涉及视频中的目标跟踪和分割,例如视频对象分割(VOS)和多目标跟踪与分割(MOTS),但由于使用了不同的基准数据集和评估指标(如J&F、mAP、sMOTSA),这些基准测试之间很少有互动。因此,已发表的研究通常针对特定的基准测试,难以与其他研究进行直接比较。我们认为,开发能够应对多种任务的通用方法需要这些研究子社区之间的更大凝聚力。在本文中,我们通过提出BURST数据集来促进这一目标,该数据集包含数千个具有高质量对象掩码的多样化视频,并且提供了一个包含六个涉及视频中目标跟踪和分割的任务的基准测试。所有任务均使用相同的数据和可比的评估指标进行评估,这使得研究人员可以综合考虑这些任务,从而更有效地整合不同任务中不同方法的知识。此外,我们为所有任务展示了几个基线模型,并证明了一种任务的方法可以应用于另一种任务,并且性能差异是可以量化和解释的。数据集注释和评估代码可在以下网址获取:https://github.com/Ali2500/BURST-benchmark。

代码仓库

ali2500/burst-benchmark
官方
GitHub 中提及

基准测试

基准方法指标
long-tail-video-object-segmentation-on-burst-1Box Tracker
HOTA (all): 8.2
HOTA (com): 27.0
HOTA (unc): 3.6
mAP (all): 1.4
mAP (com): 3.0
mAP (unc): 0.9
long-tail-video-object-segmentation-on-burst-1STCN Tracker
HOTA (all): 5.5
HOTA (com): 17.5
HOTA (unc): 2.5
mAP (all): 0.9
mAP (com): 0.7
mAP (unc): 0.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
BURST:一种用于统一视频中物体识别、分割和跟踪的基准 | 论文 | HyperAI超神经