4 个月前

流动中有什么?利用时间运动线索进行无监督通用事件边界检测

流动中有什么?利用时间运动线索进行无监督通用事件边界检测

摘要

通用事件边界检测(GEBD)任务旨在识别将视频分割为有意义事件的通用、无分类学限制的边界。当前的方法通常涉及在大量数据上训练的神经模型,这需要大量的计算能力和存储空间。我们探讨了与GEBD相关的两个关键问题:非参数算法能否超越无监督神经方法?仅依靠运动信息是否足以实现高性能?这一探究促使我们在算法中利用运动线索来识别视频中的通用事件边界。在本研究中,我们提出了FlowGEBD,一种用于GEBD的非参数、无监督技术。我们的方法包括两种利用光流的算法:(i) 像素跟踪(Pixel Tracking)和 (ii) 光流归一化(Flow Normalization)。通过在具有挑战性的Kinetics-GEBD和TAPOS数据集上进行详尽的实验,我们的结果表明FlowGEBD在无监督方法中达到了新的最先进水平(SOTA)。FlowGEBD在Kinetics-GEBD数据集上的F1@0.05得分为0.713,相比无监督基线方法绝对提升了31.7%,并在TAPOS验证数据集上实现了平均F1得分为0.623。

基准测试

基准方法指标
generic-event-boundary-detection-on-kineticsFlowGEBD
F1 @ RelDis. 0.05: 0.713
generic-event-boundary-detection-on-taposFlowGEBD
F1 @ RelDis. 0.05: 0.375

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
流动中有什么?利用时间运动线索进行无监督通用事件边界检测 | 论文 | HyperAI超神经