3 个月前

Global2Local:面向视频动作分割的高效结构搜索

Global2Local:面向视频动作分割的高效结构搜索

摘要

模型的时间感受野在动作分割任务中起着至关重要的作用。较大的感受野有助于捕捉视频片段之间的长期依赖关系,而较小的感受野则更有利于捕捉局部细节。现有的方法通常在各网络层中采用人工设计的感受野结构。我们是否能够有效搜索出更优的感受野组合,以替代人工设计的模式?为回答这一问题,本文提出一种从全局到局部的搜索策略,以寻找更优的感受野组合。该搜索策略结合了全局搜索与局部搜索:全局搜索用于发现超越人工设计模式的粗粒度组合,而在全局搜索结果的基础上,我们进一步提出一种基于期望引导的迭代式局部搜索机制,以高效优化并细化感受野组合模式。所提出的全局到局部搜索框架可无缝集成至现有动作分割方法中,显著提升性能,实现当前最先进的分割效果。

代码仓库

ShangHua-Gao/G2L-search
官方
pytorch
GitHub 中提及
ShangHua-Gao/RFNext
pytorch
GitHub 中提及

基准测试

基准方法指标
action-segmentation-on-50-salads-1G2L (MS-TCN)
Acc: 82.2
Edit: 73.4
F1@10%: 80.3
F1@25%: 78
F1@50%: 69.8
action-segmentation-on-breakfast-1G2L(SSTDA)
Acc: 70.8
Average F1: 66.9
Edit: 74.5
F1@10%: 76.3
F1@25%: 69.9
F1@50%: 54.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Global2Local:面向视频动作分割的高效结构搜索 | 论文 | HyperAI超神经