3 个月前

当强大的骨干网络遇见强大的特征——基于ActionFormer的Ego4D时刻查询挑战解决方案

当强大的骨干网络遇见强大的特征——基于ActionFormer的Ego4D时刻查询挑战解决方案

摘要

本报告介绍了我们参与2022年Ego4D时刻查询挑战赛(Ego4D Moment Queries Challenge 2022)的提交方案。我们的方法基于当前最先进的时序动作定位主干网络ActionFormer,并融合了来自SlowFast、Omnivore和EgoVLP的三类强视频特征。在公开排行榜上,我们的方案取得第二名的成绩,测试集上的平均mAP达到21.76%,较官方基线模型提升近三倍。此外,在测试集上,我们实现了tIoU=0.5时的Recall@1x为42.54%,相比排名第一的方案高出1.41个百分点的绝对性能优势。相关代码已开源,地址为:https://github.com/happyharrycn/actionformer_release。

代码仓库

showlab/egovlp
官方
pytorch
GitHub 中提及
happyharrycn/actionformer_release
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
temporal-action-localization-on-ego4d-mq-testActionFormer (SlowFast+Omnivore+EgoVLP)
Average mAP: 21.76
Recall@1x (tIoU=0.5): 42.54
temporal-action-localization-on-ego4d-mq-valActionFormer (SlowFast+Omnivore+EgoVLP)
Average mAP: 21.4
Recall@1x (tIoU=0.5): 38.73

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
当强大的骨干网络遇见强大的特征——基于ActionFormer的Ego4D时刻查询挑战解决方案 | 论文 | HyperAI超神经