
摘要
本报告介绍了我们参与2022年Ego4D时刻查询挑战赛(Ego4D Moment Queries Challenge 2022)的提交方案。我们的方法基于当前最先进的时序动作定位主干网络ActionFormer,并融合了来自SlowFast、Omnivore和EgoVLP的三类强视频特征。在公开排行榜上,我们的方案取得第二名的成绩,测试集上的平均mAP达到21.76%,较官方基线模型提升近三倍。此外,在测试集上,我们实现了tIoU=0.5时的Recall@1x为42.54%,相比排名第一的方案高出1.41个百分点的绝对性能优势。相关代码已开源,地址为:https://github.com/happyharrycn/actionformer_release。
代码仓库
showlab/egovlp
官方
pytorch
GitHub 中提及
happyharrycn/actionformer_release
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| temporal-action-localization-on-ego4d-mq-test | ActionFormer (SlowFast+Omnivore+EgoVLP) | Average mAP: 21.76 Recall@1x (tIoU=0.5): 42.54 |
| temporal-action-localization-on-ego4d-mq-val | ActionFormer (SlowFast+Omnivore+EgoVLP) | Average mAP: 21.4 Recall@1x (tIoU=0.5): 38.73 |