3 个月前

技术报告:时间聚合表示

技术报告:时间聚合表示

摘要

本技术报告在文献[9]所提出工作的基础上进行了更深入的实验拓展。在文献[9]中,我们针对长期视频理解问题展开研究,该问题需要基于当前以及过去或未来的观测信息进行推理,并引出了一系列基础性科学问题:时序或序列关系应如何建模?需要处理多大时间范围的信息与上下文?这些信息应在何种时间尺度上进行提取?文献[9]通过一种灵活的多粒度时序聚合框架,对上述问题进行了系统性回答。在本报告中,我们进一步在不同任务及一个新的数据集EPIC-KITCHENS-100上,对该框架进行了扩展性实验,验证其在更广泛场景下的有效性与泛化能力。

代码仓库

dibschat/tempAgg
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
action-anticipation-on-epic-kitchens-100TempAgg
Recall@5: 14.73
action-anticipation-on-epic-kitchens-100-testTempAgg
recall@5: 12.6
action-recognition-on-epic-kitchens-100TempAgg
Action@1: 45.26
Noun@1: 53.35
Verb@1: 66

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
技术报告:时间聚合表示 | 论文 | HyperAI超神经