3 个月前

中国人民大学RUC_AIM3团队在ActivityNet 2020任务2中的技术报告:面向密集视频描述的序列事件检测探索

中国人民大学RUC_AIM3团队在ActivityNet 2020任务2中的技术报告:面向密集视频描述的序列事件检测探索

摘要

在未剪辑视频中检测有意义的事件对于密集视频字幕生成至关重要。本文提出了一种新颖且简洁的事件序列生成模型,并探索了视频中事件序列的时序关系。所提出的模型摒弃了低效的两阶段候选区域生成过程,通过单次前向传播直接基于双向时序依赖关系生成事件边界。实验结果表明,该事件序列生成模型能够在较少候选区域数量下生成更加准确且多样化的事件。在事件字幕生成方面,我们沿用此前工作的方法,将事件内字幕生成模型集成至整体系统流程中。该系统在密集视频事件字幕任务上取得了当前最优性能,在挑战赛测试集上获得了9.894的METEOR得分。

基准测试

基准方法指标
dense-video-captioning-on-activitynetBi-directional+intra captioning
METEOR: 11.28

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
中国人民大学RUC_AIM3团队在ActivityNet 2020任务2中的技术报告:面向密集视频描述的序列事件检测探索 | 论文 | HyperAI超神经