HyperAIHyperAI

Command Palette

Search for a command to run...

基于多特征集和平行注意力机制的监督视频摘要生成

Junaid Ahmed Ghauri Sherzod Hakimov Ralph Ewerth

摘要

为视频中的特定帧或(短)片段分配重要性评分对于摘要生成至关重要,但也是一个具有挑战性的任务。以往的研究仅利用单一的视觉特征源。在本文中,我们提出了一种新颖的模型架构,该架构结合了三组特征来预测视觉内容和运动的重要性评分。所提出的架构在融合运动特征和表示(静态)视觉内容的特征之前采用了注意力机制,这些静态视觉内容特征是从图像分类模型中提取的。我们在两个知名数据集SumMe和TVSum上进行了全面的实验评估。在此过程中,我们发现了以往研究在使用这些基准数据集时存在的方法论问题,并提出了一个公平的评估方案及适当的数据划分方法,供未来研究使用。当采用静态和运动特征并行注意力机制时,我们在SumMe数据集上的结果优于现有最佳水平,而在另一个数据集上的表现则与现有最佳水平相当。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于多特征集和平行注意力机制的监督视频摘要生成 | 论文 | HyperAI超神经