4 个月前

基于聚类的视频摘要生成方法及其时间上下文感知

基于聚类的视频摘要生成方法及其时间上下文感知

摘要

在本文中,我们提出了一种新颖且高效的无训练视频摘要方法——TAC-SUM,该方法通过引入时间上下文来解决现有基于聚类模型的局限性。我们的方法将输入视频划分为时间上连续的片段,并结合聚类信息,从而在聚类过程中注入时间感知能力,这使得我们的方法区别于以往的基于聚类的摘要生成方法。生成的时间感知聚类结果随后用于计算最终摘要,采用简单的规则进行关键帧选择和帧重要性评分。我们在SumMe数据集上的实验结果表明,所提出的TAC-SUM方法不仅优于现有的无监督方法,而且其性能与最先进的有监督摘要技术相当。我们的源代码可在以下网址获取以供参考:\url{https://github.com/hcmus-thesis-gulu/TAC-SUM}。

代码仓库

基准测试

基准方法指标
unsupervised-video-summarization-on-summeTAC-SUM
F1-score: 54.48

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于聚类的视频摘要生成方法及其时间上下文感知 | 论文 | HyperAI超神经