4 个月前

简单与复杂的时间重复在视频显著性预测中的对比研究

简单与复杂的时间重复在视频显著性预测中的对比研究

摘要

本文研究了通过引入两种递归机制来改进现有的静态显著性预测神经网络架构,这两种递归机制能够整合时间域的信息。第一种改进是在架构中添加了一个ConvLSTM(卷积长短期记忆网络),而第二种则是对内部卷积状态进行概念上较为简单的指数移动平均。我们使用在SALICON数据集上预训练的权重,并在DHF1K数据集上对模型进行了微调。实验结果表明,这两种改进方法均达到了当前最佳水平,并且生成的显著性图相似。源代码可在https://git.io/fjPiB 获取。

代码仓库

Linardos/SalEMA
pytorch
GitHub 中提及
imatge-upc/SalEMA
官方
pytorch

基准测试

基准方法指标
video-saliency-detection-on-msu-videoSalEMA
AUC-J: 0.821
CC: 0.636
FPS: 32.97
KLDiv: 0.647
NSS: 1.63
SIM: 0.571

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
简单与复杂的时间重复在视频显著性预测中的对比研究 | 论文 | HyperAI超神经