3 个月前

海洋视频工具包:用于基于内容分析与检索的新型海洋视频数据集

海洋视频工具包:用于基于内容分析与检索的新型海洋视频数据集

摘要

对特定领域视频数据集的高效分析构成了一个重要的实际问题,当前最先进的通用模型在此类任务中仍存在明显局限。因此,设计能够针对特定领域并引入额外约束条件、以挑战新型强大模型的基准数据集显得尤为必要。需要特别注意的是,特定领域的数据往往具有更高的噪声水平(例如内窥镜视频或水下视频),且通常需要具备更丰富经验的用户才能实现有效检索。本文聚焦于由移动摄像设备拍摄的单帧水下视频,这类数据对研究工作构成了非平凡的挑战。为此,我们发布了全新“海洋视频工具包”(Marine Video Kit)数据集的首个数据分片,旨在支持视频检索及其他计算机视觉任务。该数据集已被应用于2023年Video Browser Showdown的专题研讨环节。除基础元数据统计信息外,本文还基于低层特征以及部分关键帧的语义标注,提供了多项深入洞察。此外,文中还通过实验展示了现有主流通用模型在检索任务中的局限性。本数据集及配套代码已公开发布,访问地址为:https://hkust-vgd.github.io/marinevideokit。

代码仓库

quangtrungtruong/KIS_MVK
官方
GitHub 中提及

基准测试

基准方法指标
retrieval-on-mvkCLIP-KIS
text-to-video Mean Rank: 30

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
海洋视频工具包:用于基于内容分析与检索的新型海洋视频数据集 | 论文 | HyperAI超神经