摘要

我们提出了 Moments in Time 数据集，这是一个大规模的人工标注视频集合，包含一百万段时长为三秒的短视频，对应于在三秒内发生的动态事件。即使在三秒视频中，建模空间、音频与时间维度的动态变化也面临诸多挑战：有意义的事件不仅包括人类动作，还涵盖物体、动物以及自然现象；视觉与听觉事件在时间上可能具有对称性（如“打开”是“关闭”的逆过程），且可能表现为瞬时或持续状态。本文描述了本数据集的标注流程（每段视频被标注一个来自339个不同类别中的动作或活动标签），分析了其在规模与多样性方面相较于其他大规模动作识别视频数据集的特点，并报告了若干基线模型在单独与联合处理空间、时间与听觉三种模态时的表现。Moments in Time 数据集旨在覆盖视觉与听觉模态中广泛且多样的事件，可作为一项新挑战，推动模型发展至与人类日常所具备的复杂性与抽象推理能力相匹配的水平。