摘要

我们提出了一种用于估计视频中动作重复周期的方法。该方法的核心在于将周期预测模块限制为使用时间自相似性作为中间表示瓶颈，这使得模型能够泛化到野外视频中未见过的重复情况。我们训练了这一模型，称为RepNet，所使用的合成数据集是从大量未标注的视频集合中通过采样不同长度的短片段并以不同的周期和次数重复这些片段生成的。这种合成数据与强大但受限模型的结合，使我们能够在类别无关的情况下预测周期。我们的模型在现有的周期性（PerTube）和重复计数（QUVA）基准测试中的表现显著超过了现有技术水平。此外，我们还收集了一个新的具有挑战性的数据集，称为Countix（比现有数据集大约大90倍），该数据集捕捉了现实世界视频中重复计数的挑战。项目网页：https://sites.google.com/view/repnet 。