摘要

近期在大规模视觉-语言模型的配对图像-文本数据预训练方面取得了显著进展，这些模型在零样本任务中展示了令人印象深刻的泛化能力。在此基础上，研究人员尝试将这些基于图像的视觉-语言模型（如CLIP）扩展到视频领域，以实现其在视频领域的零样本能力。尽管这些改进已经取得了一些有希望的结果，但它们带来了显著的计算成本，并且在有效建模视频固有的时间特性方面仍面临挑战。本研究中，我们提出了EZ-CLIP，这是一种简单高效的CLIP改进方法，旨在解决这些问题。EZ-CLIP通过利用时间视觉提示实现了无缝的时间适应，无需对核心CLIP架构进行根本性修改，同时保留了其卓越的泛化能力。此外，我们引入了一种新的学习目标，引导时间视觉提示关注捕捉运动，从而增强其从视频数据中学习的能力。我们在五个不同的基准数据集上进行了广泛的实验，全面评估了EZ-CLIP在零样本学习和基础到新颖视频动作识别中的表现，并展示了其在少样本泛化方面的潜力。令人印象深刻的是，EZ-CLIP仅需520万个可学习参数（相比之下，先前最佳模型需要7110万个参数），即可在一个GPU上高效训练，并在多项评估中超越现有方法。