摘要

由于其能够提取相关的时空视频嵌入，视觉变换器（Vision Transformers, ViTs）目前在视频动作理解方面表现出色。然而，它们在不同领域或数据集上的泛化能力较为有限。相比之下，视觉语言模型（Visual Language Models, VLMs）展示了卓越的泛化性能，但目前无法处理视频数据。因此，它们无法提取对动作理解至关重要的时空模式。本文中，我们提出了一种四层提示框架（Four-tiered Prompts, FTP），该框架充分利用了ViTs和VLMs的互补优势。我们保留了ViTs强大的时空表示能力，同时通过与VLM输出对齐来改进视觉编码，使其更加全面和泛化。FTP框架添加了四个特征处理器，分别专注于视频中人类动作的具体方面：动作类别、动作组件、动作描述和上下文信息。VLMs仅在训练过程中使用，而在推理阶段几乎不会增加计算成本。我们的方法在多个基准测试中持续展现出最先进的性能。例如，在Kinetics-400数据集上，我们取得了93.8%的显著top-1准确率，在Something-Something V2数据集上则达到了83.4%的top-1准确率，分别超过了VideoMAEv2 2.8%和2.6%。