摘要

本文中，我们通过仅使用少量可训练参数，高效地将视觉基础模型（如ViT和Swin）的卓越表示能力应用于视频理解。以往的适应方法虽然同时考虑了空间和时间建模，并采用了统一的可学习模块，但仍未能充分利用图像变换器的表示能力。我们认为，视频模型中流行的双路径（两流）架构可以缓解这一问题。我们提出了一种新颖的双路径适应方法，该方法分为空间适应路径和时间适应路径，在每个变换器块中都使用了一个轻量级瓶颈适配器。特别是在时间动态建模方面，我们将连续帧整合到一个网格状帧集（frameset）中，以精确模拟视觉变换器在推断令牌之间关系的能力。此外，我们从统一的角度广泛研究了视频理解中的多个基线，并将其与双路径方法进行了比较。四个动作识别基准测试的实验结果证明，预训练的图像变换器结合双路径方法可以有效地泛化到数据域之外。