摘要

本文提出了一种新颖的视觉表征学习方法，该方法依赖于少量自适应学习得到的视觉令牌（tokens），并适用于图像与视频理解任务。与传统方法依赖人工设计的分割策略生成视觉令牌，并对大量密集采样的图像块进行注意力计算不同，我们的方法能够自动挖掘视觉数据中的关键令牌。这一机制使得我们能够高效且有效地识别出少数具有代表性的视觉令牌，并在更长的时间跨度内建模这些令牌之间的成对注意力关系（适用于视频任务），或在图像中建模空间内容的关联性。实验结果表明，该方法在多个具有挑战性的图像与视频识别基准测试中均表现出色。尤为重要的是，由于所生成的令牌具有自适应特性，我们在显著降低计算开销的前提下，仍取得了具有竞争力的性能表现。在ImageNet数据集上，我们的方法取得了与当前最先进模型相当的准确率，同时具备更高的计算效率。此外，我们在多个视频数据集（包括Kinetics-400、Kinetics-600、Charades和AViD）上也验证了该方法的有效性。代码已开源，地址为：https://github.com/google-research/scenic/tree/main/scenic/projects/token_learner