摘要

视觉变换器（Vision Transformer, ViT）作为计算机视觉领域的新范式，展现了出色的性能，但同时也伴随着高昂的计算成本。图像标记修剪是ViT压缩的主要方法之一，原因在于其复杂度与标记数量呈二次关系，并且许多仅包含背景区域的标记对最终预测并无实质性贡献。现有的研究要么依赖额外模块来评估各个标记的重要性，要么为不同的输入实例实施固定的比率修剪策略。在本工作中，我们提出了一种具有最小成本的自适应稀疏标记修剪框架。具体而言，我们首先提出了一种低成本的注意力头重要性加权分类注意力评分机制。然后，插入可学习参数作为阈值，以区分有用标记和不重要的标记。通过比较标记注意力得分与阈值，我们可以分层次地丢弃无用标记，从而加速推理过程。这些可学习的阈值在预算感知训练中进行优化，以平衡准确性和复杂度，并针对不同的输入实例执行相应的修剪配置。大量实验验证了我们方法的有效性。我们的方法将DeiT-S的吞吐量提高了50%，同时仅导致Top-1准确率下降0.2%，实现了比以往方法更好的准确性和延迟之间的权衡。