摘要

本文研究了多尺度视觉Transformer（MViTv2）作为一种统一架构在图像分类、视频分类以及目标检测任务中的应用。我们提出了一种改进的MViT结构，引入了分解的相对位置编码（decomposed relative positional embeddings）与残差池化连接（residual pooling connections）。基于该架构，我们构建了五个不同规模的模型，并在ImageNet图像分类、COCO目标检测以及Kinetics视频识别任务上进行了评估，结果均优于现有方法。此外，我们将MViTv2的池化注意力机制（pooling attention）与窗口注意力机制（window attention）进行了对比，发现MViTv2在准确率与计算效率的权衡上表现更优。在不依赖额外技巧（bells-and-whistles）的情况下，MViTv2在三个领域均达到了当前最优性能：在ImageNet图像分类任务中取得88.8%的准确率，在COCO目标检测任务中达到58.7 boxAP，在Kinetics-400视频分类任务中实现86.1%的准确率。相关代码与预训练模型已开源，地址为：https://github.com/facebookresearch/mvit。