摘要
视觉Transformer架构在图像分类任务中已被证明具有极高的有效性。然而，当前针对更具挑战性的视觉任务所采用的Transformer方法，仍依赖于卷积神经网络（CNN）作为特征提取的主干网络。本文研究了完全基于Transformer架构（即不包含任何CNN主干网络）在二维人体姿态估计任务中的应用。我们在COCO数据集上评估了两种ViT（Vision Transformer）架构，实验结果表明，采用编码器-解码器结构的Transformer模型能够在该任务上达到当前最优的性能水平。
代码仓库
padeler/pe-former
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| pose-estimation-on-coco | PEFORMER-Xcit-dino-p8 | AP: 72.6 AR: 79.4 |