摘要

我们提出了一种高分辨率Transformer（HRFormer），用于学习密集预测任务中的高分辨率表征，这与原始视觉Transformer（Vision Transformer）生成低分辨率表征且具有高内存和计算开销的特点形成对比。我们借鉴了高分辨率卷积网络（HRNet）中提出的多分辨率并行结构，并结合局部窗口自注意力机制（local-window self-attention），该机制在不重叠的小图像窗口上执行自注意力操作，从而提升内存与计算效率。此外，我们在前馈网络（FFN）中引入卷积操作，以在彼此分离的图像窗口之间实现信息交互。实验表明，HRFormer在人体姿态估计与语义分割任务上均表现出色。例如，在COCO姿态估计任务中，HRFormer以50%更少的参数量和30%更少的浮点运算次数（FLOPs），实现了比Swin Transformer高出1.3 AP的性能。代码已开源，地址为：https://github.com/HRNet/HRFormer。