摘要

本文提出了一种利用Transformer解决关键点检测和实例关联的新方法。对于自下而上的多人姿态估计模型，它们需要检测关键点并学习关键点之间的关联信息。我们认为，这些问题可以通过Transformer完全解决。具体而言，Transformer中的自注意力机制可以衡量任意两个位置之间的依赖关系，从而为关键点分组提供关联信息。然而，朴素的注意力模式仍然缺乏主观控制，因此无法保证关键点总是关注到它们所属的实例。为了解决这一问题，我们提出了一种新的监督自注意力的方法，用于多人关键点检测和实例关联。通过使用实例掩码来监督自注意力机制具有实例感知能力，我们可以根据成对的注意力分数将检测到的关键点分配给其对应的实例，而无需使用预定义的偏移向量场或嵌入（如基于CNN的自下而上模型）。我们的方法的一个额外优势是，可以从监督后的注意力矩阵中直接获得任意数量人员的实例分割结果，从而简化了像素分配流程。在COCO多人关键点检测挑战和人物实例分割任务上的实验表明了所提方法的有效性和简洁性，并展示了一种有前景的方法来控制自注意力行为以实现特定目的。