摘要

我们提出首个直接端到端的多人姿态估计框架，命名为DirectPose。受近期无锚框目标检测器的启发——这些方法直接回归目标边界框的两个对角顶点，本框架能够直接从原始输入图像中预测所有实例的实例感知关键点，从而摒弃了自底向上方法中所需的启发式分组操作，也无需自顶向下方法中的边界框检测与RoI（感兴趣区域）操作。此外，我们提出一种新颖的关键点对齐机制（Keypoint Alignment, KPAlign），有效解决了该端到端框架中的主要难题：卷积特征与预测结果之间缺乏对齐。KPAlign在保持框架端到端可训练性的前提下，显著提升了模型性能。仅通过一次后处理非极大值抑制（NMS），所提出的框架即可在单次前向传播中完成无边界框或带边界框的多人关键点检测。实验结果表明，该端到端范式在自底向上与自顶向下两类方法中，均能达到与现有强基准相当甚至更优的性能。我们期望这一端到端方法能为人体姿态估计任务提供一种全新的视角。