4 个月前

多人检测、姿态估计与分割:闭合良性循环

多人检测、姿态估计与分割:闭合良性循环

摘要

人体姿态估计方法在处理单个个体时表现出色,但在多个身体靠近的情况下却面临挑战。以往的研究通过利用检测到的边界框或关键点来解决这一问题,但忽略了实例掩码的作用。我们提出了一种迭代方法,以强制边界框、实例掩码和姿态之间的相互一致性。所引入的边界框-掩码-姿态(BBox-Mask-Pose, BMP)方法使用了三个专门的模型,在闭环中互相改进输出结果。所有模型都经过了相互条件适应,从而提高了多体场景中的鲁棒性。MaskPose 是一种新的基于掩码的姿态估计模型,在自上而下的方法中在 OCHuman 数据集上的表现最佳。BBox-Mask-Pose 在 OCHuman 数据集的所有三项任务——检测、实例分割和姿态估计中均达到了最先进的水平,并且在 COCO 姿态估计任务中也取得了最佳性能。该方法特别适用于大量实例重叠的场景,在这些场景中,它将检测性能提升了 39%。通过使用小型专用模型并加快运行速度,BMP 成为了大型以人为中心的基础模型的有效替代方案。代码和模型可在 https://MiraPurkrabek.github.io/BBox-Mask-Pose 获取。

代码仓库

基准测试

基准方法指标
2d-human-pose-estimation-on-ochumanBBox-Mask-Pose 2x
Test AP: 48.3
Validation AP: 48.6
human-instance-segmentation-on-ochumanRTMDet-ins-l
AP: 26.5
human-instance-segmentation-on-ochumanBBox-Mask-Pose 2x
AP: 32.4
keypoint-detection-on-ochumanBBox-Mask-Pose 2x
Test AP: 48.3
Validation AP: 48.6
pose-estimation-on-ochumanBBox-Mask-Pose 2x
Test AP: 48.3
Validation AP: 48.6
pose-estimation-on-ochumanMaskPose-b
Test AP: 45.0
Validation AP: 45.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
多人检测、姿态估计与分割:闭合良性循环 | 论文 | HyperAI超神经