{Mackenzie Weygandt Mathis & Alexander MathisCatherine DulacGeorge LauderVenkatesh N. MurthyGuoping FengDaniel SoberanesValentina Di SantoMohammed Mostafizur RahmanTanmay NathSteffen SchneiderWilliam MenegasShaokai YeMu ZhouJessy Lauer}

摘要
估计多个动物的姿态是计算机视觉领域的一项具有挑战性的问题:频繁的交互导致遮挡现象严重,增加了将检测到的关键点正确关联到对应个体的难度,且这些动物外观高度相似,彼此之间的互动程度远高于典型的多人场景。为应对这一挑战,我们基于开源姿态估计工具DeepLabCut,构建了高性能的多动物姿态整合与跟踪功能,以满足多动物场景的需求。此外,我们还引入了预测动物身份的能力,以在发生遮挡时辅助跟踪。我们通过四个不同复杂度的数据集展示了该框架的强大性能,并将这些数据集公开发布,旨在为未来算法的发展提供基准参考。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| animal-pose-estimation-on-fish-100 | DLCRNet_ms4graph9 | mAP: 71.6 |
| animal-pose-estimation-on-marmoset-8k | DLCRNet_ms-graph34 | mAP: 89 |
| animal-pose-estimation-on-trimouse-161 | ResNet50_s4graph11 | mAP: 93 |
| animal-pose-estimation-on-trimouse-161 | DLCRNet_ms4graph11 | mAP: 92 |