3 个月前

基于DeepLabCut的多动物姿态估计、识别与追踪

基于DeepLabCut的多动物姿态估计、识别与追踪

摘要

估计多个动物的姿态是计算机视觉领域的一项具有挑战性的问题:频繁的交互导致遮挡现象严重,增加了将检测到的关键点正确关联到对应个体的难度,且这些动物外观高度相似,彼此之间的互动程度远高于典型的多人场景。为应对这一挑战,我们基于开源姿态估计工具DeepLabCut,构建了高性能的多动物姿态整合与跟踪功能,以满足多动物场景的需求。此外,我们还引入了预测动物身份的能力,以在发生遮挡时辅助跟踪。我们通过四个不同复杂度的数据集展示了该框架的强大性能,并将这些数据集公开发布,旨在为未来算法的发展提供基准参考。

基准测试

基准方法指标
animal-pose-estimation-on-fish-100DLCRNet_ms4graph9
mAP: 71.6
animal-pose-estimation-on-marmoset-8kDLCRNet_ms-graph34
mAP: 89
animal-pose-estimation-on-trimouse-161ResNet50_s4graph11
mAP: 93
animal-pose-estimation-on-trimouse-161DLCRNet_ms4graph11
mAP: 92

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于DeepLabCut的多动物姿态估计、识别与追踪 | 论文 | HyperAI超神经