4 个月前

预训练提高了姿态估计的领域外鲁棒性

预训练提高了姿态估计的领域外鲁棒性

摘要

神经网络是姿态估计中非常有效的工具。然而,与其他计算机视觉任务一样,对于域外数据的鲁棒性仍然是一个挑战,尤其是在现实应用中常见的小规模训练集的情况下。本文研究了三种架构类别(MobileNetV2、ResNet 和 EfficientNet)在姿态估计中的泛化能力。我们开发了一个包含30匹马的数据集,用于“域内”和“域外”(未见过的马)基准测试——这是当前人体姿态估计基准测试尚未直接解决的一个关键测试。研究表明,如果首先在ImageNet上进行预训练,那么在ImageNet上表现更好的架构在域内和域外数据上的性能也更好。此外,我们的研究还表明,在不同动物种类之间,表现更好的ImageNet模型具有更强的泛化能力。进一步地,我们引入了Horse-C,这是一个新的针对姿态估计常见损坏情况的基准测试,并确认预训练同样可以提高在这种领域迁移情境下的性能。总体而言,我们的结果证明了迁移学习对域外鲁棒性的益处。

代码仓库

DeepLabCut/DeepLabCut
官方
tf
GitHub 中提及

基准测试

基准方法指标
animal-pose-estimation-on-horse-10DeepLabCut-EfficientNet-B6
PCK@0.3 (OOD): 88.4
animal-pose-estimation-on-horse-10DeepLabCut-MOBILENETV2-1
PCK@0.3 (OOD): 77.6
animal-pose-estimation-on-horse-10DeepLabCut-EfficientNet-B4
PCK@0.3 (OOD): 86.9
animal-pose-estimation-on-horse-10DeepLabCut-RESNET-101
PCK@0.3 (OOD): 84.3
animal-pose-estimation-on-horse-10DeepLabCut-MOBILENETV2 0.35
PCK@0.3 (OOD): 63.5
animal-pose-estimation-on-horse-10DeepLabCut-RESNET 50
PCK@0.3 (OOD): 81.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供