MathisAlexander ; BiasiThomas ; SchneiderSteffen ; YüksekgönülMert ; RogersByron ; BethgeMatthias ; MathisMackenzie W.

摘要
神经网络是姿态估计中非常有效的工具。然而,与其他计算机视觉任务一样,对于域外数据的鲁棒性仍然是一个挑战,尤其是在现实应用中常见的小规模训练集的情况下。本文研究了三种架构类别(MobileNetV2、ResNet 和 EfficientNet)在姿态估计中的泛化能力。我们开发了一个包含30匹马的数据集,用于“域内”和“域外”(未见过的马)基准测试——这是当前人体姿态估计基准测试尚未直接解决的一个关键测试。研究表明,如果首先在ImageNet上进行预训练,那么在ImageNet上表现更好的架构在域内和域外数据上的性能也更好。此外,我们的研究还表明,在不同动物种类之间,表现更好的ImageNet模型具有更强的泛化能力。进一步地,我们引入了Horse-C,这是一个新的针对姿态估计常见损坏情况的基准测试,并确认预训练同样可以提高在这种领域迁移情境下的性能。总体而言,我们的结果证明了迁移学习对域外鲁棒性的益处。
代码仓库
DeepLabCut/DeepLabCut
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| animal-pose-estimation-on-horse-10 | DeepLabCut-EfficientNet-B6 | PCK@0.3 (OOD): 88.4 |
| animal-pose-estimation-on-horse-10 | DeepLabCut-MOBILENETV2-1 | PCK@0.3 (OOD): 77.6 |
| animal-pose-estimation-on-horse-10 | DeepLabCut-EfficientNet-B4 | PCK@0.3 (OOD): 86.9 |
| animal-pose-estimation-on-horse-10 | DeepLabCut-RESNET-101 | PCK@0.3 (OOD): 84.3 |
| animal-pose-estimation-on-horse-10 | DeepLabCut-MOBILENETV2 0.35 | PCK@0.3 (OOD): 63.5 |
| animal-pose-estimation-on-horse-10 | DeepLabCut-RESNET 50 | PCK@0.3 (OOD): 81.3 |