4 个月前

UniHCP:以人为中心感知的统一模型

UniHCP:以人为中心感知的统一模型

摘要

以人类为中心的感知任务(例如姿态估计、人体解析、行人检测、人员重识别等)在视觉模型的工业应用中发挥着关键作用。尽管特定的以人类为中心的任务各有其相关的语义方面需要关注,但它们也共享了相同的人体底层语义结构。然而,很少有研究尝试利用这种同质性并设计一个适用于多种以人类为中心任务的通用模型。在这项工作中,我们重新审视了一大类以人类为中心的任务,并以最简化的方式将其统一起来。我们提出了UniHCP,即一种用于以人类为中心感知任务的统一模型,该模型通过简单的视觉变换器架构实现了多种以人类为中心任务的简化端到端统一。通过对33个大规模以人类为中心的数据集进行联合训练,UniHCP能够在多个领域内和下游任务上直接评估时超越强大的基线模型。当适应于特定任务时,UniHCP在广泛的以人类为中心的任务上取得了新的最佳性能(SOTA),例如在CIHP数据集上的人体解析任务中达到了69.8 mIoU,在PA-100K数据集上的属性预测任务中达到了86.18 mA,在Market1501数据集上的人员重识别任务中达到了90.3 mAP,在CrowdHuman数据集上的行人检测任务中达到了85.8 JI,表现优于为每个任务专门设计的模型。

代码仓库

opengvlab/unihcp
官方
pytorch

基准测试

基准方法指标
human-part-segmentation-on-atrUniHCP (FT)
pACC: 97.74
human-part-segmentation-on-cihpUniHCP (finetune)
Mean IoU: 69.8
human-part-segmentation-on-human3-6mUniHCP (finetune)
mIoU: 65.95
object-detection-on-crowdhuman-full-bodyUniHCP (finetune)
AP: 92.5
mMR: 41.6
pedestrian-attribute-recognition-on-pa-100kUniHCP (finetune)
Accuracy: 86.18
pedestrian-attribute-recognition-on-petaUniHCP (FT)
Accuracy: 88.78%
pedestrian-attribute-recognition-on-rapv2UniHCP (finetune)
Accuracy: 82.34
pedestrian-detection-on-caltechUniHCP (FT)
Heavy MR^-2: 27.2
person-re-identification-on-cuhk03UniHCP (finetune)
MAP: 83.1
person-re-identification-on-market-1501UniHCP (finetune)
mAP: 90.3
person-re-identification-on-msmt17UniHCP (finetune)
mAP: 67.3
person-re-identification-on-sensereidUniHCP (DE)
Top-1: 46
pose-estimation-on-aicUniHCP (finetune)
AP: 33.6
pose-estimation-on-mpii-human-poseUniHCP (FT)
PCKh-0.5: 93.2
pose-estimation-on-ms-cocoUniHCP (finetune)
AP: 76.5
pose-estimation-on-ochumanUniHCP (direct eval)
Test AP: 87.4
semantic-segmentation-on-lip-valUniHCP (finetune)
mIoU: 63.86%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
UniHCP:以人为中心感知的统一模型 | 论文 | HyperAI超神经