4 个月前

HumanBench:通过投影辅助预训练实现通用的人类中心感知

HumanBench:通过投影辅助预训练实现通用的人类中心感知

摘要

以人类为中心的感知任务包括多种视觉任务,这些任务在工业界有广泛的应用,例如监控、自动驾驶和元宇宙。为了实现多用途的人类中心下游任务,需要有一个通用的预训练模型。本文从基准测试和预训练方法两个方面推进了这一目标。具体而言,我们基于现有数据集提出了一个HumanBench,用于全面评估不同预训练方法在6个不同的下游任务中的泛化能力,这些任务涉及19个数据集,包括人员重识别(Person ReID)、姿态估计、人体解析、行人属性识别、行人检测和人群计数。为了学习人体的粗粒度和细粒度知识,我们进一步提出了一种投射器辅助层次化预训练方法(PATH),该方法能够在不同的粒度级别上学习多样化的知识。在HumanBench上的综合评估表明,我们的PATH在17个下游数据集上取得了新的最先进结果,在另外2个数据集上也达到了相当的结果。代码将在[https://github.com/OpenGVLab/HumanBench]公开发布。注释:- Person ReID:人员重识别- PATH:投射器辅助层次化预训练方法(Projector Assisted Hierarchical pretraining method)

代码仓库

基准测试

基准方法指标
pedestrian-attribute-recognition-on-pa-100kPATH (Partial FT)
Accuracy: 90.8
pose-estimation-on-cocoPATH (Partial FT)
AP: 77.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HumanBench:通过投影辅助预训练实现通用的人类中心感知 | 论文 | HyperAI超神经