摘要

以人类为中心的感知任务，例如行人检测、基于骨架的动作识别和姿态估计，在元宇宙和体育分析等领域有着广泛的应用。近期，开发能够惠及多种以人类为中心的感知任务的基础模型成为研究热点。尽管许多以人类为中心的基础模型已经取得成功，但它们尚未探索三维视觉和视觉-语言任务，并且需要针对特定任务进行微调。这些限制制约了它们在更多下游任务和场景中的应用。为了解决这些问题，我们提出了Hulk，这是首个多模态以人类为中心的通用模型，能够在无需针对特定任务进行微调的情况下处理二维视觉、三维视觉、基于骨架和视觉-语言任务。实现这一目标的关键在于将各种特定任务的头部模块压缩为两个通用头部模块：一个用于离散表示（如语言），另一个用于连续表示（如位置坐标）。这两个头部模块的输出可以进一步组合成四种不同的输入和输出模态。这种统一的表示方法使Hulk能够将多样化的以人类为中心的任务视为模态转换，从而在广泛的任务中整合知识。对Hulk在涵盖8种以人类为中心的任务的12个基准数据集上的全面评估表明，我们提出的方法具有优越性，在11个基准数据集中达到了最先进的性能。代码可在https://github.com/OpenGVLab/Hulk 获取。