4 个月前

MiVOLO:多输入Transformer用于年龄和性别估计

MiVOLO:多输入Transformer用于年龄和性别估计

摘要

在野外进行年龄和性别识别是一项极具挑战性的任务:除了条件的多样性、姿态复杂性和图像质量的差异外,还存在面部部分或完全被遮挡的情况。我们提出了一种名为MiVOLO(多输入VOLO)的方法,利用最新的视觉变换器进行年龄和性别估计。我们的方法将这两个任务整合到一个统一的双输入/输出模型中,不仅利用了面部信息,还结合了人物图像数据。这提高了我们模型的泛化能力,即使在图像中面部不可见的情况下也能提供令人满意的结果。为了评估我们提出的模型,我们在四个流行的基准数据集上进行了实验,并取得了最先进的性能,同时展示了实时处理的能力。此外,我们基于Open Images Dataset引入了一个新的基准数据集。该基准数据集的真实注释由人工标注者精心生成,通过智能汇总投票结果,确保了高精度的答案。进一步地,我们将模型的年龄识别性能与人类水平的准确性进行了比较,并证明在大多数年龄段上,我们的模型显著优于人类。最后,我们向公众开放了我们的模型,并提供了验证和推理代码。此外,我们为所使用的数据集提供了额外的注释,并介绍了我们的新基准数据集。

代码仓库

wildchlamydia/mivolo
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
age-and-gender-classification-on-adienceMiVOLO-D1
Accuracy (5-fold): 96.51
age-and-gender-classification-on-adience-ageMiVOLO-D1
Accuracy (5-fold): 68.69
age-and-gender-estimation-on-lagenda-ageMiVOLO-D1
CS@5: 71.27
MAE: 3.99
age-and-gender-estimation-on-lagenda-genderMiVOLO-D1
Accuracy: 97.36
age-estimation-on-agedbMiVOLO-D1
MAE: 5.55
age-estimation-on-imdb-cleanMiVOLO-D1
Average mean absolute error: 4.09
age-estimation-on-imdb-cleanVOLO-D1 age&gender
Average mean absolute error: 4.22
age-estimation-on-lagendaMiVOLO-D1
MAE: 3.99
age-estimation-on-utkfaceMiVOLO-D1
MAE: 3.7
age-estimation-on-utkfaceVOLO-D1 age&gender
MAE: 4.23
facial-attribute-classification-on-fairfaceMiVOLO-D1
age-top1: 61.07
gender-top1: 95.73
gender-prediction-on-agedbMiVOLO-D1
Accuracy: 98.3
gender-prediction-on-lagendaMiVOLO-D1
Accuracy: 97.36

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MiVOLO:多输入Transformer用于年龄和性别估计 | 论文 | HyperAI超神经