3 个月前

CAGE:环形情感引导的表达推断

CAGE:环形情感引导的表达推断

摘要

理解情绪与表情是多个学科领域共同关注的重要课题,尤其在提升用户体验方面具有重要意义。与普遍认知不同,研究表明情绪并非离散的独立实体,而是存在于一个连续谱系之中。由于文化背景、个体经验以及认知偏见等多种因素的影响,人们对离散情绪的理解存在显著差异。因此,大多数表情理解方法,尤其是依赖离散类别划分的方法,本质上带有固有偏差。本文对两个常用数据集(AffectNet 和 EMOTIC)进行了深入的比较分析,这些数据集均包含情绪环状模型(circumplex model of affect)的组成部分。在此基础上,我们提出了一种专为轻量化应用场景设计的面部表情预测模型。该模型采用基于小规模 MaxViT 架构的网络结构,系统评估了在训练过程中使用离散表情类别标签与连续维度标签(即效价 valence 和唤醒度 arousal)相结合的影响。实验结果表明,将效价与唤醒度信息与离散类别标签联合建模,能够显著提升表情推断的准确性。所提出的模型在 AffectNet 数据集上的表现超越了当前最先进的方法,成为目前在效价与唤醒度推断任务中性能最优的模型,其均方根误差(RMSE)降低了 7%。用于复现本研究结果的训练脚本及预训练权重已公开,详见:https://github.com/wagner-niklas/CAGE_expression_inference。

代码仓库

wagner-niklas/cage_expression_inference
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
emotion-recognition-on-emoticCAGE
Top-3 Accuracy (%): 14.73
facial-expression-recognition-on-affectnetCAGE
Accuracy (7 emotion): 66.6
Accuracy (8 emotion): 62.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
CAGE:环形情感引导的表达推断 | 论文 | HyperAI超神经