
摘要
面部表情识别在过去几十年中一直是活跃的研究领域,但由于类内变异性的高,这一问题仍然具有挑战性。传统的解决方法依赖于手工设计的特征,如尺度不变特征变换(SIFT)、方向梯度直方图(HOG)和局部二值模式(LBP),随后在图像或视频数据库上训练分类器。这些方法在受控条件下拍摄的图像数据集上表现较为合理,但在更具挑战性的数据集上,由于图像变化较大和部分面部缺失,其性能往往不尽如人意。近年来,有几项研究提出了用于面部表情识别的端到端框架,采用了深度学习模型。尽管这些研究在性能上有所提升,但仍存在很大的改进空间。在本研究中,我们提出了一种基于注意力卷积网络的深度学习方法,该方法能够聚焦面部的重要区域,并在多个数据集上显著优于先前的模型,包括FER-2013、CK+、FERG和JAFFE。我们还使用了一种可视化技术,能够根据分类器的输出找到检测不同情绪的重要面部区域。通过实验结果,我们展示了不同情绪对面部不同部分的敏感程度各不相同。
代码仓库
kaushal-k/Deep-Emotion
tf
GitHub 中提及
omarsayed7/Deep-Emotion
pytorch
GitHub 中提及
KLT20/Realtime-Face-Emotion-Recognition
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| facial-expression-recognition-on-ck | DeepEmotion | Accuracy (7 emotion): 98 |
| facial-expression-recognition-on-fer2013 | DeepEmotion | Accuracy: 70.02 |
| facial-expression-recognition-on-ferg | DeepEmotion | Accuracy: 99.3 |
| facial-expression-recognition-on-jaffe | DeepEmotion | Accuracy: 92.8 |