摘要

面部表情分析仍然是一个具有挑战性的任务，主要原因是存在一些与任务无关的噪声，如身份、头部姿态和背景。为了解决这一问题，本文提出了一种新的框架，称为Norface，该框架统一了动作单元（AU）分析和面部情感识别（FER）任务。Norface由一个归一化网络和一个分类网络组成。首先，精心设计的归一化网络致力于直接消除上述与任务无关的噪声，通过保持面部表情的一致性，将所有原始图像归一化到具有相同身份、姿态和背景的共同标准。然后，这些额外的归一化图像被输入到分类网络中。由于身份和其他因素（例如头部姿态、背景等）的一致性，归一化图像使得分类网络能够更有效地提取有用的表达信息。此外，分类网络还结合了专家混合模型来优化潜在表示，包括处理面部特征的输入和多个（AU或情感）标签的输出。大量实验验证了该精心设计的框架在身份归一化方面的有效性。所提出的方法在多个面部表情分析任务中超越了现有的最先进方法，包括AU检测、AU强度估计和FER任务及其跨数据集任务。有关归一化数据集和代码，请访问 {https://norface-fea.github.io/}。