摘要

提升面部表情识别（Facial Expression Recognition, FER）性能的一种潜在方法是通过增加训练样本数量来扩充训练集。通过融合多个FER数据集，深度学习模型能够提取更具判别性的特征。然而，标注的FER数据集中普遍存在标注标准不一致以及主观偏差等问题，这些因素在混合使用多个数据集时会显著影响深度学习模型的识别准确率，使得多数据集联合训练成为一项具有挑战性的任务。本文提出了一种基于多源FER数据集的联合训练方法，用于训练FER模型。该方法包含四个步骤：（1）从附加数据集中选取子集；（2）为目标数据集生成伪连续标签；（3）根据目标数据集的标注标准，利用连续标签映射与离散标签重标注技术对不同数据集的标签进行优化与统一；（4）采用多任务学习策略进行联合训练。我们在两个主流的野外场景FER基准数据库RAF-DB和CAER-S上开展了联合训练实验，并以AffectNet数据集作为额外数据源。实验结果表明，所提出的方法显著优于直接将不同FER数据集简单合并为单一训练集的策略，在RAF-DB和CAER-S上分别取得了92.24%和94.57%的识别准确率，达到了当前最优水平。