摘要

情感计算领域在可用数据资源方面长期受限。随着深度学习模型成为计算机视觉任务的主流方法，构建并标注多样化的真实场景（in-the-wild）数据集的需求日益凸显。尽管近年来已有一些真实场景数据库被提出，但普遍存在以下问题：（i）数据规模较小；（ii）非视听多模态数据；（iii）仅部分数据经过人工标注；（iv）受试者数量有限；（v）未对所有主要行为任务进行标注，包括情绪维度估计（如愉悦度-唤醒度）、动作单元检测以及基本表情分类。为解决上述问题，我们对目前最大的真实场景数据库（Aff-Wild）进行了大幅扩展，以支持对连续情绪（如愉悦度与唤醒度）的深入研究。此外，我们还对数据库的部分样本进行了基本表情和动作单元的标注。由此，首次实现了对三种行为状态（连续情绪、动作单元、基本表情）的联合研究。该扩展后的数据库被命名为Aff-Wild2。我们在Aff-Wild2上训练了基于CNN及CNN-RNN架构的视觉与音频多模态模型，并在10个公开可用的情绪识别数据库上对其性能进行了广泛评估。实验结果表明，所提出的网络在各类情绪识别任务中均达到了当前最优水平。此外，我们将ArcFace损失函数引入情绪识别任务中，基于该损失函数在Aff-Wild2上训练了两个新网络，并在多个多样化的表情识别数据集上进行再训练。实验结果表明，这些模型显著超越了现有最先进方法。相关数据库、情绪识别模型及源代码已公开发布，访问地址为：http://ibug.doc.ic.ac.uk/resources/aff-wild2。