摘要

情感表达是用于向他人传达个体情绪状态或态度的行为，可通过言语和非言语方式实现。复杂的人类行为可通过多模态的物理特征进行分析，主要包括面部表情、语音以及身体动作。近年来，自发性多模态情感识别在人类行为分析领域受到广泛关注。本文提出一种基于深度学习的音频-视觉情感识别新方法。该方法充分利用了深度学习领域的最新进展，如知识蒸馏技术与高性能深度网络架构。在特征融合方面，采用模型层面的融合策略，将音频与视觉模态的深层特征进行有效整合；随后，通过循环神经网络捕捉情感表达的时序动态特性。实验结果表明，该方法在RECOLA数据集上预测情感效价（valence）方面显著优于现有最先进方法。此外，所提出的视觉面部表情特征提取网络在AffectNet和Google面部表情对比（Google Facial Expression Comparison）数据集上的表现也超越了当前最优水平。