摘要

基于视频的面部表情识别旨在将给定的视频分类为几种基本情绪。如何整合单个帧的面部特征对于这一任务至关重要。在本文中，我们提出了一种帧注意力网络（Frame Attention Networks, FAN），以自动在端到端框架中突出一些具有区分性的帧。该网络以包含可变数量人脸图像的视频作为输入，并生成固定维度的表示。整个网络由两个模块组成。特征嵌入模块是一个深度卷积神经网络（Convolutional Neural Network, CNN），它将人脸图像嵌入到特征向量中。帧注意力模块学习多个注意力权重，这些权重用于自适应地聚合特征向量，形成单一的具有区分性的视频表示。我们在CK+和AFEW8.0数据集上进行了广泛的实验。所提出的FAN与其他基于CNN的方法相比表现出优越性能，并在CK+数据集上达到了最先进的水平。