摘要

面部表情识别（Facial Expression Recognition, FER）得益于卷积神经网络（Convolutional Neural Networks, CNN）的发展取得了显著进展。然而，由于CNN中的卷积滤波器依赖于局部空间特性，大多数神经网络层难以捕捉不同面部区域之间的长程依赖关系，从而限制了基于CNN的FER模型的性能。为解决这一问题，本文提出了一种新型的基于CNN的FER框架，该框架引入了两种注意力机制，分别用于低层特征学习与高层语义表示。具体而言，在低层特征学习阶段，本文提出一种基于网格的注意力机制，用于捕获面部表情图像中不同区域之间的依赖关系，从而对低层特征学习中卷积滤波器的参数更新进行有效正则化。在高层语义表示阶段，采用视觉Transformer注意力机制，利用由高层卷积层块生成的金字塔特征所提取的视觉语义令牌（visual semantic tokens）序列，学习全局上下文表示。在三个公开的面部表情数据集（CK+、FER+ 和 RAF-DB）上进行了大量实验。结果表明，所提出的FER-VT模型在这些数据集上均达到了当前最优的性能表现，尤其在CK+数据集上，仅使用原始训练数据而无需额外训练数据的情况下，实现了100%的识别准确率，显著优于现有方法。