摘要

面部表情识别（Facial Expression Recognition, FER）在人机交互等众多实际应用中发挥着重要作用。POSTER 通过采用双流金字塔交叉融合设计，有效结合面部关键点与图像特征，在 FER 任务中达到了当前最优（State-of-the-Art, SOTA）性能。然而，POSTER 的网络结构无疑较为复杂，导致计算开销较大。为缓解 POSTER 的计算压力，本文提出 POSTER++，在交叉融合、双流结构以及多尺度特征提取三个方面对原模型进行改进。在交叉融合方面，引入基于窗口的交叉注意力机制，替代原有的标准交叉注意力机制；在双流设计中，移除了图像到关键点的分支，简化了结构；在多尺度特征提取方面，POSTER++ 将图像与关键点的多尺度特征进行融合，取代了 POSTER 中的金字塔结构。在多个标准数据集上的大量实验结果表明，POSTER++ 在实现 SOTA 表情识别性能的同时，显著降低了计算成本。例如，在 RAF-DB 数据集上达到 92.21% 的准确率，在 AffectNet 数据集（7 类）上达到 67.49%，在 AffectNet 数据集（8 类）上达到 63.77%，仅需 8.4G 次浮点运算（FLOPs）和 43.7M 参数（Params）。实验结果充分验证了所提改进方法的有效性。