摘要

面部动作单元（AUs）的激活状态相互影响。尽管一对AUs之间的关系可能复杂且独特，现有的方法未能为每个面部表情中的每对AUs具体且明确地表示这些线索。本文提出了一种AU关系建模方法，通过深度学习生成一个独特的图，以明确描述目标面部表情中每对AUs之间的关系。我们的方法首先将每个AU的激活状态及其与其他AUs的关联编码为节点特征。然后，它学习一组多维边特征，以描述每对AUs之间多个任务特定的关系线索。在节点和边特征学习过程中，我们的方法还考虑了特定面部表情对AUs关系的影响，通过将整个面部表示作为输入。在BP4D和DISFA数据集上的实验结果表明，节点和边特征学习模块显著提升了基于CNN和变压器的骨干网络的性能，我们的最佳系统达到了最先进的AU识别结果。我们的方法不仅在建模AU识别的关系线索方面具有强大的能力，还可以轻松集成到各种骨干网络中。我们已开源了PyTorch代码。