面部动作单元（AU）是情感计算领域中的一个重要概念，而AU检测一直是研究热点。现有的方法由于在稀缺的AU注释数据集上使用大量可学习参数，或者过度依赖大量的相关额外数据，导致过拟合问题。参数高效迁移学习（PETL）提供了一种有前景的范式来解决这些挑战，但其现有方法缺乏针对AU特性的设计。因此，我们创新性地将PETL范式应用于AU检测，引入了AUFormer并提出了一种新颖的知识混合专家（MoKE）协作机制。首先，每个特定于某个AU的MoKE通过最少的可学习参数整合个性化的多尺度和关联知识。然后，MoKE与其他专家组内的MoKE协作，获取聚合信息并将其注入冻结的视觉变换器（ViT），以实现高效的AU检测。此外，我们设计了一种截距缩减的难度感知加权非对称损失函数（MDWA-Loss），该损失函数可以促使模型更加关注激活的AUs，区分未激活AUs的难度，并丢弃潜在的错误标记样本。从多个角度进行的广泛实验，包括域内、跨域、数据效率和微表情域实验，均证明了AUFormer在无需额外相关数据的情况下具有最先进的性能和强大的泛化能力。AUFormer的代码可在以下地址获取：https://github.com/yuankaishen2001/AUFormer。