摘要

基于Softmax的训练方法在大规模人脸识别任务中已展现出当前最优的性能。本文发现，基于Softmax的方法存在一个关键问题：在训练过程中，尽管样本特征的方向各不相同，但位于对应类别权重附近的样本特征仍会受到相似的惩罚。这种方向上的差异，即方向不一致现象（亦称“过程偏差”），会导致模型在评估阶段性能下降。为缓解该问题，本文提出一种新颖的训练范式——最小偏差学习（Minimum Discrepancy Learning），该方法通过引入一个可学习的单一基向量，强制类内样本特征的方向对齐至一个最优方向。此外，该单一可学习基向量有助于从样本特征中解耦出所谓的类不变向量（class-invariant vectors），从而在类别不平衡的数据集上仍能实现有效的训练。