摘要

近年来，多专家方法在长尾识别（Long-Tail Recognition, LTR）方面取得了显著进展。我们总结了两个需要进一步增强以促进LTR提升的方面：(1) 更多样化的专家；(2) 降低模型方差。然而，先前的方法在这两方面处理得并不理想。为此，我们提出了一种通过一致性自蒸馏实现更多样化专家的方法（More Diverse Experts with Consistency Self-distillation, MDCS），以弥补早期方法留下的不足。我们的MDCS方法包含两个核心组件：多样性损失（Diversity Loss, DL）和一致性自蒸馏（Consistency Self-distillation, CS）。具体而言，DL通过控制专家对不同类别的关注来促进其多样化。为了降低模型方差，我们利用KL散度将弱增强实例的丰富知识提炼给专家进行自蒸馏。特别地，我们设计了置信实例采样（Confident Instance Sampling, CIS）方法，选择正确分类的实例用于CS，以避免偏差或噪声知识的影响。在分析和消融实验中，我们证明了与以往工作相比，我们的方法可以有效增加专家的多样性，显著降低模型方差，并提高识别精度。此外，我们的DL和CS相互强化且耦合：专家的多样性得益于CS，而没有DL的支持，CS也无法取得显著成果。实验结果表明，在包括CIFAR10-LT、CIFAR100-LT、ImageNet-LT、Places-LT和iNaturalist 2018在内的五个流行的长尾基准数据集上，我们的MDCS方法比现有最先进方法提高了1%~2%的性能。代码已开源，可在https://github.com/fistyee/MDCS 获取。