摘要

我们提出了一种统一的概率聚类框架——对比专家混合模型（Mixture of Contrastive Experts, MiCE），该框架能够同时利用对比学习所提取的判别性表征以及潜在混合模型所捕捉的语义结构。受专家混合（Mixture of Experts）思想的启发，MiCE采用门控函数（gating function）根据潜在语义将无标签数据集划分为多个子集，并通过多个专家分别对分配给它们的实例子集进行对比学习式的判别。为解决由潜在变量引入的非平凡推断与学习问题，我们进一步设计了一种适用于MiCE的可扩展期望最大化（Expectation-Maximization, EM）算法变体，并提供了该算法收敛性的理论证明。在四个广泛使用的自然图像数据集上的实验结果表明，MiCE在聚类性能上显著优于多种现有方法及一个强大的对比学习基线模型。