
摘要
半监督学习近年来受到广泛关注,因其能够缓解对大量标注数据的依赖,而这些数据往往成本高昂、需要专业知识且收集耗时。深度半监督分类领域的最新进展已达到前所未有的性能水平,监督学习与半监督学习之间的性能差距持续缩小。然而,这些性能提升主要依赖于多种技术技巧、强大的数据增强方法以及计算成本高昂的优化策略,通常采用包含多项损失项的复杂损失函数。本文提出一种全新的深度半监督分类框架——LaplaceNet,其模型复杂度显著降低。该方法采用混合策略:通过在图结构上最小化拉普拉斯能量(Laplacian energy)来生成伪标签,随后利用这些伪标签对神经网络主干(backbone)进行迭代训练。实验结果表明,LaplaceNet在多个基准数据集上均优于当前最先进的深度半监督分类方法。此外,本文从理论上探讨了强数据增强技术在神经网络中的应用,并论证了在半监督学习中采用多采样(multi-sampling)增强策略的合理性。通过严谨的实验验证,我们发现多采样增强方法能够有效提升模型的泛化能力,同时降低网络对数据增强方式的敏感性。
代码仓库
psellcam/LaplaceNet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semi-supervised-image-classification-on-cifar | LaplaceNet (CNN-13) | Percentage error: 4.99±0.08 |
| semi-supervised-image-classification-on-cifar | LaplaceNet (WRN-28-2) | Percentage error: 4.35±0.10 |
| semi-supervised-image-classification-on-cifar-2 | LaplaceNet (WRN-28-8) | Percentage error: 22.11± 0.23 |