
摘要
深度神经网络已在众多现实世界应用中取得成功。然而,这些成果在很大程度上依赖于大量标注数据,而获取此类数据成本高昂。近年来,众多半监督学习方法被提出,并取得了优异性能。在本研究中,我们提出了一种新的EnAET框架,旨在利用自监督信息进一步提升现有半监督学习方法的性能。据我们所知,当前所有半监督学习方法均通过预测一致性与置信度等思想来提升性能。我们首次系统性地探索了在丰富变换族下,自监督表示在半监督学习中的作用。基于此,我们的框架可将自监督信息作为正则化项,从而显著提升所有现有半监督学习方法的性能。实验中,我们以MixMatch——当前半监督学习领域的最先进方法——作为基线,验证所提出的EnAET框架。在不同数据集上,我们采用相同的超参数设置,极大增强了EnAET框架的泛化能力。实验结果表明,所提出的EnAET框架能够显著提升现有半监督算法的性能。此外,该框架在监督学习中同样表现出色,甚至在极为严苛的场景下(每类仅10张图像)也能实现大幅性能提升。代码与实验记录已公开于 \url{https://github.com/maple-research-lab/EnAET}。
代码仓库
maple-research-lab/EnAET
官方
pytorch
GitHub 中提及
wang3702/EnAET
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-cifar-10 | EnAET | Percentage correct: 98.01 |
| image-classification-on-cifar-100 | EnAET | Percentage correct: 83.13 |
| image-classification-on-stl-10 | EnAET | Percentage correct: 95.48 |
| image-classification-on-svhn | EnAET | Percentage error: 2.22 |
| semi-supervised-image-classification-on-3 | EnAET | Percentage correct: 92.4 |
| semi-supervised-image-classification-on-cifar | EnAET | Percentage error: 4.18 |
| semi-supervised-image-classification-on-cifar-2 | EnAET (WRN-28-2) | Percentage error: 26.93±0.21 |
| semi-supervised-image-classification-on-cifar-2 | EnAET (WRN-28-2-Large) | Percentage error: 22.92 |
| semi-supervised-image-classification-on-cifar-3 | EnAET | Percentage correct: 41.27 |
| semi-supervised-image-classification-on-cifar-4 | EnAET | Percentage correct: 68.17 |
| semi-supervised-image-classification-on-stl | EnAET | Accuracy: 95.48 |
| semi-supervised-image-classification-on-stl-1 | EnAET | Accuracy: 91.96 |
| semi-supervised-image-classification-on-svhn | EnAET | Accuracy: 97.58 |
| semi-supervised-image-classification-on-svhn-1 | EnAET | Accuracy: 96.79 |