Yidong WangHao ChenYue FanWang SunRan TaoWenxin HouRenjie WangLinyi YangZhi ZhouLan-Zhe GuoHeli QiZhen WuYu-Feng LiSatoshi NakamuraWei YeMarios SavvidesBhiksha RajTakahiro ShinozakiBernt SchieleJindong WangXing XieYue Zhang

摘要
半监督学习(Semi-Supervised Learning, SSL)通过利用大量未标注数据来增强有限的标注样本,从而提升模型的泛化能力。然而,当前主流的SSL评估协议大多局限于计算机视觉(CV)任务。此外,以往的研究通常从零开始训练深度神经网络,这一过程耗时且对环境不友好。为解决上述问题,我们构建了一个统一的半监督学习基准(Unified SSL Benchmark, USB),涵盖来自计算机视觉(CV)、自然语言处理(NLP)和音频处理(Audio)三大领域的15个多样化、具有挑战性且全面的任务,系统性地评估主流的SSL方法。同时,我们开源了一个模块化、可扩展的代码库,以实现对各类SSL方法的公平评估。此外,我们还提供了当前最先进的CV模型的预训练版本,显著降低后续微调的成本。USB使得单一SSL算法能够在多个领域、更多任务上进行高效评估,且所需资源大幅减少。具体而言,在单块NVIDIA V100 GPU上,仅需39个GPU天即可完成FixMatch在USB全部15个任务上的评估;而使用TorchSSL在5个CV任务上完成相同评估则需335个GPU天(其中279个GPU天用于4个CV数据集,不包括ImageNet),效率提升显著。
代码仓库
abbaasalif/freematch-improved
pytorch
GitHub 中提及
microsoft/semi-supervised-learning
官方
pytorch
GitHub 中提及
shreejalt/freematch-pytorch
pytorch
GitHub 中提及
beandkay/epass
pytorch
GitHub 中提及
Westlake-AI/SemiReward
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semi-supervised-image-classification-on-cifar-8 | ReMixMatch | Percentage error: 16.8 |