3 个月前

EnAET:一种基于集成变换的自训练框架,用于半监督与监督学习

EnAET:一种基于集成变换的自训练框架,用于半监督与监督学习

摘要

深度神经网络已在众多现实世界应用中取得成功。然而,这些成果在很大程度上依赖于大量标注数据,而获取此类数据成本高昂。近年来,众多半监督学习方法被提出,并取得了优异性能。在本研究中,我们提出了一种新的EnAET框架,旨在利用自监督信息进一步提升现有半监督学习方法的性能。据我们所知,当前所有半监督学习方法均通过预测一致性与置信度等思想来提升性能。我们首次系统性地探索了在丰富变换族下,自监督表示在半监督学习中的作用。基于此,我们的框架可将自监督信息作为正则化项,从而显著提升所有现有半监督学习方法的性能。实验中,我们以MixMatch——当前半监督学习领域的最先进方法——作为基线,验证所提出的EnAET框架。在不同数据集上,我们采用相同的超参数设置,极大增强了EnAET框架的泛化能力。实验结果表明,所提出的EnAET框架能够显著提升现有半监督算法的性能。此外,该框架在监督学习中同样表现出色,甚至在极为严苛的场景下(每类仅10张图像)也能实现大幅性能提升。代码与实验记录已公开于 \url{https://github.com/maple-research-lab/EnAET}。

代码仓库

maple-research-lab/EnAET
官方
pytorch
GitHub 中提及
wang3702/EnAET
pytorch
GitHub 中提及

基准测试

基准方法指标
image-classification-on-cifar-10EnAET
Percentage correct: 98.01
image-classification-on-cifar-100EnAET
Percentage correct: 83.13
image-classification-on-stl-10EnAET
Percentage correct: 95.48
image-classification-on-svhnEnAET
Percentage error: 2.22
semi-supervised-image-classification-on-3EnAET
Percentage correct: 92.4
semi-supervised-image-classification-on-cifarEnAET
Percentage error: 4.18
semi-supervised-image-classification-on-cifar-2EnAET (WRN-28-2)
Percentage error: 26.93±0.21
semi-supervised-image-classification-on-cifar-2EnAET (WRN-28-2-Large)
Percentage error: 22.92
semi-supervised-image-classification-on-cifar-3EnAET
Percentage correct: 41.27
semi-supervised-image-classification-on-cifar-4EnAET
Percentage correct: 68.17
semi-supervised-image-classification-on-stlEnAET
Accuracy: 95.48
semi-supervised-image-classification-on-stl-1EnAET
Accuracy: 91.96
semi-supervised-image-classification-on-svhnEnAET
Accuracy: 97.58
semi-supervised-image-classification-on-svhn-1EnAET
Accuracy: 96.79

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
EnAET:一种基于集成变换的自训练框架,用于半监督与监督学习 | 论文 | HyperAI超神经