摘要

半监督变分自编码器（Semi-supervised Variational Autoencoders, VAEs）已取得显著成果，但同时也面临一个关键挑战：优异的ELBO（证据下界）值并不总能保证准确的推断结果。本文深入探究并提出该问题的两个主要原因：（1）ELBO目标函数无法直接利用标签信息；（2）存在一个“瓶颈值”——在该值之后继续优化ELBO将不再提升推断准确性。基于实验分析，本文提出SHOT-VAE方法，以在不引入额外先验知识的前提下解决上述问题。SHOT-VAE主要贡献如下：（1）提出一种新的ELBO近似方法——smooth-ELBO，将标签预测损失融入ELBO目标中，从而有效利用监督信号；（2）基于最优插值的近似方法，通过缩小ELBO与数据似然之间的差距，打破ELBO值的瓶颈限制。实验结果表明，SHOT-VAE在CIFAR-100数据集上仅使用10,000个标签时，即可实现25.30%的错误率；在CIFAR-10数据集上使用4,000个标签时，错误率进一步降低至6.11%，展现出卓越的半监督学习性能。