
摘要
广义零样本学习(GZSL)已成为计算机视觉领域的一个关键研究方向,这得益于其能够在训练过程中未见过的对象上进行识别的能力。尽管生成技术在将传统的GZSL转化为完全监督学习方面取得了显著进展,但这些技术往往会产生大量冗余的合成特征,从而增加训练时间并降低准确性。为了解决这一问题,本文提出了一种基于强化学习的合成特征选择新方法。具体而言,我们设计了一个基于变压器的选择器,该选择器通过近端策略优化(PPO)进行训练,以根据已见类别的验证分类准确性来选择合成特征,后者作为奖励信号。所提出的方法具有模型无关性和数据无关性,适用于图像和视频,并且在多种应用场景中表现出色。实验结果表明,我们的方法优于现有的特征生成方法,在多个基准测试中展现了更高的整体性能。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| generalized-zero-shot-learning-on-cub-200 | SPOT (DAA) | Harmonic mean: 67.0 |
| generalized-zero-shot-learning-on-oxford-102-1 | SPOT (FREE) | Harmonic mean: 75.9 |
| generalized-zero-shot-learning-on-sun | SPOT (CMC-GAN) | Harmonic mean: 46.4 |
| zero-shot-action-recognition-on-hmdb51 | SPOT | Top-1 Accuracy: 35.9 |
| zero-shot-action-recognition-on-olympics | SPOT | Top-1 Accuracy: 68.7 |
| zero-shot-action-recognition-on-ucf101 | SPOT | Top-1 Accuracy: 40.9 |
| zero-shot-learning-on-cub-200-2011 | SPOT | average top-1 classification accuracy: 62.9 |
| zero-shot-learning-on-oxford-102-flower | SPOT | average top-1 classification accuracy: 71.9 |
| zero-shot-learning-on-sun-attribute | SPOT (VAEGAN) | average top-1 classification accuracy: 66.04 |