4 个月前

合成样本选择用于广义零样本学习

合成样本选择用于广义零样本学习

摘要

广义零样本学习(GZSL)已成为计算机视觉领域的一个关键研究方向,这得益于其能够在训练过程中未见过的对象上进行识别的能力。尽管生成技术在将传统的GZSL转化为完全监督学习方面取得了显著进展,但这些技术往往会产生大量冗余的合成特征,从而增加训练时间并降低准确性。为了解决这一问题,本文提出了一种基于强化学习的合成特征选择新方法。具体而言,我们设计了一个基于变压器的选择器,该选择器通过近端策略优化(PPO)进行训练,以根据已见类别的验证分类准确性来选择合成特征,后者作为奖励信号。所提出的方法具有模型无关性和数据无关性,适用于图像和视频,并且在多种应用场景中表现出色。实验结果表明,我们的方法优于现有的特征生成方法,在多个基准测试中展现了更高的整体性能。

基准测试

基准方法指标
generalized-zero-shot-learning-on-cub-200SPOT (DAA)
Harmonic mean: 67.0
generalized-zero-shot-learning-on-oxford-102-1SPOT (FREE)
Harmonic mean: 75.9
generalized-zero-shot-learning-on-sunSPOT (CMC-GAN)
Harmonic mean: 46.4
zero-shot-action-recognition-on-hmdb51SPOT
Top-1 Accuracy: 35.9
zero-shot-action-recognition-on-olympicsSPOT
Top-1 Accuracy: 68.7
zero-shot-action-recognition-on-ucf101SPOT
Top-1 Accuracy: 40.9
zero-shot-learning-on-cub-200-2011SPOT
average top-1 classification accuracy: 62.9
zero-shot-learning-on-oxford-102-flowerSPOT
average top-1 classification accuracy: 71.9
zero-shot-learning-on-sun-attributeSPOT (VAEGAN)
average top-1 classification accuracy: 66.04

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
合成样本选择用于广义零样本学习 | 论文 | HyperAI超神经