17 天前

标签嵌入用于图像分类

标签嵌入用于图像分类

摘要

属性作为中间表示,能够实现类别间的参数共享,这在训练数据稀缺的情况下尤为必要。我们提出将基于属性的图像分类问题视为一个标签嵌入(label-embedding)问题:每个类别被嵌入到属性向量的空间中。为此,我们引入了一个函数,用于衡量图像与标签嵌入之间的兼容性。该函数的参数在带标签样本的训练集上进行学习,以确保在给定一张图像时,正确类别在排序中优于错误类别。在 Animals With Attributes 和 Caltech-UCSD-Birds 数据集上的实验结果表明,所提出的框架在零样本学习(zero-shot learning)场景下优于标准的直接属性预测(Direct Attribute Prediction)基线方法。标签嵌入具备天然能力,可利用属性之外或额外的信息源,例如类别层次结构或文本描述等。此外,标签嵌入涵盖从零样本学习到拥有大量标注样本的常规学习的完整学习范式。

代码仓库

基准测试

基准方法指标
multi-label-zero-shot-learning-on-open-imagesLabelEM
MAP: 40.5
zero-shot-action-recognition-on-kineticsALE
Top-1 Accuracy: 23.4
Top-5 Accuracy: 50.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
标签嵌入用于图像分类 | 论文 | HyperAI超神经