3 个月前

基于知识图谱迁移网络的少样本识别

基于知识图谱迁移网络的少样本识别

摘要

少样本学习旨在利用少量样本学习新类别,其前提是有足够训练样本的基类(base categories)作为先验知识。该任务的主要挑战在于,新类别容易受到样本中颜色、纹理、物体形状或背景上下文等特定特征(即“特异性”)的主导,而这些特征在给定的少量训练样本中可能显著存在,却并非该类别普遍具备的共性特征(参见图1)。值得庆幸的是,我们发现通过迁移相关基类的信息,有助于学习新概念,从而避免新概念被特异性特征所主导。此外,引入不同类别之间的语义关联,能够有效对这一信息迁移过程进行正则化。在本研究中,我们以结构化知识图谱的形式表示类别间的语义关联,并将该图谱集成到深度神经网络中,提出了一种新型的知识图谱迁移网络(Knowledge Graph Transfer Network, KGTN),以促进少样本学习。具体而言,通过将每个图节点初始化为对应类别的分类器权重,模型学习一种传播机制,能够自适应地在图中传播节点信息,从而探索节点间的交互关系,并将基类的分类器信息有效迁移至新类别。在ImageNet数据集上的大量实验表明,所提方法显著优于当前主流的先进模型。此外,我们构建了一个覆盖更大类别规模的ImageNet-6K数据集(包含6,000个类别),在该数据集上的实验进一步验证了所提模型的有效性。相关代码与模型已开源,详见:https://github.com/MyChocer/KGTN。

代码仓库

MyChocer/KGTN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-image-classification-on-imagenet-fsKGTN (ResNet-50)
Top-5 Accuracy (%): 62.1
few-shot-image-classification-on-imagenet-fs-1KGTN (ResNet-50)
Top-5 Accuracy (%): 70.9
few-shot-image-classification-on-imagenet-fs-2KGTN (ResNet-50)
Top-5 Accuracy (%): 78.5
few-shot-image-classification-on-imagenet-fs-3KGTN (ResNet-50)
Top-5 Accuracy (%): 82.3
few-shot-image-classification-on-imagenet-fs-4KGTN (ResNet-50)
Top-5 Accuracy (%): 68.3
few-shot-image-classification-on-imagenet-fs-5KGTN (ResNet-50)
Top-5 Accuracy (%): 75.2
few-shot-image-classification-on-imagenet-fs-6KGTN (ResNet-50)
Top-5 Accuracy (%): 80.9
few-shot-image-classification-on-imagenet-fs-7KGTN (ResNet-50)
Top-5 Accuracy (%): 83.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于知识图谱迁移网络的少样本识别 | 论文 | HyperAI超神经