3 个月前

面向少样本学习的模型无关图正则化

面向少样本学习的模型无关图正则化

摘要

在众多领域中,类别之间的关系通常以知识图谱的形式进行编码。近年来,将知识图谱作为辅助信息引入到数据极度有限的硬分类任务中,已取得令人瞩目的成果。然而,现有模型普遍采用结构高度复杂、包含多个子模块的架构,且各组件似乎均对性能产生影响,导致模型可解释性较差。本文针对图嵌入的少样本学习开展了一项全面的实证研究。我们提出一种图正则化方法,能够更深入地理解标签间引入图结构信息所带来的影响。所提出的正则化方法具有广泛的适用性与模型无关性,可显著提升任意少样本学习模型的性能,涵盖微调型、度量学习型以及基于优化的元学习模型。实验结果表明,该方法在Mini-ImageNet数据集上可使强基线模型性能提升最高达2%,在ImageNet-FS数据集上提升幅度高达6.7%,优于当前最先进的图嵌入方法。进一步分析显示,采用图正则化的模型在更具挑战性的任务中表现更优,例如样本数量更少、支持样本信息量更低的情况,其损失值也显著降低。

基准测试

基准方法指标
few-shot-image-classification-on-imagenet-fsSGM + Graph (ResNet-50)
Top-5 Accuracy (%): 61.1
few-shot-image-classification-on-imagenet-fs-1SGM + Graph (ResNet-50)
Top-5 Accuracy (%): 70.3
few-shot-image-classification-on-imagenet-fs-2SGM + Graph (ResNet-50)
Top-5 Accuracy (%): 78.6
few-shot-image-classification-on-imagenet-fs-6SGM + graph
Top-5 Accuracy (%): 78.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向少样本学习的模型无关图正则化 | 论文 | HyperAI超神经