HyperAIHyperAI

Command Palette

Search for a command to run...

基于直推式信息最大化的少样本学习

Malik Boudiaf Ziko Imtiaz Masud Jérôme Rony José Dolz Pablo Piantanida Ismail Ben Ayed

摘要

我们提出了一种用于少样本学习的归纳信息最大化方法(Transductive Information Maximization, TIM)。该方法在给定少样本任务下,通过最大化查询特征与其标签预测之间的互信息,同时结合基于支持集的监督损失,实现性能优化。此外,我们设计了一种新型的交替方向求解器来处理互信息损失,相较于基于梯度的优化方法,显著加速了归纳推理过程的收敛速度,同时保持相近的分类准确率。TIM的推理过程具有模块化特性,可无缝集成于任意预训练的特征提取器之上。在标准的归纳式少样本学习设置下,大量实验表明,TIM在多种数据集和网络架构上均显著优于当前最先进的方法。值得注意的是,该方法仅基于在基础类别上通过简单交叉熵损失训练的固定特征提取器,无需依赖复杂的元学习机制。无论是在经典的少样本学习基准测试中,还是在更具挑战性的场景(如领域偏移、类别数量更大)下,TIM均能稳定实现相对于最优基线方法2%至5%的准确率提升。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于直推式信息最大化的少样本学习 | 论文 | HyperAI超神经