
摘要
少样本模型旨在利用给定任务中极少量的标注样本进行预测。该领域的主要挑战在于“零样本”(one-shot)设置,即每个类别仅由一个样本代表。为此,我们提出HyperShot——一种融合核方法(kernel-based)与超网络(hypernetwork)范式的新型模型。与以往依赖梯度调整参数的参考方法不同,我们的模型通过任务嵌入(task embedding)动态切换分类模块的参数配置。在实际实现中,我们采用超网络结构,其输入为支持集数据的聚合信息,并输出针对特定任务量身定制的分类器参数。此外,我们引入基于核方法的支持样本表示,作为超网络的输入,以生成分类模块的参数。由此,模型不再依赖主干网络直接提供的特征值,而是基于支持样本嵌入之间的关系进行建模。得益于这一设计,我们的模型能够有效适应差异显著的各类任务。
代码仓库
gmum/few-shot-hypernets-public
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-image-classification-on-cub-200-5 | HyperShot | Accuracy: 80.07 |
| few-shot-image-classification-on-cub-200-5-1 | HyperShot | Accuracy: 66.13 |
| few-shot-image-classification-on-mini-1 | HyperShot | Accuracy: 53.18% |
| few-shot-image-classification-on-mini-3 | HyperShot | Accuracy: 69.62% |
| few-shot-image-classification-on-mini-5 | HyperShot | Accuracy: 40.03 |
| few-shot-image-classification-on-mini-6 | HyperShot | Accuracy: 58.86 |
| few-shot-image-classification-on-omniglot | HyperShot | Accuracy: 80.65 |
| few-shot-image-classification-on-omniglot-2 | HyperShot | Accuracy: 90.81 |
| few-shot-learning-on-mini-imagenet-5-way-1 | HyperShot | Accuracy: 53.18 |