摘要

我们提出了一种多层级二阶（MlSo）小样本学习网络，用于监督或非监督的小样本图像分类和小样本动作识别。我们利用所谓的幂归一化二阶基础学习者流，并结合表达多个视觉抽象层次的特征，同时采用自监督判别机制。由于二阶池化（Second-order Pooling, SoP）在图像识别中非常流行，我们在管道中采用了其基本的元素级变体。多层级特征设计的目标是从卷积神经网络的不同层提取特征表示，实现多个视觉抽象层次，以达到稳健的小样本学习效果。鉴于SoP能够处理不同空间尺寸的卷积特征图，我们还在MlSo中引入了多个空间尺度的图像输入。为了充分利用多层级和多尺度特征中的判别信息，我们开发了一个特征匹配（Feature Matching, FM）模块，对各个分支进行重新加权。此外，我们还引入了一个自监督步骤，该步骤是一个空间层次和抽象尺度的判别器。我们的管道以端到端的方式进行训练。通过简单的架构，我们在标准数据集如Omniglot、mini-ImageNet、tiered-ImageNet、Open MIC以及细粒度数据集如CUB Birds、Stanford Dogs和Cars以及动作识别数据集如HMDB51、UCF101和mini-MIT上展示了令人满意的结果。