摘要

人类具有从少量示例中几乎无需监督即可学习新表示的独特能力。然而，深度学习模型要达到令人满意的性能水平，则需要大量的数据和监督。无监督少样本学习（U-FSL）旨在弥合机器与人类之间的这一差距。受图神经网络（GNNs）在发现复杂样本间关系方面的能力启发，我们提出了一种基于自注意力的消息传递对比学习方法（命名为SAMP-CLR），用于U-FSL的预训练。此外，我们还提出了一种基于最优传输（OT）的微调策略（称为OpT-Tune），以高效地将任务意识引入我们新的端到端无监督少样本分类框架（SAMPTransfer）。我们的大量实验结果验证了SAMPTransfer在多种下游少样本分类场景中的有效性，在miniImagenet和tieredImagenet基准测试中分别实现了最高7%以上和5%以上的性能提升，为U-FSL设立了新的最先进水平。进一步的研究也证实，SAMPTransfer在miniImagenet上的表现与某些有监督基线相当，并在具有挑战性的跨域场景中超越了所有现有的U-FSL基线。我们的代码可以在GitHub仓库中找到，地址为https://github.com/ojss/SAMPTransfer/。