
摘要
平衡对偶亲和力(Balanced-Pairwise-Affinities, BPA)特征变换旨在提升输入项集的特征,以促进下游匹配或分组相关任务。变换后的集合编码了输入特征之间高阶关系的丰富表示。一个特定的最小成本最大流分数匹配问题,其熵正则化版本可以通过最优传输(Optimal Transport, OT)优化进行近似,从而导致一种高效、可微、等变、无参数且概率上可解释的变换方法。尽管Sinkhorn OT求解器在许多场景中得到了广泛应用,但我们以不同的方式使用它,通过最小化一组特征与其自身的成本,并利用传输计划的行作为新的表示。实验证明,该变换方法具有高度的有效性和灵活性,在多种任务和训练方案中插入时能持续改进网络性能。我们在少样本分类、无监督图像聚类和行人重识别任务中展示了最先进的结果。代码可在\url{github.com/DanielShalam/BPA}获取。
代码仓库
danielshalam/bpa
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-image-classification-on-cifar-fs-5 | PT+MAP+SF+BPA (transductive) | Accuracy: 89.94 |
| few-shot-image-classification-on-cifar-fs-5-1 | PT+MAP+SF+BPA (transductive) | Accuracy: 92.83 |
| few-shot-image-classification-on-cub-200-5 | PT+MAP+SF+BPA (transductive) | Accuracy: 97.12 |
| few-shot-image-classification-on-cub-200-5-1 | PT+MAP+SF+BPA (transductive) | Accuracy: 95.80 |
| few-shot-image-classification-on-mini-2 | PT+MAP+SF+BPA (transductive) | Accuracy: 85.59 |
| few-shot-image-classification-on-mini-3 | PT+MAP+SF+BPA (transductive) | Accuracy: 91.34 |
| image-clustering-on-cifar-10 | SPICE-BPA | ARI: 0.866 Accuracy: 0.933 Backbone: ResNet-18 NMI: 0.870 |
| image-clustering-on-cifar-100 | SPICE-BPA | ARI: 0.402 Accuracy: 0.550 NMI: 0.560 |
| image-clustering-on-stl-10 | SPICE-BPA | ARI: 0.879 Accuracy: 0.943 Backbone: ResNet-34 NMI: 0.880 |