4 个月前

平衡对偶亲和力特征变换

平衡对偶亲和力特征变换

摘要

平衡对偶亲和力(Balanced-Pairwise-Affinities, BPA)特征变换旨在提升输入项集的特征,以促进下游匹配或分组相关任务。变换后的集合编码了输入特征之间高阶关系的丰富表示。一个特定的最小成本最大流分数匹配问题,其熵正则化版本可以通过最优传输(Optimal Transport, OT)优化进行近似,从而导致一种高效、可微、等变、无参数且概率上可解释的变换方法。尽管Sinkhorn OT求解器在许多场景中得到了广泛应用,但我们以不同的方式使用它,通过最小化一组特征与其自身的成本,并利用传输计划的行作为新的表示。实验证明,该变换方法具有高度的有效性和灵活性,在多种任务和训练方案中插入时能持续改进网络性能。我们在少样本分类、无监督图像聚类和行人重识别任务中展示了最先进的结果。代码可在\url{github.com/DanielShalam/BPA}获取。

代码仓库

danielshalam/bpa
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-image-classification-on-cifar-fs-5PT+MAP+SF+BPA (transductive)
Accuracy: 89.94
few-shot-image-classification-on-cifar-fs-5-1PT+MAP+SF+BPA (transductive)
Accuracy: 92.83
few-shot-image-classification-on-cub-200-5PT+MAP+SF+BPA (transductive)
Accuracy: 97.12
few-shot-image-classification-on-cub-200-5-1PT+MAP+SF+BPA (transductive)
Accuracy: 95.80
few-shot-image-classification-on-mini-2PT+MAP+SF+BPA (transductive)
Accuracy: 85.59
few-shot-image-classification-on-mini-3PT+MAP+SF+BPA (transductive)
Accuracy: 91.34
image-clustering-on-cifar-10SPICE-BPA
ARI: 0.866
Accuracy: 0.933
Backbone: ResNet-18
NMI: 0.870
image-clustering-on-cifar-100SPICE-BPA
ARI: 0.402
Accuracy: 0.550
NMI: 0.560
image-clustering-on-stl-10SPICE-BPA
ARI: 0.879
Accuracy: 0.943
Backbone: ResNet-34
NMI: 0.880

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供