3 个月前

Circle Loss:成对相似性优化的统一视角

Circle Loss:成对相似性优化的统一视角

摘要

本文从相似性优化的视角出发,探讨深度特征学习,旨在最大化类内相似性 $s_p$,同时最小化类间相似性 $s_n$。我们发现,绝大多数损失函数(包括三元组损失和Softmax结合交叉熵损失)均将 $s_n$ 与 $s_p$ 嵌入相似性对中,并试图最小化 $(s_n - s_p)$。然而,这种优化方式存在灵活性不足的问题,因为对每个相似性得分的惩罚强度被强制设为相等,难以适应不同样本对的优化需求。我们的直觉是:若某相似性得分与最优状态偏离较大,则应给予更强的关注与惩罚。为此,我们提出对每个相似性得分进行简单重加权,以突出那些优化程度较低的得分。这一策略最终导出了一个名为“Circle Loss”的新型损失函数,其名称源于其具有圆形决策边界的特性。Circle Loss为两种基础的深度特征学习范式——基于类别标签的学习与基于成对标签的学习——提供了统一的数学表达形式。理论分析表明,相较于直接优化 $(s_n - s_p)$ 的传统损失函数,Circle Loss能够提供更为灵活的优化路径,并导向更明确的收敛目标。实验结果进一步验证了Circle Loss的优越性,在人脸识别、行人重识别以及多个细粒度图像检索数据集上,其所取得的性能均达到或接近当前最先进的水平。

基准测试

基准方法指标
face-recognition-on-cfp-fpCircleLoss(ours)
Accuracy: 0.9602
face-recognition-on-lfwCircleLoss
Accuracy: 0.9973
face-verification-on-ijb-ccircle loss
TAR @ FAR=1e-3: 96.29%
TAR @ FAR=1e-4: 93.95%
TAR @ FAR=1e-5: 89.60%
model: R100
training dataset: MS1M Cleaned
metric-learning-on-cars196CircleLoss
R@1: 83.4
metric-learning-on-stanford-online-products-1Circle Loss
R@1: 78.3
person-re-identification-on-market-1501MGN + CircleLoss(ours)
Rank-1: 96.1
mAP: 87.4
person-re-identification-on-market-1501ResNet50 + CircleLoss(ours)
Rank-1: 94.2
mAP: 84.9
person-re-identification-on-msmt17MGN + CircleLoss(ours)
Rank-1: 76.9
mAP: 52.1
person-re-identification-on-msmt17ResNet50 + CircleLoss(ours)
Rank-1: 76.3
mAP: 50.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Circle Loss:成对相似性优化的统一视角 | 论文 | HyperAI超神经