3 个月前

剖析不同损失函数在梯度手术中的影响

剖析不同损失函数在梯度手术中的影响

摘要

成对损失(pair-wise loss)是一种度量学习方法,通过优化损失函数来学习语义嵌入,其核心思想是促使来自同一语义类别的图像在嵌入空间中彼此靠近,而来自不同类别的图像则被推离。现有文献报道了大量不断涌现的成对损失策略变体。本文将这些损失函数的梯度分解为与锚点-正样本对和锚点-负样本对之间相对特征位置调整相关联的若干分量。该分解方法实现了对当前主流成对损失函数的统一建模。此外,通过显式构建成对梯度更新以分离这些影响因素,我们得以深入理解各类机制的实际作用强度,并由此提出一种简洁高效的算法。该算法在CAR、CUB以及Stanford Online Products三个图像检索基准数据集上均取得了超越当前最先进水平的性能表现。

基准测试

基准方法指标
metric-learning-on-cars196Gradient Surgery
R@1: 86.5
metric-learning-on-cub-200-2011Gradient Surgery
R@1: 63.8
metric-learning-on-in-shop-1Gradient Surgery
R@1: 92.21
metric-learning-on-stanford-online-products-1Gradient Surgery
R@1: 82.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
剖析不同损失函数在梯度手术中的影响 | 论文 | HyperAI超神经