3 个月前

用于相关图像检索的分层平均精度训练

用于相关图像检索的分层平均精度训练

摘要

图像检索通常采用平均精度(Average Precision, AP)或召回率@k(Recall@k)进行评估。然而,这些指标仅适用于二值标签,且未考虑错误的严重程度。本文提出一种面向相关图像检索的分层平均精度训练方法(Hierarchical AP Training for Pertinent Image Retrieval, HAPPIER)。HAPPIER基于一种新型的H-AP评估指标,该指标利用概念层次结构,通过融合错误的重要性信息,对AP进行精细化调整,从而更准确地评估排序质量。为训练深度模型以优化H-AP,我们深入分析了该问题的数学结构,设计了一种平滑的下界代理损失(smooth lower bound surrogate),并结合聚类损失(clustering loss),以确保排序结果的一致性。在6个公开数据集上的大量实验表明,HAPPIER在分层检索任务中显著优于现有最先进方法;而在细粒度排序性能评估方面,其表现与最新方法相当。此外,我们还验证了HAPPIER能够实现更优的嵌入空间组织结构,并有效避免了非分层方法中的多数严重失败案例。相关代码已公开,可访问:https://github.com/elias-ramzi/HAPPIER。

代码仓库

elias-ramzi/suprank
pytorch
GitHub 中提及
elias-ramzi/happier
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-retrieval-on-inaturalistHAPPIER_F (ResNet-50)
R@1: 71.0
image-retrieval-on-inaturalistHAPPIER (ResNet-50)
R@1: 70.7
metric-learning-on-dyml-animalHAPPIER
Average-mAP: 43.8
metric-learning-on-dyml-productHAPPIER
Average-mAP: 38.0
metric-learning-on-dyml-vehicleHAPPIER
Average-mAP: 37.0
metric-learning-on-stanford-online-products-1HAPPIER_F
R@1: 81.8
metric-learning-on-stanford-online-products-1HAPPIER
R@1: 81.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于相关图像检索的分层平均精度训练 | 论文 | HyperAI超神经