摘要

深度度量学习（Deep Metric Learning, DML）通过学习具有泛化能力的嵌入空间，为视觉相似性计算和零样本学习等任务提供了关键工具。尽管近年来DML在不同训练目标上已表现出性能饱和，但已有研究表明，模型的泛化能力随嵌入空间维度的提升而增强。然而，高维嵌入也带来了下游应用中更高的检索开销。为解决这一矛盾，我们提出了一种基于相似性的联合自蒸馏方法（Simultaneous Similarity-based Self-distillation, S2SD）。S2SD通过从辅助的高维嵌入空间与特征空间中引入知识蒸馏，在训练过程中利用互补上下文信息，从而提升模型性能，同时在推理阶段保持原有的计算成本，且对训练时间几乎不产生额外开销。在多种训练目标与标准基准上的实验与消融分析表明，S2SD在Recall@1指标上实现了最高达7%的显著提升，并刷新了当前最优性能记录。代码已开源，地址为：https://github.com/MLforHealth/S2SD。