摘要

我们研究了细粒度草图图像检索（Sketch-Based Image Retrieval, SBIR）问题，其中以手绘草图作为查询，实现图像的实例级检索。这一任务极具挑战性，原因在于：（i）视觉比对不仅需要具备细粒度特性，还需在跨域之间进行；（ii）手绘（手指绘制）草图具有高度抽象性，进一步增加了细粒度匹配的难度；尤为重要的是，（iii）用于训练的跨域草图-照片标注数据集极为稀缺，这对众多前沿机器学习技术构成了严峻挑战。本文首次系统性地应对上述所有挑战，为实现商业化草图图像检索应用所依赖的核心能力迈出关键一步。我们构建了一个全新的数据集，包含来自两个类别的1,432对草图-照片图像，并提供了32,000条细粒度三元组排序标注。在此基础上，我们提出了一种深度三元组排序模型，用于实例级SBIR任务，并设计了一种新颖的数据增强策略与分阶段预训练方法，以缓解细粒度训练数据不足的问题。通过大量实验，我们深入探讨了在训练深度网络进行细粒度跨域排序任务时，数据充足性与过拟合规避等方面的诸多关键挑战，为该领域提供了丰富的实践洞察与技术参考。