摘要

本文提出了一种利用购物网站上的弱标签图像-文本数据进行自动空间感知概念发现的方法。首先，我们通过在视觉-语义嵌入空间中联合建模服装图像及其对应的描述来微调GoogleNet。然后，对于每个属性（词），我们将其语义词向量表示与其从微调网络的卷积图中提取的空间表示相结合，生成其空间感知表示。生成的空间感知表示进一步用于将属性聚类为多个组，以形成空间感知概念（例如，领口概念可能包括V领、圆领等属性）。最后，我们将视觉-语义嵌入空间分解为多个概念特定的子空间，这有助于利用多模态语言规律进行结构化浏览和基于属性反馈的产品检索。我们在新收集的Fashion200K数据集上进行了广泛的实验，结果表明，在聚类质量评估和基于属性反馈的产品检索任务中，所提出的自动发现的空间感知概念具有有效性。