摘要

我们提出了一种名为CurlingNet的方法，用于衡量图像-文本嵌入组合之间的语义距离。为了在时尚领域数据中学习有效的图像-文本组合表示，我们的模型引入了两个关键组件：首先，传送（Delivery） 机制实现了源图像在嵌入空间中的迁移；其次，扫掠（Sweeping） 机制在嵌入空间中突出与查询相关的时尚图像特征。我们采用通道级门控机制（channel-wise gating mechanism）来实现这一过程。实验结果表明，我们的单模型在性能上超越了此前的最先进图像-文本组合模型，包括TIRG和FiLM。此外，我们在ICCV 2019举办的首届时尚图像理解挑战赛（Fashion-IQ Challenge）中参赛，所提出的模型集成方案取得了顶尖水平的性能表现之一。