摘要

基于文本的人像搜索旨在通过文本描述检索特定行人的图像。该任务的关键挑战在于消除模态间的差异并实现跨模态特征对齐。在本文中，我们提出了一种语义对齐嵌入方法用于基于文本的人像搜索，该方法通过自动学习语义对齐的视觉特征和文本特征来实现跨模态特征对齐。首先，我们引入了两个基于Transformer的骨干网络来编码图像和文本的鲁棒特征表示。其次，我们设计了一个语义对齐特征聚合网络，以自适应地选择并聚合具有相同语义的特征为局部感知特征，这是通过一个多头注意力模块实现的，该模块受到跨模态局部对齐损失和多样性损失的约束。实验结果表明，在CUHK-PEDES和Flickr30K数据集上，我们的方法达到了最先进的性能。