摘要

空间关系是人类认知的基本组成部分。然而，这些关系在自然语言中存在多种表达方式，先前的研究表明，当前的视觉-语言模型（VLMs）在捕捉关系信息方面面临挑战。本文提出了一种名为视觉空间推理（Visual Spatial Reasoning, VSR）的数据集，该数据集包含超过10,000对自然语言描述与图像，涵盖66种英语空间关系类型（如：在……下方、在……前方、面向等）。尽管采用看似简单的标注格式，我们发现该数据集包含了复杂的语言现象，例如参考框架的多样性。实验结果表明，人类与模型之间的性能存在显著差距：人类表现的上限超过95%，而当前最先进模型的准确率仅约为70%。我们进一步观察到，视觉-语言模型在各类空间关系上的表现与其训练样本数量之间几乎无相关性，且大多数模型普遍难以识别涉及物体朝向的关系。