摘要

我们研究了通过导航和空间推理任务来联合处理语言和视觉的问题。为此，我们引入了Touchdown任务和数据集，在该任务中，智能体首先需要在真实的城市视觉环境中遵循导航指令，然后根据自然语言描述识别目标位置以找到隐藏的物体。数据集中包含9,326个英语指令和空间描述与演示配对的示例。经验分析表明，这些数据对现有方法提出了开放性的挑战，而定性语言分析则显示，与相关资源相比，该数据集展示了更丰富的空间推理应用。