摘要

视觉语言模型（VLMs）在二维图像理解任务中已取得显著进展，但在空间理解方面仍面临挑战，而空间理解正是具身人工智能（Embodied AI）的基础。本文提出 SpatialBot，通过同时输入RGB图像和深度图像，以提升模型的空间理解能力。此外，我们构建了SpatialQA数据集，该数据集包含多层次的深度相关问题，用于训练VLMs更好地理解深度信息。为进一步全面评估VLMs在不同层次上的空间理解能力，我们提出了SpatialBench基准测试平台。在我们自建的空间理解基准、通用VLM基准以及具身人工智能任务上的大量实验表明，基于SpatialQA训练的SpatialBot模型在空间理解能力上实现了显著提升。相关模型、代码与数据已开源，地址为：https://github.com/BAAI-DCAI/SpatialBot。