摘要

将语言条件下的机器人策略泛化到新任务仍然是一个重大挑战，这在很大程度上受到缺乏合适仿真基准的限制。本文旨在填补这一空白，引入了GemBench，这是一个用于评估视觉-语言机器人操作策略泛化能力的新基准。GemBench 包含了七种通用动作基元和四个泛化层次，涵盖了新的放置位置、刚性和铰接物体以及复杂的长时任务。我们对最先进的方法进行了 GemBench 评估，并提出了一种新的方法——3D-LOTUS。该方法利用丰富的三维信息进行基于语言的动作预测。尽管 3D-LOTUS 在已见任务中表现出色，但在新任务中却遇到了困难。为了解决这一问题，我们提出了 3D-LOTUS++ 框架，该框架将 3D-LOTUS 的运动规划能力与大语言模型（LLMs）的任务规划能力和视觉语言模型（VLMs）的对象定位准确性相结合。3D-LOTUS++ 在 GemBench 的新任务中实现了最先进的性能，为机器人操作中的泛化设定了新的标准。基准测试、代码和训练模型可在 https://www.di.ens.fr/willow/research/gembench/ 获取。