摘要

在这项研究中，我们探讨了如何构建一个能够根据语言指令解决多个3D操作任务的机器人系统。为了在工业和家庭领域发挥作用，这样的系统应该具备通过少量演示学习新任务并精确执行的能力。先前的研究工作，如PerAct和RVT，已经研究了这个问题，但它们通常在需要高精度的任务上表现不佳。我们研究如何使这些系统更加有效、精确和快速。通过结合架构和系统层面的改进，我们提出了RVT-2，这是一种多任务3D操作模型，其训练速度比前代RVT快6倍，推理速度也快2倍。RVT-2在RLBench上取得了新的最佳性能，将成功率从65%提高到82%。此外，RVT-2在现实世界中也表现出色，仅需10次演示即可学习需要高精度的任务，例如拾取和插入插头。视觉结果、代码和训练模型可在以下网址获取：https://robotic-view-transformer-2.github.io/。