摘要

在三维物体操作任务中，构建显式三维表示的方法相较于仅依赖相机图像的方法表现更优。然而，使用诸如体素（voxels）等显式三维表示会带来巨大的计算开销，从而严重影响系统的可扩展性。针对这一问题，本文提出RVT（Robotic View Transformer），一种面向三维操作任务的多视角Transformer架构，兼具良好的可扩展性与高精度。RVT的关键特性包括：通过注意力机制融合多视角信息，以及从机器人工作空间周围虚拟视角重新渲染相机输入。在仿真环境中，我们发现单一RVT模型在18个RLBench任务（共249种任务变体）上均表现出色，相对现有最先进方法PerAct，成功率提升达26%。此外，RVT在达到相同性能水平时，训练速度比PerAct快36倍，推理速度更是其2.3倍。更重要的是，RVT仅需每项任务约10次示范即可在真实世界中完成多种操作任务。相关视觉结果、代码及训练好的模型已公开发布于：https://robotic-view-transformer.github.io/。