摘要

本文表明，基于真实世界图像的自监督视觉预训练对于从像素中学习运动控制任务具有显著有效性。我们首先通过自然图像的掩码建模来训练视觉表征，随后冻结视觉编码器，并在其之上利用强化学习训练神经网络控制器。在整个过程中，我们未对编码器进行任何任务特定的微调，而是将相同的视觉表征应用于所有运动控制任务。据我们所知，这是首个在大规模真实世界图像上实现自监督学习并用于运动控制任务的模型。为加速从像素中学习的进展，我们构建了一个由人工设计的任务组成的基准测试套件，涵盖不同的运动模式、场景设置和机器人平台。在不依赖标签、状态估计或专家示范的前提下，我们的方法在各项任务上的成功率相比监督式编码器最高提升了80个百分点，某些情况下甚至达到了“理想状态”（oracle state）的性能水平。此外，我们还发现，来自真实场景的图像（如YouTube视频或第一人称视角视频）在多种操作任务中所生成的视觉表征，优于使用ImageNet图像训练得到的表征。