摘要

我们提出了相位化策略梯度（Phasic Policy Gradient, PPG），这是一种强化学习框架，通过将策略函数与价值函数的训练过程划分为不同的阶段，对传统的在线策略（on-policy）演员-评论家（actor-critic）方法进行了改进。在以往的方法中，必须在使用共享网络与独立网络来表示策略函数和价值函数之间做出权衡：采用独立网络可避免目标之间的相互干扰，而使用共享网络则有助于实现有用特征的共享。PPG通过将优化过程分为两个阶段——一个用于推进训练，另一个用于特征提炼——实现了两者的协同优势。此外，PPG还允许价值函数以更激进的方式进行优化，并实现更高程度的样本复用。与PPO相比，我们在具有挑战性的Procgen基准测试中发现，PPG显著提升了样本效率。