摘要

本文提出了一种新颖的深度强化学习（RL）架构，称为值预测网络（Value Prediction Network, VPN），该架构将无模型和基于模型的强化学习方法整合到单一神经网络中。与典型的基于模型的强化学习方法不同，VPN 学习一种动态模型，其抽象状态经过训练，可以针对未来价值（奖励的折现总和）进行选项条件预测，而不是对未来观察结果进行预测。实验结果表明，在需要谨慎规划但构建精确观察预测模型较为困难的随机环境中，VPN 相比于无模型和基于模型的基准方法具有多项优势。此外，即使在短视规划的情况下，VPN 在多个 Atari 游戏上的表现也优于深度 Q 网络（Deep Q-Network, DQN），展示了其作为学习良好状态表示的新方法的潜力。