摘要

近期在深度神经网络方面的进展已经催生了有效的基于视觉的强化学习方法，这些方法已被用于从像素数据中获得人类水平的控制器，以在Atari 2600游戏中进行操作。然而，Atari 2600游戏并不类似于现实世界中的任务，因为它们涉及非现实的二维环境和第三人称视角。在此，我们提出了一种新的基于原始视觉信息的强化学习研究测试平台，该平台采用了半现实的三维世界中的第一人称视角。这款软件被称为ViZDoom，它基于经典的射击游戏《毁灭战士》（Doom）。ViZDoom允许开发使用屏幕缓冲区玩游戏的机器人。该软件轻量级、快速，并且通过用户场景机制高度可定制。在实验部分，我们通过尝试为两个场景训练机器人来测试这一环境：一个基本的移动和射击任务以及一个更为复杂的迷宫导航问题。利用卷积深度神经网络结合Q学习和经验回放技术，对于这两个场景，我们都成功训练出了具备人类行为特征的合格机器人。结果证实了ViZDoom作为人工智能研究平台的价值，并表明在三维现实的第一人称视角环境中进行视觉强化学习是可行的。