本文提出了一种自模仿学习（Self-Imitation Learning, SIL）算法，这是一种简单的离策略演员-评论家算法，旨在学习重现代理过去的良好决策。该算法设计用于验证我们的假设，即利用过去的良好经验可以间接促进深度探索。实验结果表明，SIL在多个难度较高的Atari游戏中显著提升了优势演员-评论家（Advantage Actor-Critic, A2C）算法的性能，并且在探索方法上与当前最先进的基于计数的方法具有竞争力。此外，我们还证明了SIL在MuJoCo任务中提高了近端策略优化（Proximal Policy Optimization, PPO）算法的性能。