我们提出了一种新型策略更新方法，该方法将正则化策略优化与模型学习相结合，作为辅助损失项。该更新方法（以下简称 Muesli）在 Atari 游戏任务上达到了与 MuZero 相当的最先进性能。值得注意的是，Muesli 无需使用深度搜索，而是直接通过策略网络进行决策，其计算速度与无模型基线方法相当。除了 Atari 任务的实验结果外，本文还提供了详尽的消融实验，并进一步展示了在连续控制任务以及 9×9 围棋任务上的良好表现。