摘要

随机策略因其在探索与不确定性量化方面的优异性能而被广泛应用。通过在指数族分布框架下建模状态-动作联合分布来表示策略分布，不仅增强了策略在探索过程中的灵活性，还支持学习多模态策略，并融入了深度强化学习（RL）的概率视角。概率推断与强化学习之间的内在联系，使得我们能够借助概率优化工具的最新进展。然而，近期的研究大多局限于最小化反向KL散度（reverse KL divergence），而该方法具有“自信导向”（confidence-seeking）的特性，可能削弱随机策略的固有优势。为了充分发挥随机策略的潜力并提供更灵活的优化特性，迫切需要在策略优化过程中引入不同的更新规则。本文提出了一种基于粒子的 probabilistic 策略优化框架——ParPI（Particle-based Probabilistic Policy Optimization），该框架能够支持广泛的散度或距离度量，例如f-散度（f-divergences）以及Wasserstein距离，这些度量可更好地刻画所学习随机策略的概率行为。在在线与离线两种设置下的实验结果表明，所提出的算法具有显著的有效性，同时不同差异度量在策略优化中展现出各自独特的特性。