摘要

强化学习能够解决决策问题，并训练智能体根据预设的奖励函数在环境中采取行为。然而，当奖励信号过于稀疏时，智能体在环境探索过程中可能长期无法获得奖励，导致学习效率显著下降。针对此类问题，一种可行的解决方案是为智能体引入内在动机机制，以引导其进行更有信息量的探索，从而在探索过程中更有可能遇到外部奖励信号。新颖性检测（novelty detection）是内在动机研究中一个具有前景的分支。本文提出了一种名为自监督网络蒸馏（Self-supervised Network Distillation, SND）的内在动机算法类别，其以蒸馏误差作为新颖性度量指标，其中预测模型与目标模型均参与训练。我们针对该目标，改编了三种现有的自监督学习方法，并在一组被认为难以探索的十种环境中对其进行了实验验证。实验结果表明，在相同的训练时间内，所提出的方法相较于基线模型能够实现更快的奖励增长和更高的外部奖励累积，这表明在稀疏奖励环境中探索效率得到了显著提升。此外，我们所采用的分析方法为所提出的模型提供了有价值的可解释性洞察。