摘要

协同过滤在现代推荐系统中被广泛应用。近期研究表明，通过将深度神经网络的灵活表示集成到潜在变量模型中，变分自编码器（VAEs）能够实现最先进的性能，从而缓解了传统线性因子模型的局限性。通常情况下，VAEs 是通过最大化用户与真实项目交互的概率（最大似然估计，MLE）来进行训练的。尽管这种方法简单且通常有效，但基于 MLE 的训练并不能直接优化我们通常关心的推荐质量指标，如 top-N 排名。本文中，我们研究了基于演员-评论家强化学习的新方法来训练协同过滤模型，以直接优化这些不可微的质量指标。具体而言，我们训练一个评论家网络来近似排名指标，并更新由 VAE 表示的演员网络，使其直接针对所学指标进行优化。与传统的排序学习方法不同，后者需要为新的列表重新运行优化过程，而我们的评论家方法通过神经网络摊销评分过程，可以直接为新的列表提供（近似的）排名分数。实验结果表明，在三个大规模真实世界数据集上，所提出的方法优于多个最先进的基线方法，包括最近提出的深度学习方法。用于重现实验结果和图表绘制的代码已托管在 GitHub 上：https://github.com/samlobel/RaCT_CF