摘要

从用户的历史行为中建模其动态和不断变化的偏好是一项具有挑战性且对推荐系统至关重要的任务。以往的方法通常采用顺序神经网络（如循环神经网络）将用户的交互历史从左到右编码为隐含表示，以进行推荐。尽管这些方法取得了令人满意的结果，但它们往往假设一个严格有序的序列，这在实际应用中并不总是可行的。我们认为，这种从左到右的单向架构限制了历史序列表示的能力。为此，我们引入了一种基于Transformer的双向编码器表示用于顺序推荐的方法（BERT4Rec）。然而，在深度双向模型中同时依赖左侧和右侧上下文会使训练变得简单，因为每个项目都可以间接“看到目标项目”。为了解决这一问题，我们使用Cloze任务来训练双向模型，通过同时考虑项目的左侧和右侧上下文来预测序列中的被掩码项目。与在序列每个位置预测下一个项目相比，Cloze任务可以生成更多的训练样本，从而训练出更强大的双向模型。我们在四个基准数据集上进行了广泛的实验，结果表明我们的模型始终优于各种最先进的顺序模型。