3 个月前

位置编码并非上下文:面向序列推荐的位置编码研究

位置编码并非上下文:面向序列推荐的位置编码研究

摘要

流媒体与电子商务的迅猛发展推动了推荐系统,尤其是序列推荐系统(Sequential Recommendation Systems, SRS)的持续进步。这类系统通过分析用户的历史交互行为来预测其未来的偏好。尽管近年来的研究主要聚焦于架构创新,如Transformer模块和特征提取技术,但对捕捉时间模式至关重要的位置编码(positional encodings)却未得到充分关注。现有方法常将位置编码与上下文信息(如时间足迹,temporal footprint)混为一谈,而此前的工作往往将其视为可互换的概念。本文明确指出时间足迹与位置编码之间的关键区别,实证表明,位置编码能够提供物品之间独特的相对关系线索,这是单一的时间足迹无法实现的。通过在八个Amazon数据集及其子集上开展的广泛实验,我们系统评估了不同编码方式对性能指标与训练稳定性的综合影响。本文提出新型位置编码方法,并探索多种融合策略,显著提升了模型的性能与训练稳定性,在本工作初始预印本发布时已超越当时最先进的水平。尤为重要的是,我们证明了选择合适的编码方式不仅对提升模型性能至关重要,更是构建稳健、可靠序列推荐系统的核心要素。

代码仓库

基准测试

基准方法指标
recommendation-systems-on-amazon-beautyCARCA Abs + Con
Hit@10: 0.6793
NDCG: 0.4871
recommendation-systems-on-amazon-beautyCARCA-Rotatory
Hit@10: 0.6187
NDCG: 0.4260
recommendation-systems-on-amazon-fashionRMHA-4
Hit@10: 0.7726
NDCG: 0.4975
recommendation-systems-on-amazon-gamesCARCA-Rotatory + Con.
Hit@10: 0.8062
NDCG: 0.5607
recommendation-systems-on-amazon-menCARCA Learnt + Con
Hit@10: 0.7386
NDCG: 0.5889
recommendation-systems-on-amazon-menRMHA-4
Hit@10: 0.7013
NDCG: 0.4641

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
位置编码并非上下文:面向序列推荐的位置编码研究 | 论文 | HyperAI超神经