3 个月前

TiM4Rec:一种基于时间感知结构状态空间对偶模型的高效序列推荐模型

TiM4Rec:一种基于时间感知结构状态空间对偶模型的高效序列推荐模型

摘要

顺序推荐建模范式正从Transformer架构向Mamba架构演进,该架构包含两个世代:基于状态空间模型(State Space Model, SSM)的Mamba1,以及基于状态空间对偶性(State Space Duality, SSD)的Mamba2。尽管SSD相较于SSM在计算效率方面具有显著优势,但在顺序推荐任务中,尤其是在对这些任务至关重要的低维场景下,其性能表现存在明显下降。考虑到时间感知增强方法常被用于缓解性能损失,我们的分析表明,SSD的性能退化同样可以通过借鉴时间感知方法中的机制得到根本性补偿。因此,我们提出将时间感知能力引入SSD框架,以解决上述性能问题。然而,将现有基于TiSASRec范式的主流时间感知方法集成至SSD架构面临两大挑战:其一,Transformer-based机制与SSD架构之间的集成复杂度较高;其二,时间差建模需依赖维度扩展,导致计算效率下降。为克服上述挑战,我们提出一种新型的时间感知结构化掩码矩阵(Time-aware Structured Masked Matrix),能够高效地将时间感知能力嵌入SSD框架。在此基础上,我们构建了面向推荐系统的时序感知Mamba模型——TiM4Rec(Time-Aware Mamba for Recommendation)。该模型在保持SSD原有计算高效性的同时,有效缓解了低维场景下SSD的性能退化问题。本工作首次将专为Mamba架构设计的时间感知增强机制应用于顺序推荐领域,具有开创性意义。在三个真实世界数据集上的大量实验结果表明,所提方法显著优于现有基准模型。模型代码已开源,可通过以下链接获取:https://github.com/AlwaysFHao/TiM4Rec。

代码仓库

alwaysfhao/tim4rec
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
sequential-recommendation-on-amazon-beautyTiM4Rec
HR@10: 0.0854
HR@20: 0.1204
HR@50: 0.18
MRR@10: 0.0321
MRR@20: 0.0345
MRR@50: 0.0363
NDCG@20: 0.0533
NDCG@50: 0.0651
nDCG@10: 0.0446
sequential-recommendation-on-kuairandTiM4Rec
HR@10: 0.1109
HR@20: 0.1774
HR@50: 0.3202
MRR@10: 0.0463
MRR@20: 0.0508
MRR@50: 0.0552
NDCG@10: 0.0611
NDCG@20: 0.0779
NDCG@50: 0.106
sequential-recommendation-on-movielens-1mTiM4Rec
HR@10: 0.331
HR@20: 0.4338
HR@5: 0.2308
HR@50: 0.577
MRR@10: 0.1512
MRR@20: 0.1584
MRR@50: 0.1629
NDCG@10: 0.1932
NDCG@20: 0.2194
NDCG@5: 0.1608
NDCG@50: 0.2477

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
TiM4Rec:一种基于时间感知结构状态空间对偶模型的高效序列推荐模型 | 论文 | HyperAI超神经