摘要

大规模推荐系统以依赖高基数、异构特征，并需每日处理数百亿用户行为为显著特征。尽管工业界多数深度学习推荐模型（DLRMs）在包含数千个特征的海量数据上进行训练，但其在计算资源扩展方面仍难以实现有效扩展。受Transformer在自然语言处理与计算机视觉领域取得成功的启发，我们重新审视了推荐系统中的基础设计选择。我们将推荐问题重新建模为生成建模框架下的序列转换任务（即“生成式推荐”），并提出一种新型架构——HSTU，专为高基数、非平稳流式推荐数据设计。在合成数据集和公开数据集上，HSTU相较于基线模型在NDCG指标上最高提升达65.8%；在长度为8192的序列上，其推理速度比基于FlashAttention2的Transformer快5.3至15.2倍。基于HSTU的生成式推荐模型参数量达1.5万亿，在线上A/B测试中各项指标提升12.4%，已部署于一家拥有数十亿用户的大型互联网平台的多个业务场景中。更为重要的是，实验表明生成式推荐模型的性能随训练计算资源的增加呈现幂律增长，覆盖三个数量级，直至达到GPT-3/LLaMa-2量级。这一发现显著降低了未来模型研发所需的碳足迹，也为推荐系统领域首个基础模型（foundational model）的实现奠定了坚实基础。