4 个月前

FAT-DeepFFM:基于领域注意力机制的深度领域感知因子分解机

FAT-DeepFFM:基于领域注意力机制的深度领域感知因子分解机

摘要

点击率(CTR)估计是个性化广告和推荐系统中的基本任务。近年来,基于深度学习的模型和注意力机制在计算机视觉(CV)和自然语言处理(NLP)领域的各种任务中取得了显著成功。将注意力机制与深度CTR模型相结合是一个有前景的方向,因为它可以结合两者的优点。尽管一些CTR模型如注意力因子机(Attentional Factorization Machine, AFM)已被提出用于建模二阶交互特征的权重,我们认为在显式特征交互过程之前评估特征重要性对于CTR预测任务同样重要,因为如果任务涉及大量输入特征,模型可以通过选择性地突出有用特征并抑制不太有用的特征来提高预测性能。本文中,我们提出了一种新的神经CTR模型——场注意深层场感知因子机(Field Attentive Deep Field-aware Factorization Machine, FAT-DeepFFM),该模型通过结合深层场感知因子机(Deep Field-aware Factorization Machine, DeepFFM)与我们提出的增强版挤压-激励网络(Squeeze-Excitation network, SENet),即组合-激励网络(Compose-Excitation network, CENet),来突出特征的重要性。我们在两个真实世界数据集上进行了广泛的实验,实验结果表明,FAT-DeepFFM实现了最佳性能,并在最先进的方法上获得了不同程度的改进。此外,我们还比较了两种注意力机制(显式特征交互前的注意力机制与显式特征交互后的注意力机制),并证明前者显著优于后者。

基准测试

基准方法指标
click-through-rate-prediction-on-criteoDeepFFM
AUC: 0.8104
Log Loss: 0.4416

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FAT-DeepFFM:基于领域注意力机制的深度领域感知因子分解机 | 论文 | HyperAI超神经