
摘要
点击率(CTR)估计是个性化广告和推荐系统中的基本任务。近年来,基于深度学习的模型和注意力机制在计算机视觉(CV)和自然语言处理(NLP)领域的各种任务中取得了显著成功。将注意力机制与深度CTR模型相结合是一个有前景的方向,因为它可以结合两者的优点。尽管一些CTR模型如注意力因子机(Attentional Factorization Machine, AFM)已被提出用于建模二阶交互特征的权重,我们认为在显式特征交互过程之前评估特征重要性对于CTR预测任务同样重要,因为如果任务涉及大量输入特征,模型可以通过选择性地突出有用特征并抑制不太有用的特征来提高预测性能。本文中,我们提出了一种新的神经CTR模型——场注意深层场感知因子机(Field Attentive Deep Field-aware Factorization Machine, FAT-DeepFFM),该模型通过结合深层场感知因子机(Deep Field-aware Factorization Machine, DeepFFM)与我们提出的增强版挤压-激励网络(Squeeze-Excitation network, SENet),即组合-激励网络(Compose-Excitation network, CENet),来突出特征的重要性。我们在两个真实世界数据集上进行了广泛的实验,实验结果表明,FAT-DeepFFM实现了最佳性能,并在最先进的方法上获得了不同程度的改进。此外,我们还比较了两种注意力机制(显式特征交互前的注意力机制与显式特征交互后的注意力机制),并证明前者显著优于后者。
代码仓库
alililia/ascend_Fat-DeepFFM
mindspore
GitHub 中提及
sea-wyq/Fat-deepFFM
mindspore
GitHub 中提及
p768lwy3/torecsys
pytorch
GitHub 中提及
LinJayan/FAT_DeepFFM_Paddle
paddle
GitHub 中提及
Andy1314Chen/FAT-DeepFFM-Paddle
paddle
GitHub 中提及
Mind23-2/MindCode-45
mindspore
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| click-through-rate-prediction-on-criteo | DeepFFM | AUC: 0.8104 Log Loss: 0.4416 |