
摘要
作为点击率(CTR)预测中一种重要的建模范式,深度与交叉网络(Deep & Cross Network, DCN)及其衍生模型因其在计算成本与性能之间取得的良好平衡而获得了广泛认可。该范式通过交叉网络显式建模特征交互,实现线性增长的交互捕获,同时借助深度神经网络(DNN)隐式捕捉高阶特征交互。然而,这类模型仍面临若干关键局限性:(1)现有显式特征交互方法的性能仍落后于隐式的DNN,导致整体模型表现主要由DNN主导;(2)尽管声称能够捕捉高阶特征交互,但模型常忽视这些交互中潜在的噪声干扰;(3)不同交互网络分支的学习过程缺乏有效的监督信号;(4)由于高度依赖DNN,模型所捕捉的高阶特征交互往往具有隐式特性,难以解释。为解决上述问题,本文提出一种新型模型——融合交叉网络(Fusing Cross Network, FCN),并配套设计两个子网络:线性交叉网络(Linear Cross Network, LCN)与指数交叉网络(Exponential Cross Network, ECN)。FCN能够显式地以线性和指数增长方式捕捉特征交互,从而不再依赖隐式的DNN。此外,本文引入自掩码(Self-Mask)操作,逐层过滤噪声,并将交叉网络的参数量减少一半。为有效训练这两个交叉网络,我们提出一种简洁而高效的损失函数——Tri-BCE,可为每个网络提供定制化的监督信号。我们在六个基准数据集上对FCN的性能、效率与可解释性进行了全面评估。实验结果表明,通过融合LCN与ECN,FCN实现了新的SOTA(state-of-the-art)性能。
代码仓库
reczoo/FuxiCTR
官方
pytorch
GitHub 中提及
salmon1802/DCNv3
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| click-through-rate-prediction-on-avazu | DCNv3 | AUC: 0.7970 LogLoss: 0.3695 |
| click-through-rate-prediction-on-criteo | DCNv3 | AUC: 0.8162 Log Loss: 0.4358 |
| click-through-rate-prediction-on-ipinyou | DCNv3 | AUC: 0.7856 LogLoss: 0.005535 |
| click-through-rate-prediction-on-kdd12 | DCNv3 | AUC: 0.8098 Log Loss: 0.1494 |
| click-through-rate-prediction-on-kkbox | DCNv3 | AUC: 0.8557 |
| click-through-rate-prediction-on-movielens-1m | DCNv3 | AUC: 0.9074 Log Loss: 0.3001 |