3 个月前

自适应分解网络:学习自适应阶数特征交互

自适应分解网络:学习自适应阶数特征交互

摘要

基于因子分解的方法已被广泛提出,用于利用二阶甚至高阶交叉特征以提升预测模型的性能。这类方法通常在预设的最大阶数范围内枚举所有可能的交叉特征,随后通过模型训练识别出有效的特征交互。然而,这种方法存在两个主要缺陷:其一,需在高阶交叉特征的表达能力与计算成本之间进行权衡,导致预测性能难以达到最优;其二,枚举所有交叉特征(包括无关特征)可能引入噪声特征组合,进而降低模型性能。为此,本文提出一种新型模型——自适应因子分解网络(Adaptive Factorization Network, AFN),该模型能够从数据中自适应地学习任意阶次的交叉特征。AFN的核心在于引入一个对数变换层,将特征组合中每个特征的幂次转换为待学习的系数。在四个真实数据集上的实验结果表明,AFN在预测性能上显著优于现有最先进方法。

代码仓库

UlionTse/mlgb
pytorch
GitHub 中提及
shenweichen/DeepCTR-Torch
官方
pytorch
GitHub 中提及

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
自适应分解网络:学习自适应阶数特征交互 | 论文 | HyperAI超神经