HyperAIHyperAI

Command Palette

Search for a command to run...

MMBAttn:用于点击率预测的最大-平均与位级注意力机制

Hasan Saribas Cagri Yesil Serdarcan Dilbaz Halit Orenbas

摘要

随着在线广告与推荐系统中点击率(Click-Through Rate, CTR)预测任务的复杂度和规模持续增加,准确估计特征重要性已成为构建高效模型的关键环节。本文提出一种基于注意力机制的方法,结合最大池化(max pooling)与平均池化(mean pooling)操作,以及一种按位注意力(bit-wise attention)机制,以提升CTR预测中的特征重要性估计能力。传统上,最大池化与平均池化等池化操作被广泛用于从特征中提取相关信息。然而,这类操作往往导致信息丢失,影响特征重要性的精确判断。为应对这一挑战,本文提出一种新颖的注意力架构,该架构采用基于比特的注意力结构,强调特征中所有比特之间的相互关系,并融合最大池化与平均池化操作。通过在比特层面捕捉细粒度的交互关系,该方法旨在识别传统池化操作可能忽略的复杂模式与依赖关系。为验证所提方法的有效性,我们在三个公开数据集上进行了实验。实验结果表明,该方法显著提升了基线模型的性能,达到了当前最先进的水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供