摘要

随着在线广告与推荐系统中点击率（Click-Through Rate, CTR）预测任务的复杂度和规模持续增加，准确估计特征重要性已成为构建高效模型的关键环节。本文提出一种基于注意力机制的方法，结合最大池化（max pooling）与平均池化（mean pooling）操作，以及一种按位注意力（bit-wise attention）机制，以提升CTR预测中的特征重要性估计能力。传统上，最大池化与平均池化等池化操作被广泛用于从特征中提取相关信息。然而，这类操作往往导致信息丢失，影响特征重要性的精确判断。为应对这一挑战，本文提出一种新颖的注意力架构，该架构采用基于比特的注意力结构，强调特征中所有比特之间的相互关系，并融合最大池化与平均池化操作。通过在比特层面捕捉细粒度的交互关系，该方法旨在识别传统池化操作可能忽略的复杂模式与依赖关系。为验证所提方法的有效性，我们在三个公开数据集上进行了实验。实验结果表明，该方法显著提升了基线模型的性能，达到了当前最先进的水平。