摘要

显著性预测是指建模显性注意的计算任务。社会线索对我们的注意力有重大影响，从而改变我们的眼动和行为。为了强调这些特征的有效性，我们提出了一种神经模型，用于整合社会线索并加权其影响。该模型分为两个阶段。在第一阶段，我们通过追踪注视点、估计注视方向和识别情感来检测两种社会线索。这些特征随后通过图像处理操作转换为时空图。转换后的表示被传递到第二阶段（GASP），在此阶段中，我们探讨了多种后期融合技术以整合社会线索，并引入了两个子网络来引导注意力至相关刺激物。实验结果表明，对于静态整合方法，融合方法取得了更好的效果；而对于各模态的影响未知的非融合方法，则在与递归模型结合进行动态显著性预测时表现出更优的结果。我们展示了与不包含社会线索的动态显著性模型相比，注视方向和情感表示至少提高了5%的预测与真实值对应关系。此外，情感表示改进了GASP，支持了在显著性预测中考虑情感偏向注意的必要性。