摘要

注意力机制已在多个领域得到广泛应用，包括计算机视觉、自然语言处理和网络嵌入学习。图数据上的注意力机制使得在聚合邻近节点信息时可以学习到权重。然而，图注意力算子（Graph Attention Operators, GAOs）消耗了过多的计算资源，限制了其在大规模图上的应用。此外，GAOs 属于软注意力机制，而研究表明硬注意力机制能带来更好的性能。在这项工作中，我们提出了新颖的硬图注意力算子（Hard Graph Attention Operator, hGAO）和通道级图注意力算子（Channel-wise Graph Attention Operator, cGAO）。hGAO 通过仅关注重要节点来实现硬注意力机制。与 GAO 相比，hGAO 通过仅关注重要节点提高了性能并节省了计算成本。为了进一步减少对计算资源的需求，我们提出了 cGAO，该算子沿通道执行注意力操作。cGAO 避免了对邻接矩阵的依赖，从而大幅降低了计算资源需求。实验结果表明，我们提出的带有新算子的深度模型在性能上表现出持续的提升。对比结果显示，在节点和图嵌入任务中，hGAO 的性能显著优于 GAO。效率对比也显示，我们的 cGAO 在计算资源方面实现了显著的节省，使其适用于大规模图。