摘要

为了在有限的计算预算下实现像素级标记任务中的简约推理，我们提出了一种\emph{像素注意力门控单元}（\emph{PAG}），该单元能够学习在深度卷积网络的每一层有选择性地处理一部分空间位置。PAG是一种通用的、架构无关的、问题不可知的机制，可以方便地“插入”到现有模型中，并通过微调进行优化。我们以两种方式利用PAG：1）学习空间变化的池化区域，以提高模型性能而无需承担多尺度池化的额外计算成本；2）为每个像素学习动态计算策略，以减少总计算量同时保持准确性。我们在多种像素级标记任务上对PAG进行了广泛评估，包括语义分割、边界检测、单目深度估计和表面法线估计。实验结果表明，PAG在这类任务上能够达到具有竞争力或最先进的性能。我们的实验还显示，PAG能够在输入图像上动态分配计算资源，与相关方法（例如截断深层模型或动态跳过整层）相比，提供了更好的性能折衷方案。总体而言，我们观察到PAG可以在不明显损失准确性和性能的情况下减少10%的计算量，并且在施加更强的计算约束时性能下降较为平缓。