在场景的透视图像中，物体可能以任意尺度出现，这对以固定分辨率处理图像的识别系统构成了挑战。我们提出了一种深度感知门控模块，该模块根据物体尺度（与深度成反比）自适应地选择卷积网络架构中的池化区域大小，从而在保留远距离物体的小细节的同时，为近距离物体使用更大的感受野。深度门控信号由立体视差提供或直接从单目输入中估计。我们将这种深度感知门控集成到一个递归卷积神经网络中，以执行语义分割。我们的递归模块通过迭代细化分割结果，利用前一次迭代中的深度和语义预测。通过在四个流行的大型RGB-D数据集上进行广泛的实验，我们证明了这种方法在模型显著紧凑的情况下仍能实现具有竞争力的语义分割性能。我们对这一架构进行了详尽的分析，包括仅在单目RGB图像上运行但在训练过程中使用深度作为辅助信息的变体、无监督门控作为一种通用注意力机制以及多分辨率门控。我们发现，在联合语义分割和深度任务中使用门控池化可以为定量单目深度估计带来最先进的结果。