摘要

近期，语义分割方法在高要求的道路驾驶数据集上取得的成功激发了众多相关应用领域的兴趣。这些应用中的许多涉及在移动平台（如汽车、无人机和各种机器人）上进行实时预测。由于涉及极高的计算复杂度，实时设置具有相当大的挑战性。许多先前的研究通过定制轻量级架构来应对这一挑战，这些架构通过减少深度、宽度和层容量来降低相对于通用架构的计算复杂度。我们提出了一种替代方案，该方案在广泛的计算预算范围内实现了显著更好的性能。首先，我们依赖一个轻量级的通用架构作为主要识别引擎。然后，我们利用带有横向连接的轻量级上采样作为恢复预测分辨率的最具成本效益的解决方案。最后，我们提出以一种新颖的方式融合多个分辨率下的共享特征来扩大感受野。我们在多个道路驾驶数据集上的实验表明，所提出的方案无论是在使用ImageNet预训练参数的情况下还是从零开始学习时都具有显著的优势。我们的Cityscapes测试提交名为SwiftNetRN-18，在GTX1080Ti显卡上对1024x2048图像实现了75.5%的MIoU，并达到了39.9 Hz的帧率。