摘要

多尺度推理常用于提升语义分割任务的性能。该方法通过将多尺度的图像输入网络，再对各尺度的输出结果采用平均或最大池化等方式进行融合。在本工作中，我们提出一种基于注意力机制的多尺度预测融合方法。实验表明，不同尺度的预测在应对特定类型的错误模式时表现更优，而网络能够自动学习到在相应情况下优先依赖这些更有效的尺度，从而生成更准确的预测结果。我们的注意力机制具有层次化结构，使得训练过程的内存效率相比近期其他方法提升约4倍。此外，更高的内存效率不仅加速了训练过程，还使我们能够采用更大的图像裁剪尺寸进行训练，从而进一步提升模型的精度。我们在两个公开数据集——Cityscapes和Mapillary Vistas上验证了所提方法的有效性。针对Cityscapes数据集（包含大量弱标注图像），我们进一步引入自动标注（auto-labelling）策略以增强模型的泛化能力。实验结果表明，所提出的方法在Mapillary Vistas数据集上取得了61.1的验证集交并比（IOU），在Cityscapes数据集上达到85.1的测试集交并比，均刷新了当前最优性能，达到了新的最先进水平。