摘要

SegBlocks 通过根据图像区域的复杂度动态调整其处理分辨率，显著降低了现有神经网络的计算成本。本方法将图像划分为多个图像块（blocks），并对复杂度较低的区域进行下采样，从而有效减少计算操作次数与内存消耗。一个轻量级策略网络通过强化学习进行训练，用于识别图像中复杂度较高的区域。此外，我们设计了多个基于 CUDA 实现的模块，以高效处理图像块数据。尤为重要的是，我们提出了一种新型的 BlockPad 模块，有效缓解了现有方法在图像块边界处存在的特征不连续问题，同时保持了较低的内存开销。在 Cityscapes、CamVid 以及 Mapillary Vistas 等语义分割数据集上的实验表明，与同等复杂度的静态基线方法相比，动态处理策略在准确率与计算复杂度之间实现了更优的权衡。例如，在 Cityscapes 数据集上，我们的方法使 SwiftNet-RN18 的浮点运算量减少了 60%，推理速度提升了 50%，而 mIoU 准确率仅下降 0.3%。