摘要

深度残差网络作为一种极其深层的架构，展现出了令人信服的准确性和良好的收敛行为。在本文中，我们分析了残差构建块背后的传播公式，这些公式表明，当使用恒等映射作为跳跃连接并在加法之后进行激活时，前向和后向信号可以直接从一个块传播到任何其他块。一系列消融实验支持了这些恒等映射的重要性。这促使我们提出了一种新的残差单元，该单元使得训练更加容易并提高了泛化能力。我们在CIFAR-10（4.62% 错误率）和CIFAR-100数据集上使用了1001层的ResNet，在ImageNet数据集上使用了200层的ResNet，并报告了改进的结果。代码可在以下地址获取：https://github.com/KaimingHe/resnet-1k-layers