HyperAIHyperAI

Command Palette

Search for a command to run...

深度残差网络中的恒等映射

Kaiming He Xiangyu Zhang Shaoqing Ren Jian Sun

摘要

深度残差网络作为一种极其深层的架构,展现出了令人信服的准确性和良好的收敛行为。在本文中,我们分析了残差构建块背后的传播公式,这些公式表明,当使用恒等映射作为跳跃连接并在加法之后进行激活时,前向和后向信号可以直接从一个块传播到任何其他块。一系列消融实验支持了这些恒等映射的重要性。这促使我们提出了一种新的残差单元,该单元使得训练更加容易并提高了泛化能力。我们在CIFAR-10(4.62% 错误率)和CIFAR-100数据集上使用了1001层的ResNet,在ImageNet数据集上使用了200层的ResNet,并报告了改进的结果。代码可在以下地址获取:https://github.com/KaimingHe/resnet-1k-layers


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
深度残差网络中的恒等映射 | 论文 | HyperAI超神经