4 个月前

用于深度卷积神经网络的有效学习的接力反向传播算法

用于深度卷积神经网络的有效学习的接力反向传播算法

摘要

近年来,学习更深的卷积神经网络成为一种趋势。然而,许多实证研究表明,仅仅通过增加更多层并不能获得性能提升。在本文中,我们从信息理论的角度考虑这一问题,并提出了一种新的方法——接力反向传播(Relay Backpropagation),该方法鼓励在网络训练阶段有效信息的传播。借助该方法,我们在2015年ILSVRC场景分类挑战赛中获得了第一名。我们在两个具有挑战性的大规模数据集上进行了广泛的实验,结果表明我们的方法不仅限于特定的数据集或网络架构。我们的模型将在稍后提供给研究社区。

代码仓库

craston/object_detection_cib
pytorch
GitHub 中提及

基准测试

基准方法指标
long-tail-learning-on-coco-mltRS(ResNet-50)
Average mAP: 46.97
long-tail-learning-on-voc-mltRS(ResNet-50)
Average mAP: 75.38

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于深度卷积神经网络的有效学习的接力反向传播算法 | 论文 | HyperAI超神经