在图像分类中，不同物体类别之间的视觉可分离性存在显著差异，某些类别的区分难度远高于其他类别。这些难以区分的类别需要更加专门的分类器。然而，现有的深度卷积神经网络（CNN）通常作为扁平的N路分类器进行训练，很少有研究尝试利用类别的层次结构。本文中，我们通过将深度CNN嵌入到类别层次结构中引入了层次深度CNN（HD-CNN）。一个HD-CNN使用粗略类别分类器来分离容易区分的类别，而使用精细类别分类器来区分难以区分的类别。在HD-CNN训练过程中，首先进行组件预训练，然后通过多名义逻辑损失并结合粗略类别一致性项进行全局微调。此外，条件执行精细类别分类器和层参数压缩使得HD-CNN能够在大规模视觉识别任务中具有可扩展性。我们在CIFAR100和大规模ImageNet 1000类基准数据集上均取得了最先进的结果。实验中，我们构建了三种不同的HD-CNN模型，它们分别将标准CNN的Top-1错误率降低了2.65%、3.1%和1.1%。