摘要

与现有深度卷积神经网络（CNNs）中的全局平均池化相比，全局协方差池化能够捕捉更丰富的深层特征统计信息，具有提高深度CNN表示能力和泛化能力的潜力。然而，将全局协方差池化集成到深度CNN中带来了两个挑战：(1) 在高维和小样本量的情况下进行稳健的协方差估计；(2) 合理利用协方差的几何特性。为了解决这些挑战，我们提出了一种全局矩阵幂归一化协方差（MPN-COV）池化方法。我们的MPN-COV符合一种稳健的协方差估计器，非常适合高维和小样本量的情况。它也可以被视为协方差之间的幂欧几里得度量（Power-Euclidean metric），有效地利用了它们的几何特性。此外，我们还提出了一种全局高斯嵌入网络，以将一阶统计信息纳入MPN-COV中。为了快速训练MPN-COV网络，我们实现了一种迭代矩阵平方根归一化方法，避免了MPN-COV固有的对GPU不友好的特征分解。另外，引入了渐进式1x1卷积和分组卷积来压缩协方差表示。所提出的这些方法具有高度模块化的特点，可以方便地集成到现有的深度CNN中。我们在大规模对象分类、场景分类、细粒度视觉识别和纹理分类等任务上进行了广泛的实验，结果表明我们的方法优于同类方法，并取得了最先进的性能。