摘要

组卷积在各种用于图像分类的二维卷积架构中已被证明能够显著降低计算成本。自然而然地会提出以下几个问题：1）组卷积是否能帮助缓解视频分类网络的高计算成本；2）在三维组卷积网络中，哪些因素最为重要；3）在三维组卷积网络中，哪些是良好的计算与精度权衡。本文研究了不同设计选择对视频分类中的三维组卷积网络的影响。我们通过实验证明，通道交互的数量在三维组卷积网络的精度中起着重要作用。实验结果提出了两个主要发现。首先，将三维卷积分解为分离的通道交互和时空交互是一种良好的实践方法，这可以提高精度并降低计算成本。其次，三维通道分离卷积提供了一种正则化形式，与传统的三维卷积相比，其训练精度较低但测试精度较高。基于这两个实证发现，我们设计了一种架构——通道分离卷积网络（Channel-Separated Convolutional Network, CSN），该架构简单、高效且准确。在Sports1M、Kinetics和Something-Something数据集上，我们的CSN模型与现有最先进方法相当或更优，同时效率提高了2-3倍。