4 个月前

基于张量链分解的3DCNN压缩

基于张量链分解的3DCNN压缩

摘要

三维卷积神经网络(3DCNNs)已被应用于许多任务,例如视频和三维点云识别。然而,由于卷积核的维度较高,3DCNNs 的空间复杂度通常大于传统的二维卷积神经网络(2DCNNs)。为了在受限环境(如嵌入式设备)中部署 3DCNNs,神经网络压缩是一种有前景的方法。在这项工作中,我们采用了张量链(Tensor Train, TT)分解,这是一种简单且直接的原位训练压缩方法,来缩小 3DCNN 模型。通过提出将 3D 卷积核转换为 TT 格式的张量化方法,我们研究了如何选择合适的 TT 秩以实现更高的压缩比。我们还讨论了 3D 卷积核在压缩中的冗余性、这项工作的核心意义及未来方向,以及理论计算复杂度与实际执行时间之间的关系。基于 VIVA 挑战、UCF11 和 UCF101 数据集的多项对比实验表明,TT 分解可以在不显著损失精度的情况下将 3DCNNs 压缩约一百倍,这将使其能够在广泛的现实场景中得到应用。

基准测试

基准方法指标
hand-gesture-recognition-on-shrec-2017-track3DCNN_VIVA_4
14 gestures accuracy: 73121216
hand-gesture-recognition-on-viva-hand3DCNN_VIVA_1
Accuracy-CN: 2303240
hand-gesture-recognition-on-viva-handTwo 3DCNNs: LRN + HRN [11]
Accuracy: 77.5
hand-gesture-recognition-on-viva-hand-
Accuracy: 6.86
hand-gesture-recognition-on-viva-hand3DCNN_VIVA_2
Accuracy-CN: -13585591
quantization-on-cifar-103DCNN_VIVA_3
MAP: 160327.04
quantization-on-knowledge-based3DCNN_VIVA_5
All: 84809664

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于张量链分解的3DCNN压缩 | 论文 | HyperAI超神经