摘要

目前，深度学习中的大多数构建模块、技术和架构都是基于实数值操作和表示的。然而，近期关于递归神经网络的研究以及早期的基础理论分析表明，复数可能具有更丰富的表示能力，并且有助于实现抗噪的记忆检索机制。尽管复数深度神经网络具有吸引人的特性，并有可能开启全新的神经网络架构，但由于缺乏设计此类模型所需的基本构建模块，它们一直被边缘化。在本研究中，我们提供了复数深度神经网络的关键原子组件，并将其应用于卷积前馈网络和卷积LSTM（长短期记忆）网络。具体而言，我们依赖于复数卷积，并提出了适用于复数神经网络的复数批量归一化算法、复数权重初始化策略，并在端到端训练方案中进行了实验验证。我们证明了这些复数模型在性能上可以与其实数值对应模型相媲美。我们在多个计算机视觉任务、使用MusicNet数据集的音乐转录任务以及使用TIMIT数据集的语音频谱预测任务上测试了深复数模型。实验结果表明，这些与音频相关的任务达到了当前最佳性能。