3 个月前

PHNNs:通过参数化超复数卷积实现的轻量级神经网络

PHNNs:通过参数化超复数卷积实现的轻量级神经网络

摘要

超复数神经网络通过利用克利福德代数(Clifford algebras)的性质,已在保持优异性能的同时显著减少了模型的总体参数量。近期,超复数线性层进一步通过引入高效的参数化克罗内克积(Kronecker products)得到了优化。本文中,我们定义了超复数卷积层的参数化方法,并提出了一类轻量级且高效的大型超复数神经网络家族——参数化超复数神经网络(Parameterized Hypercomplex Neural Networks, PHNNs)。该方法能够直接从数据中学习卷积规则与滤波器的组织结构,无需依赖预先严格设定的域结构。PHNNs 具有高度灵活性,可在任意用户自定义或可调的域中运行,涵盖从一维到 $n$ 维的多种情形,且不依赖于是否预设代数规则。这种高度可塑性使得模型能够在其自然域中处理多维输入,而无需像四元数神经网络在处理三维输入(如彩色图像)时那样额外引入维度。因此,所提出的 PHNN 家族在与实数域对应模型相比时,其自由参数数量仅为后者的 $1/n$。我们通过在多种图像数据集和音频数据集上的实验,验证了该方法在多个应用领域的广泛适用性,结果表明其性能优于传统的实值和四元数值模型。完整代码已开源,地址为:https://github.com/eleGAN23/HyperNets。

代码仓库

elegan23/hypernets
官方
pytorch
GitHub 中提及
eleGAN23/QVAE
pytorch
GitHub 中提及
eleGAN23/QGAN
pytorch
GitHub 中提及
ispamm/hi2i
pytorch
GitHub 中提及

基准测试

基准方法指标
sound-event-detection-on-l3das21PHC SEDnet n=8
Error Rate: 0.56
F-Score: 0.553
SED-score: 0.503
sound-event-detection-on-l3das21PHC SEDnet n=16
Error Rate: 0.509
F-Score: 0.588
SED-score: 0.461
sound-event-detection-on-l3das21PHC SEDnet n=4
Error Rate: 0.453
SED-score: 0.407
sound-event-detection-on-l3das21PHC SEDnet n=2
Error Rate: 0.389
F-Score: 0.68
SED-score: 0.638
sound-event-detection-on-l3das21Quaternion SEDnet
Error Rate: 0.516
F-Score: 0.58
SED-score: 0.468

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PHNNs:通过参数化超复数卷积实现的轻量级神经网络 | 论文 | HyperAI超神经