摘要

我们提出了一种基于卷积神经网络（CNN）的无监督多模态子空间聚类方法。所提出的框架包括三个主要阶段：多模态编码器、自表达层和多模态解码器。编码器以多模态数据作为输入，并将其融合到一个潜在空间表示中。自表达层负责强制执行自表达属性，并获取与数据点相对应的亲和矩阵。解码器则用于重建原始输入数据。网络在训练过程中利用了解码器重建结果与原始输入之间的距离。我们研究了早期融合、晚期融合和中间融合技术，并提出了三种分别对应这些技术的空间融合编码器。对于不同的空间融合方法，自表达层和多模态解码器基本上是相同的。除了各种基于空间融合的方法外，还提出了一种基于亲和力融合的网络，在该网络中，不同模态对应的自表达层被强制设为相同。在三个数据集上的大量实验表明，所提出的方法显著优于现有的最先进的多模态子空间聚类方法。