摘要

在本工作中，我们提出了一种基于输入不同构建视图之间互信息最大化的新颖无监督图像分割方法。受自回归生成模型的启发——该类模型通过掩码卷积在逐行扫描（raster-scan）顺序下从前序像素预测当前像素——我们提出利用不同形式的掩码卷积对输入数据施加多种扫描顺序，从而构建数据的多个视图。对于给定的输入，模型会基于两种有效的顺序生成一对预测结果，并通过最大化这两个输出之间的互信息进行训练。这些输出可作为低维特征用于表示学习，也可对应语义标签的聚类结果，用于聚类任务。训练过程中使用掩码卷积，但在推理阶段则不进行任何掩码操作，模型退化为标准卷积结构，从而能够访问完整的输入信息。所提出的算法在无监督图像分割任务上超越了当前最先进的方法。该方法结构简洁、易于实现，且可自然拓展至其他视觉任务，并能无缝集成到现有需要多视图数据的无监督学习框架中。