近期在图像聚类领域的进展通常集中在学习更好的深度表示上。相比之下，我们提出了一种正交方法，该方法不依赖抽象特征，而是学习预测图像变换，并直接在图像空间中进行聚类。这一学习过程自然地融入了K均值和高斯混合模型的基于梯度的训练中，无需任何额外的损失函数或超参数。这引导我们开发出两种新的深度变换不变聚类框架，它们联合学习原型和变换。具体而言，我们使用深度学习模块来解决对空间、颜色和形态变换的不变性问题。我们的方法概念简单，并具有多项优势，包括可以轻松适应任务所需的不变性以及聚类中心和聚类分配的高度可解释性。我们在标准图像聚类基准测试中展示了该新方法具有竞争力且前景广阔的结果。最后，通过可视化真实照片集合上的聚类结果，我们展示了其鲁棒性和改进后的可解释性的优势。