摘要

我们研究了如何学习数据表示，使其对某些干扰因素或敏感变量的变化具有不变性，同时尽可能保留其余信息的问题。我们的模型基于一种变分自编码器架构，该架构通过先验分布促进敏感变量和潜在变量之间的独立性。任何后续处理（如分类）都可以在这种净化后的潜在表示上进行。为了消除任何剩余的依赖关系，我们引入了一个基于“最大均值差异”(Maximum Mean Discrepancy, MMD)度量的额外惩罚项。我们讨论了这些架构如何高效地在数据上进行训练，并通过实验展示了该方法在去除不希望的变异源的同时，能够保持信息丰富的潜在表示，比以往的工作更为有效。