摘要
自深度学习引入以来，人们已经研究了大量表示属性，如去相关性、白化、解耦、秩、各向同性和互信息，以提高表示的质量。然而，在实施效果和普遍适用性方面，操纵这些属性颇具挑战性。为了解决这些局限性，我们提出对表示的冯·诺伊曼熵（VNE）进行正则化。首先，我们证明了冯·诺伊曼熵的数学公式在有效操纵表示自相关矩阵的特征值方面具有优越性。然后，通过研究领域泛化、元学习、自监督学习和生成模型，我们展示了它在改进最先进算法或流行基准算法方面的广泛适用性。此外，我们正式建立了冯·诺伊曼熵与表示的秩、解耦和各向同性之间的理论联系。最后，我们讨论了冯·诺伊曼熵的维度控制及其与香农熵的关系。代码可在以下地址获取：https://github.com/jaeill/CVPR23-VNE。
代码仓库
jaeill/CVPR23-VNE
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| domain-generalization-on-office-home | VNE (ResNet-50, SWAD) | Average Accuracy: 71.1 |
| domain-generalization-on-pacs-2 | VNE (ResNet-50, SWAD) | Average Accuracy: 88.3 |
| domain-generalization-on-terraincognita | VNE (ResNet-50, SWAD) | Average Accuracy: 51.7 |
| domain-generalization-on-vlcs | VNE (ResNet-50, SWAD) | Average Accuracy: 79.7 |
| few-shot-image-classification-on-mini-2 | VNE (BOIL) | Accuracy: 50.95 |
| few-shot-image-classification-on-mini-3 | VNE (BOIL) | Accuracy: 67.52 |
| self-supervised-image-classification-on | I-VNE+ (ResNet-50) | Number of Params: 25M Top 1 Accuracy: 72.1 Top 5 Accuracy: 91.0 |
| semi-supervised-image-classification-on-1 | I-VNE+ (ResNet-50) | Top 1 Accuracy: 55.8 Top 5 Accuracy: 81.0 |
| semi-supervised-image-classification-on-2 | I-VNE+ (ResNet-50) | Top 1 Accuracy: 69.1 Top 5 Accuracy: 89.9 |