摘要

多视角数据之间的对比学习近年来在自监督表示学习领域取得了最先进的性能。尽管取得了显著成功，不同视角选择对学习效果的影响仍缺乏深入研究。本文通过理论分析与实证研究，深入探讨了视角选择的重要性，提出应尽可能降低不同视角之间的互信息（Mutual Information, MI），同时保留与任务相关的关键信息。为验证该假设，我们设计了无监督与半监督框架，通过优化目标以最小化视角间的互信息，从而学习到更具判别性的有效视角。同时，我们将数据增强视为降低互信息的一种手段，实证表明，增加数据增强强度确实能够有效降低视角间的互信息，并显著提升下游分类任务的准确率。作为副产品，我们在 ImageNet 分类的无监督预训练任务中取得了新的最先进性能——使用 ResNet-50 模型在 top-1 线性评估中达到 73% 的准确率。此外，将所训练模型迁移到 PASCAL VOC 目标检测与 COCO 实例分割任务时，其性能始终优于传统的有监督预训练方法。代码已开源：http://github.com/HobbitLong/PyContrast