摘要

尽管在诸多场景下表现出优越性能，深度神经网络仍容易受到对抗样本和分布偏移的影响，从而限制了其在真实应用场景中的泛化能力。为缓解上述问题，近年来的研究采用分布鲁棒优化（Distributional Robust Optimization, DRO）方法，旨在寻找最具挑战性的数据分布，并在该分布上最小化损失函数。尽管此类方法取得了一定改进，但仍存在明显局限性：首先，现有DRO方法仅依赖局部正则化来增强模型鲁棒性，忽略了在诸多实际应用中具有重要意义的全局正则化效应（如领域自适应、领域泛化以及对抗机器学习等）；其次，现有DRO方法中的损失函数仅作用于最具挑战性的分布，导致其与原始分布之间解耦，从而限制了模型的建模能力。本文提出一种新颖的正则化技术，延续基于Wasserstein距离的DRO框架思想。具体而言，我们定义了一种特定的联合分布以及基于Wasserstein距离的不确定性度量，从而实现原始分布与最具挑战性分布之间的耦合，有效提升模型的建模能力，并同时支持局部与全局正则化机制的协同作用。在多种学习任务上的实证研究表明，所提出的方法在半监督学习、领域自适应、领域泛化以及对抗机器学习等多个领域中，显著优于现有的各类正则化方法。