摘要

跨域小样本学习（Cross-Domain Few-Shot Learning, CD-FSL）是一项近年来兴起的任务，旨在解决不同领域之间的少样本学习问题。其核心目标是将模型在源数据集上学习到的先验知识有效迁移至全新的目标数据集。然而，该任务面临的主要挑战在于不同数据集之间存在的巨大领域差异。值得注意的是，这种领域差异本质上源于视觉风格的变化。已有研究表明，扩展源数据集的风格分布有助于缓解这一问题。然而，现有的wave-SAN方法仅通过简单交换两张图像的风格来实现，这种基础操作生成的风格虽然“真实”且“容易”，但仍然局限于源数据原有的风格集合之中。受传统对抗学习思想的启发，本文提出一种新型、模型无关的元风格对抗训练方法——StyleAdv，以及一种新颖的风格对抗攻击方法，专门用于提升CD-FSL的性能。特别地，我们的风格攻击方法能够合成出兼具“虚拟”与“困难”特性的对抗风格用于模型训练。具体而言，通过在原始风格上施加符号化的风格梯度扰动，生成具有挑战性的新型风格样本。通过持续对风格进行对抗性攻击，并迫使模型识别这些高难度的对抗风格，模型逐步增强对各类视觉风格的鲁棒性，从而显著提升其在新目标数据集上的泛化能力。除了在典型的基于CNN的骨干网络（如ResNet）上验证外，本文还将StyleAdv方法拓展至大规模预训练视觉Transformer（Vision Transformer, ViT）架构。在八个不同目标数据集上的大量实验表明，所提方法具有显著有效性。无论基于ResNet还是ViT，本方法均在CD-FSL任务上取得了新的最先进（SOTA）性能。相关代码已开源，地址为：https://github.com/lovelyqian/StyleAdv-CDFSL。