摘要

尽管近年来的自动化数据增强方法取得了最先进的性能，但其设计空间及所衍生的数据增强策略仍依赖于较强的人工先验。在本工作中，我们提出一种完全自动化的数据增强搜索方法——Deep AutoAugment（DeepAA），以替代以往在搜索数据增强策略的同时固定一组人工选定的默认增强操作的做法。DeepAA 从零开始，通过逐层堆叠增强模块的方式，逐步构建一个多层数据增强流水线，直至达到收敛。对于每一层增强操作，其策略通过最大化原始数据与增强数据在低方差方向上梯度之间的余弦相似性来优化。实验结果表明，即使不依赖任何默认增强操作，DeepAA 仍能学习到性能优异的增强策略，达到甚至超越以往方法的水平。大量消融实验进一步验证了正则化梯度匹配作为数据增强策略搜索方法的有效性。相关代码已开源，地址为：https://github.com/MSU-MLSys-Lab/DeepAA。