
摘要
对比学习在无监督环境下通过自监督在表征学习中取得了显著的成功。然而,在实际应用中,将其有效适应到有监督学习任务中仍然是一个挑战。在这项工作中,我们引入了一种双重对比学习(DualCL)框架,该框架在同一空间内同时学习输入样本的特征和分类器的参数。具体而言,DualCL将分类器的参数视为与不同标签相关联的增强样本,然后利用输入样本与增强样本之间的对比学习。在五个基准文本分类数据集及其低资源版本上的实证研究展示了分类准确率的提升,并证实了DualCL在学习判别性表征方面的能力。
代码仓库
hiyouga/dual-contrastive-learning
官方
pytorch
GitHub 中提及
hiyouga/hiyouga
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| sentiment-analysis-on-sst-2-binary | RoBERTa+DualCL | Accuracy: 94.91 |
| subjectivity-analysis-on-subj | RoBERTa+DualCL | Accuracy: 97.34 |
| text-classification-on-trec-6 | RoBERTa+DualCL | Error: 2.60 |